说明:为什么要使用动态代理进行采集,主要是因为针对封ip之类问题解决,使用了动态代理ip就无法进行ip封禁,不影响采集。

直入正题,首先要配置搭建采集器,这里不做赘述。

注:下载地址在底部。

采集器配置正确后开始代理配置,如图教程:

1、登录采集器后台

2、点击【规则列表】如图:

3、点击编辑规则,如图:

4、开始配置规则代理:

①、站点设置,这里要关闭过缓存,如图所示:

②、小说列表采集设置:

这里是通过替换的方式把采集器要获取的地址替换成通过api接口获取的方法,如图所示:

③、封面配置代理方法:

点击小说信息页采集下拉,找到封面替换规则,同样和上面一样,也是通过替换达到代理目的,如图所示:

4、内容地址配置方法:

找到【小说章节采集】,下拉在找到地址替换规则,然后进行替换,方法如图所示:

通过上面的配置基本就可以实现动态代理功能了

注意:必须关闭【站点设置】的过缓存,不然无法获取数据。

测试规则的时候内容获取如果失败,看下章节地址替换后的结果是否正常,如果错乱或者有多余字符串在【章节地址替换】重新开一行进行多余替换,这里支持正则替换,如不明白请联系技术客服进行协助配置。

九四采集器免费版下载地址:九四采集器

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐