在爬取国外的某个网站的时候，刚开始他们是封ip，优化好ip池，准备大展身手的时候，数据顺利的爬取完毕后，发现数据有重复的。然后研究了一下，
最后的原因是他们的后台发现是爬虫以后，直接给抛出假的数据。上证据：
解决办法：
每个ip的访问次数尽量的少，尽量用多的ip抓取，抓取速度尽量的慢一些。
已为社区贡献4条内容
在爬取国外的某个网站的时候，刚开始他们是封ip，优化好ip池，准备大展身手的时候，数据顺利的爬取完毕后，发现数据有重复的。然后研究了一下，
最后的原因是他们的后台发现是爬虫以后，直接给抛出假的数据。上证据：
解决办法：
每个ip的访问次数尽量的少，尽量用多的ip抓取，抓取速度尽量的慢一些。
转载于:https://www.cnblogs.com/xuchunlin/p/9140917.html
魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。
更多推荐
0
0
已为社区贡献4条内容
所有评论(0)