直接上代码

x = input("随便输点啥")

哈哈,是的,在百度了半天试了各种解决方法都不行之后,最后还是通过自己随便想的一个方法来简单粗暴地解决问题了。

我的任务是给一堆谷歌学术的链接,然后挨个打开连接,把里面的文章题目和url爬下来。使用selenium的chrome引擎的时候,不知道为啥,只要这个链接打开没有人机验证,后续翻页也不会有,而如果打开就有人机验证,我还没点完就循环到下一个连接了。为了解决这个问题,最后想到加入上面那个代码。

在执行driver.get(url)之后,加入输入等待,如果这时有人机验证,等我点完,再随便输入点啥,然后开始这个链接的爬取,然后爬完了等下一个连接看是不是会有人机验证。

缺点是不能完全自动,适合一些工作量不大的爬虫任务,可以玩着手机随时看两眼。

...
for url in urls:
    ...
    driver.get(url)
    x = input("随便输点啥")
    ...

 

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐