【Python网络爬虫 常见问题汇总】
·
1. 爬取图片出现403
问题出自案例9,已解决。
当在爬取图库图片时遇到 403 错误(通常表示禁止访问,可能是由于图片防盗链机制)
已获取到图片链接,但是无法打开和下载图片,显示如下:

解决办法:
解决办法:设置请求头中的Referer字段
许多网站的防盗链机制会检查Referer字段,确保请求来自于其自身页面。你可以尝试在请求图片时设置正确的Referer值,例如将其设置为图片所在页面的 URL。在download_images函数中,在请求图片之前添加以下代码:
headers['Referer'] = link
注意,在下载图片的代码中补充get参数
原代码:

修改后的代码增加了headers

2.关于干坏事的问题
博主是个菜鸡,一点也干不了。

后续不定期更新 欢迎共同探讨学习进步

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。
更多推荐


所有评论(0)