关于微信公众号爬虫
从去年开始,一直有个爬虫项目,一直无法完成:微信公众号文章。最开始我通过一个付费获取授权的软件来爬取,而且使用后发现确实可行,但当时觉得比较贵(几百块/半年),而且需求不大,就暂时搁置了。后来又尝试过搜狗微信的方式,但搜狗微信的反爬措施也很多,比如频繁的验证码,甚至直接关闭了根据公众号搜文章的功能今天又想起这个事情,就又搜索了一番,可以基本得出结论:可以爬,但是代价很大很大,目前来看不值得。...
·
从去年开始,一直有个爬虫项目,一直无法完成:微信公众号文章。最开始我通过一个付费获取授权的软件来爬取,而且使用后发现确实可行,但当时觉得比较贵(几百块/半年),而且需求不大,就暂时搁置了。后来又尝试过搜狗微信的方式,但搜狗微信的反爬措施也很多,比如频繁的验证码,甚至直接关闭了根据公众号搜文章的功能
今天又想起这个事情,就又搜索了一番,可以基本得出结论:可以爬,但是代价很大很大,目前来看不值得。
如果你和我一样也试图爬取公众号文章,建议先看一下下面一些链接再做决定。
- https://github.com/DropsDevopsOrg/ECommerceCrawlers/tree/master/WechatCrawler
- https://github.com/DropsDevopsOrg/ECommerceCrawlers/wiki/%E5%BE%AE%E4%BF%A1%E5%85%AC%E4%BC%97%E5%8F%B7%E7%88%AC%E5%8F%96%E7%A0%94%E7%A9%B6
- https://github.com/wonderfulsuccess/weixin_crawler
- https://github.com/chyroc/WechatSogou/issues/284
魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。
更多推荐



所有评论(0)