自学笔记1--爬虫分析中国人民银行货币政策报告1
·
看Python爬虫这么火,自学一下,搞个小项目练练手。
目标爬下每个季度的中国人民银行货币政策执行报告,分析其中看上去最重要的“中国宏观经济形势”和“下一阶段主要政策思路”,分析其每个自然段的第一句话的变化情况。结合利率市场和M2投放量数据看看相互间的关系,写一篇知乎文章出来。
这个项目以为比较简单的,但是实施起来发现难度很大。。。主要还是我太水。。。
主体需要做的内容,首先从 央行官网把政策报告都下载下来,然后pdfminer把PDF转成文本,分析其中文本。
主要遇上的坑:
1. 直接用beautifulsoup似乎不行,findall("a")一个链接都没找到,诡异的很。只好换了selenium。
2. 很多教材上都是用selenium+phantomJS,然后phantomJS已经不更新了。换用Chromedriver解决。
原先以为内容分析难一点,所以爬虫是后做的。下面一行命令
pdf2txt.py samples/simple1.pdf
就可以输出TXT格式,现在还没批量搞,所以没用更高级的方法。
拿到TXT之后读入,思路就是找到第二次出现“一、中国宏观经济展望”的位置,然后读到尾。似乎每个自然段都是“句号+空格+回车”结束的。所以以此分割之后,把50字以内的自然段扔掉。第一个句号前面的就是第一句了。
魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。
更多推荐


所有评论(0)