最近爬一个论文网站，使用beautifulsoup和xpath，
根据结点的指向一步步写最后发现返回的response对象的text内容不全。。。
最后发现这个网站的网页是动态的，网页中的内容有些是js异步加载的。
解决方法：selenium
https://editor.csdn.net/md/?articleId=140491486