Python爬虫以及数据可视化分析之某站热搜排行榜信息爬取分析_python 爬取taptap热门榜
response=requests.get(url=url,headers=headers)datas=response.json()[‘data’][‘list’]results=[]for data in datas:result={‘标题’:data[‘title’],‘视频分类’:data[‘tname’],‘aid’:data[‘aid’],‘bvid’: data[‘bvid’],‘视
## 二,发送请求

response=requests.get(url=url,headers=headers)
## 三, 解析数据

datas=response.json()[‘data’][‘list’]
results=[]
for data in datas:
result={
‘标题’:data[‘title’],
‘视频分类’:data[‘tname’],
‘aid’:data[‘aid’],
‘bvid’: data[‘bvid’],
‘视频描述’: data[‘desc’],
‘视频封面’: data[‘pic’],
‘up主’: data[‘owner’][‘name’],
‘视频链接’: data[‘short_link’],
‘投币数’: data[‘stat’][‘coin’],
‘收藏数’: data[‘stat’][‘favorite’],
‘弹幕数’: data[‘stat’][‘danmaku’],
‘喜欢数’: data[‘stat’][‘like’],
‘观看数’: data[‘stat’][‘view’],
‘分享数’: data[‘stat’][‘share’],
}
results.append(result)

## 四, 保存数据
import pandas as pd
df=pd.DataFrame(results)
df.to_excel(“某站数据01.xlsx”,index=False)
]
## pyecharts进行可视化
爬虫到这里就结束了,接下来,我们就通过pyecharts进行可视化吧
先进行数据读取
import pandas as pd
data=pd.read_excel(“./B站.xlsx”)
print(data)
### “某站”数据排名前10视频类型
from pyecharts.charts import Bar
from pyecharts import options as opts
bar = (Bar()
.add_xaxis(sp_data)
.add_yaxis(‘’,sl_data)
.set_global_opts(title_opts=opts.TitleOpts(title=“B站数据排名前10视频类型”),xaxis_opts=opts.AxisOpts(name_rotate=0,name=“品牌名”,axislabel_opts={“rotate”:60}))
)
bar.render_notebook()

from pyecharts.charts import Bar
from pyecharts import options as opts
bar = (Bar()
.add_xaxis(sp_data)
.add_yaxis(‘’,sl_data)
.reversal_axis()
.set_global_opts(title_opts=opts.TitleOpts(title=“B站数据排名前10视频类型”),xaxis_opts=opts.AxisOpts(name_rotate=0,name=“品牌名”,axislabel_opts={“rotate”:60}))
)
bar.render_notebook()

### “某站”标题标签可视化
from pyecharts import options as opts
from pyecharts.charts import Page, WordCloud
from pyecharts.globals import SymbolType
def wordcloud_base() -> WordCloud:
c = (
WordCloud()
.add(“”, most_common_words, word_size_range=[20, 100])
.set_global_opts(title_opts=opts.TitleOpts(title=“B站标题标签可视化”))
)
return c
wd = wordcloud_base()
wd.render_notebook()

### “某站”喜欢视频分类概况
from pyecharts.charts import Line
line = (Line()
.add_xaxis(rea)
.add_yaxis(‘’,res)
.set_global_opts(title_opts=opts.TitleOpts(title=“B站喜欢视频分类概况”, subtitle=“喜欢数”),xaxis_opts=opts.AxisOpts(name_rotate=0,name=“分类”,axislabel_opts={“rotate”:60}))
)
line.render_notebook()

## 总结
### 最后
> **🍅 硬核资料**:关注即可领取PPT模板、简历模板、行业经典书籍PDF。
> **🍅 技术互助**:技术群大佬指点迷津,你的问题可能不是问题,求资源在群里喊一声。
> **🍅 面试题库**:由技术群里的小伙伴们共同投稿,热乎的大厂面试真题,持续更新中。
> **🍅 知识体系**:含编程语言、算法、大数据生态圈组件(Mysql、Hive、Spark、Flink)、数据仓库、Python、前端等等。
**网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。**
**[需要这份系统化学习资料的朋友,可以戳这里无偿获取](https://bbs.csdn.net/topics/618317507)**
**一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!**
魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。
更多推荐

所有评论(0)