Python数据存储到文件的3种方式
爬虫请求解析后的数据,需要保存下来,才能进行下一步的处理,一般保存数据的方式有如下几种:文件:txt、csv、excel、json等,保存数据量小。关系型数据库:mysql、oracle等,保存数据量大。非关系型数据库:Mongodb、Redis等键值对形式存储数据,保存数据量大。二进制文件:保存爬取的图片、视频、音频等格式数据。首先,爬取豆瓣读书《平凡的世界》的3页短评信息,然后保存到文件中。具
爬虫请求解析后的数据,需要保存下来,才能进行下一步的处理,一般保存数据的方式有如下几种:
- 文件:txt、csv、excel、json等,保存数据量小。
- 关系型数据库:mysql、oracle等,保存数据量大。
- 非关系型数据库:Mongodb、Redis等键值对形式存储数据,保存数据量大。
- 二进制文件:保存爬取的图片、视频、音频等格式数据。
首先,爬取豆瓣读书《平凡的世界》的3页短评信息,然后保存到文件中。
具体代码如下(忽略异常):
爬到评论数据保存到列表中:
1.使用open()方法写入文件
保存数据到txt
将上述爬取的列表数据保存到txt文件:
2.保存数据到csv
CSV(Comma-Separated Values、逗号分隔值或字符分割值)是一种以纯文件方式进行数据记录的存储格式,保存csv文件,需要使用python的内置模块csv。
写入列表或者元组数据: 创建writer对象,使用writerow()写入一行数据,使用writerows()方法写入多行数据。
想要学习Python开发的同学,可以参考成都Python培训班提供的学习大纲;
使用writer对象写入列表数据,示例代码如下:
写入字典数据: 创建DictWriter对象,使用writerow()写入一行数据,使用writerows()方法写入多行数据。
使用 DictWriter 对象写入字典数据,示例代码如下:
将上述爬取到的数据保存到csv文件中:
3.使用pandas保存数据
pandas支持多种文件格式的读写,最常用的就是csv和excel数据的操作,因为直接读取的数据是数据框格式,所以在爬虫、数据分析中使用非常广泛。
一般,将爬取到的数据储存为DataFrame对象(DataFrame 是一个表格或者类似二维数组的结构,它的各行表示一个实例,各列表示一个变量)。 pandas保存数据到excel、csv
pandas保存excel、csv,非常简单,两行代码就可以搞定:

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。
更多推荐
所有评论(0)