0.前言

        数据需要处理成与大模型输入相同类型的数据,从csv文件读出后,想要转换成json文件,看了好多资料都是把整个list写入了json,并不是我想要的格式,这里记录一下最后的按行写入的格式。

1.list转json

import json
# 构建一个列表,包含多个字典元素
new_data = [
    {"content": "aaaa", "summary": "new aaaa"},
    {"content": "bbbb", "summary": "new bbbb"},
]
# 输出文件名
output_file = "output.json"
# 将列表写入到 JSON 文件中,每个元素为一行
with open(output_file, 'w', encoding='utf-8') as f:
    for item in new_data:
        json.dump(item, f, ensure_ascii=False)
        f.write('\n')

        这样操作,最后的json文件才会是这个格式

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐