数据处理(txt的提取)
本人用于记录平时用的代码,仅供新手参考!!通常对数据进行处理,如提取txt文件里面的内容,将其分成训练集和测试集,但是测试集需要根据已有的文件名进行挑选,而训练集和测试集也就分开了。首先,将测试数据里面的文件名进行提取,然后根据该文件同已有的txt进行对比,再对其保存输出即代码如下:import sysimport jsonimport osfp = open("ttl.txt", "r")sam
·
本人用于记录平时用的代码,仅供新手参考!!
通常对数据进行处理,如提取txt文件里面的内容,将其分成训练集和测试集,但是测试集需要根据已有的文件名进行挑选,而训练集和测试集也就分开了。
首先,将测试数据里面的文件名进行提取,然后根据该文件同已有的txt进行对比,再对其保存输出
即代码如下:
import sys
import json
import os
fp = open("ttl.txt", "r")
sample = fp.readlines()
path_imgs = './valt/'
for files in os.listdir(path_imgs):
img_path = files
with open("valtt.txt", "a") as f:
f.write(str(img_path) + ' ')
with open('valtt.txt','r',encoding='utf-8') as jaf:
data = jaf.readline() #读取数据行
james = data.strip().split(' ')#将数据转换为列表
#print(james)
with open("valt.txt","w",encoding="utf-8") as f_w:
for line in sample:
line = line.strip()
for i in james:
if i in line:
# print(line)
f_w.write(line)
f_w.write('\n')
fp.close()

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。
更多推荐
所有评论(0)