pytorch系列(五):批训练的数据划分
import torchimport torch.utils.data as Data#导入pytorch的数据处理模块#DataLoader是一种处理数据的工具,能够自动处理tensor形式的数据,训练过程中能更好的迭代数据BATCH_SIZE=8#批训练的数据个数#原始数据x=torch.linspace(1,10,10)y=torch.linspace(10,1,10)...
·
import torch
import torch.utils.data as Data#导入pytorch的数据处理模块
#DataLoader是一种处理数据的工具,能够自动处理tensor形式的数据,训练过程中能更好的迭代数据
BATCH_SIZE=8#批训练的数据个数
#原始数据
x=torch.linspace(1,10,10)
y=torch.linspace(10,1,10)
#先将数据集转换成torch能识别的格式 类似于组成torch专门的数据库
torch_dataset=Data.TensorDataset(x,y)
#把torch_dataset放入data_loader
loader=Data.DataLoader(
dataset=torch_dataset,#数据集
batch_size=BATCH_SIZE,#批大小
shuffle=True,#是否洗牌数据
num_workers=2#多个线程或进程同时划分数据
)
#数据划分过程
for epoch in range(3):
for step,(batch_x,batch_y) in enumerate(loader):
#训练过程
#。。。。。。。
#打印划分情况
print('Epoch: ', epoch, '| Step: ', step, '| batch x: ',
batch_x.numpy(), '| batch y: ', batch_y.numpy())
数据划分情况:

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。
更多推荐

所有评论(0)