import torch
import torch.utils.data as Data#导入pytorch的数据处理模块

#DataLoader是一种处理数据的工具,能够自动处理tensor形式的数据,训练过程中能更好的迭代数据

BATCH_SIZE=8#批训练的数据个数

#原始数据
x=torch.linspace(1,10,10)
y=torch.linspace(10,1,10)

#先将数据集转换成torch能识别的格式  类似于组成torch专门的数据库
torch_dataset=Data.TensorDataset(x,y)

#把torch_dataset放入data_loader
loader=Data.DataLoader(
    dataset=torch_dataset,#数据集
    batch_size=BATCH_SIZE,#批大小
    shuffle=True,#是否洗牌数据
    num_workers=2#多个线程或进程同时划分数据
)


#数据划分过程
for epoch in range(3):
    for step,(batch_x,batch_y) in enumerate(loader):
        #训练过程
        #。。。。。。。
        
        #打印划分情况
        print('Epoch: ', epoch, '| Step: ', step, '| batch x: ',
              batch_x.numpy(), '| batch y: ', batch_y.numpy())


数据划分情况:

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐