因为这几天正在学习Transformer模型,所以想用tensorflow_datasets中自带的一个数据集做个小实例,也就是葡萄牙和英语翻译的数据集。

examples, metadata = tfds.load('ted_hrlr_translate/pt_to_en', with_info=True,as_supervised=True)

如果你用这行代码在你的编译器里下载的话,那是非常的慢的。所有我找到了数据的源头把它下载到了本地。可以从它的Github上下载。如果用迅雷下载的话要要稍微快一点。下载后是一个压缩包的形式。这个我们不用动它。

但就是从本地导入花了我好长的时间,不管我怎么设置路径它都会给我报错说没找到该路径下的文件。从网上找了半天也没找到好的解决办法。后来在偶然注意到了这个downloads文件
在这里插入图片描述
我就打开这个文件夹,发现里面有好多文件都是我要下载的那个文件,就是图里面最下面的文件。上面的文件是最后下载成功生成的。
在这里插入图片描述
我打开下面那两个文件发现里面是个压缩包,正好就是我从Github下载的那个压缩包。然后我就把downsloads中的所有文件都删除了,再重新运行了这个代码

examples, metadata = tfds.load('ted_hrlr_translate/pt_to_en', with_info=True,as_supervised=True)

运行后就又会生成一个如上图的文件夹,我们把我们从Github下载的那个压缩包代替掉它里面的压缩包(名字都不用该),这就相当与我提前下载好了你要的文件,这时候代码肯定会报错的。不过没关系。我们再重新运行代码。系统就会检测到你已经下载好了,所以就会直接加载你这个压缩包就不用再下载了。这样就OK了。

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐