环境依赖

  • python >= 3.6
  • paddlepaddle >= 2.1
  • paddlenlp 

环境配置

翻译样例

  • transformer机器翻译例子在:PaddleNLP代码库下的examples/machine_translation/transformer/ 下
  • 该例子中提供了预处理后的WMT14ende数据集,首次启动会自动下载数据集到路径“~.paddlenlp/datasets/WMT14ende” 下
  • 注意:该例子中的数据加载“reader.py”代码中直接使用了共享词表模式,没有分别加载src和trg词表

训练

  • 单机单卡训练:                                                                            CUDA_VISIBLE_DEVICES=0 python train.py --config  ./configs/transformer.base.yaml
  • 单机多卡训练:

        # Setting visible devices for training
        export CUDA_VISIBLE_DEVICES=0
        python train.py --config ./configs/transformer.base.yaml

  • 指定数据集训练:
Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐