1 相关链接

ERNIE代码：https://github.com/PaddlePaddle/ERNIE/tree/develop/ERNIE

2 具体使用

2.1 使用步骤

• 下载数据:
  
  下载模型(含配置文件及词典)以及任务数据。
• 解压模型和任务数据，开始训练，执行bash script/run_ChnSentiCorp.sh，附上修改后的run_ChnSentiCorp.sh

set -eux

export FLAGS_sync_nccl_allreduce=1
export CUDA_VISIBLE_DEVICES=0
export TASK_DATA_PATH=/path/to/task_data
export MODEL_PATH=/path/to/ERNIE_STABLE

python -u run_classifier.py \
                   --use_cuda true \
                   --verbose true \
                   --do_train true \
                   --do_val true \
                   --do_test true \
                   --batch_size 24 \
                   --init_pretraining_params ${MODEL_PATH}/params \
                   --train_set ${TASK_DATA_PATH}/chnsenticorp/train.tsv \
                   --dev_set ${TASK_DATA_PATH}/chnsenticorp/dev.tsv \
                   --test_set ${TASK_DATA_PATH}/chnsenticorp/test.tsv \
                   --vocab_path config/vocab.txt \
                   --checkpoints ./checkpoints \
                   --save_steps 1000 \
                   --weight_decay  0.01 \
                   --warmup_proportion 0.0 \
                   --validation_steps 100 \
                   --epoch 10 \
                   --max_seq_len 256 \
                   --ernie_config_path config/ernie_config.json \
                   --learning_rate 5e-5 \
                   --skip_steps 10 \
                   --num_iteration_per_drop_scope 1 \
                   --num_labels 2 \
                   --random_seed 1

• 代码解读
  

2.2 结果

对于简单的中文文本二分类效果还是挺好的。

3 总结

• 百度把基本框架都给搭好了，总体上使用体验还是蛮好的，总之再熟悉下其函数的API就可以利用这些基础模型在中文数据集上大展身手了。