python 3.7
pytorch 1.1
tqdm
sklearn
tensorboardX

数据集：

我们豆瓣评论数据集为DMSC.csv格式，而原项目的数据集是从THUCNews中抽取了20万条新闻标题，文本长度在20到30之间。一共10个类别，每类2万条。数据以字为单位输入模型。

THUCNews
├── data
│   ├── train.txt    # 训练集数据
│   ├── test.txt     # 测试数据
│   ├── dev.txt     # 验证数据
│   └── class.txt  # 数据类别
└── saved_dict

所以我们接下来需要将豆瓣评论数据进行预处理并保存成一样的格式。

代码：

TextClassifier文件夹下包含三个主要的函数以及models和bert_pretrian文件夹，models文件夹下包含bert.py以及ernie.py，bert_pretrian文件夹中包含预训练模型。bert.py以及ernie.py里面可以设置模型以及训练参数。run.py为主函数，在这里设置参数，进行模型训练。train_eval.py里面是写好定的具体训练函数。通过predict.py进行数据分类预测。

具体代码分析且看下文分解！！！

TextClassifier
├── models
│   ├── bert.py    # bert模型
│   └── ernie.py  # ernie模型

├── bert_pretrain   #预训练模型
│   ├── bert_config.json    
│   ├── pytorch_model.bin     
│   └── vocab.txt

├── run.py

├── predict.py
└── train_eval.py

算法流程：

二、文本处理

1.加载数据

由于豆瓣数据为DMSC.csv格式，所以我们通过pd.read_csv函数读取数据，该函数是用来读取csv格式的文件，将表格数据转化成dataframe格式。

#读取数据
data = pd.read_csv('DMSC.csv')
#观察数据格式
data.head()
#输出数据的一些相关信息
data.info()
#只保留数据中我们需要的两列：Comment列和Star列
data = data[['Comment','Star']]
#观察新的数据的格式
data.head()

输出结果：

	Comment	Star
0	连奥创都知道整容要去韩国。	3
1	“一个没有黑暗面的人不值得信任。” 第二部剥去冗长的铺垫，开场即高潮、一直到结束，会有人觉…	4
2	奥创弱爆了弱爆了弱爆了啊！！！！！！	2
3	与第一集不同，承上启下，阴郁严肃，但也不会不好看啊，除非本来就不喜欢漫威电影。场面更加宏大…	4
4	看毕，我激动地对友人说，等等奥创要来毁灭台北怎么办厚，她拍了拍我肩膀，没事，反正你买了两份…	5

2. 文本预处理

由于一开始送训练数据进入BERT时，提示出现空白字符无法转换以及label标签范围不符合的问题，所以再一次将数据进行预处理，将空白去除以及标签为评分减一。

def clear_character(sentence):
    new_sentence=''.join(sentence.split()) #去除空白
    return new_sentence
data["comment_processed"]=data['Comment'].apply(clear_character)
data['label']=data['Star']-1
data.head()

输出结果：

	Comment	Star	comment_processed	label
0	连奥创都知道整容要去韩国。	3	连奥创都知道整容要去韩国。	2
1	“一个没有黑暗面的人不值得信任。” 第二部剥去冗长的铺垫，开场即高潮、一直到结束，会有人觉…	4	“一个没有黑暗面的人不值得信任。”第二部剥去冗长的铺垫，开场即高潮、一直到结束，会有人觉得只…	3
2	奥创弱爆了弱爆了弱爆了啊！！！！！！	2	奥创弱爆了弱爆了弱爆了啊！！！！！！	1
3	与第一集不同，承上启下，阴郁严肃，但也不会不好看啊，除非本来就不喜欢漫威电影。场面更加宏大…	4	与第一集不同，承上启下，阴郁严肃，但也不会不好看啊，除非本来就不喜欢漫威电影。场面更加宏大，…	3
4	看毕，我激动地对友人说，等等奥创要来毁灭台北怎么办厚，她拍了拍我肩膀，没事，反正你买了两份…	5	看毕，我激动地对友人说，等等奥创要来毁灭台北怎么办厚，她拍了拍我肩膀，没事，反正你买了两份旅…	4

3.划分训练集和测试集

通过train_test_split()函数进行数据集的划分。

from sklearn.model_selection import train_test_split
X = data[['comment_processed','label']]
test_ratio = 0.2
comments_train, comments_test = train_test_split(X,test_size=test_ratio, random_state=0)
print(comments_train.head(),comments_test.head)

4.保存txt格式

由于BERT里面的存储格式为txt以及文本加标签，所以通过dataframe.to_csv函数存储。

comments_train.to_csv('train.txt', sep='\t', index=False,header=False)
comments_test.to_csv('test.txt', sep='\t', index=False,header=False)

输出结果：

三、BERT模型

1. 特征转换

在run.py中先将保存好的训练数据、测试数据、验证数据转化为BERT向量。

print("Loading data...")
train_data, dev_data, test_data = build_dataset(config)
train_iter = build_iterator(train_data, config)
dev_iter = build_iterator(dev_data, config)
test_iter = build_iterator(test_data, config)
time_dif = get_time_dif(start_time)
print("Time usage:", time_dif)

def load_dataset(path, pad_size=32):
    contents = []
    with open(path, 'r', encoding='UTF-8') as f:      # 读取数据
        for line in tqdm(f):
            lin = line.strip()
            if not lin:
                continue
            if len(lin.split('\t')) == 2:
                content, label = lin.split('\t')
            token = config.tokenizer.tokenize(content)      # 分词
            token = [CLS] + token                           # 句首加入CLS
            seq_len = len(token)
            mask = []
            token_ids = config.tokenizer.convert_tokens_to_ids(token)

            if pad_size:
                if len(token) < pad_size:
                    mask = [1] * len(token_ids) + [0] * (pad_size - len(token))
                    token_ids += ([0] * (pad_size - len(token)))
                else:
                    mask = [1] * pad_size
                    token_ids = token_ids[:pad_size]
                    seq_len = pad_size
            contents.append((token_ids, int(label), seq_len, mask))
    return contents

调用tokenizer，使用tokenizer分割输入，将数据转换为特征。

特征中包含4个数据：

• **tokens_ids：**分词后每个词语在vocabulary中的id，补全符号对应的id为0，[CLS]和[SEP]的id分别为101和102。应注意的是，在中文BERT模型中，中文分词是基于字而非词的分词。
• **mask：**真实字符/补全字符标识符，真实文本的每个字对应1，补全符号对应0，[CLS]和[SEP]也为1。
• seq_len：句子长度
• label：将label_list中的元素利用字典转换为index标识。

转换特征中一个元素的例子是：

**输入：**剧情有的承接欠缺，画面人设很棒。    3
tokens_ids:[101, 1196, 2658, 3300, 4638, 2824, 2970, 3612, 5375, 8024, 4514, 7481, 782, 6392, 2523, 3472, 511, 0,…,0]
mask:[1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,…,0]
**label:**3
**seq_len:**17

2.模型训练

完成读取数据、特征转换之后，将特征送入模型进行训练。

训练算法为BERT专用的Adam算法

训练集、测试集、验证集比例为6:2:2

每100轮会在验证集上进行验证，并给出相应的准确值，如果准确值大于此前最高分则保存模型参数，否则flags加1。如果flags大于1000，也即连续1000轮模型的性能都没有继续优化，停止训练过程。

for epoch in range(config.num_epochs):
    print('Epoch [{}/{}]'.format(epoch + 1, config.num_epochs))
    for i, (trains, labels) in enumerate(train_iter):

        outputs = model(trains)
        model.zero_grad()
        loss = F.cross_entropy(outputs, labels)
        loss.backward()
        optimizer.step()
        if total_batch % 100 == 0:
            # 每多少轮输出在训练集和验证集上的效果
            true = labels.data.cpu()
            predic = torch.max(outputs.data, 1)[1].cpu()
            train_acc = metrics.accuracy_score(true, predic)
            dev_acc, dev_loss = evaluate(config, model, dev_iter)
            if dev_loss < dev_best_loss:
                dev_best_loss = dev_loss


### 给大家的福利


**零基础入门**


对于从来没有接触过网络安全的同学，我们帮你准备了详细的学习成长路线图。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。


![](https://img-blog.csdnimg.cn/img_convert/95608e9062782d28f4f04f821405d99a.png)


同时每个成长路线对应的板块都有配套的视频提供：


![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/a91b9e8100834e9291cfcf1695d8cd42.png#pic_center)


因篇幅有限，仅展示部分资料

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化资料的朋友，可以点击这里获取](https://bbs.csdn.net/topics/618540462)**

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**