1.简介

本文根据2020年《wav2vec 2.0: A Framework for Self-Supervised Learning of Speech Representations》翻译总结的。

是Facebook AI继wav2vec 、VQ-WAV2VEC后的创作。wav2vec 2.0采用了预训练、fine-tune思路。

如上图所示，将语音x通过一个多层卷积神经网络进行encode成z，然后对z进行mask，如同BERT中的mask。然后输入到transformer网络构建c。构建c是基于连续语音表示，而不是离散的。而量化q主要用到了对比学习损失函数里，不像VQ-WAV2VEC是量化后才输入到BERT。

在预训练后，模型可以在标签数据上使用Connectionist Temporal Classification (CTC) loss进行fine-tune，应用于下游语音识别任务。

2.模型

1）Encoder：X->Z。 还是卷积网络。
2）Contextualized representations with Transformers：context网络采用transformer结构，而不是卷积网络了。
3）量化模块Quantization module：
对于自监督学习，我们将encoder的输出z进行离散化,凭借product quantization离散到一个有限的集合。相当于从多个码书（codebook）中选择离散化表示，然后连接它们。

3.训练

3.1.Mask

我们将encoder输出的一部分进行mask，然后输入到context 网络。对于量化模型的输入，不进行mask。

3.2.目标函数

3.3.Fine-tuning

可以在预训练模型的context 网络顶部添加一个随机初始化的线性映射层，来表示下游任务的C个词汇类别。

4.结果

如下表，我们的方法（红色）就使用1个小时数据的fine-tune，就好于以前100h（蓝色）的效果。