1. 当前提取音频特征的种类

请添加图片描述

  1. 其中使用 filter Bank output 作为输入特征的研究工作最多 , 作为首选;

  2. Mel 系数的作为为第二;

  3. 语谱图和Mel sepctgram;

2. 音频 转为特征向量表示

请添加图片描述

请添加图片描述

3. 音频网络 - conformer

绝对位置编码,相对位置编码, 两者之间选择 选择相对位置编码;

  1. 将 tranformer 中的 FC 拆成两个部分,分别放在 上下 两个部位;

  2. 中间加入CNN 模块请添加图片描述

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐