应拆解到循环神经网络沿时间轴方向传播的每一时间步隐藏状态计算过程中进行mask操作,这样才能保证padding补位值的噪声,在反向循环神经网络(双向RNN中的反向部分)中也不混入到输出隐藏状态中。

请添加图片描述

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐