受控文本生成的总结
受控文本的理解，持续更新
**
受控文本生成
**
受控文本生成简单可分为主题控制、情感控制、毒性控制、风格控制。
Conditional Language Model 和 Plug and Play Language Model 可以说是让受控文本生成的里程碑式模型。如下图是两种模型的根据。
2021年的GEDI取得了很好的控制生成效果，感兴趣的可以读一下原文*GeDi: Generative Discriminator Guided Sequence Generation*
文中提出用小的语言模型作为生成式判别器来指引大型的语言模型更加安全和可控。文中对主题控制、情感控制、毒性控制，都进行了实验。
模型的示意如下图：
以期望的属性或控制代码为条件，而另一个以不期望的属性或反控制代码为条件。在生成中，不仅希望积极的词汇概率更高，还希望消极的词汇概率更低。在主题生成时，正确的主题是true标签，错误的主题是false标签。
以上仅限于作者的理解，持续更新。
参考文献
[1]: GeDi: Generative Discriminator Guided Sequence Generation
[2]: A Plug-and-Play Method for Controlled Text Generation
[3]: CTRL: A Conditional Transformer Language Model for Controllable Generation
魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。
更多推荐
1
0- 0
已为社区贡献2条内容
所有评论(0)