自我知识蒸馏学习论文总结

自我知识蒸馏学习论文总结博主看了几篇有关自我知识蒸馏的论文，大致将self-distillation划分为两类：第一类就是从时间的前后进行蒸馏，即前面几个epochs的模型去蒸馏后面几个epochs的模型；第二类就与Deep Supervision类似，即深层的part去蒸馏浅层的part。针对这两大类，博主各写了一篇原论文的阅读笔记，整合在这里方便阅读和查找，也欢迎大家一起探讨。第一类，Sel

PyBigStar

2074人浏览 · 2021-02-17 11:29:33

PyBigStar · 2021-02-17 11:29:33 发布

自我知识蒸馏学习论文总结

博主看了几篇有关自我知识蒸馏的论文，大致将self-distillation划分为两类：第一类就是从时间的前后进行蒸馏，即前面几个epochs的模型去蒸馏后面几个epochs的模型；第二类就与Deep Supervision类似，即深层的part去蒸馏浅层的part。针对这两大类，博主各写了一篇原论文的阅读笔记，整合在这里方便阅读和查找，也欢迎大家一起探讨。

第一类，Self-Knowledge Distillation: A Simple Way for Better Generalization论文阅读

第二类，Be Your Own Teacher: Improve the Performance of Convolutional Neural Networks via Self Distillation论文阅读

魔乐社区

魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。

更多推荐