深度学习中的正则化
·
1.什么是正则化
正则化是机器学习中减少泛化误差的技术，特别是在深度学习模型中，由于模型参数非常多非常容易产生过拟合。
常见的正则化技术：
1.参数增加约束 例如 l1，l2 范数。
2.训练集合扩充 例如 添加噪声，数据变化等。
3.dropout
4.提前停止
训练数据的扩充常见的方法：
1.对图片的处理常见的操作：旋转，缩放，超分辨
2.语音识别中对输入数据添加噪声
3.NLP 中进行近义词替换
4.噪声注入
dropout
1.随机的丢弃一部分输入，丢弃部分的参数不会更新，得到自网络。最后将所有子网络进行合并。
魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。
更多推荐
0
0- 0
已为社区贡献4条内容
所有评论(0)