【ML】神经网络学习笔记_03 权值初始化、正则化

神经网络学习笔记_03六、权值初始化1. 为什么要进行权值初始化2.权值初始化的方法七、正则化六、权值初始化1. 为什么要进行权值初始化2.权值初始化的方法手写太累了，打字吧。。。七、正则化Regularization（正则化）是减小方差的策略，可以通俗理解为减轻过拟合的策略。误差可以分解为：偏差、方差和噪声之和。即误差= 偏差 + 方差 + 噪声偏差度量了学习算法的期望预测与真实结果之间的偏离程

恒天1020

357人浏览 · 2021-10-02 13:50:33

恒天1020 · 2021-10-02 13:50:33 发布

神经网络学习笔记_03

六、权值初始化
- 1. 为什么要进行权值初始化
- 2.权值初始化的方法
七、正则化方法

六、权值初始化

1. 为什么要进行权值初始化

在这里插入图片描述

2.权值初始化的方法

在这里插入图片描述
Kaiming初始化方法也是根据神经网络中输入神经元与输出神经元的个数来控制标准差的一种方法，这里没有过多介绍。

七、正则化方法

由于csdn的编辑器上无法显示数学公式的编码，这里以图片的形式上传。
在这里插入图片描述

魔乐社区

魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。

更多推荐

小参数・大码力・易部署 | Qwen3.6-27B上线魔乐社区，基于昇腾的部署教程来了

继一周前模型开源发布后，千问再度开源Qwen3.6-27B —— 一个拥有270亿参数的稠密多模态模型，也是社区呼声最高的模型规格。Qwen3.6-27B 依然支持多模态思考与非思考模式，在智能体编程方面达到了旗舰级表现，全面超越前代开源旗舰 Qwen3.5-397B-A17B（总参数397B / 激活参数17B的MoE模型）。作为稠密架构，它无需MoE路由即可部署，是开发者在实用、可广泛部署规模