参考博客

深入理解L1、L2正则化
PyTorch 实现L2正则化以及Dropout的操作

正则化介绍

正则化（Regularization）是机器学习中一种常用的技术，其主要目的是控制模型复杂度，减小过拟合。最基本的正则化方法是在原目标（代价）函数 中添加惩罚项，对复杂度高的模型进行“惩罚”。其数学表达形式为：
$\check{J}(w;X,y)=J(w;X,y)+\alpha \Omega (w)$
式中$X,y$为训练样本和相应标签, $w$为权重系数向量; $J()$为目标函数, $\Omega (w)$即为惩罚项, 可理解为模型"规模"的某种度量; 参数$\alpha$控制正则化的强弱. 不同的$\Omega$函数对权重w的最优解有不同的偏好, 因而会产生不同的正则化效果. 最常用的$\Omega$函数有两种, 即$l_1$范数与$l_2$范数, 相应称之为$l_1$正则化和$l_2$正则化.此时有:
$l_1:\Omega (w)=||w|{|}_1={\sum }_i|w_i|$
$l_2:\Omega (w)=||w|{|}_2=\sqrt{{\sum }_i{w}_i^2}$

正则化的实现

在Pytorch中正则化的实现只需要一行代码, 如下:

optimizer = torch.optim.SGD(model.parameters(), \
lr=config.learning_rate, momentum=0.9, weight_decay=0.000001)

在这个函数调用中$weight\_decay=0.001$就是L2范数.