归一化(数据预处理)
·
归一化的目的:
每个维度可能对应的数量及不同,例如年龄和收入,我们线性回归公式![]()
在计算机看来X1和X2并没有数量级的不同,都是一样的数据,不理解其中的含义所以
θ1X1 = θ2X2,那么X1远远小于X2的话,有公式看来,θ1就远远大于θ2。

那么有图像就可以看出来θ1要优化的距离就远远大于θ2要优化的距离。
产生矛盾:
因为X1 << X2
那么θ1要调整的距离就远远大于θ2要调整的距离,
由公式
![]()
得g1远远小于g2,
那么有梯度下降的公式可得η*g1 远远小于 η*g2
那么θ1调整的幅度就远远小于θ2调整的幅度!!
归一化要做的就是各个特征维度X1...Xn的数量及做到统一,做到无量纲化。
总结:theta1远远小于theta2,但是theta1调整的幅度却远远大于theta2调整的幅度。
那么theta2要迭代更多的次数才能收敛,但是我们希望theta1和theta2可以同时收敛。
归一化可以是各个维度尽量同时收敛。
归一化副产品:提高分类精度
魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。
更多推荐


所有评论(0)