机器学习（4）正规方程
正规方程正规方程的介绍梯度下降算法通过不断迭代调整θ值，使得损失函数J(θ)最终收敛，最终得到最佳匹配数据的函数。而正规方程法则是直接求出θ值。1.直接法：比较直接的是通过求偏导得到θ值。如下图：这种方法很明显有很大的缺陷。适用于特征量比较少的问题，即变量θ比较少时，比较方便。但是在实际问题中，一个模型的特征量可能有几百，几万个，这时候求偏导就不方便了。2.正规方程：直接把变量θ看成实数，而正规方
正规方程
正规方程的介绍
梯度下降算法通过不断迭代调整θ值，使得损失函数J(θ)最终收敛，最终得到最佳匹配数据的函数。而正规方程法则是直接求出θ值。
1.直接法：
比较直接的是通过求偏导得到θ值。如下图：
这种方法很明显有很大的缺陷。适用于特征量比较少的问题，即变量θ比较少时，比较方便。但是在实际问题中，一个模型的特征量可能有几百，几万个，这时候求偏导就不方便了。
2.正规方程：
直接把变量θ看成实数，而正规方程则是通过向量来求解问题。举个例子：
构建两个 X,y的矩阵。而向量θ的求解公式为：
通过正规方程求解时，无需对特征量进行特征放缩。
梯度下降和正规方程的选择
梯度下降的优缺点：
缺点：
需要选择合适的学习率α。
需要迭代很多次，每次迭代都需要遍历整个样本集。
优点：
当特征量比较大，比如百万级时都能顺利求解。
正规方程的优缺点：
优点：
无需选择学习率α。
无需迭代。
缺点：
需要计算X的转置和X乘积的逆，当n比较大时，计算会很慢。
总结
当特征量在一万以下，建议使用特征方程法。高于这个量级根据配置酌情考虑。
魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。
更多推荐
0
0- 0
已为社区贡献4条内容
所有评论(0)