一、正规方程是什么?

在这里插入图片描述

二、正规方程与梯度下降的区别

  • 正规方程不需要选择学习率,不需要多次迭代,但是需要计算逆矩阵,当n很大的时候计算很慢
  • 梯度下降需要选择学习率,需要多次迭代,能够很好的在n很大的时候运行
  • 大多数选择梯度下降,因为之后要学的逻辑回归之类的模型需要适用
  • 但是正规方程在n很小的时候很适用,当n不打一万左右可以接受
    在这里插入图片描述

# 当没有逆矩阵的时候 ## 产生原因 * 选取的特征值之间本身就线性不无关,导致矩阵的秩小,没有逆矩阵,我应该合并一些特征 * 样本很少但是每一个样本的特征很多,矩阵没有逆矩阵,我们这时候要做的还是要将特征减小

在这里插入图片描述

总结

这个就是正规方程

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐