看书的时候感觉某些公式前后相似度较高，所以放一起比较看看差别在哪。

• 线性回归。

         最小二乘法的回归曲线 fθ(x) 和目标函数 E(θ)。 

        

         标准化（z-score规范化）μ 是均值，σ 是方差。 

        

• 多项式回归。

         最速下降法（梯度下降法）。

        

         多重回归，换成矩阵相乘而不必使用循环遍历。

         

        

        

        

         均方误差。

        

        这个看起来跟回归的目标函数很像，书本有描述。

•  随机梯度下降法。

        

        小批量梯度下降法。

         

• 感知机，判别函数 fw(x) 和更新表达式（括号里面是判别标签和实际标签）。

        

        

         权重向量 ω 和 直线 χ 的内积，和权重向量 ω 是 χ 法线向量的直线方程。

        

•  逻辑回归。

        sigmoid函数。 

        

        似然函数，参数更新表达式。

        

        决策边界

         

• 线性不可分的决策边界。

        

• 模型评估

        精度 Accuracy。

        

        精确率，TP 是 + （Positive）标签被正确分类的 + 标签。FP 是 - （Negative）标签被错误分类为 + 标签。

        

         召回率，FN 是 + 标签被错误分类为 - 标签。

        

        F值，F1值，调和平均值。

        

        带权重的F值，上面的为下面公式权重为 1 时的特例。

        

        K折交叉验证。

        

        令 K = 4，四折交叉验证。

         

• 正则化

        L2正则化。

          

        回归正则化。 

        

        分类正则化。

         负号解释。

        加入正则化后的更新表达式。根据上面的描述，因为将分类的最大化问题换成了最小化问题，所以现在回归和分类都在求最小值，故下面的参数更新可以合并为一个式子表示。

        

        L1正则化。