本文学习自：https://zhuanlan.zhihu.com/p/31860100

线性回归

1、什么是回归

回归：预测数值型的目标值。
就是用回归方程（regression equation），代入参数后，得出预测值。求回归系数的过程就是回归。
线性回归是输入项乘上一些常量，再将结果相加得到输出。而非线性回归是输入项乘积得到输出。

2、用线性回归找到最佳拟合直线

可以知道线性回归方程y=wx+b
目的就是要求w,b，来使得误差最小（预测值-真实值）。
一般采用平方和误差：

得到w的最优解： （注意xTx 应该是可逆矩阵）

3、局部加权线性回归

线性回归的一个问题是有可能出现欠拟合现象，因为它求的是具有最小均方误差的无偏估计。
所以允许在估计中引入一些偏差，从而降低预测的均方误差。（其中一个方法就是局部加权线性回归LWLR）
LWLR给待预测点附近的每个点赋予一定的权重。
因此求解w的公式变为：

其中w是一个矩阵，来给每一个点赋予权重。
LWLR使用"核"（与支持向量机中的核类似）来对附近的点赋予更高的权重。核的类型可以自由选择，最常用的核就是高斯核，高斯核对应的权重如下：

通过改变k的值，可以调节回归效果。当k越小，拟合效果越好。但是当k过小，会出现过拟合的情况。