机器学习算法–SVM

读书笔记

支持向量机（support vector machine）是监督学习中最有影响力的方法之一。类似于逻辑回归，这个模型也是基于线性函数$w^{T}x+b$的。不同于逻辑回归的是，支持向量机不输出概率，只输出类别。$$f(x)=sign(w^{T}x+b)$$
当$w^{T}x+b$为正时，预测为正类，否则为负类。

支持向量机的主要思想是基于训练样本集$D=(x_1,y_1),(x_2,y_2),...,(x_m,y_m),y_i\in -1,1$在样本空间找到一个划分超平面，将不同类别的样本分开。这个超平面就是$w^{T}x+b=0$。对于不同的划分超平面而言，其效果也是不同的。很明显，在图中粗线条的超平面从鲁棒性以及防止过拟合的能力上要优于其余超平面。

求样本空间中的点到超平面的距离，公式如下：$$d=\frac{|w^{T}x+b|}{||w||}$$
其中$||w||$表示$L_2范数$。

假设超平面$(w,b)$能够将训练样本正确分类，即对于$(x_i,y_i)\in D$，若$y_i=+1$，则有$w^T{x}_i+b>0$；若$y_i=-1$，则有$w^T{x}_i+b<0$。
$$\{\begin{array}{c}{w}^T{x}_i+b\ge +1,y_i=+1;\\ w^T{x}_i+b\le 0,y_i=-1\end{array}$$
如图所示，距离超平面最近的这几个训练样本点使得上式成立，它们被称为“支持向量”(support vector)，两个异类支持向量到超平面的距离之和为$$\gamma =\frac{2}{||w||}$$
它被称为“间隔”。

所以，我们的最优化问题为
$$\underset{w,b}{\max }\frac{2}{||w||}s.t.y_i(w^T{x}_i+b)\ge 1,i=1,2,...,m$$
该最优化问题等价于：
$$\underset{w,b}{\min }\frac{1}{2}||w|{|}^{2}s.t.y_i(w^T{x}_i+b)\ge 1,i=1,2,...,m$$

上述内容就是支持向量机的基本理论。