2.线性分类器

---

线性分类器定义

 在机器学习领域，分类的目标是指将具有相似特征的对象聚集。而一个线性分类器则透过特征的线性组合来做出分类决定，以达到此种目的。对象的特征通常被描述为特征值，而在向量中则描述为特征向量。

$$f_i(x,w_i)=w_i^T+b_i$$

(1)$w_i=[{w_i}_1,{w_i}_2,\dots {w_i}_d{]}^T$ 为第i个类别的权值向量
(2)$b_i$为偏置值
(3)决策面：$w_i^T+b_i=0$

损失函数

定义:

 损失函数（loss function）或代价函数（cost function）是将随机事件或其有关随机变量的取值映射为非负实数以表示该随机事件的“风险”或“损失”的函数。

$$L=\frac{1}{N}\sum _i{L}_i(f(x_i,w),y_i)+\lambda R(w)$$
(1)数据损失：$\frac{1}{N}{\sum }_i{L}_i(f(x_i,w),y_i)$
(2)正则损失：λR(w)
(3)超参数：λ
(超参数：在开始学习过程之前设置值的参数，而不是学习得到。)
(4)常见的正则项：

• 
  
• L1正则项：R（w）= ${\sum }_k{\sum }_l|w_{k,l}|$
• 
  
• L2正则项：R（w）= ${\sum }_k{\sum }_l{w}_{k,l}^2$
• 
  
• Elastic net(L1+L2) : R(w) =${\sum }_k{\sum }_l\beta w_{k,l}^2+|w_{k,l}|$
  

优化

1. 梯度下降法
2. 随机梯度下降
3. 小批量随机梯度下降算法

数据集

数据集的子集	作用
训练集	用于给定的超集
验证集	选择超参数
测试集	评估泛化能力

!!!感兴趣的朋友可以参考我的另一篇博客：K折交叉验证

预处理

（1）去均值
（1）归一化
（1）去相关
（1）白化