• 文本分类的基本任务是什么？
• 将文本划分到特定的主题下，例如政治、经济、体育等
  分类步骤
  Step 1：预处理
  Step 2：文本表示
  Step 3：分类模型
  Step 4：评价
  其它：特征选择
  预处理
  依据具体的文本形式及任务而定：
  – 去除 HTML （or other）标签
  – Stop-words（停用词）:
  • 高频词往往携带较少信息
  • E.g.， “a，an，the，this，for，at，on“ ， ”的，得，地， 这，尽管，但是” etc。
  – Word stemming（词干）:
  • 词的后缀及变形处理
  • 将具有相同概念意义的词进行合并，例如 walk， walker， walked， and walking
  文本表示
  可以使用常见的 向量空间模型（VSM）来进行文本表示。
• 将文本表示为由词条构成的向量
• 理论上假设词条之间统计独立（不考虑词在文 本中的出现顺序），即文本是由词构成的词集 合（词袋， bag-of-words ）
  文档-词条矩阵 A=（aik）
  – 每个文档表示为由词构成的列向量
  – aik 表示词 k 在文档 i 中的权重
  

感觉说法有点问题，应该是每个文档表示为由词构成的行向量，PPT 可能有点问题？
现在说明几种 aik 的权重计算方式：
符号说明：

预处理后文档集合包含的词条个数

1. 布尔权重：
   如果词在文档中出现，则权重为1；否则为0
2. 词条频次权重(term frequency weighting, tf)
   使用词条在文档中的出现次数作为词的权重
3. 逆文档频次(inverse document frequency, idf)
   考虑包含某词条的文档个数
   aik ∝ 1/nk
4. tf - idf 权重
   同时考虑词条频次和逆文档频次
   $$a_{ik}=f_{ik}\ast log(\frac{N}{n_k})$$
   分类模型
   最近邻分类器
   基于样例的方法，最近邻分类（有监督的学习）
   定义两个样本点之间的距离函数
   将新的样本划分到距离它最近的样本（最近邻）所属的类别 中
   由于单纯的以最近的作为分类，很容易过拟合，因此可以考虑KNN
   KNN
   下面说明KNN算法步骤：
5. 选择参数K
6. 计算未知实例与所有已知实例的距离（可选择多种计算距离的方式，eg：欧氏距离，余弦距离）
7. 选择最近的K个已知实例
8. 根据少数服从多数多数的投票法则，让未知实例归类为K个最邻近样本中最多数的类别
   朴素贝叶斯模型
   给定类别C，假设变量X1,X2,X3…Xn之间相互独立
   即：
   $$P(X_1{X}_2...X_n|C)=P(X_1|C)P(X_2|C)...P(X_n|C)$$
   
   

一定要结合矩阵进行理解！