Knn(k-Nearest Neighbor)学习是一种常用的监督学习方法，采用的"近朱则赤，近墨则黑"的思想，给定测试样本，基于某种距离度量找出训练集中与其靠近的k个训练样本，然后基于k个"邻居"的信息来进行预测，通常用"投票法"来预测结果。

Knn学习是"懒惰学习"的代表，它的训练阶段只是把样本保存起来，训练开销为0，待收到测试样本后再进行处理。

本文介绍一种Knn的简单手写数字识别算法，首先明确手写的数字是在128x128的画板上。

图1：手写示例

算法步骤：

1. 在128x128画板下绘制0-9各100张训练样本;

2. 归一化到32x32大小图像。

图2：手写示例

图3：归一化示例

3. 提取特征，这里只讲简单特征，提取图像的目标值和，图像上半部分目标之和，图像下半部分目标之和，第一个特征v1为上半和除以总和，第二个特征v2为下半和除以总和。

图4：总和

图5：上半和

图6：下半和

4. 将训练样本分别提取特征，做成1000x3的矩阵。第一列为特征v1，第二列为特征v2，第三列为类别，0-9的数字。

5. 测试样本按3提取特征v1,v2，与训练样本特征矩阵的前两列求距离，选出欧氏距离最小的10组，统计他们的类别，最多的类别如大于5，则确定为该类别。

图7：识别