前言： 我们所了解的监督学习有以下多种，希望都能了解与运用。
        

最近邻与K近邻（NN、KNN）

 
        K近邻（K-Nearest Neighbor）不需要显式的训练过程，它是“懒惰学习”的典型代表，训练时间开销为0。K=1则是最近邻，其中KNN步骤也特别简单：
        
 

加权K近邻（Weighted KNN）

 
        对于之前KNN算法里前K个点的label权重一样，其实是不合理的，越靠近应该可能性越大，而不能权重一样，这时候引入了 加权K近邻。