特征选择之互信息
对于事件A和事件B同时出现的，一种信息论的描述方法就是互信息，计算方式如下其意义：由于事件A发生与事件B发生相关联而提供的信息量。 在处理分类问题提取特征的时候就可以用互信息来衡量某个特征和特定类别的相关性，如果信息量越大，那么特征和这个类别的相关性越大。反之也是成立的。 以搜狗实验室的语料为例。选取金融，IT产品，体育，娱乐，股票这五个类别，通过互信息
对于事件A和事件B同时出现的，一种信息论的描述方法就是互信息，计算方式如下
其意义：由于事件A发生与事件B发生相关联而提供的信息量。
在处理分类问题提取特征的时候就可以用互信息来衡量某个特征和特定类别的相关性，如果信息量越大，那么特征和这个类别的相关性越大。反之也是成立的。
以搜狗实验室的语料为例。选取金融，IT产品，体育，娱乐，股票这五个类别，通过互信息来选取词来建立空间向量模型。在选取之前需要做的一件事是把那些只在一个类别里的出现过的而且频次非常低的词需要去除，因为这些词注定和某个的互信息会很高而和其他类别的互信息会很低。如下：
通过上表可以明显看出，仅仅用互信息来选词并不是那么理想，为什么呢？仔细分析可以发现，低词频对于互信息的影响还是蛮大的，一个词如果频次不够多，但是又主要出现在某个类别里，那么就会出现较高的互信息，从而给筛选带来噪音。所以为了避免出现这种情况可以采用先对词按照词频排序取然后按照互信息大小进行排序，然后再选择自己想要的词，这样就能比较好的解决找个问题。如下：
魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。
更多推荐
1
0- 0
已为社区贡献1条内容
所有评论(0)