def train_and_predict(train_input_features, train_outputs, prediction_features):
G = GaussianNB()
G.fit(train_input_features, train_outputs)
y_pred = G.predict(prediction_features)
return y_pred

iris = datasets.load_iris()
X_train, X_test, y_train, y_test = train_test_split(iris.data, iris.target,
test_size=0.3, random_state=0)

y_pred = train_and_predict(X_train, y_train, X_test)

if y_pred is not None:
print(accuracy_score(y_pred,y_test))

#### 鸢尾花分类\_2


原题：[鸢尾花分类\_2\_牛客题霸\_牛客网 (nowcoder.com)](https://bbs.csdn.net/topics/618545628)")


![](https://img-blog.csdnimg.cn/32b7fd0c7087418eb7b77b66ee10c3d7.png)


我使用的是决策树模型，默认参数下该二分类问题准确率还是100%

import numpy as np
from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score
from sklearn.tree import DecisionTreeClassifier

def transform_three2two_cate():
data = datasets.load_iris()
new_data = np.hstack([data.data, data.target[:, np.newaxis]])
new_feat = new_data[new_data[:, -1] != 2][:, :4]
new_label = new_data[new_data[:, -1] != 2][:, -1]
return new_feat, new_label

def train_and_evaluate():
data_X, data_Y = transform_three2two_cate()
train_x, test_x, train_y, test_y = train_test_split(data_X, data_Y, test_size=0.2)
DT = DecisionTreeClassifier()
DT.fit(train_x, train_y)
y_predict = DT.predict(test_x)
print(accuracy_score(y_predict, test_y))

if name == “main”:
train_and_evaluate()

#### 信息熵的计算


原题：[决策树的生成与训练-信息熵的计算\_牛客题霸\_牛客网 (nowcoder.com)](https://bbs.csdn.net/topics/618545628)")


![](https://img-blog.csdnimg.cn/c0500c1bc4db40fe8d7c82069585c26a.png)


这道题十分简单，我的做法是把下面的数据转换为numpy的ndarray矩阵取出最后一列，直接套公式：

import numpy as np
import pandas as pd
from collections import Counter

dataSet = pd.read_csv(‘dataSet.csv’, header=None).values[:, -1]

def calcInfoEnt(dataSet):
numEntres = len(dataSet)
cnt = Counter(dataSet) # 计数每个值出现的次数
probability_lst = [1.0 * cnt[i] / numEntres for i in cnt]
return -np.sum([p * np.log2§ for p in probability_lst])

if name == ‘main’:
print(calcInfoEnt(dataSet))

#### 信息增益的计算


原题：[决策树的生成与训练-信息增益\_牛客题霸\_牛客网 (nowcoder.com)](https://bbs.csdn.net/topics/618545628)")


![](https://img-blog.csdnimg.cn/9d05426cb76a4efbb969001c64903ee8.png)

import numpy as np
import pandas as pd
from collections import Counter
import random

dataSet = pd.read_csv(‘dataSet.csv’, header=None).values.T # 转置 5*15数组

def entropy(data): # data 一维数组
numEntres = len(data)
cnt = Counter(data) # 计数每个值出现的次数 Counter({1: 8, 0: 5})
probability_lst = [1.0 * cnt[i] / numEntres for i in cnt]
return -np.sum([p * np.log2§ for p in probability_lst]) # 返回信息熵

def calc_max_info_gain(dataSet):
label = np.array(dataSet[-1])
total_entropy = entropy(label)
max_info_gain = [0, 0]

for feature in range(4):  # 4种特征 我命名为特征：0 1 2 3
    f_index = {}
    for idx, v in enumerate(dataSet[feature]):
        if v not in f_index:
            f_index[v] = []
        f_index[v].append(idx)
    f_impurity = 0
    for k in f_index:
        # 根据该特征取值对应的数组下标 取出对应的标签列表 比如分支1有多少个正负例 分支2有...
        f_l = label[f_index[k]]
        f_impurity += entropy(f_l) * len(f_l) / len(label)  # 循环结束得到各分支混杂度的期望

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

https://bbs.csdn.net/topics/618545628)**

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！