为什么除了训练集要划分测试集和验证集
·
假设有1000条已经标注好的数据，取其中600条作为训练集，200条作为验证集，200条作为测试集。
3：1：1的比例可以自行调整，三个集合互相不存在交集
训练集作用：设计好的模型通过训练集最优化后的一个集合
验证集作用：通过验证集去选择上一个集合中的最优模型
测试集作用：通过测试集评估选出来的模型的性能
原因：
如果测试集和验证集是同一个集合，或者说同时用一个集合去做模型的选择和模型的评估是没有意义的，因为同一个数据集上选择出来的模型在同一个数据集上表现一定是和先前一样最优的。而我们想要的是模型的泛化能力，即样本外的情况，因此要划分为两个数据集。
魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。
更多推荐
0
0- 0
已为社区贡献2条内容
所有评论(0)