量化模型和蒸馏模型理解|| UE生成llamafactory训练样样本
·
量化模型和蒸馏模型理解
量化：部分参数高精度降低至低精度，节省存储空间，减少推理时间。会损失信息。（降低参数精度。降参。）
蒸馏：在同样输入的情况下，根据高参数模型的输出，去调教低参数模型的输出，直至低参数模型的输出与高参数的模型输出结果相似。同样的，能节省存储空间，减少推理时间。（模仿高参模型行为。模仿。）
————
UE生成llamafactory训练样样本
UE生成的优点是。。。熟悉UE和UE允许加载CSV为数据表行。
CSV，QA为例：
1.UE加载CSV
2.数据表行读取排列QA数组
3. 按格式输出
4.最好找一个json检验网站，校验和格式化和。
网站推荐：
魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。
更多推荐
5
0- 0
已为社区贡献3条内容
所有评论(0)