开源DeepWiki版支持根据现有文件生成微调数据集
OpenDeepWiki新增了微调数据功能,允许用户将生成的项目文档转化为微调数据集,用于优化小型模型在特定场景下的处理能力。通过这一功能,用户可以在不依赖大参数模型的情况下,获得更快的响应速度和针对性的处理效果。操作流程包括创建数据集、选择目录、启动任务和导出数据集,最终生成符合LLaMA-Factory格式的数据集。这一功能为项目文档的高效利用和模型优化提供了新的可能性,欢迎用户加入技术群进行
在现有的OpenDeepWiki基础上,我们对生成的文档增加了微调数据功能。
您可以利用OpenDeepWiki微调数据功能做什么?
通过大模型对我们的项目生成完整的项目文档后,在一些特定场景中,我们其实可以不用大参数的大模型进行处理。我们提出了新的功能,可以对现有文档生成微调数据集。通过这个微调数据集,我们可以对一些小参数模型进行微调,让小模型在特定场景下拥有处理能力,并且响应更快。
如何创建微调数据集
步骤1:访问微调页面
打开您部署的OpenDeepWiki:http://ip:端口/admin/finetune,在这个过程中可能需要登录(默认账户密码 admin/admin)。
打开后将看到以下界面:
步骤2:创建数据集
点击右上角"创建数据集",填写相关信息。您需要自己提供API和Key,然后选择微调生成数据集的模型。提示词模板可以使用默认的,然后点击底部的"创建数据集"。
步骤3:查看数据集
创建完成后,您的数据集列表将多出一条数据,点击"查看"。
步骤4:创建微调任务
进入数据集后,您可以看到选择的仓库文档目录,选择一个目录,然后点击右侧"创建微调任务"。
直接点击"创建"即可,这个任务将绑定到当前选择的目录。
步骤5:启动任务
创建完成后,列表会显示一条数据,点击"启动任务"。
任务开始后会弹窗显示数据实时输出效果,如图所示。可以关闭窗口,再点击"查看"。
步骤6:导出数据集
点击完成查看后,在底部提供了导出数据集的功能。选择导出LLaMA-Factory格式,点击下载完成后即可获得数据集。
通过上面的数据集,我们就可以使用LLaMA-Factory去微调自己的小模型了。
总结
OpenDeepWiki的微调数据功能为用户提供了一种高效的方式,将已生成的项目文档转化为可用于微调小型模型的数据集。这一功能解决了在特定场景下不必依赖大参数模型的问题,通过微调小型模型,可以获得更快的响应速度和针对特定场景的处理能力。
整个过程简单直观:从创建数据集、选择目录、启动任务到最终导出符合LLaMA-Factory格式的数据集,用户可以轻松完成整个工作流程。这为项目文档的高效利用和模型优化提供了新的可能性。
如果您也有类似需求,欢迎加入我们的技术群进行交流。
开源地址:https://github.com/AIDotNet/OpenDeepWiki
vx:wk28u9123456789

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。
更多推荐
所有评论(0)