【LLM】从零预训练一个tiny-llama
本次掌握了数据集的预处理,并对预处理后的数据进行训练。了解模型如何基于已有的上下文生成后续 token 的机制。
·
从零预训练一个tiny-llama
参考项目:https://github.com/KMnO4-zx/tiny-llm
数据集:https://www.modelscope.cn/datasets/AI-ModelScope/TinyStories
1. 数据集
2. 数据预处理
3. 训练模型
4. 项目结构介绍
5. 运行项目示例
学习总结
本次掌握了数据集的预处理,并对预处理后的数据进行训练。了解模型如何基于已有的上下文生成后续 token 的机制。
魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。
更多推荐



所有评论(0)