【深度学习】基于Transformers的大模型推理框架
基于transformers的大模型推理框架
·
本文旨在介绍基于transformers的decoder-only语言模型的推理框架。与开源推理框架不同的是：
- 本框架没有利用额外的开源推理仓库，仅基于huggingface，transformers，pytorch等原生工具进行推理，适合新手学习大模型推理流程。
- 支持batch推理
- 支持获得各种中间层状态，概率值，生成token等
- 支持选择题形式QA和free-form形式QA任务
代码仓库：github仓库地址
如果你觉得有用，请点一个star。欢迎任何形式的交流
魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。
更多推荐
1
0- 0
已为社区贡献1条内容
所有评论(0)