面向生产环境的大语言模型联邦学习
摘要：随着对大型语言模型（LLMs）研究兴趣的激增，一个自然的问题是如何对预训练的LLMs进行微调，以满足企业和个人用户的特定需求，同时保护微调过程中所使用数据的隐私。本文提出了一种名为TITANIC的新型分布式训练范式，允许LLMs在生成私人数据的客户端设备上直接进行隐私保护的微调，同时满足计算和通信带宽的资源限制。我们的实验结果表明，TITANIC在训练性能方面优于传统的联邦学习，同时保护了数
摘要：随着对大型语言模型（LLMs）研究兴趣的激增，一个自然的问题是如何对预训练的LLMs进行微调，以满足企业和个人用户的特定需求，同时保护微调过程中所使用数据的隐私。从隐私角度来看，将私人数据发送到云数据中心进行微调显然是不可接受的；而传统的联邦学习要求每个客户端执行本地训练，对于涉及数十亿参数的LLMs来说，在计算成本和通信开销方面是不可行的。本文提出了一种名为TITANIC的新型分布式训练范式，允许LLMs在生成私人数据的客户端设备上直接进行隐私保护的微调，同时满足计算和通信带宽的资源限制。TITANIC首先通过一个高效的整数优化问题的解决方案，优化选择一部分客户端，然后将LLM分割到多个客户端设备上，最终以无或最小的训练性能损失进行模型微调。TITANIC设计的主要关注点是其在现实系统中的可行性：它首先是为生产质量系统设计的，具有完全自动化的模型无关分区机制。我们的实验结果表明，TITANIC在训练性能方面优于传统的联邦学习，同时保护了数据隐私，并满足所有本地计算和带宽资源的限制。
题目：TITANIC: Towards Production Federated Learning with Large Language Models
作者：Ningxin Su, Chenghao Hu, Baochun Li, Bo Li
链接：https://ningxinsu.github.io/assets/infocom24.pdf
魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。
更多推荐
2
0- 0
已为社区贡献3条内容
所有评论(0)