基于激活推理的云边计算中大型语言模型推理任务卸载与资源分配方法
摘要：随着大型语言模型应用在移动设备上的普及和需求的增加，资源有限的移动终端难以高效地执行大型模型推理任务。传统的基于深度强化学习（DRL）的方法已被用于将大型语言模型（LLMs）推理任务卸载到服务器上。然而，现有的DRL解决方案存在数据效率低下、对延迟要求不敏感以及对任务负载变化适应性差等问题，这将降低LLMs的性能。在本文中，我们提出了一种基于主动推理的大型语言模型推理任务卸载和云边计算资源分
题目：Large Language Models (LLMs) Inference Offloading and Resource Allocation in Cloud-Edge Computing: An Active Inference Approach
摘要：随着大型语言模型应用在移动设备上的普及和需求的增加，资源有限的移动终端难以高效地执行大型模型推理任务。传统的基于深度强化学习（DRL）的方法已被用于将大型语言模型（LLMs）推理任务卸载到服务器上。然而，现有的DRL解决方案存在数据效率低下、对延迟要求不敏感以及对任务负载变化适应性差等问题，这将降低LLMs的性能。在本文中，我们提出了一种基于主动推理的大型语言模型推理任务卸载和云边计算资源分配的新方法。大量模拟结果表明，我们提出的方法在数据利用效率方面优于主流DRL，并且更能适应变化的任务负载场景。
作者：Ying He, Jingcheng Fang, F. Richard Yu, Victor C. Leung
论文PDF：https://ieeexplore.ieee.org/document/10591707
魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。
更多推荐
4
0- 0
已为社区贡献3条内容
所有评论(0)