怎么提升运行deepseek时的cpu占有率,deepseek本地部署运行需要的内存和显存空间
用lm studio,可以设置cpu和gpu工作的线程数,调节到gpu刚好占满gpu独显即 (不能让他借用内存,否则会超级超级慢), cpu拉满,降低精度fp32变fp16。
·
怎么提升运行deepseek时的cpu占有率
猜的方法:
什么设置进程优先级
降低精度fp32变fp16
用lm studio,可以设置cpu和gpu工作的线程数,调节到gpu刚好占满gpu独显即 (不能让他借用内存,否则会超级超级慢), cpu拉满,
deepseek本地部署运行需要的内存和显存空间
1.5b: 2G
7b: 6G
8b: 7G
14b: 10G
32b: 22G
70b:47G
671b:446G
魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。
更多推荐

所有评论(0)