测试了一下笔记本电脑AMD 8845HS的780M核显是否能本地部署deepseek大模型。

测试软件环境:LM Studio 0.3.9 、Windows 11 24H2

硬件:荣耀X16笔记本

CPU:AMD 8845HS

显卡:780M核显,显存为共享内存自动分配模式,最大8G。

内存:16G

共测试成功了下列模型(最后是文件大小):

DeepSeek R1 Distill Llama 8B GGUF 6.14 GB
DeepSeek R1 Distill Llama 8B GGUF 7.95 GB
DeepSeek R1 Distill Qwen 1.5B GGUF 1.76 GB
DeepSeek R1 Distill Qwen 7B GGUF 4.36 GB
DeepSeek R1 Distill Qwen 7B GGUF 5.82 GB
Qwen2.5 7B Instruct 1M Q6_K GGUF 5.82 GB
Qwen2.5 7B Instruct 1M GGUF 7.54 GB
Nomic Embed Text v1.5Q GGUF 80.21 MB

结论:只能跑8B以下的模型,更大的模型会加载失败。从速度和应用的角度最理想的是7B,文件大小在6G以内。

下图为测试1.5B的效果。

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐