阿里QwQ-32B本地部署指南:用Ollama轻松运行320亿参数大模型
在本地电脑硬件条件有限情况下,只能部署些参数小点的模型,虽然很多平台也提供了免登录,可以在线把玩满血版的DeepSeek。可我们总是寄望于国内外的这些大厂,能够训练出一个参数小点,且又能比肩。这不,阿里推出了一款可以媲美(671B)的小参数模型——QwQ-32B。QwQ-32BQwQ-32B小钢炮撼动了的“江湖地位”。甭管是QwQ团队的测评结果,还是来自“民间”的吹捧。最终,我们总得自己亲身部署了
本文已首发于 秋码记录
微信公众号:你我杂志刊
如果你也想搭建一个与秋码记录一样的网站,可以浏览我的这篇 国内 gitee.com Pages 下线了,致使众多站长纷纷改用 github、gitlab Pages 托管平台
秋码记录网站使用的主题是开源的,目前只在github.com开源。hugo-theme-kiwi开源地址:https://github.com/zhenqicai/hugo-theme-kiwi
在本地电脑硬件条件有限情况下,只能部署些参数小点的模型,虽然很多平台也提供了免登录,可以在线把玩满血版的DeepSeek。
可我们总是寄望于国内外的这些大厂,能够训练出一个参数小点,且又能比肩DeepSeek满血版。
这不,阿里推出了一款可以媲美DeepSeek满血版(671B)的小参数模型——QwQ-32B。
QwQ-32B一经发布,激起了千层浪,可谓是:QwQ-32B小钢炮撼动了DeepSeek满血版的“江湖地位”。
甭管是QwQ团队的测评结果,还是来自“民间”的吹捧。最终,我们总得自己亲身部署了,方知这款小钢炮是否真的能比肩DeepSeek满血版呢?
下载Ollama
- 访问Ollama官网下载Windows安装包
- 双击执行安装程序,保持默认配置(注意C盘空间)
- 验证安装:
CMD输入ollama -v显示版本号即成功。

下载模型

你得先设置好你的网络,否则是下载不下来的。

安装 page assist 浏览器扩展
首先,我对国内很多人把浏览器扩展说成了浏览器插件,这是错误的,真正的浏览器插件是什么?那是可以改变浏览器内核的一套组件,而不是只修改网页上的内容。
并且,google也都是叫extension(扩展),而插件(plugin)。
可能是我本地模型串家了。

另外,Google昨天发布了Gemma3系列参数的多模态模型,可以在Ollama进行下载。
魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。
更多推荐
所有评论(0)