1.系统环境

  • vllm版本
    vllm最近升级到了最新版，查看当前版本可以用如下命令
python -c "import vllm; print(vllm.__version__)"

0.13.0
在这里插入图片描述

  • pythyon版本

在这里插入图片描述

  • 显存

在这里插入图片描述

2.魔塔社区下载通义千问3-32B

地址：通义千问3-32B

在这里插入图片描述

  • 下载命令如下：
modelscope download --model Qwen/Qwen3-32B --local_dir /opt/qwen32b

在这里插入图片描述

在这里插入图片描述

3.模型启动

– 启动命令如下（含开启Function Calling）

vllm serve /opt/qwen32b --tensor-parallel-size 2 --gpu-memory-utilization 0.8 --max-model-len 16000 --enforce-eager --served-model-name qwen3-32b  --trust-remote-code  --enable-auto-tool-choice --tool-call-parser hermes --host 0.0.0.0 > /opt/vllm.log 2>&1 &
echo $! | sudo tee /var/run/vllm.pid

可以把上述命令写进sh脚本里

  • 查看日志启动如下
    在这里插入图片描述
  • 浏览器输入地址 : 查询模型列表 以验证vllm是否成功部署qwen32b模型

在这里插入图片描述

4.dify中配置

4.1 先安装vllm的插件

在这里插入图片描述

4.2 设置中配置vllm添加模型

在这里插入图片描述

  • 模型基本配置如下：

在这里插入图片描述

  • 设置模型的能力：
    在这里插入图片描述

5.dify中测试

5.1 简单构建一个agent

  • 构建一个agent，利用内置的时间工具测试下，当前部署的qwen3-32b是否可以调用工具

在这里插入图片描述

  • 配置工具，有条件的可以用mcp替代

在这里插入图片描述

  • 为了快速响应，关闭qwen3模型的思考模式

在这里插入图片描述

  • 测试如下，时间没问题

在这里插入图片描述

  • 如果有问题，记得选下时区
    在这里插入图片描述
  • 最后，两张卡是并行跑的，新版本的vllm在性能上已经很优秀了
    在这里插入图片描述
Logo
魔乐社区

魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。

更多推荐

cover

全家桶集齐！Qwen3.5四款小模型上线魔乐社区，附昇腾全套实践教程

avatar 魔乐社区

Pont - 搭建前后端之桥：高效、灵活的接口管理工具

Pont 是一款强大的数据服务层解决方案，它能够帮助开发者快速搭建前后端之间的桥梁，实现接口的高效管理和代码自动生成。无论是新手还是有经验的开发者，都能通过 Pont 轻松处理接口文档、生成类型安全的 API 代码，从而显著提升开发效率。[![Pont 工具标志](https://raw.gitcode.com/gh_mirrors/po/pont/raw/3f1b7d4bbba3fd2dda

avatar 魔乐社区

如何快速上手 hvac：HashiCorp Vault Python 客户端零基础入门指南

**hvac** 是 HashiCorp Vault 的 Python 3.X 客户端库，专为开发者提供简单高效的 Vault 交互方式。无论你是需要管理密钥、配置身份验证，还是实现安全的秘密数据存储，hvac 都能帮助你轻松搞定 Vault 的各项操作。本文将带你零基础快速入门，从安装到基础操作，让你在几分钟内即可上手使用这个强大的工具。[![hvac 客户端 Logo](https://r

avatar 魔乐社区