回到目录

#【部署】dify+ollama部署Qwen3-Embedding-8B

Qwen3-Embedding的使用评测可以参考 【评测】Qwen3-Embedding模型初体验

0. 确认ollama版本 0.9.0+

dify前台加载model报错：
An error occurred during credentials validation: status code 500: {“error”:“unable to load model: /usr/share/ollama/.ollama/models/blobs/sha256-758749433c7954543f308a2bf850e4238c57aeb64834ee36ca6b3b57d33a147c”}
原因：ollama 0.6.0 报错 无法正常加载model：
操作前，务必先把~/.ollama/models/blobs的模型文件备份出来

0.1. 卸载旧版本

$ sudo systemctl stop ollama
$ sudo systemctl disable ollama
$ sudo cp /etc/systemd/system/ollama.service ./
$ sudo rm /etc/systemd/system/ollama.service
$ sudo rm $(which ollama)
$ sudo rm -r /usr/share/ollama
$ sudo rm -rf /usr/lib/ollama
$ sudo rm -rf /usr/local/lib/ollama
$ sudo userdel ollama
$ sudo groupdel ollama

0.2. 升级新版ollama

$ curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz
$ sudo tar -C /usr -xzf ollama-linux-amd64.tgz
$ sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
$ sudo usermod -a -G ollama $(whoami)
$ sudo cp  ./ollama.service /etc/systemd/system/
$ sudo systemctl daemon-reload
$ sudo systemctl enable ollama
$ sudo systemctl start ollama
$ sudo systemctl status ollama

(at 20250815 ollama11.4 修改ollama.service文件 /usr/local/bin/ollama 为 /usr/bin/ollama

1. 下载或者离线部署

在线拉取模型文件

 $ ollama pull modelscope.cn/Qwen/Qwen3-Embedding-8B-GGUF

离线读取模型文件

 $ vi modelfile.mf
FROM Qwen3-embedding-8B
 $ ollama create Qwen3-Embedding-8B -f modelfile.mf

2. 确认模型导入成功

 $ ollama list
NAME                         ID              SIZE      MODIFIED
Qwen3-Embedding-8B:latest    a8857df16156    4.7 GB    46 seconds ago

3. dify模型配置

[图01]

本文结束

回到目录