很久没有更新文章了,最近正好需要研究一些机器学习的东西,打算研究一下

  • dify
  • Ollama

以下是基于FN 的dify本地化部署,当然这也可能是全网唯一的飞牛部署dify手册

部署

官方手册:https://docs.dify.ai/en/getting-started/install-self-hosted/docker-compose
采用docker-compose方式部署

  1. 确保FN启动22端口(系统设置-SSH-右侧蓝色开启)
  2. 根据官方网站https://docs.dify.ai/en/getting-started/install-self-hosted/docker-compose,docker compose up -d 启动容器,新手遇到权限不足的报错,记得在docker 前加sudo
  3. 根据doc访问,http://localhost/install

Tips:FN会默认占用80 443,在开始前可以(系统设置-安全性-端口设置-高级设置中取消80 443的重定向)

  1. FN 应用商店 Ollama下载

  2. dify 设置 模型供应商添加Ollama,模型类型LLM, 模型名称:DeepSeek-R1-Distill-Qwen-1.5B(Ollma 设置-模型),基础URL http://192.168.xx.xx:11435(切记不要使用127与localhost)

  3. 开始使用

Tips:有一些其他途径(如SSH部署或者docker部署,这里有一些连接问题的r&q https://docs.dify.ai/en/development/models-integration/ollama#faq

默认deepseek的模型还是太大了,换了阿里的qwen:0.5b

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐