一、从ollama官网下载并安装,在此不进行赘述

二、设置环境变量

ollama最主要的是两个环境变量:

  • OLLAMA_MODELS:指定下载模型的存放路径,不设置将会放在默认目录,例如C盘。
  • OLLAMA_HOST:指定ollama运行时绑定ip,不设置只能本地访问。

Ollama 服务使用环境变量 OLLAMA_HOST 来指定监听的地址,默认情况下,它只监听 localhost,即只能本地访问127.0.0.1。如果要让局域网内其他设备访问 Ollama 服务,需要将 OLLAMA_HOST 设为 0.0.0.0

如果需要修改访问端口,可以在OLLAMA_HOST后直接添加端口如:0.0.0.0:8080,默认是11434。

  • OLLAMA_GPU_LAYER   变量值cuda(NVIDIA)或 directml(AMD/Intel)
  • (可选)强制指定 GPU 设备(多 GPU 时): 变量名CUDA_VISIBLE_DEVICES变量值0(使用第一个 GPU)
  • 为了允许浏览器调用 Ollama 的 API,您需要设置跨域访问
  • OLLAMA_ORIGINS  值为*
  • OLLAMA_ORIGINS:配置允许跨域请求的来源列表。默认包含 localhost127.0.0.10.0.0.0 等本地地址以及一些特定协议的来源。通过设置此变量,可以指定哪些来源可以访问 Ollama 服务,例如 OLLAMA_ORIGINS=*,https://example.com 允许所有来源以及 https://example.com 的跨域请求。
Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐