Ollama在windows上的设置
·
安装：是不可以选择安装路径，系统自动运行，不启动模型不占用GPU
参数设置：windows添加环境变量（需要重启ollama）
修改模型位置：添加 OLLAMA_MODELS D:\LLM\OllamaModels
修改为IP访问：添加OLLAMA_HOST 0.0.0.0:11434
修改跨域访问： OLLAMA_ORIGINS 设置 * ，否则访问会出现403
修改GPU释放：OLLAMA_KEEP_ALIVE 2m，默认是5m，降低GPU占用
魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。
更多推荐
6
0- 0
已为社区贡献1条内容
所有评论(0)