语法:<abc>代表参数,实际输入为具体的名字,不需要输入<>

注意:当前雷可能随着版本迭代更新掉

1、litellm -model ollama/<model>

        启动后的url为:http://0.0.0.0:<port>,实际调用需要将"0.0.0.0"替换为"localhost",否则回报错误"oserror winerror 10049在其上下文中该请求的地址无效"

2、autogen.UserProxyAgent在非docker环境下,需要增加参数

code_execution_config={"use_docker":False}

否则,会报错。前半句是问题,后半句是建议的解决方法,这里采用的是第二种

Code execution is set to be run in docker (default behaviour) but docker is not running. The options available are: - Make sure docker is running (advised approach for code execution) - Set "use_docker": False in code_execution_config - Set AUTOGEN_USE_DOCKER to

"0/False/no" in your environment variables

3、ImportError: cannot import name 'AssistantAgent' from 'autogen'

原因是应该pip install pyautogen,而不是pip install autogen

4、ollama 更改模型存储路径

默认是在C盘/<当前用户>,增加环境变量“OLLAMA_MODELS:<想要存储的路径>”,即可。

但是,切记一定要重启ollama,才能生效。

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐