项目实训：AutoDL部署大模型并实现外部接口调用
·
1.注册AutoDL账号并充值
AutoDL算力云 | 弹性、好用、省钱。租GPU就上AutoDL
2.创建实例，这里选择4090
选择社区镜像，直接搜索langchainchatchat，立即创建
3.运行项目
打开jupyterNotebook，并输入下面命令
cd /root/Langchain-Chatchat/
conda activate /root/pyenv
python startup.py -a此时点击http://127.0.0.1:7861 接口拒绝访问，这里需要做端口映射，参照AutoDL帮助文档
cmd命令行
示例
ssh -CNg -L 6006:127.0.0.1:6006 root@connect.westc.gpuhub.com -p 19980
再次访问，可查看到接口文档
可用postman测试，比如上传文件到知识库
魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。
更多推荐
13
0- 0
已为社区贡献1条内容
所有评论(0)