大模型API云端部署
·
我们考虑到autodl只能映射到本地端口的话，对于其他同学的测试与调用工作非常不友好，因此我们通过策略将autodl端的模型部署到云端服务器上，以此来实现对公网IP的访问进而实现对API的调用。
具体方式：
1.结合autodl自定义服务对于Linux的提示
2.本地通过SSH连接至服务器
利用cmd就可以实现，使用代码SSH root@（紧跟云端服务器IP地址）
3.服务器中使用对应代码
利用第一条提供的两个代码，即可开启对应云端服务器的端口提供公网IP访问服务端口的功能
魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。
更多推荐
4
0- 0
已为社区贡献2条内容
所有评论(0)