使用魔搭社区|阿里云进行大语言模型的服务器部署

魔搭社区部署云端大模型

如果各位想要在服务器上面搭建大语言模型进行项目开发或者日常学习，点击这里传送到魔搭社区开始部署专属你的大语言模型！
下面以部署ChatGLM3为例
本博主大语言模型系列：
Chatglm3-6B Chat/Base保姆级本地部署以及工具调用
0基础快速上手—大语言模型微调（web端）
0基础快速上手—大语言模型微调（shell版）

开始搭建你的大语言模型

找到模型服务

选择模型部署方式

选择函数计算（FC）部署模式

1.首先需要将你的魔搭账号与本人的阿里云账号进行绑定
2.进行开通服务（阿里云里面可能会有免费三个月的gpu部署体验，本人在阿里云上面部署迷糊了，就放弃这个福利了）
3.进行一键授权，授权使用函数计算FC

4.进行选择模型的部署，然后进行一键部署

一键部署之后回展示这个页面，这个页面的加载时间比较长

加载成功之后，会展示这个页面

服务模型有两种，由于本人是学生党，我个人倾向于按量收费，只要进行API调用的时候才进行收取费用
部署之后可以进行调用API啦

import requests
API_URL = 'xxx'
def post_request(url, json):
	with requests.Session() as session:
		response = session.post(url,json=json,)
		return response
payload = {"input":{"messages":[{"content":"Hello! 你是谁？","role":"user"},{"content":"我是你的助手。","role":"assistant"},{"content":"你叫什么名字？","role":"user"}]},"parameters":{"do_sample":True,"max_length":512}}
response = post_request(API_URL, json=payload)
print("response:", response.json())

PAI-EAS 部署

跟FC的前三个流程一样

进行快速部署

小结

以上是本博主把chatglm3进行服务器部署的实践分享，可以使用大语言模型的API服务进行项目的完善开发以及个人更好的求职，学习。
如果以上有什么内容不正确，请大家批评指正

参考视频

低配置部署 ChatGLM3-6B | 智谱 × 魔搭社区