【大模型】ChatGlm3-6B调用Tools
使用ChatGlm3-6B base模型调用Tools
·
前言
使用ChatGlm3-6B base模型调用Tools的使用记录,其中包含了意图分类,关键字段抽取等功能。
1.代码
1-1 定义Tools
import requests
import time
import re
tools = [
{"name": "导航", "description": "导航,导航去一个具体的地方",
"parameters": {"type": "object",
"properties": {"poi": {"description": "导航去的目的地"}}, "required": []}
},
{"name": "生成图片", "description": "生成图片,生成一幅画,根据输入问题生成一幅图片",
"parameters": {"type": "object",
"properties": {"picture_type": {"description": "需要生成的图片类型"}}, "required": []}
},
{"name": "生成文案", "description": "生成文案,生成文本,跟去输入问题生成一段文本",
"parameters": {"type": "object",
"properties": {"name": {"description": "生成的文案类型"}}, "required": []}
},
{"name": "闲聊", "description": "闲聊相关意图,", "required": []}
]
system_item = {"role": "system",
"content": "Answer the following questions as best as you can. You have access to the following tools:",
"tools": tools}
1-2 发送请求
#定义请求字段
headers = {
'Content-Type': 'application/json',
}
data = {"stream": 0,
"model_name": "Chatglm3-6B",
"temperature": 0.001, "max_tokens": 180,
"top_p": 0.90, "top_k": 2,
"peresence_penalty": 1,
"repetition_penalty": 1.05,
"messages": [system_item, {'content': '查询101股票', 'role': 'user'}]
}
#发送请求
response = requests.post('http://10.20.31.15:9092/v1/chat/completions?model_name=ChatGLM3-6B', headers=headers,json=data).json()
#输出结果
print(response)
魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。
更多推荐
所有评论(0)