huggingface text-generation代码实现文本生成
参考:https://huggingface.co/tasks/text-generation。将model替换为实际存储模型的地址即可。若只需打印生成的文本,则使用。
·
python代码为:
from transformers import pipeline
model_path='codellama/CodeLlama-7b-Instruct-hf'
tokenizer = AutoTokenizer.from_pretrained(model_path)
generator = pipeline('text-generation', model = model_path,device_map="auto",)
generator("Hello, I'm a language model", max_length = 30, num_return_sequences=1)
为了简洁,也可以手动定义生成的函数
def gene_text(text):
output=generator(
text,
max_length = 300,
do_sample=True,
temperature=0.9,
top_p=0.75,
return_full_text=False,
)
return output[0]['generated_text']
参考:https://huggingface.co/tasks/text-generation

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。
更多推荐
所有评论(0)