python代码为:

from transformers import pipeline
model_path='codellama/CodeLlama-7b-Instruct-hf'
tokenizer = AutoTokenizer.from_pretrained(model_path)
generator = pipeline('text-generation', model = model_path,device_map="auto",)
generator("Hello, I'm a language model", max_length = 30, num_return_sequences=1)

为了简洁,也可以手动定义生成的函数

def gene_text(text):
    output=generator(
        text, 
        max_length = 300,
        do_sample=True,
        temperature=0.9,
        top_p=0.75,
        return_full_text=False,
        )
    return output[0]['generated_text']

参考:https://huggingface.co/tasks/text-generation

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐