t5-small模型部署
【代码】t5-small模型部署。
·
google-t5
https://huggingface.co/docs/transformers/model_doc/t5#inference
https://hf-mirror.com/google-t5/t5-small
本地加载
- 支持的语言：English、French、Romanian、German
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple transformer sentencepiece
pip install torch==2.4.0 torchvision==0.19.0 torchaudio==2.4.0 --index-url https://download.pytorch.org/whl/cu124
from transformers import T5Tokenizer, T5ForConditionalGeneration
tokenizer = T5Tokenizer.from_pretrained("/data/models/t5-small")
model = T5ForConditionalGeneration.from_pretrained("/data/models/t5-small")
input_ids = tokenizer("translate English to French: La maison est merveilleuse.| The house is wonderful.|", return_tensors="pt").input_ids
outputs = model.generate(input_ids)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))
魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。
更多推荐
1
0- 0
已为社区贡献6条内容
所有评论(0)