transformer 中 tokenizer.tokenize() 和 tokenizer.encoder()
tokenizer.tokenize() ：使用 tokenize() 函数对文本进行 tokenization（分词）之后，返回的分词的 token 词。tokenizer.encoder()：encode() 函数对 文本 进行 tokenization 并将 token 用相应的 token id 表示。
·
tokenizer.tokenize() ：
使用 tokenize() 函数对文本进行 tokenization（分词）之后，返回的分词的 token 词。
tokenizer.encoder()：
encode() 函数对 文本 进行 tokenization 并将 token 用相应的 token id 表示。
魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。
更多推荐
1
0- 0
已为社区贡献6条内容
所有评论(0)