BERT的中文分词与大模型分词的对比
·
中文BERT的分词特点：
|
字符级分词 |
中文BERT通常将汉字拆分为单个字符 |
"苹果" → ["苹", "果"] |
|
WordPiece |
也会有子词表示（带##） |
"苹果" → ["苹", "##果"] |
|
标点/数字 |
特殊处理 |
"37℃" → ["3", "7", "℃"] |
与现代大模型的分词对比：
|
BERT |
WordPiece |
基于子词，中文多为单字 |
|
GPT-3/4 |
BPE (Byte Pair Encoding) |
更倾向于合并常见词 |
|
Qwen |
SentencePiece |
混合字符和子词 |
|
LLaMA |
BPE |
英文合并好，中文仍多为单字 |
📌 关键区别：
- BERT中文版：基本按字分
- 现代大模型：会合并常见词（如"人工智能"可能是一个token）
魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。
更多推荐
1
0- 0
已为社区贡献2条内容
所有评论(0)