五个分词器数同一段中文:口径差在哪
上个月给一个内容平台做成本核算。我拿 tiktoken 的 cl100k_base 把两万篇中文稿子全数了一遍,按这个结果报了预算。第一个月账单下来,只有预估的六成。
第一反应是「是不是量少了」。翻日志,请求数一条不少,重试也没有,缓存命中率也正常。少的是每个请求里的 token —— 同一段中文,换一个模型,切出来的块数就不一样,而计费按块数走。
这不是 bug,是词表不同造成的口径差。上一篇我用 tiktoken 量了汉字与 token 的比例(Tokenizer 实测:一个汉字被切成几个 token),那是单一库内部的两种编码。这篇往下走一层:把 Qwen、DeepSeek、Llama、Mistral 四家权重目录里的 tokenizer.json 全部下下来,跟 OpenAI 的两个编码放一起,对同一段文本逐条数。
TL;DR:同一段 118 字中文,六个口径数出 74 到 128 个 token,最大差 73.0%;同一段 60 词英文只差 4.4%。词表大小不是答案 —— Llama-3.1 的 128,256 条和 DeepSeek 的 128,815 条几乎一样大,中文 token 数却差 33.8%。要报预算,得拿目标模型自己的 tokenizer.json 数,别拿 tiktoken 代打。
六个口径分别是哪来的
全部本地加载,不联网、不调接口。tiktoken 0.14.0 直接给两个编码,其余四个用 tokenizers 0.23.3 的 Tokenizer.from_file() 读 HF 权重目录里的 tokenizer.json。
| 口径 | 词表条目 | 文件体积 | 来源 |
|---|---|---|---|
| cl100k_base | 100,277 | 内置 | tiktoken 0.14.0 |
| o200k_base | 200,019 | 内置 | tiktoken 0.14.0 |
| Qwen3-8B | 151,669 | 10.89 MB | HF Qwen/Qwen3-8B |
| DeepSeek-V4 | 129,280 | 6.37 MB | 官网离线包 |
| Llama-3.1-8B | 128,256 | 8.66 MB | HF 镜像仓库 |
| Mistral-7B-v0.1 | 32,000 | 1.71 MB | HF mistralai/Mistral-7B-v0.1 |
一个细节值得先说:Llama-3.1 的官方仓库是门禁的,直接请求 tokenizer.json 返回 401。我用的是未经门禁的同权重重镜像仓库,词表内容一致,但这一步本身就说明 —— 「官方分词器」这句话在工程上未必成立,你得先确认拿到的是哪一份。
中文差 73%,英文只差 4.4%
拿一段 118 字的纯中文(讲的就是这件事本身,措辞尽量像正常技术文),逐家数:
| 分词器 | token 数 | 每字 token | 每 1 万字 token |
|---|---|---|---|
| cl100k_base | 128 | 1.085 | 10,847 |
| Mistral-7B | 119 | 1.008 | 10,085 |
| Llama-3.1 | 99 | 0.839 | 8,390 |
| o200k_base | 96 | 0.814 | 8,136 |
| Qwen3 | 81 | 0.686 | 6,864 |
| DeepSeek-V4 | 74 | 0.627 | 6,271 |
最多与最少差 73.0%(10,847 ÷ 6,271 = 1.73)。换成 60 词英文段落,六家是 68、68、68、69、68、71,最大差 4.4%。
结论很干脆:分词器差异是 CJK 问题,不是通用问题。英文负载上换词表几乎不亏,中文负载上换词表能把成本挪动七成。所有「token 用量大概多少」的经验值,只要语料是中文,就不能跨厂商套用。
顺带验证了 DeepSeek 官方文档的换算口径。官方 token 用量页原文写「1 English character ≈ 0.3 token. 1 Chinese character ≈ 0.6 token.」,我这 118 字实测 74 token = 0.627/字,比官方系数高 4.5%。官方给的是近似值,同一页也写了「actual number of tokens processed each time is based on the model's return」—— 系数只用来拍脑袋,报账要数。
词表大小解释不了这 73%
我最初以为词表越大中文越省。数据不支持。
Llama-3.1 是 128,256 条,DeepSeek 是 128,815 条,差 559 条,可以认为是一样大;但同一段中文,Llama 要 0.839/字,DeepSeek 只要 0.627/字,差 33.8%。反过来,Qwen3 词表 151,669 条,比 DeepSeek 大 17.7%,中文却更费(0.686 对 0.627)。
真正的变量是中文词条的覆盖率:训练语料里中文占比高的词表,会把「产品说明」「词表」「预算」这类常用词整块收进去;占比低的词表只能退回按字节切,一个汉字拆成两三个块。词表条目数是容量上限,训练分布才决定这个上限里塞了多少中文。
Mistral-7B 是最极端的例子:32,000 条词表,1.008 token/字,跟 cl100k 差不多,比 DeepSeek 贵 60.8%。它不是坏 —— 它本来就不是为中文训练的。
官方离线包和 HF 镜像包:词表差 465 条,token 数差 0%
DeepSeek 的 token 用量页给了一个离线分词器压缩包,我下下来解开对比 HF 上的 DeepSeek-V3 目录:
- 官方包:词表 129,280 条,tokenizer.json 6.37 MB
- HF 镜像:词表 128,815 条,tokenizer.json 7.48 MB
词表条目差 465 条,文件体积差 1.1 MB,看起来像两个不同的东西。实际对同一段中文是 74 对 74,同一段英文是 69 对 69,差 0.0%。差的 465 条是特殊 token 槽位与附加条目,不参与普通文本切分。
这既是好消息也是坑。好消息是用 HF 镜像代官方包,在这个模型上是安全的;坑是「体积不同、条目不同、结果一样」这件事没有任何提示,你只能靠对拍发现。换一个模型版本,0.0% 可能变成 8%,也没有任何东西会报警。
官方包里那支 demo 脚本还要求装 transformers 并开 trust_remote_code=True。我第一版直接跑,拿到的是 ModuleNotFoundError: No module named 'transformers' —— 一个「官方提供的工具」在你机器上根本不成立,而它本身只是三行代码。
tokenizers 库的三个默认值
对拍脚本写完,最容易错的地方不在分词器,在库的默认参数。
第一,encode() 默认加特殊 token。 Llama-3.1 和 Mistral 每条会多 1 个(BOS),Qwen3 与 DeepSeek 是 0 个。你如果一边用 tiktoken(不加)一边用 tokenizers(默认加)估算同一批文本,两个口径从一开始就不一致;100 万条短文本能凭空多出 100 万 token 的账。
第二,decode 的 skip_special_tokens。 我第一版往返校验拿 decode(ids, skip_special_tokens=False) 还原,13 个用例 13/13 报不一致,包括纯英文。原因不是分词器坏了,是那个 BOS 被原样解成了字面量 <|begin_of_text|>,拼在正文前面。默认参数下 13/13 全部正确。这也是我一直提醒自己的那条:报错之前先怀疑校验层。
第三,两个库的接口不通用。 tiktoken 的 encode() 返回 list,tokenizers 返回 Encoding 对象,要取 .ids。把 list 直接丢给 tokenizers 会抛 TypeError: TextInputSequence must be str。写「一份脚本跑所有分词器」的抽象层时,这两条得在适配器里对齐,不然错误会以很怪的方式出现。
数字、全角、UUID:日志负载的隐形涨价
技术负载里真正贵的不一定是汉字。逐项测下来,各家在结构化字符上的分歧比中文还大:
| 输入 | cl100k | o200k | Qwen3 | DeepSeek | Mistral |
|---|---|---|---|---|---|
1284500 | 3 | 3 | 7 | 3 | 8 |
1,284,500 | 5 | 5 | 9 | 5 | 10 |
| UUID(36 字符) | 23 | 23 | 33 | 23 | 34 |
全角 ABC123 | 9 | 5 | 6 | 5 | 19 |
半角 ABC123 | 2 | 2 | 4 | 2 | 4 |
| 一行 markdown 表格 | 28 | 25 | 30 | 23 | 30 |
打包失败 😅 重跑三次 ✅ | 13 | 10 | 10 | 9 | 16 |
Qwen3 把 1284500 切成 7 段,是 cl100k 的 2.33 倍;UUID 贵 43.5%。DeepSeek 和 cl100k 在数字上完全一致,但表格行更省(23 对 28)。
这条对做日志分析、订单号抽取、型号匹配的团队很实际:你的负载里如果一半是 ID 和数字,Qwen 系的账单会比按中文比例算出来的高得多。全角字符是另一处:ABC123 在 o200k 上 5 个 token,在 Mistral 上 19 个,差 3.8 倍 —— 中文输入法打出的全角字母混进 prompt 是常态。
报预算的三条规则
用目标模型自己的分词器。 不是「用最接近的那个」。cl100k 是我见过的默认选择,但它在中文上比 DeepSeek 高估 73.0%,比 Qwen3 高估 58.1%。
采样要采真实请求,不要采同质文本。 我上面用一篇技术文当语料,3,157 个汉字、6,066 个字符,六家的绝对 token 数是 5,531、4,101、4,278、4,072、3,613、5,738,最大差 58.8%。这个 58.8% 比纯中文段的 73.0% 小 —— 因为技术文里有大量 ASCII,把差距摊平了。只用纯中文样本会高估差距,只用代码样本会低估。
两个乘数都要按各自口径取。 这是最容易算错的一步。按官方定价页(截至发稿):DeepSeek flash 输入峰值 $0.30/百万 token、低谷 $0.15;gpt-4o 输入 $2.50/百万 token。
每 10 万汉字:DeepSeek 只需 62,712 token,成本 $0.0188;gpt-4o 要 108,475 token,成本 $0.2712。真实倍数是 14.4 倍。如果你两家都用 cl100k 数,算出来是 8.3 倍 —— 单价倍数是对的,token 数的差异被约掉了,于是真实的 14.4 倍被记成 8.3 倍,差 73%。
踩坑录:五个真实报错
报错一:官方 demo 脚本缺 transformers
ModuleNotFoundError: No module named 'transformers'
官方 tokenizer 压缩包里的 demo 脚本第一行就是 import transformers。它还有第二层要求:AutoTokenizer.from_pretrained(..., trust_remote_code=True)。不想装 transformers 的话,直接用 Tokenizer.from_file('tokenizer.json'),不需要这个依赖。
报错二:门禁仓库返回 401
Cannot access gated repo for url https://huggingface.co/meta-llama/Llama-3.1-8B/resolve/main/tokenizer.json.
Access to model meta-llama/Llama-3.1-8B is restricted. You must have access to it and be
authenticated to access it. Please log in.
这不是网络问题,是仓库门禁。换未经门禁的镜像仓库即可,但要在文里写清楚用的是镜像 —— 我上面那张表里 Llama 那一行就是这么标的。
报错三:from_file 传目录
Exception : 拒绝访问。 (os error 5)
Tokenizer.from_file() 传了一个目录进去。这个报错连「文件不存在」都没说,直接抛系统级拒绝访问,字符串还是本地化的中文,日志里很难 grep。参数必须是 tokenizer.json 的完整路径。
报错四:13/13 往返不一致(假失败)
不是报错,是校验函数写错了。decode(ids, skip_special_tokens=False) 把 BOS 解成 <|begin_of_text|> 拼在正文前,joined != text,看起来像分词器丢字。默认参数下 13/13 全部正确。
报错五:把 list 喂给 encode
TypeError: TextInputSequence must be str
tokenizer.encode() 只吃单个 str,批量要用 encode_batch()。而 tiktoken 的 encode() 同样不吃 list,两边都得自己循环。
怎么确认你数的就是服务端数的
我这次没有 API key,所以没法逐条验证「本地数出来的 token 数」与「服务端返回的 usage」是否相等。这一点必须说清楚:所有本地对拍证明的是各家词表之间的相对差异,不是你的账单绝对值。
要闭环,最省事的办法是发 20 条长度递增的真实请求,把返回里的 usage 与本地数做散点。如果本地与线上系统性偏高,先查是不是多算了特殊 token;如果系统性偏低,先查是不是漏了 system prompt 与 chat template 的固定开销 —— 那部分通常每家都不一样,而且不在你的正文里。
本文的边界
没测日韩专用词表(比如韩语优化的编码器会在这条线上再拉一个量级);没测多模态输入;没覆盖 chat template 的固定开销(本篇只算纯文本);词表本身会随模型版本更换,本文所有数字绑定 tiktoken 0.14.0、tokenizers 0.23.3、CPython 3.13.14,以及 2026-11-02 抓取的那几份 tokenizer.json。
另一条相关的坑在别处:库的默认值改了不报错这种事,我上次在序列化库上踩过一遍(json / orjson / msgspec 的九处默认值),形态不一样,性质一样 —— 默认值是最贵的隐式契约。token 怎么流到前端是另一个层,那篇讲流式三口径的(LangGraph 流式三入口)里,token 的计数口径与传输口径也是两件事。
常见问题
Q:能不能直接用 tiktoken 的 o200k 代替所有国产模型?
不行。o200k 在中文上是 0.814/字,比 DeepSeek 的 0.627 高 29.8%,比 Qwen3 的 0.686 高 18.7%。它比 cl100k 好,但不是任何一家的替身。
Q:词表条目越多越省钱吗?
不是。Qwen3 条目最多(151,669),中文却不是最省的。要看训练语料里中文的密度,这个数字官方一般不公布,只能拿真实文本对拍。
Q:本地数出来比账单少,怎么回事?
先看特殊 token 和 chat template。system prompt、角色标记、工具定义都会进 token,这些通常不在你数的正文里。
Q:同一家的不同版本词表会变吗?
会。DeepSeek 官方包与 HF 上的 V3 目录在我这次对拍里切分完全一致,但这是巧合级别的幸运,不是保证。升级模型后要重新对拍一次。
本文不含任何联盟推广链接。所有数字来自本机实跑,脚本与语料口径已在文中写明,官方价格以发文时的定价页为准。
👉 立即参与小米 MiMo 开放平台:国内领先的 AI 大模型开放平台,高性价比推理服务
👉 立即参与阿里云 AI:汇集爆款 AI 产品,热门模型专属权益优惠券助力企业创新加速
📌 本文由 AI 辅助生成并经人工审核发布 | TechPassive — AI 驱动的内容测试站点,专注于效率工具与 SaaS 真实评测
🔗 精选推荐工具
使用以下链接支持我们持续产出高质量内容(点击可直接前往购买):
作为亚马逊联盟会员,符合条件的购买会为我们带来佣金,不会增加你的购买成本。