← 返回首页

五个分词器数同一段中文:口径差在哪

tokenizer计费实测

上个月给一个内容平台做成本核算。我拿 tiktoken 的 cl100k_base 把两万篇中文稿子全数了一遍,按这个结果报了预算。第一个月账单下来,只有预估的六成。

第一反应是「是不是量少了」。翻日志,请求数一条不少,重试也没有,缓存命中率也正常。少的是每个请求里的 token —— 同一段中文,换一个模型,切出来的块数就不一样,而计费按块数走。

这不是 bug,是词表不同造成的口径差。上一篇我用 tiktoken 量了汉字与 token 的比例(Tokenizer 实测:一个汉字被切成几个 token),那是单一库内部的两种编码。这篇往下走一层:把 Qwen、DeepSeek、Llama、Mistral 四家权重目录里的 tokenizer.json 全部下下来,跟 OpenAI 的两个编码放一起,对同一段文本逐条数。

TL;DR:同一段 118 字中文,六个口径数出 74 到 128 个 token,最大差 73.0%;同一段 60 词英文只差 4.4%。词表大小不是答案 —— Llama-3.1 的 128,256 条和 DeepSeek 的 128,815 条几乎一样大,中文 token 数却差 33.8%。要报预算,得拿目标模型自己的 tokenizer.json 数,别拿 tiktoken 代打。

六个口径分别是哪来的

全部本地加载,不联网、不调接口。tiktoken 0.14.0 直接给两个编码,其余四个用 tokenizers 0.23.3 的 Tokenizer.from_file() 读 HF 权重目录里的 tokenizer.json。

口径词表条目文件体积来源
cl100k_base100,277内置tiktoken 0.14.0
o200k_base200,019内置tiktoken 0.14.0
Qwen3-8B151,66910.89 MBHF Qwen/Qwen3-8B
DeepSeek-V4129,2806.37 MB官网离线包
Llama-3.1-8B128,2568.66 MBHF 镜像仓库
Mistral-7B-v0.132,0001.71 MBHF mistralai/Mistral-7B-v0.1

一个细节值得先说:Llama-3.1 的官方仓库是门禁的,直接请求 tokenizer.json 返回 401。我用的是未经门禁的同权重重镜像仓库,词表内容一致,但这一步本身就说明 —— 「官方分词器」这句话在工程上未必成立,你得先确认拿到的是哪一份。

中文差 73%,英文只差 4.4%

拿一段 118 字的纯中文(讲的就是这件事本身,措辞尽量像正常技术文),逐家数:

分词器token 数每字 token每 1 万字 token
cl100k_base1281.08510,847
Mistral-7B1191.00810,085
Llama-3.1990.8398,390
o200k_base960.8148,136
Qwen3810.6866,864
DeepSeek-V4740.6276,271

最多与最少差 73.0%(10,847 ÷ 6,271 = 1.73)。换成 60 词英文段落,六家是 68、68、68、69、68、71,最大差 4.4%。

结论很干脆:分词器差异是 CJK 问题,不是通用问题。英文负载上换词表几乎不亏,中文负载上换词表能把成本挪动七成。所有「token 用量大概多少」的经验值,只要语料是中文,就不能跨厂商套用。

顺带验证了 DeepSeek 官方文档的换算口径。官方 token 用量页原文写「1 English character ≈ 0.3 token. 1 Chinese character ≈ 0.6 token.」,我这 118 字实测 74 token = 0.627/字,比官方系数高 4.5%。官方给的是近似值,同一页也写了「actual number of tokens processed each time is based on the model's return」—— 系数只用来拍脑袋,报账要数。

词表大小解释不了这 73%

我最初以为词表越大中文越省。数据不支持。

Llama-3.1 是 128,256 条,DeepSeek 是 128,815 条,差 559 条,可以认为是一样大;但同一段中文,Llama 要 0.839/字,DeepSeek 只要 0.627/字,差 33.8%。反过来,Qwen3 词表 151,669 条,比 DeepSeek 大 17.7%,中文却更费(0.686 对 0.627)。

真正的变量是中文词条的覆盖率:训练语料里中文占比高的词表,会把「产品说明」「词表」「预算」这类常用词整块收进去;占比低的词表只能退回按字节切,一个汉字拆成两三个块。词表条目数是容量上限,训练分布才决定这个上限里塞了多少中文。

Mistral-7B 是最极端的例子:32,000 条词表,1.008 token/字,跟 cl100k 差不多,比 DeepSeek 贵 60.8%。它不是坏 —— 它本来就不是为中文训练的。

官方离线包和 HF 镜像包:词表差 465 条,token 数差 0%

DeepSeek 的 token 用量页给了一个离线分词器压缩包,我下下来解开对比 HF 上的 DeepSeek-V3 目录:

词表条目差 465 条,文件体积差 1.1 MB,看起来像两个不同的东西。实际对同一段中文是 74 对 74,同一段英文是 69 对 69,差 0.0%。差的 465 条是特殊 token 槽位与附加条目,不参与普通文本切分。

这既是好消息也是坑。好消息是用 HF 镜像代官方包,在这个模型上是安全的;坑是「体积不同、条目不同、结果一样」这件事没有任何提示,你只能靠对拍发现。换一个模型版本,0.0% 可能变成 8%,也没有任何东西会报警。

官方包里那支 demo 脚本还要求装 transformers 并开 trust_remote_code=True。我第一版直接跑,拿到的是 ModuleNotFoundError: No module named 'transformers' —— 一个「官方提供的工具」在你机器上根本不成立,而它本身只是三行代码。

tokenizers 库的三个默认值

对拍脚本写完,最容易错的地方不在分词器,在库的默认参数。

第一,encode() 默认加特殊 token。 Llama-3.1 和 Mistral 每条会多 1 个(BOS),Qwen3 与 DeepSeek 是 0 个。你如果一边用 tiktoken(不加)一边用 tokenizers(默认加)估算同一批文本,两个口径从一开始就不一致;100 万条短文本能凭空多出 100 万 token 的账。

第二,decode 的 skip_special_tokens。 我第一版往返校验拿 decode(ids, skip_special_tokens=False) 还原,13 个用例 13/13 报不一致,包括纯英文。原因不是分词器坏了,是那个 BOS 被原样解成了字面量 <|begin_of_text|>,拼在正文前面。默认参数下 13/13 全部正确。这也是我一直提醒自己的那条:报错之前先怀疑校验层。

第三,两个库的接口不通用。 tiktoken 的 encode() 返回 list,tokenizers 返回 Encoding 对象,要取 .ids。把 list 直接丢给 tokenizers 会抛 TypeError: TextInputSequence must be str。写「一份脚本跑所有分词器」的抽象层时,这两条得在适配器里对齐,不然错误会以很怪的方式出现。

数字、全角、UUID:日志负载的隐形涨价

技术负载里真正贵的不一定是汉字。逐项测下来,各家在结构化字符上的分歧比中文还大:

输入cl100ko200kQwen3DeepSeekMistral
128450033738
1,284,500559510
UUID(36 字符)2323332334
全角 ABC123956519
半角 ABC12322424
一行 markdown 表格2825302330
打包失败 😅 重跑三次 ✅131010916

Qwen3 把 1284500 切成 7 段,是 cl100k 的 2.33 倍;UUID 贵 43.5%。DeepSeek 和 cl100k 在数字上完全一致,但表格行更省(23 对 28)。

这条对做日志分析、订单号抽取、型号匹配的团队很实际:你的负载里如果一半是 ID 和数字,Qwen 系的账单会比按中文比例算出来的高得多。全角字符是另一处:ABC123 在 o200k 上 5 个 token,在 Mistral 上 19 个,差 3.8 倍 —— 中文输入法打出的全角字母混进 prompt 是常态。

报预算的三条规则

用目标模型自己的分词器。 不是「用最接近的那个」。cl100k 是我见过的默认选择,但它在中文上比 DeepSeek 高估 73.0%,比 Qwen3 高估 58.1%。

采样要采真实请求,不要采同质文本。 我上面用一篇技术文当语料,3,157 个汉字、6,066 个字符,六家的绝对 token 数是 5,531、4,101、4,278、4,072、3,613、5,738,最大差 58.8%。这个 58.8% 比纯中文段的 73.0% 小 —— 因为技术文里有大量 ASCII,把差距摊平了。只用纯中文样本会高估差距,只用代码样本会低估。

两个乘数都要按各自口径取。 这是最容易算错的一步。按官方定价页(截至发稿):DeepSeek flash 输入峰值 $0.30/百万 token、低谷 $0.15;gpt-4o 输入 $2.50/百万 token。

每 10 万汉字:DeepSeek 只需 62,712 token,成本 $0.0188;gpt-4o 要 108,475 token,成本 $0.2712。真实倍数是 14.4 倍。如果你两家都用 cl100k 数,算出来是 8.3 倍 —— 单价倍数是对的,token 数的差异被约掉了,于是真实的 14.4 倍被记成 8.3 倍,差 73%。

踩坑录:五个真实报错

报错一:官方 demo 脚本缺 transformers

ModuleNotFoundError: No module named 'transformers'

官方 tokenizer 压缩包里的 demo 脚本第一行就是 import transformers。它还有第二层要求:AutoTokenizer.from_pretrained(..., trust_remote_code=True)。不想装 transformers 的话,直接用 Tokenizer.from_file('tokenizer.json'),不需要这个依赖。

报错二:门禁仓库返回 401

Cannot access gated repo for url https://huggingface.co/meta-llama/Llama-3.1-8B/resolve/main/tokenizer.json.
Access to model meta-llama/Llama-3.1-8B is restricted. You must have access to it and be
authenticated to access it. Please log in.

这不是网络问题,是仓库门禁。换未经门禁的镜像仓库即可,但要在文里写清楚用的是镜像 —— 我上面那张表里 Llama 那一行就是这么标的。

报错三:from_file 传目录

Exception : 拒绝访问。 (os error 5)

Tokenizer.from_file() 传了一个目录进去。这个报错连「文件不存在」都没说,直接抛系统级拒绝访问,字符串还是本地化的中文,日志里很难 grep。参数必须是 tokenizer.json 的完整路径。

报错四:13/13 往返不一致(假失败)

不是报错,是校验函数写错了。decode(ids, skip_special_tokens=False) 把 BOS 解成 <|begin_of_text|> 拼在正文前,joined != text,看起来像分词器丢字。默认参数下 13/13 全部正确。

报错五:把 list 喂给 encode

TypeError: TextInputSequence must be str

tokenizer.encode() 只吃单个 str,批量要用 encode_batch()。而 tiktoken 的 encode() 同样不吃 list,两边都得自己循环。

怎么确认你数的就是服务端数的

我这次没有 API key,所以没法逐条验证「本地数出来的 token 数」与「服务端返回的 usage」是否相等。这一点必须说清楚:所有本地对拍证明的是各家词表之间的相对差异,不是你的账单绝对值。

要闭环,最省事的办法是发 20 条长度递增的真实请求,把返回里的 usage 与本地数做散点。如果本地与线上系统性偏高,先查是不是多算了特殊 token;如果系统性偏低,先查是不是漏了 system prompt 与 chat template 的固定开销 —— 那部分通常每家都不一样,而且不在你的正文里。

本文的边界

没测日韩专用词表(比如韩语优化的编码器会在这条线上再拉一个量级);没测多模态输入;没覆盖 chat template 的固定开销(本篇只算纯文本);词表本身会随模型版本更换,本文所有数字绑定 tiktoken 0.14.0、tokenizers 0.23.3、CPython 3.13.14,以及 2026-11-02 抓取的那几份 tokenizer.json。

另一条相关的坑在别处:库的默认值改了不报错这种事,我上次在序列化库上踩过一遍(json / orjson / msgspec 的九处默认值),形态不一样,性质一样 —— 默认值是最贵的隐式契约。token 怎么流到前端是另一个层,那篇讲流式三口径的(LangGraph 流式三入口)里,token 的计数口径与传输口径也是两件事。

常见问题

Q:能不能直接用 tiktoken 的 o200k 代替所有国产模型?

不行。o200k 在中文上是 0.814/字,比 DeepSeek 的 0.627 高 29.8%,比 Qwen3 的 0.686 高 18.7%。它比 cl100k 好,但不是任何一家的替身。

Q:词表条目越多越省钱吗?

不是。Qwen3 条目最多(151,669),中文却不是最省的。要看训练语料里中文的密度,这个数字官方一般不公布,只能拿真实文本对拍。

Q:本地数出来比账单少,怎么回事?

先看特殊 token 和 chat template。system prompt、角色标记、工具定义都会进 token,这些通常不在你数的正文里。

Q:同一家的不同版本词表会变吗?

会。DeepSeek 官方包与 HF 上的 V3 目录在我这次对拍里切分完全一致,但这是巧合级别的幸运,不是保证。升级模型后要重新对拍一次。

本文不含任何联盟推广链接。所有数字来自本机实跑,脚本与语料口径已在文中写明,官方价格以发文时的定价页为准。

👉 立即参与小米 MiMo 开放平台:国内领先的 AI 大模型开放平台,高性价比推理服务

👉 立即参与阿里云 AI:汇集爆款 AI 产品,热门模型专属权益优惠券助力企业创新加速

📌 本文由 AI 辅助生成并经人工审核发布 | TechPassive — AI 驱动的内容测试站点,专注于效率工具与 SaaS 真实评测

🔗 精选推荐工具

使用以下链接支持我们持续产出高质量内容(点击可直接前往购买):

作为亚马逊联盟会员,符合条件的购买会为我们带来佣金,不会增加你的购买成本。

☁️ DigitalOcean 云服务器 ⚡ Vultr 高性能 VPS 🤖 QoderWork 中国版(推荐有奖) ☁️ 阿里云爆款 AI 产品 📚 WordPress 实用书单 🧠 AI / 大模型书单 🏗️ 系统设计/云架构书单 🐳 Docker/K8s 书单 🐧 Linux 系统管理书单 🐍 Python 编程书单 🗄️ 数据库/PostgreSQL 书单 🚀 DevOps/SRE 书单 🤖 小米 MiMo 开放平台
← 返回首页