看起来一样的字符串为什么不相等:NFC 与 NFKC 的 7 个静默坑
TL;DR:这不是「乱码」问题,而是「两串看起来一模一样的文本,字节不一样」的问题。我实际在 Windows 11 + CPython 3.13.14 上跑了 7 组探针,下面 7 个坑的共同点是:不抛异常、日志干净、退出码 0,直到某天一个文件名打不开、一条唯一索引拦不住重复。
- NFC 与 NFD:同一个「é」有 1 个码点和 2 个码点两种写法,UTF-8 字节数是 2 与 3,
==判 False - NFC 不做拼接闭包:两个各自规范化的字段拼起来,结果可能又不是 NFC
- NFKC 会改数据:「①」变「1」、「½」变 3 个字符、「℃」变「°C」
- 零宽字符与 BOM:
strip()去不掉,字典查不到,PRIMARY KEY也拦不住 - 大小写不是一对一:
'ß'.upper()长度从 1 变 2,'İ'.lower()从 1 个码点变 2 个 sorted()不是拼音序:五个姓排出来是「张李白阿陈」- 孤立代理项:
json读得进来,写 UTF-8 文件时抛UnicodeEncodeError
如果你只想拿走一条结论:存储用 NFC,比较用 NFKC 加 casefold,展示层才允许「看起来一样」,并且永远不要把「看起来一样」当成「相等」。
一、先说明白:字符串在机器里到底是什么
Unicode 官方 HOWTO 的第一段定义是「A Unicode string is a sequence of code points」。字符串是码点序列,不是「你眼睛看到的字」。这一句能解释三件常被误判的事。
第一,len() 数的是码点。'café' 里那个 é 如果写成 e 加 U+0301(组合尖音符),长度就是 5 而不是 4。
第二,一个「字」可能由多个码点组成。本机实测:'👨👩👧👦' 的 len() 是 7,'🇨🇳' 是 2,泰语的 'กำ' 是 2,'e' 加 U+0301 也是 2。
第三,码点相同才有机会字节相同;字节相同才有机会在文件系统、数据库、HTTP 头里「找到同一个东西」。这条链子上任何一环断开,都不会有异常,只会有「明明有却找不到」。
「同一份文本、不同表征」也不只发生在码点层。同一段中文交给不同词表去切,token 数量能差到七成,账单一并跟着错,这属于同一类问题(见 五个分词器切同一段中文,最多差 73%)。
Python 官方文档在 unicodedata.normalize 那一节留了一句几乎就是本文标题的话:
Even if two unicode strings are normalized and look the same to a human reader, if one has combining characters and the other doesn't, they may not compare equal.
注意这句比标题更狠:它说的是已经规范化过的两串也可能不相等——因为规范形式有四种,NFC 与 NFD 都是「规范化过的」,只是选择了不同的表示。
二、坑 1:同一个文件名,两种字节
我在本机临时目录里用 NFC 形式建了一个 café.txt,然后用 NFD 形式的同一个名字去读。结果是读不到:
FileNotFoundError: [Errno 2] No such file or directory:
'C:\\Users\\...\\Temp\\uni1-k5ep8ynt\\cafe\u0301.txt'
同一时刻 os.listdir() 返回的是 NFC 形式,os.path.exists() 对 NFC 路径返回 True、对 NFD 路径返回 False。
原因不神秘:文件系统按字节匹配名字,而 NFC 的「é」是 U+00E9 一个码点(UTF-8 两个字节 C3 A9),NFD 的「é」是 U+0065 U+0301 两个码点(UTF-8 三个字节 65 CC 81)。Windows 的 NTFS 和 Linux 的 ext4 都不做归一化,所以它们是两个不同的名字,可以同时存在。
这件事在跨系统搬文件时最容易中招:同一份数据从一台机器搬到另一台,只要中间某一步做过归一化(导出、压缩、同步工具、编辑器保存),另一半就可能全部「文件消失」。而报错只会出现在真正去打开的那一刻。
修法:凡是要「按名字找东西」,先把两边都归一化到同一个形式再比。
三、坑 2:NFC 不做拼接闭包
这条最容易漏,因为它违反了直觉:既然每个字段都已经 normalize 过,拼起来当然还是规范化的吧?
不是。Unicode 官方 UAX #15 第 1.4 节的原话是:
none of the Normalization Forms are closed under string concatenation. That is, even if two strings X and Y are normalized, their string concatenation X+Y is not guaranteed to be normalized.
官方给的反例之一就是韩文:两个各自是 NFC 的字母(U+1100 初声、U+1161 中声)拼起来之后,合成结果应该是一个音节(U+AC00)。我实测复现了这一点:
NFC(x) = '\u1100' NFC(y) = '\u1161'
joined = NFC(x) + NFC(y) -> 长度 2
unicodedata.normalize('NFC', joined) -> 长度 1
unicodedata.is_normalized('NFC', joined) -> False
拉丁字母同样中招:'a' 和 U+0301 各自都是 NFC,拼起来 is_normalized('NFC', ...) 返回 False——因为它应该合成成 'á'。
UAX #15 同时写明所有规范形式对子串是封闭的,只有拼接不封闭。所以「按字段归一化、拼接、存库」这条常见流水线,在拼接那一步就失效了。
修法:归一化的位置必须放在「最终值」上,也就是拼完、格式化完、模板渲染完之后再做一次;不要指望在输入层做一遍就能一直保持。版本号字符串也有同款问题——1.0 与 1.0.0 看起来是同一个东西,比较结果却取决于约束写法(见 PEP 440 里少写一位就锁死整段版本)。
四、坑 3:NFKC 会把数据洗掉
很多人知道「全角转半角用 NFKC」,然后顺手把它当成通用清洗函数。这一步会改掉数据本身。
我实测了 11 个常见字符,NFKC 之后长度与内容都变了:
| 原字符 | 码点 | NFKC 结果 | 长度变化 |
|---|---|---|---|
| ① | U+2460 | 1 | 1 到 1(语义变了) |
| ½ | U+00BD | 1⁄2 | 1 到 3(涨 200%) |
| ℃ | U+2103 | °C | 1 到 2 |
| ㈱ | U+3231 | (株) | 1 到 3 |
| Ⅻ | U+216B | XII | 1 到 3 |
| ㎡ | U+33A1 | m2 | 1 到 2 |
| … | U+2026 | ... | 1 到 3 |
| ⑩ | U+2469 | 10 | 1 到 2 |
| ™ | U+2122 | TM | 1 到 2 |
| A | U+FF21 | A | 1 到 1 |
| カ | U+FF76 | カ | 1 到 1 |
注意两件事。第一,½ 变成的不是 ASCII 的 1/2,而是 1 加 U+2044(分数斜线)加 2,三个字符;如果你之后拿它去 int() 或当文件名,行为完全不一样。第二,NFC 对这些字符一律不动(实测每一项 normalize('NFC', s) == s 都为 True),所以「我要兼容处理」和「我要保持原样」是两条相反的路,选错方向不会报错,只会让原始信息永久消失。
UAX #15 第 1.2 节对这件事有明确警告:
Normalization Forms KC and KD must not be blindly applied to arbitrary text. Because they erase many formatting distinctions, they will prevent round-trip conversion to and from many legacy character sets.
修法:NFKC 只用于「比较键」和「搜索」这种一次性的派生值,绝不写回原始字段。原始字段统一 NFC 保存。
五、坑 4:零宽字符与 BOM,看不见但对不上
零宽空格 U+200B 是最常见的一种「人看不见、机器认死」的字符。从网页复制、从富文本粘贴、从 Excel 导出,都可能带进来。
实测:'user\u200bname' 的 len() 是 9,== 'username' 为 False,.strip() 之后长度还是 9——strip() 只去空白,U+200B 在 Unicode 分类里不是空白。跟着来的是一条不指向根因的报错:
KeyError: 'user\u200bname'
BOM 更隐蔽。UTF-8 的 BOM 是 EF BB BF,Python 的 codecs 文档写得很清楚:「On encoding the utf-8-sig codec will write 0xef, 0xbb, 0xbf as the first three bytes to the file」,同一页还写着 UTF-8 里用 BOM 是「discouraged and should generally be avoided」。麻烦在于 BOM 只在文件开头会被 utf-8-sig 跳过;一旦你按 10 MB 切片拼接、或者把多个 CSV 直接接在一起,BOM 就出现在第二个文件的表头前面,变成数据的一部分。
实测:一个带 BOM 的 CSV,用 utf-8 读出来的表头是 ['\ufeffid', 'name'],row['id'] 直接 KeyError;换成 utf-8-sig 才是 ['id', 'name']。同样的字符塞进数字字段,会得到:
ValueError: invalid literal for int() with base 10: '\ufeff123'
顺带一个反向的坑:int('123') 是可以成功的(结果 123),float('1.5') 也是 1.5——Python 的数值解析接受全角数字,却不接受 BOM。所以「全角数字能过校验」这件事本身,会让从页面复制来的全角数字悄悄进库。
六、坑 5:大小写不是一对一,长度会变
lower() 和 upper() 都不保证长度不变,也不保证「转回来还是原样」。本机实测:
'ß'.upper()得到'SS',长度 1 变 2'fi'.upper()得到'FI',长度 1 变 2'İ'.lower()得到'i'加 U+0307,长度 1 变 2,而且不等于'i''ΣΣ'.lower()得到'σς':同一个 Σ 在词尾变成 ς、在词首变成 σ,转换结果依赖位置'ß'.casefold()得到'ss','ẞ'.casefold()也是'ss'
Python 文档对 casefold() 的说法是「Casefolding is similar to lowercasing but more aggressive」,并给了 'straße'.casefold() 得到 'strasse' 的例子。也就是说:做「不区分大小写的比较」应该用 casefold,不该用 lower,否则 'straße' 与 'STRASSE' 会被判成不同。
更危险的是长度变化叠加索引:如果你先 upper() 再按位置截断(比如取前 3 个字符做短码),'ß' 这一类字符会把后续所有位置整体偏移一格。UAX #15 第 10 节对此有一句总纲:「Higher-level processes that transform or compare strings, or that perform other higher-level functions, must respect canonical equivalence or problems will result.」
修法:比较用 casefold();任何「按字符位置」的操作都在原始字符串上做,不要用转换后的长度算索引。
七、坑 6:sorted() 不是拼音序,也不是笔画序
sorted() 按码点排,中文按码点排出来的顺序与拼音、笔画都没有关系。实测五个姓:
sorted(['陈','阿','白','张','李']) -> 张 李 白 阿 陈
locale.setlocale('Chinese_China.936') + strxfrm -> 阿 白 陈 李 张
第二行才符合中文用户的预期。这也说明「排序」不是字符串库的事,是语言环境的事:Python 的 locale.strxfrm 把比较键交给平台 C 库,所以同一份代码在 Windows 上要写 Chinese_China.936,在 POSIX 上通常写 zh_CN.UTF-8,拿不到就抛 locale.Error。
顺带说数据库这一侧:SQLite 内置只有 BINARY、NOCASE、RTRIM 三种排序规则,官方文档写明「BINARY - Compares string data using memcmp()」,而且「NOCASE … only ASCII characters are case folded」。也就是说把中文排序丢给 SQLite 的默认 ORDER BY,拿到的同样是码点序。
修法:排序放呈现层或数据库的 collation,业务逻辑里只用「相等/不等」;如果必须自己排,明确写出用的是哪个 locale,并在拿不到时降级成「按码点排加提示」。时间字段上有一模一样的现象:两个「看起来相同」的时刻也会判不相等(见 zoneinfo 与夏令时的 6 个静默错误)。
八、坑 7:孤立代理项,json 读得进、写不出
这条最容易让人以为「数据坏了」。json.loads('"\\ud800"') 在 CPython 3.13.14 上能正常返回一个长度为 1 的字符串,repr 是 '\ud800'——它是孤立代理项,不是任何真实字符。然后:
UnicodeEncodeError: 'utf-8' codec can't encode character '\ud800'
in position 0: surrogates not allowed
写文件同样失败,因为 open(..., encoding='utf-8') 内部就是 encode。而 json.dumps({"k": "\ud800"}) 会原样把它写成 {"k": "\ud800"},于是这份「能读能写」的 JSON 在下游某个需要转成 UTF-8 字节的环节突然爆炸。
这类字符的正常来源是 surrogateescape 错误处理器。Python 的 Unicode HOWTO 写明它会「decode any non-ASCII bytes as code points in a special range running from U+DC80 to U+DCFF」——也就是说,当你用 errors='surrogateescape' 读一个编码未知的旧文件时,读进来的非法字节就变成了这一段的代理项。它让「读、改、写」往返无损,但一旦你把这段字符串送去 encode('utf-8'),就会被拒绝。
修法:区分两种字符串——「内部二进制代理」只允许在 surrogateescape 的往返里活着;跨边界(JSON、HTTP、数据库、日志)之前必须验证:s.encode('utf-8') 不抛异常才算合规。要么用 errors='replace' 明确承认丢字,要么整条拒绝并记录原始字节。
九、哪一层用哪个形式:一张对照表
| 环节 | 用什么 | 理由 |
|---|---|---|
| 存储(数据库、文件内容) | NFC | UAX #15 指出 W3C 等规范推荐 Web 内容统一用 NFC |
| 比较键、唯一索引 | NFKC 加 casefold | 消除全角与兼容字符差异,索引才拦得住 |
| 展示 | 原始值(NFC) | 不做兼容折叠,避免「①变 1」这类信息丢失 |
| 文件名查找 | 两边同形式(通常 NFC) | 文件系统不分形式,只按字节匹配 |
| 中文排序 | 平台 locale 加 strxfrm | sorted() 得到的是码点序 |
| 落盘前校验 | encode('utf-8') 试一次 | 唯一能挡住孤立代理项的低成本判据 |
十、可以直接抄的三段代码
第一段:比较键。
import unicodedata
def compare_key(s: str) -> str:
# 先做兼容分解再合成,最后折叠大小写
return unicodedata.normalize("NFKC", s).casefold()
assert compare_key("ABC") == compare_key("abc")
assert compare_key("Straße") == compare_key("STRASSE")
第二段:去掉不可见字符。
import re
INVISIBLE = re.compile(r"[\u200b-\u200f\u202a-\u202e\u2060\ufeff]")
def strip_invisible(s: str) -> str:
return INVISIBLE.sub("", s)
assert strip_invisible("user\u200bname") == "username"
第三段:入库前的批量体检。它只做检测、不改数据,适合挂在导入任务最后一步。
import unicodedata as ud
def audit(rows, columns):
bad = []
for i, row in enumerate(rows):
for col in columns:
v = row[col]
if not isinstance(v, str):
continue
if not ud.is_normalized("NFC", v):
bad.append((i, col, "not-nfc", repr(v)))
if strip_invisible(v) != v:
bad.append((i, col, "invisible", repr(v)))
try:
v.encode("utf-8")
except UnicodeEncodeError:
bad.append((i, col, "surrogate", repr(v)))
return bad
unicodedata.is_normalized 是 3.8 起就有的,不需要额外依赖。这套体检在 10 万行数据上通常不到一秒,比事后查「为什么这条记录查不到」便宜得多。
要批量找这几类字符,最省事的工具是正则,而正则自己也有一整套静默失效($ 的两个空匹配、\b 在中文里的位置、回溯爆炸),可以对着 Python re 的 8 处匹配错误 一起看。本文不含任何联盟推广链接。
十一、Troubleshooting:四个真实报错
下面四条都是我在写这篇稿子时真实触发并复制下来的原始报错,不是「典型报错」示例。
报错 1:surrogates not allowed
Traceback (most recent call last):
File "probe.py", line 71, in module
open("x.txt", "w", encoding="utf-8").write(s)
UnicodeEncodeError: 'utf-8' codec can't encode character '\ud800'
in position 0: surrogates not allowed
- 现象:JSON 里读出来的字段看起来正常,一写文件或一发 HTTP 就炸;日志把
\ud800转义成同样的字符,肉眼看不出异常。 - 原因:
json.loads接受\uD800这类孤立代理项,Python 的str也允许它存在;但 UTF-8 编码不允许代理项被编码。 - 解决:在跨边界处加一次校验
s.encode("utf-8");确实要丢字就用errors="replace"并打日志;要保留原始字节则整条链路都用surrogateescape读、只在内部用surrogatepass传,绝不写进 JSON。
报错 2:找不到那个明明存在的文件
FileNotFoundError: [Errno 2] No such file or directory:
'C:\\Users\\...\\Temp\\uni1-k5ep8ynt\\cafe\u0301.txt'
- 现象:
os.listdir()里明明有一个café.txt,按名字拼路径却打不开;换台机器、换一次同步就出现。 - 原因:目录里存的是 NFC 形式,代码拼出的路径是 NFD 形式,NTFS 与 ext4 都按字节匹配,不会自动帮你归一化。
- 解决:路径比较与查找统一先
unicodedata.normalize("NFC", name);从外部(用户输入、配置文件)来的文件名先归一化再拼。
报错 3:数字字段里有 BOM
ValueError: invalid literal for int() with base 10: '\ufeff123'
- 现象:CSV 导入时报「不是数字」,而肉眼看那一列全是数字;
row['id']还会直接 KeyError。 - 原因:拼接或重复导出时 BOM 落在了文件中间,
utf-8解码器不会跳过它,于是它成了表头或字段的第一个字符。 - 解决:读 CSV 一律
encoding="utf-8-sig"(它只在开头跳过 BOM),并在入库前统一跑一遍strip_invisible();导出方也改用无 BOM 的utf-8,官方文档本来就建议 UTF-8 别用 BOM。
报错 4:老文件按 UTF-8 读不动
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xd6
in position 0: invalid continuation byte
- 现象:同一批导出文件,大部分能读,个别文件第一行就报错。
- 原因:那批文件是 GBK 编码(「中文」的 GBK 字节是
D6 D0 CE C4),0xD6不是合法的 UTF-8 首字节。 - 解决:不要猜编码,先探测再显式声明;或者用
errors="surrogateescape"读进来、只处理 ASCII 部分再原样写回。判据是「读进来的字节能不能 re-encode 回原样」,能往返就不要强行转码。
十二、FAQ
Q:既然 NFKC 能把全角转半角,为什么不用它统一用户名?
可以用,但只能用在「比较键」上。用户名本身要按用户输入的样子存(NFC),比较时才对两边都做 NFKC 加 casefold。直接拿 NFKC 结果覆盖原值,½ 会变成 3 个字符、① 会变成 1,用户下次登录看到的就不是自己输的东西,而且这个改动不可逆。
Q:我把所有输入都 normalize('NFC') 一遍,是不是就安全了?
不安全,两个原因。一是拼接不封闭:字段级归一化之后拼起来仍然可能不是 NFC(见坑 2)。二是 NFC 不解决兼容字符的问题——① 与 1、全角 A 与 A 在 NFC 下依然是不同字符。归一化能消除的是规范等价的差异,消除不了兼容等价的差异,后者要不要合并由你决定。
Q:数据库里已经有脏数据了,怎么批量找出来?
用第十节第三段脚本跑一遍,按 not-nfc、invisible、surrogate 三类分别统计。改写要分两步:先只做 NFC 与去不可见字符(这两类风险低),再单独评估 NFKC 折叠带来的合并冲突——尤其当你要把结果写回唯一索引时,先统计会撞多少行,再决定合并策略。
十三、这次复盘的边界
写清楚边界比多写一条结论更有用。
- 实测环境:Windows 11 + CPython 3.13.14,
unicodedata.unidata_version为 15.1.0,文件系统 NTFS。文中所有数字都来自这台机器上的探针脚本,不是引用别人的结论。 - macOS 文件系统把文件名存成 NFD 形式这件事,我在这台机器上没有条件实测,所以本文不把它写成结论;真要跨 macOS 搬文件,按坑 1 的修法处理即可,不需要知道对方的存储形式。
unicodedata的 Unicode 数据版本跟着 Python 版本走:本机是 15.1.0,而官方文档当前版本页写的是基于更新的 UCD 版本。规范化结果本身跨版本稳定——UAX #15 第 3 节写明「if a string that does not have any unassigned characters is normalized under one version of Unicode, it must remain normalized under all future versions of Unicode」——但「哪个码点算已分配」会变,所以检测脚本里不要把版本号写死,用unicodedata.unidata_version打日志。- 四种规范形式都是幂等的(UAX #15 第 7 节列为设计目标,我实测
normalize(form, normalize(form, s))四个形式全部相等),但这只说明「重复归一化无害」,不说明「归一化一次就永远够用」——坑 2 就是反例。
如果你正在维护一个「文本字段比较」相关的 bug,先别急着改代码。把出问题的那两串值打印成 repr(),看码点,通常五分钟就能定位到上面七条里的某一条。这一步比读一百行归一化代码都便宜。
👉 立即参与小米 MiMo 开放平台:国内领先的 AI 大模型开放平台,高性价比推理服务
👉 立即参与阿里云 AI:汇集爆款 AI 产品,热门模型专属权益优惠券助力企业创新加速
📌 本文由 AI 辅助生成并经人工审核发布 | TechPassive — AI 驱动的内容测试站点,专注于效率工具与 SaaS 真实评测
🔗 精选推荐工具
使用以下链接支持我们持续产出高质量内容(点击可直接前往购买):
作为亚马逊联盟会员,符合条件的购买会为我们带来佣金,不会增加你的购买成本。