AI 说不出的随机数,成了套壳大模型的照妖镜

你花钱买了 Claude Opus 4.8 的 API,收到一段回复。可你怎么知道,这段回复真的是 Opus 4.8 生成的,而不是中转站偷偷给你换成了便宜货?

以前这个问题几乎无解。直到有人发现,你只要让 AI 说一个 1 到 100 的随机数,就够了。

想出这招的是布拉格经济大学一个叫托马什·布鲁克纳的研究员,他把这句无聊的话,变成了鉴别套壳大模型最好的照妖镜。他的论文 7 月 11 号刚挂到 arXiv 上,名字很嚣张,叫《One Token Is Enough》,一个 Token 就够了。我昨天连夜读完,越读越觉得这哥们是个天才,因为他做的事情听起来像个恶作剧,但背后戳中的是整个 AI 应用生态里一个几乎所有人都在默默忍受的痛点。

先说他到底干了啥。他对 165 个 AI 模型,反复问同一个无聊透顶的问题,给我一个 1 到 100 的随机数,每个模型问 30 遍,然后统计回答的分布。

结果太好玩了。

GPT-4o 三十次里最爱说 42、37 和 57,这三个数字占了大半壁江山。Claude Sonnet 5 更离谱,疯狂输出 47。Llama 3.3 多数是 53。最夸张的是 Qwen3-Max,三十次全部是 42,一次都没变过。随机数按理说每个数字被选中的概率应该是 1%,分布应该是均匀铺开的,但这些模型的回答,跟随机这两个字屁关系都没有。

而且每个模型的执念还都不一样。GPT-4o 痴迷 42 和 37,Claude 偏爱 47,Qwen 死守 42。就好像每个 AI 的灵魂深处,都被烙了一个思想钢印,你让它随口说个数,它脑子里第一反应永远是那一个。

到这里,懂点 AI 的朋友可能要不屑一顾了,AI 不会真随机这事儿早就知道了,有啥可大惊小怪的。确实,2023 年就有人做过大模型随机数偏差的实验,2024 年有人研究过抛硬币序列偏差,2025 年更是有人发现不同模型有不同的幸运数字,还跟语言文化背景挂钩。这些都是已知的学术发现。

但所有人都把这个当成模型的一种缺陷,发现了,记录了,然后就没有然后了。

布鲁克纳牛就牛在,他把这个人人都当成 bug 的东西,反过来当成了身份证。 你想,如果这些执念是稳定的,那把多个执念组合起来,不就是每个模型独一无二的指纹吗?他管这个叫 Behavioral Fingerprint,行为指纹。就像每个人的指纹独一无二,每个模型在这些随机问题上的概率分布也独一无二,只需要模型吐出一个 Token,就够锁定它是谁。

那这玩意到底有什么用?这就要说到国内用海外模型那点心酸事了。

个人用户挂个魔法自己搞订阅还好说,公司层面基本没得选,不可能给几十上百号人一个个注册海外账号,都是自建或者接第三方中转,统一走 API。可这个生态里藏着一个大坑,你付了 Claude Opus 4.8 的钱,收到一段回复,但这段回复到底是 Opus 4.8 生成的,还是中转站偷偷给你换成了 GLM-5.2 甚至更便宜的货,你根本无从验证。

这不是我瞎猜。今年 3 月,一群来自 CISPA 的研究人员审计了 17 家中转 API,用一套叫 LLMmap 的指纹技术,真抓到了多个疑似偷换模型的端点。有人卖你 GPT-5,指纹却更像 GLM-4,有人卖 DeepSeek Reasoner,背后跑的却像普通的 Chat 版。

这种事之所以泛滥,纯粹是经济结构决定的。 推理成本跟模型大小几乎线性挂钩,700 亿参数和 80 亿参数的模型,推理成本差五到十倍。中转站把你付费的大模型悄悄换成小模型,或者量化到极致的版本,你在日常对话、翻译、简单问答这些场景里根本感知不出区别。你问今天天气怎么样,70B 和 8B 给你的回答可能一模一样。省下来的差价,就是纯利润。只有等你写长文、跑代码、做复杂推理的时候差距才冒出来,可那时候钱早就交了。

所以辨别中转站有没有掺水,早就是刚需了。问题是 CISPA 那套 LLMmap 太重,你得准备专门的测试题,收集完整回答,建模型数据库,还要训练分类器,普通人根本用不起来。

布鲁克纳真正的封神之处,是他把这套复杂的验明正身,压缩成了一件近乎荒诞的小事。就问 AI 一句,给我一个随机数,然后数它的回答。

而且这个设计有个特别精妙的地方,中转站拿它一点办法都没有。传统的对抗性探针有个致命弱点,你发一条精心构造的、一看就不像正常对话的请求过去,中转站一发现你在探它,临时切回真模型就完了。可说一个 1 到 100 的随机数这种话,放在任何聊天记录里都毫不起眼,跟你随口问天气没任何区别。它还能用无穷多种方式改写、翻译,你用英文问和用阿拉伯语问,测出来的是同一个模型的不同切面,但每个切面都带着它的身份信息。

他把整套东西设计成了类似生物识别的协议,先在可信的官方 API 上采一份参考指纹,再对要验证的端点采一份待验指纹,两份之间算个 Jensen-Shannon 散度,距离小于阈值就认证通过。用全部 40 个探测单元跑完,判断错误的概率只有 7.3%,就算只用 8 个单元、大概 120 条请求,错误率也只有 10.6% 左右。

这个准确度已经逼近 LLMmap,但简单太多了。

165 个模型跑完,他还真挖出一个劲爆案例。一个叫 Palmyra X5 的端点,在 OpenRouter 上以某公司自研旗舰的身份售卖,但它的行为指纹跟通义千问的开源模型 Qwen3-235B 几乎一模一样,差距只有 0.141。而同一个模型在不同供应商那里各部署一套,因为服务器环境不同,自己跟自己比的正常波动大概是 0.140。0.141 对 0.140,这画面就非常尴尬了。布鲁克纳在论文里措辞很克制,说这只是统计观察,不是对意图的指控,但数据和代码全部公开,任何人都能复现。

聊到这,我其实觉得比审计结果更好玩的,是它牵出的那个更底层的问题。AI 为什么就是生成不了真正的随机数。

论文里用熵来衡量回答有多随机,你可以理解成不可预测程度,数字越高越难猜。1 到 100 如果完全均匀,熵应该是 6.64 bit,但 165 个模型的中位数只有 1.0 bit,差了五六倍。AI 说随机数的时候,信息量只有真随机的六分之一,高度集中,高度可预测。

这事儿吧,人类也一样。经典实验里让人闭眼说一串随机数,结果人会强烈地避开重复、避开相邻数字、偏爱奇数。你让 100 个人说一个 1 到 10 的数,7 被选中的概率远高于 10%,因为人脑觉得 7 看起来比较随机,5 和 10 看起来不够随机。

AI 面临的是一模一样的困境,只是原因不同。真正的随机要求你是一张白纸,可大模型恰恰是人类造出来的信息密度最高的非白纸。几十万亿 token 的训练数据,几千年文明的总和,每一个权重都编码着某种规律、某种偏好、某种从语料里沉淀下来的肌肉记忆。你让它随便说个数,它根本没法真正随便,它只能从见过的所有文本里,找一个最像随机数的答案。

42 为什么被那么多模型偏爱,因为它是《银河系漫游指南》里生命、宇宙以及一切问题的终极答案。7 为什么总被人类选中,因为它在宗教、文学和日常语言里被反复赋予神秘和幸运。37、47、53 为什么频繁出现,因为它们是奇数、是质数,不圆整、不对称,看上去更像随手蹦出来的数字。可恰恰因为所有人都觉得它们更随机,它们才变得最不随机。

大模型只不过把人类潜意识里的这种偏见,压缩、放大,然后写进了自己的概率分布里。

我们总以为模型是个冷冰冰的数学机器,每次回答都来自概率采样,充满不确定性。但当你把几十万次回答叠在一起看,会发现它一点都不随意。参数可以被量化,提示词可以被改,名字可以被重新包装,外面甚至能套一层完全不同的壳,可它在亿万次训练里养成的概率习惯,依然会从一个小小的 Token 里漏出来。

爱因斯坦说,上帝不掷骰子。而 AI 也不掷骰子。它每一次以为自己在掷骰子的时候,掷出来的,都是自己。

谢谢你看我的文章,我们,下次再见。

/ 作者:青玉白露

延伸阅读

• 诺兰说AI是一匹玻璃木马：诺兰说AI是一匹透明的特洛伊木马,所有人都知道里面藏着什么,但门还是开了。真正推着我们开城门的不是木马多诱人,是怕被别人落下的恐慌。
• 用了AI之后,我们变得更自信地犯错：一项研究发现,人用了AI建议后准确率从27%暴跌到9%,自信心却从30%飙到76%。AI最先夺走的不是答对的能力,是承认不知道的勇气。
• 一个199块的模型,把自己给挤爆了：月之暗面 Kimi K3 上线48小时就因算力挤兑暂停新订阅。一个开放权重、便宜到人人都想用的模型,反而被自己的成功噎住。这背后是杰文斯悖论,是模型可以开源、算力永远不能开源的残酷真相。
• 我们给AI出的考试，可能全错了：两份不相干的报告指向同一件事，AI学会了应付考试，而不是真的具备能力。当分数越来越高、可信度越来越低，验证的价值正在超过信任。