最强AI拿真实工作考核65分！Epoch曝光：GPT把自己的bug写成研究发现

2026年10月27日 · AI日报 · 青玉白露

Epoch 干了一件挺有意思的事，把自己公司的活儿拿去考 AI。

Epoch 是一家专门研究 AI 进展的机构，平时的日常就是画图表、写数据短文、做数据库、查数据中心的资料、设计研究课题。他们 10 月 8 号发了一份报告，这两天又被翻出来转，标题特别直白，叫 Can AI automate Epoch?，AI 能不能把我们自己替了。

他们从真实工作里挑了 11 个任务，分成 5 类，找了 6 个模型，每个模型都用自家的工具跑，Claude Fable 5.1 用 Claude Code，GPT-6 Astra 用 Codex，推理强度全部开到最高。给材料的原则写得很清楚，一个新员工入职能拿到多少上下文，模型就拿到多少。Figma 文件、设计规范、往期作品、一个独立的 Google 账号，全给了。

然后按自家员工的标准，一项一项人工打分。

最高分是 Fable 5.1 和 GPT-6 Astra，并列，平均 65%。

65 分，放在公司里就是试用期考核没过，还转不了正。

巧的是，同一周 OpenAI 发了 GPT-6.1 Terra，打出来的是另一张成绩单。API 价格每百万输入 token 1 美元，输出 5 美元，比上一代 GPT-5.6 Terra 便宜一半。第三方评测机构 Artificial Analysis 测下来，它比上一代更聪明，单个任务的成本从 1.40 美元降到 0.40 美元，不知道答案时硬编的比例从 88% 掉到 38%。OpenAI 总裁 Greg Brockman 在 X 上说，这个模型操作电脑已经比他本人不用 AI 的时候还快了。

OpenAI 给它想好的活也很具体，读发票，往会计软件里录数据，这种大批量的自动化。

一张说还没转正，一张说又快又便宜。我第一反应是，这俩到底谁说的是真的？

看完 Epoch 那份报告的细节，我发现两张成绩单其实没打架，它们说的是同一个人身上的两面。

先说手快这一面，Epoch 自己也认。报告里写，领先的两个模型在定义清楚的部分非常可靠，写代码、跑数据分析，输出一直很准。电脑操作的能力更是远超他们的预期。今年早些时候，最前沿的模型连把一篇文章搬到 Substack 上都搞不定，这次再试，成功了。

还有一个细节挺扎心的。他们原本有一道设计题，给一张 Matplotlib 画的图，让模型改成 Epoch 的统一风格，Fable 5.1 交上来的东西直接达到了员工水平。结果这道题被他们从考卷里删了，因为已经没有考的必要，现在 Epoch 自己干这一步，基本也交给 AI 了。

所以 Terra 降价降的是哪一块，你大概也能猜到。就是这 65 分里最稳的那部分，有明确输入、有明确对错、能一遍遍重复的活。

真正好玩的，是剩下那 35 分丢在哪了。

我一条一条看下来，越看越乐。

第一个是 Fable 5.1 画图。题目是画一张示意图，解释新模型在固定 token 预算下表现更好，给更多预算还能涨得更多。Epoch 的设计师画出来的，就是两条曲线加两句标注，干净得不能再干净。Fable 5.1 交了一张左右两栏的图，三代模型、两种测法、一堆小字说明，信息量大概是设计师那张的四五倍。它还从参考作品里学了一个 A、B 圆角标签的用法，人家原图里用这个标签，是因为同一个概念在图里出现了好几次，需要对应。Fable 只学到了长得像，没学到为什么。

更好笑的是，Epoch 翻它的工作记录，发现 Fable 自己派出去的子智能体在审稿的时候，嫌说明文字写得太少了。

自己的审稿人嫌字少，这个画面我脑补了很久。

第二个是 GPT-6 Astra 选题。任务是用 arXiv 上的物理论文数据写一篇数据短文。Epoch 自己后来写了一篇类似的，用的是数学论文，结论一句话，今年 4 月只有 4% 的数学预印本承认用了 AI，到 8 月变成 25%。关心 AI 的普通读者一看就懂。GPT-6 Astra 选的题是，在一个粒子物理的 AI 文献目录里，归一化流和扩散模型的论文数超过了 GAN。

数据没毛病，图也画对了，就是没人想看 = =

第三个是开源模型 Kimi K3，同一道题，它统计的是 arXiv 上所有论文，不只是物理论文，然后从头到尾没检查过自己的筛选条件到底生效没有，整篇结论就建在这个错误上。

最离谱的留在最后。

GPT-6 Astra 做研究设计题，自己设计了一个小实验，测试模型能不能通过有限次试探猜出一个隐藏规则。它给被测模型设了 4096 个 token 的上限，结果 280 次回答里有 61 次还没说出答案就被截断了，这些截断的回答照样算作有效尝试。它后来自己发现了这个问题，把上限调高，分数一下就上去了。

然后，它在报告里把这件事写成了一个研究发现，叫「对获取预算的敏感性」。

它把自己实验装置的 bug，当成了研究成果写进了结论里。

这个事吧，你要说它笨，它其实发现了问题，也修了。它缺的是那一下判断，这个结果说明的是我的实验没搭好，跟我想研究的问题没关系，不该往报告里写。

还有一个小插曲，用 Epoch 的民调数据自由选题时，Fable 5.1、Gemini 3.8 Flash、Grok 4.6 三个模型选了同一个题目。六个里撞了三个，Epoch 自己都说没想到。

Epoch 最后把这些失败归成一句话，模型在定义清楚的任务上靠得住，但总是差在驱动真实工作的那份判断力上。从例子里学会能举一反三的规律，设计一个真正测得出东西的实验，从结果里得出有意义的结论，这几样都还不行。

看到这我想起一个老说法。哲学家迈克尔·波兰尼在 1966 年写过一本小书叫《默会的维度》，里面有句话后来被引用了无数遍，我们知道的，比我们能说出来的多。经济学家大卫·奥托后来把它借过来解释自动化，叫波兰尼悖论，能被写成清楚规则的工作，机器最先接手，说不清楚的那部分，最难。

Epoch 这次几乎是把能说出来的全给了模型，规范、模板、往期作品、配色、组件库。模型丢分的地方，恰好全是没写进手册的东西。读者喜欢什么样的题目，一张图该留多少字，什么时候该承认是自己搭错了。

新员工也是这样。手册第一天就发给你了，试用期三个月真正学的，是手册上没写的那些。

说到这，得回扣一下我 10 月 17 号写的那篇。

当时 Anthropic 发了一份员工调查，员工平均觉得到 2030 年，AI 能干他们现在 75% 的工作。同一份调查里，95% 的员工又觉得公司明年还会扩招，中位数预期涨 66%。我当时觉得这事很分裂，自己的活大部分要被 AI 干了，公司还要拼命招人。

现在把 Epoch 的 65 分和 Terra 的价格放在一起，我觉得这个分裂好理解多了。能写清楚的那部分，正在以每代砍半的速度变便宜，便宜到可以大批量地跑。跑得越多，需要有人判断的地方也越多，选哪个题，这个结果能不能信，这张图是不是太满了。活被 AI 干掉的那 75%，和公司要多招的那 66%，可能根本不是同一种活。

这是我自己的推测，Anthropic 的报告里没这么写，我也不保证对。

当然，这份 Epoch 报告本身也有不少可以挑的地方，他们自己在局限里写得很坦白。任务只有 11 个，每个模型每题只跑一次，打分的只有一个人，很多标准是主观的，题目全是 Epoch 自己的活，不代表所有工作。还有一条我特别想划出来，每个模型用的都是自家的工具，有些差距可能来自工具，而不是模型本身。

这条我太熟了。10 月 16 号那篇写 ARC-AGI-3，同一个模型换一套测试框架，分数能从 49.8% 跳到 97.5%。所以 65% 这个数，我不会拿它去吓唬谁，也不会拿它安慰谁，它就是一个小样本的、带着主观判断的、很诚实的观察。

反倒是另一个细节，让我觉得这类考试比刷榜有意思得多。Kimi K3 在 Epoch 自己的综合能力指数上得了 158 分，跟 Grok 4.6 差不多，可在这套真实任务里，它连基础的筛选都没做对。榜单上打平的两个模型，坐到工位上可能差一大截。

那对我们这些普通人，这两张成绩单能用来干嘛？

我自己的想法是，可以拿 Epoch 这套标准，把你手上的活过一遍。哪些是输入清楚、对错清楚、做一百遍都一样的，这部分你大概率会越来越想交给 Terra 这种又快又便宜的模型，也应该交。哪些是要靠你知道「我们这儿的规矩」才能做对的，读者爱看什么，老板真正在意什么，哪个数一看就不对劲，这部分才是你在试用期之后真正值钱的东西。

还有一个顺手的小建议，你脑子里那些「我们这儿的规矩」，试着写下来。写下来的那一刻，它就从默会变成了能说出来的，今天能教给新同事，明天能喂给模型。我知道这听着有点像亲手把自己的护城河填了，但说真的，能写下来的东西本来也守不住多久，写不下来的那部分，才是你的。

Epoch 说，之后有新模型出来，他们会继续拿这套题接着考。

试用期还没结束。下一次打分，我最想知道的是，Fable 会不会学会删字。

谢谢你看我的文章，我们，下次再见。

/ 作者：青玉白露