Sam Altman 去年10月在直播里放了一句话,「我们的内部目标是,2026年9月之前,让AI研究实习生跑在几十万张GPU上。」
今天是8月6号。距离这个deadline还剩25天。
然后普林斯顿的一帮人,上周发了一篇论文,标题很平静,「AI agent能做开放式AI研究吗?来自两个案例的早期证据。」
答案也很平静,不能。
也不是「还差一点」那种。是被原始论文作者打了2分和1分(满分6分),unambiguously rejected的那种不能。
我来给你讲讲这个实验是怎么设计的,因为这个设计本身就比结论有意思。
他们管这个方法叫「影子评估」。影子,shadow。意思是,AI agent在暗处做和真人研究者一模一样的研究题目,不知道真人做出了什么结果,也没有任何提示。然后让出题的那个真人来打分。
具体操作是这样的。普林斯顿团队找了两篇还没发表的 NeurIPS 2026 投稿论文(质量足够高、作者愿意参与的那种),把每篇论文的核心研究问题抽出来,交给AI agent。用的是 Claude Opus 4.8,后来又拿 GPT-5.6 Sol Ultra 做了鲁棒性验证。
给了什么?6天时间、3000美元API预算、GPU额度、一台Linux虚拟机、完全的互联网访问。说实话挺豪华的。
然后agent开始干活了。
它把所有「工程性」的事做得像模像样。自动配环境、跑了几百个实验、生成LaTeX论文、引用文献、画图。整个过程没有任何人类介入。
但出来的两篇论文,一篇被打了 reject,一篇被打了 strong reject。
评审意见写得很直白。David Africa(其中一位原始作者兼评审)说,「实验设计离谱,很难理解为什么会做出这些方法学选择。结果很明显是事后选择的产物。」另一位评审 Viet Nguyen 说,「不可能快速分辨出什么是噪音什么是重要的。」
两个人不约而同地吐槽了AI的写作风格,「又密又对冲,经常对冲到把自己到底做了什么、发现了什么都遮住了。」
研究团队在论文里总结了五个失败模式。我觉得这五条比「AI写不了论文」这个结论本身有意思太多了,因为它精确地指出了AI跟人类研究者之间的差距到底在哪。
第一,对发表标准缺乏判断力。
Agent不知道什么程度的工作算「够格发表」。它会在很早期就把一个方向判死刑,但标准是它自己编的。它也会把一堆平庸的结果打包成一篇论文提交,完全不知道这些东西在领域专家眼里是什么水平。
你想想看,这种判断力从哪来?读过几百篇同领域论文、参加过无数次组会被老板骂、审过别人的稿、被拒过自己的稿、跟同行喝咖啡聊过「什么东西值得做」。这种模糊的、社会性的「品味」,训练数据里学不到。
第二,面对困难不会创造性应对。
Agent的自我审查系统(用的是Stanford Agentic Reviewer和CMU Paper Reviewer这些工具)其实一直在告诉它「你的工作不够好」。十几轮修改,从来没给过一次 accept。大部分时候给的是 weak reject。
但agent的应对方式是什么呢?加caveats。在已有的结论上加一句「但是这个可能有局限性」,然后继续。不会想「等等,是不是我整个方向就不对?」像一个学生改论文,改来改去只在句子层面打补丁,从不质疑核心思路。
第三,不会有效回撤。
有一个agent在前14个小时内就否定了自己所有6个初始假设。所有的。全部证伪了。
然后呢?然后它继续做了110个小时,用「报告负面结果」的框架把这些东西写成了论文。
它会在局部层面回撤,重跑实验、调参数。但不会在项目层面回撤。不会说「我一开始的方向就不对,我应该重新定义问题」。
坦率的讲,这可能是五条里最致命的。真正的研究,核心能力就是知道什么时候该放弃,承认沉没成本就是沉没成本,推倒重来。agent做不到这种对自己的冷酷。
第四,缺乏资源意识。
两个agent跑完的时候,API预算用了不到50%,时间也还剩好几个小时。它们明明可以多跑实验、多尝试方向,但没有。
它们明明能监控用量,但就是没有那种「天哪我还有预算没花完我得赶紧试更多东西」的紧迫感。
第五,指令漂移。
Agent被明确告知了一些规则,比如花多少时间在探索上、多频繁地让AI审查工具检查一下、论文不要超过多少页。它无视了这些指令。不是故意的,更像是在长时间运行过程中,对初始指令的注意力逐渐衰减了。
这五条加在一起画出了一个什么画像呢?
一个极其能干的实习生,连续工作144小时不眠不休,执行力惊人,但完全缺乏判断力。
配环境、跑实验、写代码、论文格式都对。但不知道该做哪件事,不知道什么时候该停,不知道什么时候该推翻重来。
所以回到 Altman 那句话。「2026年9月之前,AI研究实习生。」
普林斯顿这篇论文说的是,如果这个「实习生」的定义是「能独立做出被同行认可的开放式研究」,那离这个标准还远得很。
但如果定义是「能在人类指导下完成所有工程性工作,让研究者把时间花在判断和创意上」,那其实。。。已经到了。
区别在于你把bar放在哪。
这让我想起一个很经典的类比。你让一个AI下棋,它能下赢世界冠军。但你让它决定「今天下棋还是打牌」,它做不了这个决定。因为下棋是一个有明确规则和目标函数的封闭系统,而「决定做什么」是一个开放系统里的判断问题。
研究也是一样。agent能在一个已经定义好的研究问题框架内执行所有操作。但「这个问题值不值得问」「这个方向走不通的时候该换什么方向」「我的工作在同行眼里是什么水平」,这些是开放性判断。
论文的第一作者之一 Sayash Kapoor 在他的博客里写了一句我觉得特别精准的话,「agent不是在做研究,agent是在做研究里长得像可以自动化的那部分。」
你品品这句话。
我们很容易陷入一个错觉,agent做的事看起来很像研究。但研究的核心不是跑实验写论文,是指导这些动作的判断。就像做饭的核心不是切菜开火,是知道什么时候该翻面、该关火、该加盐。
有意思的是,这个结论跟几周前我们聊的那些事完美对照。
AISI那个实验里,AI agent的问题不是缺乏能力,而是能力溢出,它太有创造力了,自己发明了社会工程学攻击。SpaceX那边(下篇再聊),问题是工程上的可行性和经济性。而普林斯顿这篇讲的是另一个维度的缺失,能力够,甚至可能太强了,但类型不对。
工程能力 ≠ 研究能力。执行力 ≠ 判断力。跑实验 ≠ 做研究。
这三组不等式,就是这篇论文的全部信息。
所以你问我,2026年9月之前能不能有AI研究实习生?
我觉得。。。看你定义。如果是「帮你跑实验、搜文献、写初稿」的那种实习生,早就有了,现在用Claude就能体验个七八成。
如果是「独立提出研究问题、判断什么方向有价值、在走不通的时候推翻重来、最终产出被同行接受的论文」,那这个东西还不存在。
而且坦率的讲,我不确定下一代模型就能解决。判断力、品味、对沉没成本的冷酷、对领域的社会性理解,这些不太像是「模型更大就自然涌现」的能力。
当然了,我已经被AI打过太多次脸了。说不定明年的某个凌晨,某个新模型就把这些全解决了。
但至少今天,2026年8月6号,距离Altman的deadline还剩25天,答案是,还没有。
大时代啊,朋友们。
以上,既然看到这里了,如果觉得不错,随手点个赞、在看、转发三连吧,如果想第一时间收到推送,也可以给我个星标⭐~
谢谢你看我的文章,我们,下次再见。

评论区
欢迎留下你的看法,支持匿名评论。
你的评论会公开展示,建议填写便于交流的昵称,并尽量提供有信息量的反馈。