Taste 是下一个被 AI 攻克的能力
TL;DR: Anthropic 用真实研究 session 量化了 research taste：到 Opus 4.7，AI 提出的下一步在 50% 的情况下被判定优于人类研究员，Claude mythos 更是到了 60%。我一直以为 taste 是 AI 学不会的能力，这个判断需要修正了。
当我最近在用 AI 进行研究的时候，我越来越关注于这个问题：AI 能完成大部分东西，那还要我干嘛？
我一直认为最难被 AI 取代的能力就是 taste，也就是在开放的问题上，make judgment call 的能力。
因为关于做什么样的研究，用什么样的工程设计，这样的问题，网上既缺乏大量的训练数据，也没有可靠的可以验证的信号来做强化学习。
做出有品味的判断，依赖于我们长时间沉浸在特定的圈子和环境里面，形成了那些很难写下来的直觉。比如做强化学习的，会知道 PRM 听起来好，但是实践上往往不容易 work；做 LLM as judge 的，会知道 LLM 的分数有很强的均值回归倾向。
我一直这样想的，直到最新的 Anthropic 文章改变了我的看法。
这篇文章叫《When AI builds itself》，是 Anthropic Institute 这两天刚发的，核心是在讲 AI 正在越来越多地接管 AI 自己的研发。文章把研发拆成 engineering 和 research 两部分：在执行层面，也就是写代码、跑实验上，Claude 已经能追平甚至超过人类；唯一还明显属于人类的，就是 research taste——判断哪个问题值得做、哪个结果可信、什么时候该果断砍掉一个方向。
而最让我意外的，是他们真的尝试去量化这件原本被认为最难量化的事。他们翻出研究员和 Claude 一起做开放性研究的真实 session，专门挑出那些研究员当时走了弯路的节点，然后只把走偏之前的那段上下文喂给模型，问它接下来会怎么走，再让另一个能看到最终结果的 Claude 来当裁判：究竟是人还是 AI 给出的下一步更好。换句话说，这其实就是在直接测量模型能不能 ask good research question。
最后这一个表，是如此令人不安的熟悉。
随着模型不断迭代，在研究中提出正确的改进方向的能力也在不断提高。到了 Opus 4.7 的时候，这个分数已经来到了 50%。
注意，这里的 50% 不是只对了一半，而是说，在一半的情况下，AI 提出的研究方向被认为比人类更准确，也就是，50% 意味着人类研究员的 taste 已经不比 AI 好了。
而 Claude mythos 更是把这个值推高到了 60%，这使得我非常期待这个模型的发布。
所以我们会发现，research taste 这样一个将好的研究和差的研究区分开的重要能力，随着 AI 能力的进步，也会成为自动化的一部分。
那这对于我们意味着什么，尤其是对于未来的研究方向的影响是什么呢？
我觉得最关键的一个趋势就是，研究很有可能会以比我们想象更快的方法被自动化。这也能延伸到大多数开放性问题中，生成软件、撰写文章等等。
如果 Research 或者 Engineering task 不能被 AI 自动化，那么人类瓶颈始终存在，Scaling 的速度就有一个上限。但是如果 taste 也能被自动化，那人类的瓶颈就会越来越小，阻碍 Scaling 的就只剩下算力。这也就对应了 Anthropic 设想的未来愿景中的第三个。
因此未来的工作也许就不再是手工戳几个 Harness 长点这样了，明显地，研究和工程的自动化会使得我们的注意力转向，如何在这样一个我们并不能完全理解的过程中，确保可靠性来提高自动化程度。展开来说，可能下面的趋势会在未来更受到关注：
- Long context orchestration：Long context memory 的进化版本，我们不只是关注当模型被给予了很多上下文的时候能否连贯地工作，我们关注当整个 multi agent harness 完成了非常多步以后，如何自我整理和保持性能。这也就是 Claude dynamic workflow 所关注的事情。
- Measuring and improving agent ability to make good judgement calls：过去 Agent 的能力不足的时候，我们都关注在那些封闭的任务上评估，但是未来显然，Agent 会要执行更多的开放任务，那么我们就需要有一种方式来建模他在开放任务中进行决策的能力，比如说他做出的行动是否是不后悔的？今天凭感觉做了一个判断，未来是否能够有正收益？
- Minimizing human supervision：当生产效率的一侧，也就是 Agent 任务的成功率不再是一个瓶颈的时候，生产过程的另一侧，人类监督的供给就成为了瓶颈。如何更高效地将人类的意志传达给 Agent，并同时避免过多的人类干预，成为了提升未来能力的重要维度。
但上面所说的，终归只是我的一家之言。不知道你们相信 Research taste 会被自动化吗？