TL;DR : As LLMs become more capable, benchmark performance is increasingly a function of test-time compute. In fact, we likely don't know what the capability ceiling is for modern LLMs because it's too expensive to measure . We should change LLM evaluations to account for that by measuring performance vs tokens, cost, or time .
#GPT-5.5 发布那天的怪事
GPT-5.5 发布那天，第一反应是怀疑。Benchmark 数字好一点，但好得不多。
几个小时后，等大家有时间上手玩了，结论变得清楚——5.5 比 5.4 是一个 step-change 。Classic 的「benchmark grid」显然没讲完整个故事。Why？
把 GPT-5.5 和 5.4 放到以 tokens 为 x 轴的图上，答案就清楚了：
- 左图 （cyber eval 1）：5.5 跟 5.4 在各自「最大」test-time compute 下看起来没强那么多 。
- 右图 （cyber eval 2）：一旦控制 tokens / cost / latency，5.5 比 5.4 强很多 。
GPT-5.5 没有跟 5.4 在同一个 token budget（或 dollar budget）下被评估。一旦控制 test-time compute，5.5 比 5.4 强很多。
#Plateau 在消失
讨论到这里常有人问：为什么不直接用一个 harness 一直推 test-time compute 直到性能 plateau ？
问题是：经验上 plateau 推得非常远 。有时候在合理预算里根本观察不到 plateau 。两个证据：
- Karpathy 的 autoresearch 实验 ：performance 跨几百次实验后还在涨。
- METR 的 cyber eval ：Mythos 和 GPT-5.5 的 performance 在 100M tokens 之后还在快速涨。
更强的模型在长程上的 performance 提升更强 。Plateau 的点被推远，甚至可能消失。
#应该长什么样的评估
正确的评估方式是一张 performance vs test-time compute 的图，x 轴是 tokens、cost 或 wall-clock time 。已经有些 benchmark 在这个方向上走了——ARC-AGI 测的是 score vs cost 。
另一个合理选项是显式设 token / time / cost 预算并告知 model ——这跟人类考试（SAT、IMO）评估方式是一样的。
每个 x 轴都有 tradeoff ：
- Tokens 跨 model 不可直接比——tokenizer、速度、per-token cost 都不同
- Dollars 取决于实现细节（batching、hardware utilization），cost 和 latency 能互相 trade
- Wall-clock time 也不完美——** multi-agent 技术（如 best-of-N）能扩 test-time compute 但几乎不增 latency**
但 ——any of these curves 比单 scalar 都更有信息量 。
#Safety policy 那一段：Gemini 3 Deep Think 的真问题
Frontier model 发布前，labs 常规要评 cyber / bio / 其他 misuse risk。如果一个 model 跨过 capability 阈值，release 可能被延迟到 mitigation 就位 。
但——如果 capability 是 inference compute 的函数，那 safety evaluation 该在什么 inference budget 下跑？
实际情况是：model release 的 safety evaluation 大多数没考虑过 inference 用量 。Gemini 3 Deep Think 的发布和引发的愤怒，是个有教育意义的例子。
Gemini 3 Deep Think 发布时，benchmark 分数比之前的 model 高很多。但当时没发 system card 评估它的风险。 AI safety 社区的愤怒随之而来。
Noam 的判断：批评 DeepMind 这次 release 的人 missed the deeper issue**——AI labs 和 safety orgs ** 不系统地把 test-time compute 算进 model 评估**。
Deep Think 大概率是一个对其他（有 system card 的）model 的 scaffold 。外部任何人都能复现这样的 scaffold 。换句话说，Deep Think 的能力本来就是任何愿意付 Deep Think 级别 inference 钱的人能拿到的 ——scaffolding 一堆 model query 拼起来而已。Deep Think 只是给 casual user 提供了更方便的方式。
真该被批评的是：Gemini 3 和其他 model 发布时， system card 没有按 test-time compute 测 benchmark**。**
#长程 evaluation 的新问题
一个国家行为体可以花 $10M+ inference 在单任务上。 但评估一个 model 常规要跑几千到几百万 rollout——** 在每个 rollout 上都按这么高的 budget 评不现实**。
幸运的是，performance 看起来跟 inference compute 用量还算 predictable scale 。所以可以用相对低的 inference budget 评估，然后外推（带不确定性）高 budget 下能力可能是什么样 。
但长程 evaluation 可能会引入小 budget 外推兜不住的复杂性 。比如，1 年 horizon 的 AI agent misalignment 评估，可能只有真跑 agent 一年才能确信 。
AI labs 可能很快会陷入一个奇怪位置：agent 的 operating horizon 超过新 model 的开发周期 。到那时，要在新 model 发布前跑完它最大 lifetime 的 evaluation 是不可能的——除非延后发布。
#给 AI 社区的三条具体建议
- AI labs 应该在发新 model 时 按 tokens / cost / time 为 x 轴发 benchmark 性能 。最低限度：report 拿到这个 scalar benchmark 结果用了什么 inference budget 。
- Benchmarks 应该在 leaderboard 上跟踪 inference 用量，或显式设 token / cost / time budget 。很多 benchmark 已经在朝这个方向走，但还不是标准实践 。
- Preparedness Frameworks 和 Responsible Scaling Policies 应该显式把 inference compute 算进 model 是否跨安全阈值的判定 。另外，evaluation 应该在多个 inference budget 下估计能力，包括从小 budget run 外推（带 stated uncertainty） 。
#收尾
如果你跟了我一段时间，这篇整文看着可能像 nothing new。 自 2024-09 o1 发布我们就知道了——reasoning model 性能随 inference compute 缩放。
可——快两年后，frontier AI labs 发新 model 时还在发单数字 benchmark 结果 ；AI safety orgs 看到 scaffold 用 100x inference budget 拿到更好性能时还在惊讶；Preparedness Frameworks 和 RSP 在判定 model 是否达到关键 capability 阈值时还在经常忽略 inference compute 。
最新一批 model 利用 test-time compute 的能力比以往任何时候都强，把 performance plateau 推得更远。如果这个趋势继续（我完全预期会继续）， 不把 inference compute 算进去的 benchmark 分数每发一代都会更没信息量**。**
是时候把 inference budget 当成 capability measurement 和 safety policy 的 first-class 一部分了。
#这条在 2026 AI 评估范式里的位置
Test-time compute 应该是和训练 compute 同等重要的一阶维度 ——不控制 inference budget 看 benchmark 就是看错对象。
2026 年最好的评估长这样：一张以 tokens / cost / time 为 x 轴的 performance curve，不是 scalar 。
2026 年最危险的评估误区是：用「这个 model 跑单次 prompt 的分数」去判定它的 capability 阈值 ——Deep Think 这种 scaffold 把这个误区的代价摆在了台面上。