Agora：把多 Agent 推理变成一场校准过的拍卖

一句话概括：Agora 这篇论文把 LLM agent 编排里的一个老问题换成了经济学问题。我们不再问“这个任务该交给哪个模型”，而是问：如果每个推理步骤都是一件可以拍卖的商品，每个候选模型都必须为自己“做对这一步的概率”出价，系统能不能把关键步骤交给真正可靠、而不是最会自夸的模型？

这个改写很重要。今天的多模型系统已经有很多可选后端：便宜模型、强推理模型、检索强的模型、视觉强的模型、代码工具、专用 API。难点不是“有没有专家”，而是每一步该信谁。Agora 的目标，就是给这种成本—能力权衡一个显式旋钮，而不是把路由藏在一堆经验规则里。

先把几个概念放到桌面上

我们先不要把 Agora 理解成“又一个多 agent 框架”。它真正处理的是三个相互缠在一起的概念。

任务单元像把一道复杂题切成几段可执行的小合同。不是整道题一次性丢给某个模型，也不是在 token 层面切换专家，而是把“检索证据”“做数学推导”“写代码子函数”“读图回答”等语义步骤变成可分配的单位。

出价不是模型随口报一个“我有 90% 把握”。在 Agora 里，出价由两部分组成：校准后的成功概率，以及执行成本和速度的惩罚。也就是说，一个昂贵模型只有在它的胜率优势足够大时才应该赢。

校准是这场拍卖能不能成立的前提。LLM 很容易过度自信：错的时候也说自己很确定。如果直接拿原始置信度当报价，拍卖会奖励最会吹牛的模型。Agora 先用静态校准器把不同任务类型上的置信度拉回真实命中率附近，再用在线反馈做动态修正。

成本敏感度 β则像系统管理员手里的旋钮。β 很小，系统几乎只看质量；β 变大，便宜或更快的模型更容易赢。论文强调，三种模式复用同一组校准能力分数，只改变成本惩罚，因此这条曲线反映的是同一个 router 在不同预算偏好下的行为。

为什么“按整题路由”不够细，而“直接相信自信”又太危险

直觉上，我们可能会先做一个简单 router：看用户问题像数学题、代码题还是视觉题，然后把整道题交给对应模型。这比永远调用最强模型便宜，也比随机选择靠谱。但复杂推理的问题在于，一道题内部经常不是同一种能力。

比如一个科学问答任务，前半段可能要从论文图表里检索证据，后半段才是解释和推理；一个代码任务可能先要理解背景，再实现一个很窄的函数；一个多跳 QA 任务可能有几个单跳事实，每个事实的难度不同。整题路由把这些差异压扁了：只要第一步选错，后面的所有步骤都被同一个后端绑架。

那我们能不能让每个模型自己说“这一步我会不会”？这就是第二个坑。论文在引言里点出的关键风险叫 overconfidence：模型会幻觉式地表达确定性。对于普通问答，这只是校准问题；对于拍卖，它会变成“赢家诅咒”。最过度自信的模型会频繁赢得任务，系统把关键逻辑交给它，整条推理链反而塌掉。

Agora 的聪明处，是把这两个问题连在一起处理：先把复杂问题拆成任务单元，再让候选模型围绕每个单元竞争；但竞争依据不是原始自信，而是被校准后的能力估计。

拍卖规则本身很简单：能力减成本

论文里的完整流程是 Planning → Calibration → Auction → Execution → Refinement。第一步，planner 把输入问题变成一个有依赖关系的任务图；随后 task-unit extractor 会把共享输入输出、prompt 相似或有控制依赖的节点合并，避免把本来强耦合的步骤拆得太碎。附录里还写得很具体：planner 最多输出 4 步，过长计划会增加级联失败风险。

接下来，每个候选 agent 对每个任务单元估计自己的成功概率。Agora 先拿到原始置信度 p_raw，通过静态校准器 S 得到 p0。这个静态校准器不是一个全局温度缩放，而是按任务语义分组：用 embedding clustering 和 KD-tree 找到相近任务组，再用组内参数和 histogram binning 修正置信度。遇到测试分布漂移时，动态校准器 S' 再用最近的反馈更新两个参数 α_t 和 β_t，把概率继续拉正。

最后的出价可以用一句话解释：

bid = calibrated_confidence^γ - β × normalized_cost

其中论文默认 γ=0.5，把高置信区间压扁一点。0.99 和 0.95 的区别不应该像 0.60 和 0.50 那样重要。成本项同时考虑 token 价格和吞吐速度，并归一化到 0 到 1。β 就是成本敏感度：Quality-first 是 0.001，Balanced 是 0.1，Cost-efficient 是 0.25。

这个公式没有神秘感，正因为如此它有解释性。某个模型赢，是因为“校准胜率的收益”扣掉“成本惩罚”后最高。

数字真正说明了什么：Agora 最强的证据在互补任务上

主实验覆盖五个 benchmark：MuSiQue-Ans、MMLU-Pro、SciCode、SPIQA 和 MathVision。候选池按 benchmark 固定，所有 router 都从同一组后端里选。文本任务里，MuSiQue 和 SciCode 使用数据集自带的分解结构，MMLU-Pro 才用 LLM planner；这点很重要，因为它把“拍卖分配”与“planner 质量”尽量拆开了。

先看文本结果。MuSiQue-Ans 上，Agora 达到 43.0 EM / 54.3 F1，略高于 1NN Router 的 42.4 / 54.1，也高于两个单模型后端。MMLU-Pro 上，Agora 达到 71.9%，超过最强单模型 68.1%，也高于 Adaptive-Solver 的 69.3%。SciCode 上，Agora 的 sub-problem pass rate 是 44.4%，与最佳单模型和 FrugalGPT 基本持平，main pass rate 是 13.8，提升很小。

这个 SciCode 结果反而值得认真看。论文没有把它包装成全面胜利，而是解释为校准分布不完全对齐：静态校准器训练中有 Codeforces、HumanEval 等代码数据，但 SciCode 是科学工作流，分布更偏研究代码。也就是说，Agora 不是万能 router；当候选模型的优势不容易被校准器区分，或者任务分布与校准数据相差较大时，它会退化成“还不错的路由”，而不是显著超过所有 baseline。

更有说服力的是多模态 SPIQA。这里候选池是 Grok 视觉模型和 Qwen3-VL-Thinking。单看 retrieval，Grok 更强：85.4% vs 67.3%。但严格推理分数上，Qwen 更强：L3 ≥ 0.8 是 48.2% vs 43.4%。这正是 Agora 喜欢的场景：两个模型不是简单强弱关系，而是能力正交。结果 Agora 的 Average L3 达到 65.0%，超过 FrugalGPT 的 61.7；严格指标 L3 ≥ 0.8 达到 56.9%，明显高于最佳单模型 Qwen 的 48.2%。论文还报告，系统把 81.1% 的检索子任务分给 Grok，把 32% 的更难推理子任务分给 Qwen。这里我们能看到拍卖机制确实在按能力边界切任务。

校准不是锦上添花，而是防止拍卖选错赢家

如果只看“拍卖”这个词，很容易以为机制本身就是贡献。但论文的 ablation 说明，真正决定成败的是校准。

Table 5 里有一个很关键的对照：没有校准的 Auction 在 MuSiQue 上仍然比单模型好，从 44.1 F1 到 51.4；但在 MMLU-Pro 上从 68.1 掉到 67.5，在 SciCode 上从 44.2 掉到 42.3，在 SPIQA 严格指标上从 48.2 掉到 46.9，在 MathVision 上从 53.3 掉到 49.3。也就是说，拍卖结构本身并不自动带来好结果；它甚至会放大错误信号。

加上校准后，情况才翻过来：MuSiQue 到 54.3 F1，MMLU-Pro 到 71.9%，SciCode 到 44.4%，SPIQA strict 到 56.9%，MathVision 到 55.3%。论文还给了 reliability diagram 的例子：grok-4-1 的 ECE 从 0.222 降到 0.023，qwen3-14b 的 raw ECE 高达 0.357，Qwen3-VL 也从 0.182 降到 0.100。

这组数字把 Agora 的边界讲得很清楚：拍卖不是魔法，拍卖只是把“谁应该赢”显式化。前提是报价可信。如果报价来自幻觉式自信，机制设计会非常漂亮地选出错误赢家。

成本旋钮提供的是可解释 trade-off，不是免费午餐

Agora 另一个实用点，是 β 把质量—成本曲线变成单参数控制。MathVision 上，随着 β 增大，系统更多使用成本更低的 Grok：Grok usage 从 21.5% 提到 78.5%，准确率从 55.26% 降到 51.06%。Balanced 设置 β=0.1 时，论文说 Grok 使用率几乎翻倍，而准确率只下降约 0.9 个百分点。

这个结果不能理解成“便宜模型随便用也不掉点”。相反，它提供的是一张清晰的价格表：你愿意为了多少便宜调用，付出多少准确率。对于真实部署，这比“我们有一个 cost-aware router”更有价值，因为系统负责人可以明确选择质量优先、平衡或成本优先，而不需要重新训练 router。

当然，拍卖也有额外开销。论文估算，拍卖层需要 |T| × |A| 个短 bid calls。在两 agent、2–3 个任务单元设置里，大约是 4–6 次短调用。这些调用只要求标量能力估计，可以并行发生，而且不随最终推理长度增长；候选池更大时，可以先 top-k 预选或合并近似重复的 agent。

论文证明了什么，没证明什么

Agora 证明得比较扎实的是三件事。

第一，在候选池固定、任务单元可用的条件下，按校准能力减成本做 step-level allocation，确实能超过不少整题 router、cascade 和单模型 baseline。尤其在 SPIQA 这种检索与推理能力分离的场景，收益很明显。

第二，校准是必要组件。未校准拍卖在多个 benchmark 上会低于单模型；校准后才稳定转正。这说明“机制设计 + 概率校准”是一个整体，不能只拿 auction 当噱头。

第三，β 是一个真实可用的部署旋钮。它不需要重训，只改变成本惩罚，就能把调用分布从质量优先推向成本优先，并给出可观察的准确率代价。

但论文没有证明几件同样重要的事。

它没有证明 planner 在开放任务里总能稳定给出好任务图。实验中 MuSiQue、SciCode、SPIQA 都尽量使用数据集内在结构；只有 MMLU-Pro 使用 LLM planner。附录也承认 planner 最多 4 步是一种经验性正则化，差分解或强耦合步骤会破坏独立任务单元假设。

它也没有证明动态校准在无反馈环境里自然成立。论文的 refinement loop 在实验中使用 ground truth label 作为反馈来建立上界；作者明确说，如果没有单元测试、抽取式验证或工具 verifier，部署默认应使用静态校准器。换句话说，S' 的 70.7 → 71.9 的 MMLU-Pro 提升有意义，但不能直接套到所有黑箱问答场景。

最后，它没有证明“模型越多越好”。局限性部分写得很直接：收益需要 meaningful complementarity。如果一个模型全面支配其他模型，或者候选模型几乎一样，预选或单模型执行可能更合理。Agora 更像一个把互补性货币化的市场，而不是一个自动从任意模型堆里变出能力的系统。

为什么这篇论文值得关注

看完整篇，Agora 的价值不在于它发明了“多模型协作”。这个方向已经有 HuggingGPT、Chameleon、各种 MoA、router 和 cascade。它值得关注，是因为它把 agent 编排里的三个常被混在一起的问题拆开了：任务如何分解、能力如何估计、成本如何进入决策。

在工程上，这种拆分很有吸引力。planner 可以替换，candidate pool 可以替换，校准器可以随着日志变好，拍卖规则仍然保持可解释。系统出错时，我们也能问得更具体：是任务切错了？是某个模型的置信度没校准？还是 β 设得太激进？这比一个端到端黑箱 router 更容易调试。

更大的意义是，LLM agent 系统正在从“调用一个最强模型”走向“管理一组能力不均、价格不同、反馈不完整的模型和工具”。在这种世界里，推理能力不只是模型参数里的东西，也存在于分配机制里。Agora 给出的答案很朴素：让每个步骤进入市场，但先把报价里的自夸挤掉。只有这样，拍卖出来的才是能力，而不是幻觉。