Agent验证加在哪

给 Agent harness 加验证，不是每一道都值得。阿里与 Cornell 在 7 个前沿模型上对比了 17 种设计。

系统角色指令和中途提醒只加 3 到 4 分，效果有限且依赖模型。

完成时自检（让模型自己检查自己）作者明确不推荐——早期用户拒绝式门控加 6 分但成本涨 1.6 到 1.76 倍。

独立评审最划算：另一个评审者加 5.9 到 9.5 分，成本只涨 1.13 到 1.25 倍。视觉工件上净偏好高 13.2 到 23.8 分。

关键发现：评审"变更内容"比评审"执行轨迹"效果好——看 Agent 改了什么，而不是看它怎么想的。

一、17 种设计的对比结论

1. 指令与提醒：系统角色指令在 Terminal-Bench 加 3.3 分、SWE-bench 加 3.9 分；中途提醒加 3.1 到 3.8 分。便宜但增益小。
2. 完成门控：早期用户拒绝式门控加 6.0 到 6.2 分，但成本涨 1.6 到 1.76 倍。作者建议避免完成时自检。
3. 独立评审：单独 critic 加 5.9 到 9.5 分，成本仅 1.13 到 1.25 倍。多轮评审或多个 critic 最多再加 3.5 分。
4. 视觉工件：评审变更比评审轨迹净偏好高 13.2 到 23.8 分。

二、为什么独立评审最划算

1. 它不是模型自己查自己：让 Agent 自己检查自己的输出，模型倾向于认为自己对了。独立评审者换一个上下文、换一个角色，偏见更小。
2. 成本低：1.13 到 1.25 倍意味着每 100 次任务多花 13 到 25 次调用，换来 6 到 9 分的成功率提升，性价比远高于用户拒绝门控。
3. 看变更不看轨迹：评审"最终产出了什么改动"比评审"Agent 中间想了什么"更有效。因为 Agent 可能想得很认真但改出了 bug，也可能过程潦草但结果对。

三、对银行 Agent harness 的启示

1. 银行该加哪一道验证：不要花大力气做"完成时自检"（让 Agent 自己检查），而应该加一道独立评审——另一个模型或另一个角色，看 Agent 产出的结果对不对。
2. 评审产出物而非过程：信贷尽调 Agent 写完报告，评审者应该看报告内容对不对，而不是看它调查过程是否完整。
3. 成本可控：1.13 到 1.25 倍的额外成本，在银行场景下完全可接受——一次错误信贷决策的损失远大于多一次模型调用。
4. 视觉工件同理：银行 Agent 生成的图表、报表、UI 页面，评审最终画面比评审生成过程更有效。

四、三个冷静判断

1. 这是编码任务的结论：实验在 SWE-bench 和 Terminal-Bench（软件工程任务）上做的。银行业务任务（信贷、合规、客服）上的增益可能不同，要自测。
2. 独立评审不是万能：它加 6 到 9 分，不是把 70 分提到 95 分。基础能力不够时，评审者也救不回来。
3. 评审者本身要可靠：如果评审者和执行者用同一个模型、同一个 prompt，偏见会重叠。最好用不同模型或不同角色。

四、银行 Agent 验证方案怎么搭

1. 先加独立评审，不要先加自检：让 Agent 自己写完报告再自己检查，效果差且成本高。直接加一个独立评审者角色（可以是不同模型，也可以是同模型不同 prompt），看 Agent 产出的最终结果。
2. 评审产出物不评审过程：信贷尽调报告写完，评审者应该看"客户信用评分对不对、风险点找全了没有、建议合不合理"，而不是看"Agent 查了几个接口、花了多少步"。
3. 关键环节双人复核：涉及资金处分、对外承诺、法律文书的输出，在独立评审之上再加一道人工复核。AI 评审是第二道防线，不是最后一道。
4. 视觉产物单独评审：Agent 生成的图表、报表、客户界面，评审者应该看最终画面是否正确，而不是看生成代码或轨迹。
5. 成本预算：独立评审带来 13% 到 25% 的额外调用成本。银行按任务量算清楚，一次错误信贷决策的损失远大于这个数字。

五、和本站 VERA 与 Agent 评测文章的关系

1. 本站此前写过 VERA（可验证环境资源与资产）训练场，核心是给资产保全 Agent 建可验证的测试环境。本篇回答的是另一个问题：Agent 跑完了，在哪一道加验证最划算。
2. 本站还写过 Agent 评测体系综述，对比了十余个 benchmark。本文是那个综述的工程化补充——评测告诉你模型行不行，独立评审告诉你跑的时候怎么把关。
3. 银行落地顺序：先做基础 harness（本站 Harness Engineering 文章），再加独立评审（本文），最后上 VERA 式训练场做回归。不要跳步。

六、独立评审者怎么选

1. 用不同模型：执行者用 GPT，评审者用 Claude 或国产模型。不同模型的偏见不重叠，评审更有效。
2. 用不同角色 prompt：即使是同一个模型，执行者是"信贷分析师"，评审者是"合规审核员"，角色差异带来视角差异。
3. 评审变更不评审轨迹：看最终产出改了什么，不要看 Agent 中间想了什么。这是论文在 VisualBench 上验证过的结论。
4. 多轮评审边际收益递减：论文说额外评审轮次最多再加 3.5 分，不要无限加轮次。

七、不要做的事

1. 不要让 Agent 自己检查自己——论文明确不推荐完成时自检。
2. 不要花大力气写系统角色指令加小提醒——只加 3 到 4 分，性价比低。
3. 不要每步都加门控——成本涨 1.6 到 1.76 倍，效果只加 6 分。
4. 要做的事很简单：加一个独立评审者，看产出物对不对。

结语

给银行 Agent harness 加验证，最划算的一道是独立评审——让另一个角色看产出物对不对，成本只涨两成，成功率涨一大截。不要把钱花在让 Agent 自己检查自己上。

（口径说明：数据来自 Top AI Papers 综述；银行场景映射为作者分析。）