---
title: "Agent验证加在哪"
date: 2026-11-02
description: "阿里与Cornell在7个前沿编码模型上对比17种验证设计：系统角色指令只加3-4分，完成时自检不推荐，独立评审在Terminal-Bench上加5.9到9.5分、成本仅1.13到1.25倍。视觉工件上，评审变更比评审轨迹效果好。本文回答银行给Agent harness加验证时，哪一道最划算。"
tags: ["Agent","验证","独立评审","harness","银行AI","质量控制"]
schema_type: Article
references:
  - title: "Verification in Agent Harnesses (Alibaba/Cornell, Top AI Papers Oct 26-Nov 1)"
    url: "https://www.youtube.com/watch?v=qsDX0PMKcaE"
    source: "Top AI Papers of the Week"
  - title: "本站：给资产保全智能体装上可验证的训练场 VERA"
    url: "https://bi-chao.com/articles/vera-verifiable-environments-asset-preservation-agents"
    source: "bi-chao.com"
  - title: "本站：Agent评测体系综述"
    url: "https://bi-chao.com/articles/ai-agent-evaluation-benchmarks-review"
    source: "bi-chao.com"
---

# Agent验证加在哪

**给 Agent harness 加验证，不是每一道都值得。阿里与 Cornell 在 7 个前沿模型上对比了 17 种设计。**

**系统角色指令和中途提醒只加 3 到 4 分，效果有限且依赖模型。**

**完成时自检（让模型自己检查自己）作者明确不推荐——早期用户拒绝式门控加 6 分但成本涨 1.6 到 1.76 倍。**

**独立评审最划算：另一个评审者加 5.9 到 9.5 分，成本只涨 1.13 到 1.25 倍。视觉工件上净偏好高 13.2 到 23.8 分。**

**关键发现：评审"变更内容"比评审"执行轨迹"效果好——看 Agent 改了什么，而不是看它怎么想的。**

## 一、17 种设计的对比结论

1. **指令与提醒**：系统角色指令在 Terminal-Bench 加 3.3 分、SWE-bench 加 3.9 分；中途提醒加 3.1 到 3.8 分。便宜但增益小。
2. **完成门控**：早期用户拒绝式门控加 6.0 到 6.2 分，但成本涨 1.6 到 1.76 倍。作者建议避免完成时自检。
3. **独立评审**：单独 critic 加 5.9 到 9.5 分，成本仅 1.13 到 1.25 倍。多轮评审或多个 critic 最多再加 3.5 分。
4. **视觉工件**：评审变更比评审轨迹净偏好高 13.2 到 23.8 分。

## 二、为什么独立评审最划算

1. **它不是模型自己查自己**：让 Agent 自己检查自己的输出，模型倾向于认为自己对了。独立评审者换一个上下文、换一个角色，偏见更小。
2. **成本低**：1.13 到 1.25 倍意味着每 100 次任务多花 13 到 25 次调用，换来 6 到 9 分的成功率提升，性价比远高于用户拒绝门控。
3. **看变更不看轨迹**：评审"最终产出了什么改动"比评审"Agent 中间想了什么"更有效。因为 Agent 可能想得很认真但改出了 bug，也可能过程潦草但结果对。

## 三、对银行 Agent harness 的启示

1. **银行该加哪一道验证**：不要花大力气做"完成时自检"（让 Agent 自己检查），而应该加一道独立评审——另一个模型或另一个角色，看 Agent 产出的结果对不对。
2. **评审产出物而非过程**：信贷尽调 Agent 写完报告，评审者应该看报告内容对不对，而不是看它调查过程是否完整。
3. **成本可控**：1.13 到 1.25 倍的额外成本，在银行场景下完全可接受——一次错误信贷决策的损失远大于多一次模型调用。
4. **视觉工件同理**：银行 Agent 生成的图表、报表、UI 页面，评审最终画面比评审生成过程更有效。

## 四、三个冷静判断

1. **这是编码任务的结论**：实验在 SWE-bench 和 Terminal-Bench（软件工程任务）上做的。银行业务任务（信贷、合规、客服）上的增益可能不同，要自测。
2. **独立评审不是万能**：它加 6 到 9 分，不是把 70 分提到 95 分。基础能力不够时，评审者也救不回来。
3. **评审者本身要可靠**：如果评审者和执行者用同一个模型、同一个 prompt，偏见会重叠。最好用不同模型或不同角色。

## 四、银行 Agent 验证方案怎么搭

1. **先加独立评审，不要先加自检**：让 Agent 自己写完报告再自己检查，效果差且成本高。直接加一个独立评审者角色（可以是不同模型，也可以是同模型不同 prompt），看 Agent 产出的最终结果。
2. **评审产出物不评审过程**：信贷尽调报告写完，评审者应该看"客户信用评分对不对、风险点找全了没有、建议合不合理"，而不是看"Agent 查了几个接口、花了多少步"。
3. **关键环节双人复核**：涉及资金处分、对外承诺、法律文书的输出，在独立评审之上再加一道人工复核。AI 评审是第二道防线，不是最后一道。
4. **视觉产物单独评审**：Agent 生成的图表、报表、客户界面，评审者应该看最终画面是否正确，而不是看生成代码或轨迹。
5. **成本预算**：独立评审带来 13% 到 25% 的额外调用成本。银行按任务量算清楚，一次错误信贷决策的损失远大于这个数字。

## 五、和本站 VERA 与 Agent 评测文章的关系

1. 本站此前写过 VERA（可验证环境资源与资产）训练场，核心是给资产保全 Agent 建可验证的测试环境。本篇回答的是另一个问题：Agent 跑完了，在哪一道加验证最划算。
2. 本站还写过 Agent 评测体系综述，对比了十余个 benchmark。本文是那个综述的工程化补充——评测告诉你模型行不行，独立评审告诉你跑的时候怎么把关。
3. 银行落地顺序：先做基础 harness（本站 Harness Engineering 文章），再加独立评审（本文），最后上 VERA 式训练场做回归。不要跳步。

## 六、独立评审者怎么选

1. **用不同模型**：执行者用 GPT，评审者用 Claude 或国产模型。不同模型的偏见不重叠，评审更有效。
2. **用不同角色 prompt**：即使是同一个模型，执行者是"信贷分析师"，评审者是"合规审核员"，角色差异带来视角差异。
3. **评审变更不评审轨迹**：看最终产出改了什么，不要看 Agent 中间想了什么。这是论文在 VisualBench 上验证过的结论。
4. **多轮评审边际收益递减**：论文说额外评审轮次最多再加 3.5 分，不要无限加轮次。

## 七、不要做的事

1. 不要让 Agent 自己检查自己——论文明确不推荐完成时自检。
2. 不要花大力气写系统角色指令加小提醒——只加 3 到 4 分，性价比低。
3. 不要每步都加门控——成本涨 1.6 到 1.76 倍，效果只加 6 分。
4. 要做的事很简单：加一个独立评审者，看产出物对不对。

## 结语

给银行 Agent harness 加验证，最划算的一道是独立评审——让另一个角色看产出物对不对，成本只涨两成，成功率涨一大截。不要把钱花在让 Agent 自己检查自己上。

（口径说明：数据来自 Top AI Papers 综述；银行场景映射为作者分析。）