Agent决策能复用
核心摘要
- Agent harness 在工具反馈后经常再次调用模型,哪怕上一次调用已经决定了下一步做什么
- 清华与微软亚研的 HarnessMM 把这些已解决的决策存进可执行决策图,工具反馈满足守卫条件时直接复用,不再回调模型
- DeepSeek Harness 在 98 个 HumanEval 任务上成功率从 71.43% 升到 85.71%,每任务 token 从 96280 降到 11620,省 87.93%
- Codex 在保持 90.82% 成功率的同时 token 减少 29.54%;MBPP 消融测试显示成本降 19.52%
Agent harness 在工具反馈后经常再次调用模型,哪怕上一次调用已经决定了下一步做什么。
清华与微软亚研的 HarnessMM 把这些已解决的决策存进可执行决策图,工具反馈满足守卫条件时直接复用,不再回调模型。
DeepSeek Harness 在 98 个 HumanEval 任务上成功率从 71.43% 升到 85.71%,每任务 token 从 96280 降到 11620,省 87.93%。
Codex 在保持 90.82% 成功率的同时 token 减少 29.54%;MBPP 消融测试显示成本降 19.52%。
DeepSeek Harness 在 HumanEval 上的付费模型调用次数从 954 次降到 415 次——这给银行一个理由:在花大价钱升级模型之前,先数数有多少重复决策。
一、它解决什么问题
- 典型浪费:Agent 调用工具拿到结果后,harness 把结果塞回上下文,再让模型读一遍、决定下一步。但很多时候,模型在调用工具之前就已经决定了"如果工具返回 X,我就做 Y"。
- HarnessMM 的做法:把这种"如果…就…"的决策连同具体动作、字面参数、因果依赖和公开守卫条件,存成可执行决策图。
- 守卫式复用:当工具返回值满足图中守卫条件时,直接执行已存决策,不回调模型;新决策、不匹配的证据、或模型弃权时,才回到原模型。
- 认证回调替换:被复用的决策通过原生接口执行,并记录"这次慢调用被移除了"。
二、数据有多硬
- DeepSeek Harness:HumanEval 98 任务,成功率 71.43% → 85.71%,token 96280 → 11620(降 87.93%),模型调用 954 → 415 次。
- Codex:成功率保持 90.82%,token 减 29.54%。
- MBPP 消融:成本降 19.52%。
- 成功率反而上升:复用决策不是"偷懒",而是避免了模型在重复上下文里做出不一致的新决定。
三、对银行 Agent harness 的意义
- 银行 Agent 大量重复决策:信贷尽调 Agent 每次都要"查征信→看流水→算负债比→写结论",其中"征信逾期超过几次就拒绝"这种决策是固定的,没必要每次都让模型重新读一遍征信报告再决定。
- 省钱是直接的:银行 Agent 如果跑在付费模型上,87% 的 token 节省意味着账单直接打一折。
- 成功率不降反升:对银行来说,更重要的是稳定性——固定决策复用比模型每次"自由发挥"更一致。
- 前提是 harness 工程成熟:HarnessMM 依赖 harness 能正确记录决策、守卫条件和执行路径。银行如果还没有标准化的 harness 层,先做 harness 工程本身。
四、三个冷静判断
- 节省取决于缓存计费:论文自己指出,实际省多少取决于模型提供商的缓存计费方式。银行要算自己的账。
- 不是所有决策都能复用:新场景、异常输入、模型弃权时,仍要回模型。决策图的编写、选择和故障恢复成本,可能超过省下的调用费。
- 复用决策要有人审:存进决策图的"如果…就…"本质是业务规则。银行必须有人审这些规则对不对,不能让模型自己写了规则自己复用。
五、银行 Agent 哪些决策值得存
- 固定业务规则类:征信逾期次数阈值、负债收入比红线、单笔金额审批层级——这些决策不随任务变化,应该直接写成可执行规则,根本不需要模型每次"决定"。
- 高频工具调用模式:信贷尽调 Agent 每次都调征信接口、流水接口、工商接口,调用顺序和参数模式高度固定,这部分可以存进决策图。
- 异常分支不缓存:遇到新的异常情况、模型不确定时,不要复用旧决策,回模型判断。HarnessMM 自己也说了,不匹配的证据要回原模型。
- 决策图要版本管理:业务规则变了(比如逾期阈值从 3 次改 5 次),决策图要更新并通知所有在跑的 Agent。不能让旧规则在系统里残留。
六、和本站 Harness 系列文章的关系
- 本站此前写过银行 Harness Engineering 安全耦合、LongHorizon-Harness 与 DeepSeek Harness 的对比、VERA 可验证训练场。HarnessMM 是这个方向的自然延续——不仅要管 Agent 跑,还要管 Agent 重复跑时别重复花钱。
- 对银行来说,HarnessMM 的 87% token 节省不是理论数字。如果一个信贷尽调 Agent 每月跑一万次,每次省 8 万 token,按 API 价格算下来一年省的钱够雇两个工程师。
- 但前提是 harness 工程成熟。如果银行连标准化的 Agent 运行时都没有,先做 harness,再谈决策复用。
七、银行落地的第一步
- 不要一上来就做决策图。先统计你现有 Agent 任务中,有多少比例的工具调用是重复的、可预测的。如果不到 30%,说明决策复用的收益有限。
- 从一个最成熟的 Agent 场景试点:比如客服自动工单分派,决策路径固定、工具调用重复度高。
- 决策图的编写和维护要算进成本。作者自己警告,编写、选择和故障恢复的成本可能超过省下的调用费。银行要在试点中实测这个比例。
八、成本测算示例
- 假设银行信贷尽调 Agent 每次任务调 50 次模型,每次平均 2000 token 输入、500 token 输出,月跑一万次。
- 按 HarnessMM 的 87.93% token 节省,每次任务从 9.6 万 token 降到 1.16 万 token。
- 按月一万次算,每月省 8400 万 token。按商用 API 价格,这是实打实的账单削减。
- 这个数字还没算上成功率提升带来的人力复核减少。对银行来说,这是一笔同时省钱和提效的账。
结语
HarnessMM 告诉我们:在升级更大模型之前,先看看你的 Agent 有多少决策是重复的、可以缓存复用的。对银行来说,这既是一笔账单上的直接节省,也是稳定性的提升——固定的业务决策,本来就不该每次都让模型重新"想一遍"。
(口径说明:数据来自 Top AI Papers 综述;银行场景映射为作者分析。)
参考文献
- HarnessMM (Tsinghua/MSR Asia, Top AI Papers Oct 26-Nov 1) [Top AI Papers of the Week]
- 本站:银行风险管理部门的 Harness Engineering 安全 [bi-chao.com]
- 本站:给 AI 装上涨跑的循环 LongHorizon-Harness [bi-chao.com]