贵模型何时撒手

长程 Agent 任务全程用最贵最强模型，大部分时间其实是浪费。

NVIDIA、HKUST 与 UIUC 的 AgentBaton 检测器学习"任务进行到什么阶段该从贵模型切到便宜模型"。

在 11 对模型组合、DeepSWE 与 Terminal-Bench 上，平均省 65.9% API 成本，同时保持准确率，最高比全程用贵模型还高 8.8 分。

反向交接（便宜切贵）几乎不省钱——该用强模型的早期用弱模型，后面救不回来。

本地可部署模型的成本计为零，这让"便宜模型"选项在银行场景更有吸引力。

一、它怎么工作

1. 一次性交接：不是每步都选模型，而是在任务进行到某个点，从贵模型切到便宜模型，之后不再切回。
2. 检测器学什么时候切：根据任务进度的模式（已完成几步、当前在什么阶段、输出特征），学习最佳切换点。
3. 为什么有效：长程任务的早期（理解问题、规划方案）需要强模型；后期（执行机械步骤、写样板代码、整理材料）便宜模型够用。
4. 为什么反向不行：早期用便宜模型理解错了问题，后期再换贵模型也救不回来——方向错了，执行再对也没用。

二、数据与边界

1. 省 65.9%：11 对模型组合平均成本降幅。
2. 准确率不降反升：最高比全程贵模型高 8.8 分——可能是因为便宜模型在后期步骤更少"过度思考"。
3. 本地模型计零成本：如果银行有本地部署的开源模型，切换到它等于边际成本为零，节省更可观。
4. 边界：这是编码任务的实验；银行业务任务的最佳切换点要单独测。

三、对银行长程 Agent 的意义

1. 银行 Agent 大量长程任务：信贷尽调（查征信→查流水→算指标→写报告）、资产保全（查线索→整理材料→起草文书→跟进法拍）、合规审查（读文件→找风险点→写意见），都有明显的"前半段难、后半段机械"特征。
2. 成本结构优化：前半段用强模型做判断和规划，后半段切换到本地开源模型做执行和整理。这正好对应本站此前写的"银行 AI 预算超支"问题——大部分账单花在了不该花的地方。
3. 不要每步切换：一次性交接比动态路由简单可靠，银行运维成本低。
4. 切换点要人调：检测器学的是模式，但银行要在自己的任务上验证切换点——信贷尽调的"规划完成"和"材料整理开始"之间，信号和编码任务不同。

四、三个冷静判断

1. 不是所有任务都适合：短任务（一两步完成）没有切换空间。适合的是 10 步以上的长程任务。
2. 检测器要重新训练：论文的检测器是在编码任务上学的，银行任务要重训或调规则。
3. 切换点错了代价大：切早了，后期还没到机械阶段就用弱模型；切晚了，省不下钱。银行要小流量灰度测。

四、银行长程任务的切换点怎么找

1. 先人工标注切换点：不要一上来就训练检测器。先让业务专家标注几个典型任务的"什么时候从判断阶段进入执行阶段"——比如信贷尽调中，"客户风险画像已形成"就是切换点。
2. 从规则切换开始：先用规则定义切换条件（已完成 N 步、已输出结构化结论、已生成待办清单），跑一段时间看效果，再考虑学习检测器。
3. 本地模型做后端：切换到的便宜模型优先选银行本地部署的开源模型（DeepSeek、Qwen、GLM 等），边际成本为零，数据不出行内。
4. 切换后监控准确率：切换点找错了会导致后期用弱模型做出错误决策。灰度期间，切换后的输出要和全程贵模型的输出对比，准确率下降超过阈值就回调切换点。
5. 别搞动态路由：一次性交接比每步选模型简单可靠。银行运维成本和审计复杂度都要考虑，不要追求最优路由。

五、和本站 FinOps 文章的呼应

1. 本站此前写过美国合众银行 CFO 调查：51% 企业 AI 预算超支。超支的核心原因之一就是全程用最贵模型跑所有任务，不管任务阶段。
2. AgentBaton 给了一个具体解法：不是砍任务量，而是在正确的阶段用正确的模型。早期强模型做判断，后期便宜模型做执行，成本直接降三分之二。
3. 对银行 FinOps 团队来说，这是和"优化 prompt""换更便宜的 API"并列的第三条降本路径——模型路由。

六、和本站 DeepSeek V4.1-Flash 文章的配合

1. 本站此前写过 DeepSeek V4.1-Flash：国产开源模型在智能体任务上的性价比跃升。AgentBaton 的"切换到便宜模型"在银行场景下，这个便宜模型就是 DeepSeek、Qwen、GLM 这类可本地部署的开源模型。
2. 两个趋势叠加：强模型做前期判断、本地开源模型做后期执行，银行的 AI 账单可以同时享受模型降价和路由优化的双重红利。
3. 不要等最优方案。先用规则切换（前 N 步用贵模型、后面用本地模型），跑三个月看效果，再考虑训练学习检测器。

七、一个不要犯的错误

1. 反向切换（从便宜模型切到贵模型）几乎不省钱——论文明确说了。
2. 早期用弱模型理解错了问题，后期换强模型也救不回来。
3. 银行落地时记住方向：强模型在前做判断，便宜模型在后做执行。搞反了就是浪费。

结语

AgentBaton 告诉银行：长程 Agent 不必全程用最贵模型。早期理解规划用强模型，后期执行整理切便宜或本地模型，省三分之二成本还不降准确率。关键是找对切换点——而且别搞反方向。

（口径说明：数据来自 Top AI Papers 综述；银行场景映射为作者分析。）