---
title: "贵模型何时撒手"
date: 2026-11-02
description: "NVIDIA、HKUST与UIUC研究长程Agent任务中从贵模型到便宜模型的一次性交接。AgentBaton检测器根据任务进度模式学习何时切换，在11对模型组合上平均省65.9%的API成本，同时保持准确率，最高比全程用贵模型还高8.8分。反向交接（便宜切贵）几乎不省钱。本文分析它对银行长程Agent任务的成本优化。"
tags: ["模型路由","成本优化","Agent","模型切换","银行AI","长程任务"]
schema_type: Article
references:
  - title: "AgentBaton (NVIDIA/HKUST/UIUC, Top AI Papers Oct 26-Nov 1)"
    url: "https://www.youtube.com/watch?v=qsDX0PMKcaE"
    source: "Top AI Papers of the Week"
  - title: "本站：DeepSeek V4.1-Flash——国产开源模型的智能体化与降本"
    url: "https://bi-chao.com/articles/deepseek-v41-flash-1017-open-model-agent-cost-bank"
    source: "bi-chao.com"
  - title: "本站：51%企业AI预算超支——美国合众银行CFO调查"
    url: "https://bi-chao.com/articles/usbank-cfo-ai-budget-overrun-bank-finops"
    source: "bi-chao.com"
---

# 贵模型何时撒手

**长程 Agent 任务全程用最贵最强模型，大部分时间其实是浪费。**

**NVIDIA、HKUST 与 UIUC 的 AgentBaton 检测器学习"任务进行到什么阶段该从贵模型切到便宜模型"。**

**在 11 对模型组合、DeepSWE 与 Terminal-Bench 上，平均省 65.9% API 成本，同时保持准确率，最高比全程用贵模型还高 8.8 分。**

**反向交接（便宜切贵）几乎不省钱——该用强模型的早期用弱模型，后面救不回来。**

**本地可部署模型的成本计为零，这让"便宜模型"选项在银行场景更有吸引力。**

## 一、它怎么工作

1. **一次性交接**：不是每步都选模型，而是在任务进行到某个点，从贵模型切到便宜模型，之后不再切回。
2. **检测器学什么时候切**：根据任务进度的模式（已完成几步、当前在什么阶段、输出特征），学习最佳切换点。
3. **为什么有效**：长程任务的早期（理解问题、规划方案）需要强模型；后期（执行机械步骤、写样板代码、整理材料）便宜模型够用。
4. **为什么反向不行**：早期用便宜模型理解错了问题，后期再换贵模型也救不回来——方向错了，执行再对也没用。

## 二、数据与边界

1. **省 65.9%**：11 对模型组合平均成本降幅。
2. **准确率不降反升**：最高比全程贵模型高 8.8 分——可能是因为便宜模型在后期步骤更少"过度思考"。
3. **本地模型计零成本**：如果银行有本地部署的开源模型，切换到它等于边际成本为零，节省更可观。
4. **边界**：这是编码任务的实验；银行业务任务的最佳切换点要单独测。

## 三、对银行长程 Agent 的意义

1. **银行 Agent 大量长程任务**：信贷尽调（查征信→查流水→算指标→写报告）、资产保全（查线索→整理材料→起草文书→跟进法拍）、合规审查（读文件→找风险点→写意见），都有明显的"前半段难、后半段机械"特征。
2. **成本结构优化**：前半段用强模型做判断和规划，后半段切换到本地开源模型做执行和整理。这正好对应本站此前写的"银行 AI 预算超支"问题——大部分账单花在了不该花的地方。
3. **不要每步切换**：一次性交接比动态路由简单可靠，银行运维成本低。
4. **切换点要人调**：检测器学的是模式，但银行要在自己的任务上验证切换点——信贷尽调的"规划完成"和"材料整理开始"之间，信号和编码任务不同。

## 四、三个冷静判断

1. **不是所有任务都适合**：短任务（一两步完成）没有切换空间。适合的是 10 步以上的长程任务。
2. **检测器要重新训练**：论文的检测器是在编码任务上学的，银行任务要重训或调规则。
3. **切换点错了代价大**：切早了，后期还没到机械阶段就用弱模型；切晚了，省不下钱。银行要小流量灰度测。

## 四、银行长程任务的切换点怎么找

1. **先人工标注切换点**：不要一上来就训练检测器。先让业务专家标注几个典型任务的"什么时候从判断阶段进入执行阶段"——比如信贷尽调中，"客户风险画像已形成"就是切换点。
2. **从规则切换开始**：先用规则定义切换条件（已完成 N 步、已输出结构化结论、已生成待办清单），跑一段时间看效果，再考虑学习检测器。
3. **本地模型做后端**：切换到的便宜模型优先选银行本地部署的开源模型（DeepSeek、Qwen、GLM 等），边际成本为零，数据不出行内。
4. **切换后监控准确率**：切换点找错了会导致后期用弱模型做出错误决策。灰度期间，切换后的输出要和全程贵模型的输出对比，准确率下降超过阈值就回调切换点。
5. **别搞动态路由**：一次性交接比每步选模型简单可靠。银行运维成本和审计复杂度都要考虑，不要追求最优路由。

## 五、和本站 FinOps 文章的呼应

1. 本站此前写过美国合众银行 CFO 调查：51% 企业 AI 预算超支。超支的核心原因之一就是全程用最贵模型跑所有任务，不管任务阶段。
2. AgentBaton 给了一个具体解法：不是砍任务量，而是在正确的阶段用正确的模型。早期强模型做判断，后期便宜模型做执行，成本直接降三分之二。
3. 对银行 FinOps 团队来说，这是和"优化 prompt""换更便宜的 API"并列的第三条降本路径——模型路由。

## 六、和本站 DeepSeek V4.1-Flash 文章的配合

1. 本站此前写过 DeepSeek V4.1-Flash：国产开源模型在智能体任务上的性价比跃升。AgentBaton 的"切换到便宜模型"在银行场景下，这个便宜模型就是 DeepSeek、Qwen、GLM 这类可本地部署的开源模型。
2. 两个趋势叠加：强模型做前期判断、本地开源模型做后期执行，银行的 AI 账单可以同时享受模型降价和路由优化的双重红利。
3. 不要等最优方案。先用规则切换（前 N 步用贵模型、后面用本地模型），跑三个月看效果，再考虑训练学习检测器。

## 七、一个不要犯的错误

1. 反向切换（从便宜模型切到贵模型）几乎不省钱——论文明确说了。
2. 早期用弱模型理解错了问题，后期换强模型也救不回来。
3. 银行落地时记住方向：强模型在前做判断，便宜模型在后做执行。搞反了就是浪费。

## 结语

AgentBaton 告诉银行：长程 Agent 不必全程用最贵模型。早期理解规划用强模型，后期执行整理切便宜或本地模型，省三分之二成本还不降准确率。关键是找对切换点——而且别搞反方向。

（口径说明：数据来自 Top AI Papers 综述；银行场景映射为作者分析。）