---
title: "检索不生成token"
date: 2026-11-02
description: "Cornell与ASAPP提出DecisionRAG，用决策模型做层级检索替代第一阶段检索器：不生成token，一次前向传播给候选打分，从宽主题逐层导航到文档和段落。在MultiDoc2Dial上比稠密检索加8B重排器高13.8个R@1点，Natural Questions上17.4个Hit@1点，检索仅0.7到1.8秒。本文分析它对银行制度库、合同库和客服知识库检索的意义。"
tags: ["RAG","检索","决策模型","银行知识库","Agent","推理成本"]
schema_type: Article
references:
  - title: "DecisionRAG (Cornell/ASAPP, Top AI Papers Oct 26-Nov 1)"
    url: "https://www.youtube.com/watch?v=qsDX0PMKcaE"
    source: "Top AI Papers of the Week"
  - title: "本站：本体资产是 RAG 知识库还是 skill"
    url: "https://bi-chao.com/articles/ontology-asset-rag-or-skill"
    source: "bi-chao.com"
  - title: "本站：JEV——当 AI 学会只决策不聊天"
    url: "https://bi-chao.com/articles/jev-system-one-model-bank-implications"
    source: "bi-chao.com"
---

# 检索不生成token

**DecisionRAG 用决策模型替代传统第一阶段检索器，不生成一个 token，一次前向传播给所有候选打分。**

**它在语料层级上做导航：从宽主题到文档再到段落，每层只保留最有希望的分支，顺序决策数随语料规模对数增长。**

**共享上下文让模型同时比较候选，比逐条判断在 MultiDoc2Dial 上多 7.7 个 R@1 点。**

**无任务特定训练，在 MultiDoc2Dial 上比稠密检索加 8B 重排器高 13.8 个 R@1 点，Natural Questions 上高 17.4 个 Hit@1 点。**

**检索仅 0.7 到 1.8 秒，每次查询 0.2 到 2.3 美分——对银行制度库和合同库检索是实打实的降本提速。**

## 一、传统检索的瓶颈在哪

1. **第一阶段检索器仍靠关键词匹配或固定向量**：不管后面接多大的重排器，检索器漏掉的文档永远到不了生成器。
2. **稠密检索的粗排召回率有限**：银行制度库里，客户问"提前还款违约金怎么算"，关键词匹配可能漏掉"提前结清""违约金"分散在不同章节的文档。
3. **重排器很贵**：8B 级重排器每次调用都要花 token 和延迟，而它在做的只是"从已经粗排过的几千条里挑几十条"。
4. **DecisionRAG 的思路**：把第一阶段从"向量粗排+重排"换成"决策模型在语料层级上做导航"——它不是在找最相似的向量，而是在判断"这条线索值不值得继续往下看"。

## 二、它怎么工作

1. **层级导航**：语料预先组织成树状结构（主题→文档→段落）。决策模型在每一层给所有候选打分，一次前向传播、不生成 token，只保留最有希望的分支。
2. **对数级复杂度**：在均衡层级下，顺序决策数随语料大小对数增长——百万级段落也不需要百万次检索。
3. **共享上下文**：把候选放在一起让模型比较，而不是逐条判断。这在 MultiDoc2Dial 上带来 7.7 个 R@1 点，Natural Questions 上 6.5 个 Hit@1 点。
4. **性能**：无任务特定训练，MultiDoc2Dial 上比稠密检索加 8B 重排器高 13.8 R@1；Natural Questions（搜索 268 万 Wikipedia 段落）高 17.4 Hit@1。用域内数据训练的 Qwen3-8B 裁判模型在 MultiDoc2Dial 上达 60.7 R@1，比最好的已发表任务训练检索器高 5.7 点。
5. **成本**：0.7 到 1.8 秒，每次查询 0.2 到 2.3 美分。

## 三、对银行知识库的意义

1. **制度和合同库天然是层级结构**：银行信贷制度分总则、分则、产品细则、操作流程；合同分主合同、补充协议、附件。这种层级正好适配 DecisionRAG 的导航方式。
2. **省 token 就是省钱**：传统 RAG 每次查询都要把候选文档塞进重排器上下文。DecisionRAG 的决策模型不生成 token，打分是分类式的，成本结构完全不同。
3. **共享比较优于逐条判断**：客户经理问"这笔贷款的担保方式适用哪条制度"，让模型同时比较三份制度比逐条过一遍更准——这正是"共享上下文"带来的提升。
4. **局限**：它依赖组织良好的语料层级；早期被剪掉的分支就丢了，除非预算加大或稠密检索补候选。银行知识库如果层级混乱，效果会打折。

## 四、三个冷静判断

1. **不是要废掉稠密检索**：DecisionRAG 自己也说，它依赖语料层级组织，且早期剪枝可能丢召回。混合检索（稠密+决策导航）可能是更稳的工程选择。
2. **银行知识库先要把层级理清楚**：很多银行的制度文档是扁平的 PDF 堆在文件夹里，没有主题树。没有好的语料层级，再好的导航模型也跑不起来。
3. **决策模型不生成 token 不等于零成本**：打分模型本身有推理成本，只是比生成式重排便宜得多。银行落地前要测自己语料规模下的实际延迟和成本。

## 五、银行落地的三步路

1. **先理语料层级**：把信贷制度、合同模板、客服 FAQ 从扁平文件夹整理成主题树——一级是业务条线（公司信贷、零售、同业、资管），二级是产品（流贷、固贷、票据、信用卡），三级是制度章节和操作流程。没有这棵树，DecisionRAG 无从导航。
2. **从一个高频场景试点**：选客户经理最常查的"提前还款违约金""抵押登记流程""贷后检查频率"这类高频问题，先在这个小语料上跑决策导航，和现有关键词检索对比命中率和延迟。
3. **混合检索兜底**：不要完全替换稠密检索。早期被剪掉的分支可能漏掉相关文档，让稠密检索补一个候选集，决策模型在补充候选里再导航，召回率更稳。

## 六、一个具体场景：客户经理查制度

1. 客户经理问："客户要提前还经营贷，违约金怎么收？"
2. 传统关键词检索：搜"提前还款"返回 200 条制度，客户经理要一条条翻。
3. DecisionRAG 导航：第一层判断属于"公司信贷"而非"零售"或"同业"；第二层判断属于"经营贷"产品；第三层定位到"提前还款"章节；第四层找到"违约金收取标准"段落。全程不生成 token，只做分类打分。
4. 对比：0.7 秒出结果，0.2 美分，命中率比关键词检索高十几个点。这就是银行知识库升级的直接价值。

## 结语

DecisionRAG 把检索从"向量相似度匹配"变成"决策式导航"，核心洞察是：在层级化语料上，一个不生成 token 的决策模型，比稠密检索加 8B 重排器又快又准。对银行来说，这给制度库、合同库、客服知识库的检索升级提供了一条新路——但前提是先把语料的层级理清楚。

（口径说明：数据来自 Top AI Papers of the Week 10 月 26 日至 11 月 1 日综述；银行场景映射为作者分析。）