检索不生成token

DecisionRAG 用决策模型替代传统第一阶段检索器，不生成一个 token，一次前向传播给所有候选打分。

它在语料层级上做导航：从宽主题到文档再到段落，每层只保留最有希望的分支，顺序决策数随语料规模对数增长。

共享上下文让模型同时比较候选，比逐条判断在 MultiDoc2Dial 上多 7.7 个 R@1 点。

无任务特定训练，在 MultiDoc2Dial 上比稠密检索加 8B 重排器高 13.8 个 R@1 点，Natural Questions 上高 17.4 个 Hit@1 点。

检索仅 0.7 到 1.8 秒，每次查询 0.2 到 2.3 美分——对银行制度库和合同库检索是实打实的降本提速。

一、传统检索的瓶颈在哪

1. 第一阶段检索器仍靠关键词匹配或固定向量：不管后面接多大的重排器，检索器漏掉的文档永远到不了生成器。
2. 稠密检索的粗排召回率有限：银行制度库里，客户问"提前还款违约金怎么算"，关键词匹配可能漏掉"提前结清""违约金"分散在不同章节的文档。
3. 重排器很贵：8B 级重排器每次调用都要花 token 和延迟，而它在做的只是"从已经粗排过的几千条里挑几十条"。
4. DecisionRAG 的思路：把第一阶段从"向量粗排+重排"换成"决策模型在语料层级上做导航"——它不是在找最相似的向量，而是在判断"这条线索值不值得继续往下看"。

二、它怎么工作

1. 层级导航：语料预先组织成树状结构（主题→文档→段落）。决策模型在每一层给所有候选打分，一次前向传播、不生成 token，只保留最有希望的分支。
2. 对数级复杂度：在均衡层级下，顺序决策数随语料大小对数增长——百万级段落也不需要百万次检索。
3. 共享上下文：把候选放在一起让模型比较，而不是逐条判断。这在 MultiDoc2Dial 上带来 7.7 个 R@1 点，Natural Questions 上 6.5 个 Hit@1 点。
4. 性能：无任务特定训练，MultiDoc2Dial 上比稠密检索加 8B 重排器高 13.8 R@1；Natural Questions（搜索 268 万 Wikipedia 段落）高 17.4 Hit@1。用域内数据训练的 Qwen3-8B 裁判模型在 MultiDoc2Dial 上达 60.7 R@1，比最好的已发表任务训练检索器高 5.7 点。
5. 成本：0.7 到 1.8 秒，每次查询 0.2 到 2.3 美分。

三、对银行知识库的意义

1. 制度和合同库天然是层级结构：银行信贷制度分总则、分则、产品细则、操作流程；合同分主合同、补充协议、附件。这种层级正好适配 DecisionRAG 的导航方式。
2. 省 token 就是省钱：传统 RAG 每次查询都要把候选文档塞进重排器上下文。DecisionRAG 的决策模型不生成 token，打分是分类式的，成本结构完全不同。
3. 共享比较优于逐条判断：客户经理问"这笔贷款的担保方式适用哪条制度"，让模型同时比较三份制度比逐条过一遍更准——这正是"共享上下文"带来的提升。
4. 局限：它依赖组织良好的语料层级；早期被剪掉的分支就丢了，除非预算加大或稠密检索补候选。银行知识库如果层级混乱，效果会打折。

四、三个冷静判断

1. 不是要废掉稠密检索：DecisionRAG 自己也说，它依赖语料层级组织，且早期剪枝可能丢召回。混合检索（稠密+决策导航）可能是更稳的工程选择。
2. 银行知识库先要把层级理清楚：很多银行的制度文档是扁平的 PDF 堆在文件夹里，没有主题树。没有好的语料层级，再好的导航模型也跑不起来。
3. 决策模型不生成 token 不等于零成本：打分模型本身有推理成本，只是比生成式重排便宜得多。银行落地前要测自己语料规模下的实际延迟和成本。

五、银行落地的三步路

1. 先理语料层级：把信贷制度、合同模板、客服 FAQ 从扁平文件夹整理成主题树——一级是业务条线（公司信贷、零售、同业、资管），二级是产品（流贷、固贷、票据、信用卡），三级是制度章节和操作流程。没有这棵树，DecisionRAG 无从导航。
2. 从一个高频场景试点：选客户经理最常查的"提前还款违约金""抵押登记流程""贷后检查频率"这类高频问题，先在这个小语料上跑决策导航，和现有关键词检索对比命中率和延迟。
3. 混合检索兜底：不要完全替换稠密检索。早期被剪掉的分支可能漏掉相关文档，让稠密检索补一个候选集，决策模型在补充候选里再导航，召回率更稳。

六、一个具体场景：客户经理查制度

1. 客户经理问："客户要提前还经营贷，违约金怎么收？"
2. 传统关键词检索：搜"提前还款"返回 200 条制度，客户经理要一条条翻。
3. DecisionRAG 导航：第一层判断属于"公司信贷"而非"零售"或"同业"；第二层判断属于"经营贷"产品；第三层定位到"提前还款"章节；第四层找到"违约金收取标准"段落。全程不生成 token，只做分类打分。
4. 对比：0.7 秒出结果，0.2 美分，命中率比关键词检索高十几个点。这就是银行知识库升级的直接价值。

结语

DecisionRAG 把检索从"向量相似度匹配"变成"决策式导航"，核心洞察是：在层级化语料上，一个不生成 token 的决策模型，比稠密检索加 8B 重排器又快又准。对银行来说，这给制度库、合同库、客服知识库的检索升级提供了一条新路——但前提是先把语料的层级理清楚。

（口径说明：数据来自 Top AI Papers of the Week 10 月 26 日至 11 月 1 日综述；银行场景映射为作者分析。）