重排序别用决策调

决策模型（Jev 这类不生成 token、一次前向传播打分的模型）很火，但它做重排序器到底行不行？

Passau 大学与 ITU 在 6 个 Qwen 模型（0.6B 到 27B）、10 个 TREC DL 与 BEIR 集合上做了直接对比。

结论：重排序微调在 0.6B 到 9B 上赢 5 到 29 个 nDCG@10 点，27B 打平；决策微调在 9B 以下不超过未微调基线。

决策模型的校准优势取决于问题怎么问，不能弥补排序质量本身的差距。

对银行知识库重排序：小模型阶段别用决策微调做重排序器，老老实实做重排序微调。

一、实验对比了什么

1. 两种微调方式：重排序微调（专门教模型给文档排序）vs 决策微调（教模型做选择判断）。
2. 六个尺寸：Qwen 从 0.6B 到 27B。
3. 十个基准：TREC DL 和 BEIR 标准检索集合。
4. 指标：nDCG@10，检索质量的标准指标。

二、结论很清楚

1. 小模型阶段重排序微调完胜：0.6B 到 9B，重排序微调赢 5 到 29 个 nDCG@10 点。模型越小，差距越大。
2. 27B 才打平：到了大模型，两种微调方式效果趋同。
3. 决策微调没帮助：9B 以下，决策微调不比未微调的基线好。
4. 校准不能救排序：决策模型的输出概率更校准，但校准好不代表排得准。

三、对银行知识库的意义

1. 银行重排序器多在小模型上跑：为了低延迟和低成本，银行 RAG 的重排器通常用 1B 到 4B 模型。这个区间正好是"重排序微调完胜决策微调"的区间。
2. 别追时髦：本站此前写过 Jev 这类决策模型在"选选项"任务上的优势。但重排序是排序问题，不是选择问题——用错微调目标，再火的范式也不奏效。
3. 大模型阶段才趋同：如果银行用 27B 以上模型做重排序，两种方式差别不大，那时可以考虑决策模型的低 token 成本优势。
4. 结合 DecisionRAG：本站同周写的 DecisionRAG 用决策模型做层级导航，那是"选分支"任务，决策模型合适；但最终文档排序仍是重排序微调的活。两个阶段用不同模型，别混用。

四、三个冷静判断

1. 这是英文检索基准的结论：中文银行制度库、合同库的效果要在中文数据上复测。
2. 只测了 Qwen 系列：其他模型族（DeepSeek、GLM、小米）的结论可能不同。
3. 微调数据很关键：重排序微调的质量取决于标注数据。银行如果没有高质量排序标注，两种微调可能都效果有限。

四、银行知识库重排序的技术选型

1. 小模型做重排序，选重排序微调：银行 RAG 的重排器通常用 1B 到 4B 模型，这个区间重排序微调完胜决策微调。不要被"不生成 token 更省成本"带偏，排序质量才是关键。
2. 层级导航用决策模型：本站同周写的 DecisionRAG 用决策模型做"从主题树里选分支"，那是选择任务，决策模型合适。重排和导航是两个阶段，别混用。
3. 中文数据要自测：论文用的是英文 TREC DL 和 BEIR 基准。银行制度库、合同库是中文场景，重排序微调的效果要在中文标注数据上验证。
4. 没有标注数据就用零样本：如果银行暂时没有高质量排序标注，先用开源重排序模型（如 bge-reranker）做零样本，不要急着微调。微调的收益取决于标注质量。
5. 大模型阶段再考虑决策模型：如果银行用 27B 以上模型做重排序，两种微调方式打平，那时可以考虑决策模型的低延迟和低成本优势。

五、和本站 DecisionRAG 与 JEV 文章的呼应

1. 本站同周写了 DecisionRAG：用决策模型做层级导航，效果很好。本篇是一个重要补充——决策模型适合"选分支"，不适合"排文档"。两个阶段用不同模型，不要混。
2. 本站此前写过 JEV（System One Model），讲不生成 token 的决策模型在银行对客场景的价值。本篇提醒：Jev 类模型做分类选择很强，但做文档重排序时，传统重排序微调仍然更准。
3. 银行 RAG 系统的正确架构是：决策模型在主题树上选分支（DecisionRAG），重排序模型在候选文档里排顺序（重排序微调），生成模型基于排好的文档写答案。各司其职。

六、一个常见误区

1. 看到"决策模型不生成 token、延迟低、成本省"就想把它用在所有环节——这是错的。
2. 决策模型擅长：在有限候选里做选择（选分支、选工具、选下一步动作）。
3. 重排序模型擅长：对大量候选文档按相关性精细排序。
4. 银行 RAG 系统不要用一个模型包打天下，分层用对工具才是正解。

七、银行 RAG 系统的正确分层

1. 第一层：决策模型做层级导航（DecisionRAG），从百万文档里选出几十篇相关的。
2. 第二层：重排序微调模型对这几十篇精细排序，取最相关的十篇。
3. 第三层：生成模型基于排好序的文档写答案。
4. 不要用一个模型做所有事。每个环节选最适合的模型和微调方式，这才是银行 RAG 工程化的正确姿势。决策模型做导航，重排序模型做排序，生成模型做总结，各司其职，不要混淆。这就是本周九篇论文中关于检索这个环节最实用的工程结论。

结语

决策模型很火，但它适合做"选分支"不适合做"排文档"。银行知识库重排序在小模型阶段，老老实实做重排序微调——别被"不生成 token"的低成本叙事带偏。

（口径说明：实验数据来自 Top AI Papers 综述；银行场景映射为作者分析。）