一个损失训到底

传统基础模型训练分四阶段：预训练、中训练、监督微调、强化学习，每阶段一套配方。

CMU、JHU 与 Aurora Innovation 证明，这四阶段可以全部收进同一个基于似然的损失函数。

关键推导：RL 目标被改写为对模型自身生成目标的最大似然拟合，于是 RL 生成数据和静态数据共享一个损失、一个训练器。

124M 小模型从头统一训练即胜过分阶段训练；0.76B 模型上混入 5% 中训练数据，在数学与编码四项指标上综合最佳。

设计问题从"怎么分阶段"变成了"用什么数据、按什么比例、在什么时候喂"。

一、它到底统一了什么

1. 传统四阶段：预训练学语言、中训练学领域、SFT 学指令、RL 学偏好，每个阶段换一个损失函数、换一套数据、换一组超参。
2. 统一训练的核心：把 RL 目标推导为"对模型生成目标做最大似然拟合"——也就是说，RL 的梯度和静态数据的梯度，在数学上可以写成同一个损失。
3. 一个训练器吃所有数据：静态文档、指令样本、RL 生成的回答，不再分阶段，而是在一个训练循环里按配比混合。
4. 分阶段变成特例：原来的分阶段训练只是"统一训练"在某种数据调度下的一个特例。

二、实验说了什么

1. 124M 小模型：从头做统一训练，在 RL 任务和更大的推理谜题上胜过分阶段训练。
2. 固定算力预算：统一训练在最小和最大预算下精度最高；分阶段训练只在中间预算占优。
3. 数学与编码：0.76B 模型上，混入 0% 到 5% 中训练数据，数学精度保持的同时 retention 提升；但编码精度随混合比例上升而下降。经过数学训练后，所有统一模型在最终编码精度上都超过分阶段训练，5% 混合在四项指标上最佳。
4. 作者自己的限制：实验是小规模的，目前还没找到一个在所有场景下都最优的混合比例和调度方案。

三、对银行自研模型的意义

1. 训练流程大幅简化：银行如果要自研或深度定制模型，不必再维护四套独立训练流水线。一个训练器、一个损失框架，运维复杂度下降。
2. 数据配比成为核心问题：统一训练下，"喂什么数据、什么比例、什么时候喂"取代了"怎么分阶段"，成为调模型的主要杠杆。银行的行业数据（信贷制度、合同模板、风控案例）该占多少比例，成为一个需要实验回答的问题。
3. 小模型也能受益：124M 和 0.76B 级别的实验结果说明，统一训练不是只有百亿千亿模型才能玩。银行做端侧或垂域小模型时，这条路同样适用。
4. 不要迷信统一：作者明确说没有万能配比。银行落地仍要在自己的数据和任务上做配比实验，不能直接抄论文的 5%。

四、三个冷静判断

1. 小规模实验不等于生产可用：124M 和 0.76B 的结论能否外推到 70B 以上模型，还需要验证。银行用的是大模型时，不要直接照搬。
2. 统一训练不省数据：它省的是训练流程和工程复杂度，不是数据量。银行仍需要高质量的行业语料。
3. 数据配比实验是新的人力投入：虽然流程简化了，但"试配比"变成了一个需要持续做的实验工作，银行要预留这部分算力和人力。

四、银行自研模型的现实路径

1. 不是所有银行都要从头训：统一训练最大的受益者是有自研或深度微调需求的银行。大部分银行用 API 或开源模型微调即可，不需要自己搞预训练。
2. 如果要做领域继续预训练：把银行语料（制度、合同、风控案例、客服记录）混入统一训练循环，比单独跑一个中训练阶段更简洁。关键是试出银行语料该占多少比例——论文的 5% 是通用编码场景的数字，银行要自己测。
3. 保留分阶段的应急能力：虽然统一训练更简洁，但银行在做合规审计和模型变更管理时，仍需要能区分"这次改了哪部分数据"。统一训练下要保留数据配比的版本记录，否则出了问题无法回溯。
4. 小模型先行：124M 和 0.76B 的实验说明，银行做端侧或垂域小模型时，统一训练是一个值得试的起点，不必一上来就追大模型。

五、和本站其他文章的关联

1. 本站此前写过银行资产保全智能体该用多大参数基座（0.5B 到 70B 选型），核心结论是小模型做端侧、大模型做中心。统一训练给小模型训练提供了更简洁的路径。
2. 本站写过 DeepSeek V4.1-Flash 的智能体化与降本，统一训练和它是互补关系——前者解决"怎么训"，后者解决"怎么部署更便宜"。
3. 银行自研模型的核心成本不是算力而是数据。统一训练省的是工程复杂度，不是数据采集标注的人力。

结语

统一训练把基础模型从"四段式流水线"变成"一个损失函数下的数据配比问题"。对银行自研模型，这意味着训练工程简化了，但数据配比的实验权重上升了。它不是银弹——作者自己也说没有万能配方——但它给银行团队提供了一个更简洁的训练框架起点。

（口径说明：实验数据来自 Top AI Papers 综述；银行场景映射为作者分析。）