---
title: "一个损失训到底"
date: 2026-11-02
description: "CMU、JHU与Aurora Innovation提出统一训练：把预训练、中训练、监督微调与强化学习全部放进同一个基于似然的目标，RL目标被推导为对模型生成目标的最大似然拟合。124M小模型从头统一训练即胜过分阶段训练；0.76B模型上5%中训练数据配比在数学与编码四项指标上最佳。本文分析它对银行自研大模型训练流程的影响。"
tags: ["模型训练","强化学习","预训练","银行AI","统一训练","数据配比"]
schema_type: Article
references:
  - title: "Unified Training (CMU/JHU/Aurora, Top AI Papers Oct 26-Nov 1)"
    url: "https://www.youtube.com/watch?v=qsDX0PMKcaE"
    source: "Top AI Papers of the Week"
  - title: "本站：DeepSeek Harness 解析"
    url: "https://bi-chao.com/articles/deepseek-harness-bank-risk-management"
    source: "bi-chao.com"
  - title: "本站：资产保全智能体该用多大参数的基座"
    url: "https://bi-chao.com/articles/asset-preservation-model-scale-selection-finetune"
    source: "bi-chao.com"
---

# 一个损失训到底

**传统基础模型训练分四阶段：预训练、中训练、监督微调、强化学习，每阶段一套配方。**

**CMU、JHU 与 Aurora Innovation 证明，这四阶段可以全部收进同一个基于似然的损失函数。**

**关键推导：RL 目标被改写为对模型自身生成目标的最大似然拟合，于是 RL 生成数据和静态数据共享一个损失、一个训练器。**

**124M 小模型从头统一训练即胜过分阶段训练；0.76B 模型上混入 5% 中训练数据，在数学与编码四项指标上综合最佳。**

**设计问题从"怎么分阶段"变成了"用什么数据、按什么比例、在什么时候喂"。**

## 一、它到底统一了什么

1. **传统四阶段**：预训练学语言、中训练学领域、SFT 学指令、RL 学偏好，每个阶段换一个损失函数、换一套数据、换一组超参。
2. **统一训练的核心**：把 RL 目标推导为"对模型生成目标做最大似然拟合"——也就是说，RL 的梯度和静态数据的梯度，在数学上可以写成同一个损失。
3. **一个训练器吃所有数据**：静态文档、指令样本、RL 生成的回答，不再分阶段，而是在一个训练循环里按配比混合。
4. **分阶段变成特例**：原来的分阶段训练只是"统一训练"在某种数据调度下的一个特例。

## 二、实验说了什么

1. **124M 小模型**：从头做统一训练，在 RL 任务和更大的推理谜题上胜过分阶段训练。
2. **固定算力预算**：统一训练在最小和最大预算下精度最高；分阶段训练只在中间预算占优。
3. **数学与编码**：0.76B 模型上，混入 0% 到 5% 中训练数据，数学精度保持的同时 retention 提升；但编码精度随混合比例上升而下降。经过数学训练后，所有统一模型在最终编码精度上都超过分阶段训练，5% 混合在四项指标上最佳。
4. **作者自己的限制**：实验是小规模的，目前还没找到一个在所有场景下都最优的混合比例和调度方案。

## 三、对银行自研模型的意义

1. **训练流程大幅简化**：银行如果要自研或深度定制模型，不必再维护四套独立训练流水线。一个训练器、一个损失框架，运维复杂度下降。
2. **数据配比成为核心问题**：统一训练下，"喂什么数据、什么比例、什么时候喂"取代了"怎么分阶段"，成为调模型的主要杠杆。银行的行业数据（信贷制度、合同模板、风控案例）该占多少比例，成为一个需要实验回答的问题。
3. **小模型也能受益**：124M 和 0.76B 级别的实验结果说明，统一训练不是只有百亿千亿模型才能玩。银行做端侧或垂域小模型时，这条路同样适用。
4. **不要迷信统一**：作者明确说没有万能配比。银行落地仍要在自己的数据和任务上做配比实验，不能直接抄论文的 5%。

## 四、三个冷静判断

1. **小规模实验不等于生产可用**：124M 和 0.76B 的结论能否外推到 70B 以上模型，还需要验证。银行用的是大模型时，不要直接照搬。
2. **统一训练不省数据**：它省的是训练流程和工程复杂度，不是数据量。银行仍需要高质量的行业语料。
3. **数据配比实验是新的人力投入**：虽然流程简化了，但"试配比"变成了一个需要持续做的实验工作，银行要预留这部分算力和人力。

## 四、银行自研模型的现实路径

1. **不是所有银行都要从头训**：统一训练最大的受益者是有自研或深度微调需求的银行。大部分银行用 API 或开源模型微调即可，不需要自己搞预训练。
2. **如果要做领域继续预训练**：把银行语料（制度、合同、风控案例、客服记录）混入统一训练循环，比单独跑一个中训练阶段更简洁。关键是试出银行语料该占多少比例——论文的 5% 是通用编码场景的数字，银行要自己测。
3. **保留分阶段的应急能力**：虽然统一训练更简洁，但银行在做合规审计和模型变更管理时，仍需要能区分"这次改了哪部分数据"。统一训练下要保留数据配比的版本记录，否则出了问题无法回溯。
4. **小模型先行**：124M 和 0.76B 的实验说明，银行做端侧或垂域小模型时，统一训练是一个值得试的起点，不必一上来就追大模型。

## 五、和本站其他文章的关联

1. 本站此前写过银行资产保全智能体该用多大参数基座（0.5B 到 70B 选型），核心结论是小模型做端侧、大模型做中心。统一训练给小模型训练提供了更简洁的路径。
2. 本站写过 DeepSeek V4.1-Flash 的智能体化与降本，统一训练和它是互补关系——前者解决"怎么训"，后者解决"怎么部署更便宜"。
3. 银行自研模型的核心成本不是算力而是数据。统一训练省的是工程复杂度，不是数据采集标注的人力。

## 结语

统一训练把基础模型从"四段式流水线"变成"一个损失函数下的数据配比问题"。对银行自研模型，这意味着训练工程简化了，但数据配比的实验权重上升了。它不是银弹——作者自己也说没有万能配方——但它给银行团队提供了一个更简洁的训练框架起点。

（口径说明：实验数据来自 Top AI Papers 综述；银行场景映射为作者分析。）