---
title: "让世界模型先“写代码”再动手：AW-0 智能体世界动作模型深度解读与银行智能体的四点启示"
date: "2026-10-25"
description: "UC Berkeley、NVIDIA 与宾夕法尼亚大学团队于 2026-10-21 发布 arXiv:2610.30136《Agentic World Action Models》，提出 AW-0：在一个三专家混合 Transformer 中联合去噪生成技能代码、未来视频和机器人动作，并用编码智能体自动把 2913 小时机器人与人类视频标注成程序、蒸馏出 50 个可复用技能。AW-0 在 RoboTwin 2.0 平均成功率 50.7%、8 项真机任务平均 71.1 分，比最强基线高 25.1 分；去掉代码流后降到 32.9 分。本文拆解其架构、数据管线、实验与局限，并讨论“代码即计划”“技能蒸馏与缓存”“校验后再执行的混合模式”对银行业务智能体（以资产保全为例）的启示。"
tags: ["AW-0", "世界动作模型", "具身智能", "代码即策略", "技能库", "智能体", "论文解读", "资产保全"]
schema_type: "Article"
references:
  - title: "Agentic World Action Models（arXiv:2610.30136）"
    url: "https://arxiv.org/abs/2610.30136"
    source: "arXiv，cs.RO，2026-10-21 提交，CC BY 4.0"
  - title: "AW-0: Agentic World Action Models 项目主页"
    url: "https://agentic-wam.github.io/"
    source: "论文作者团队项目页"
  - title: "agentic-wam 代码仓库"
    url: "https://github.com/ZhuoyangLiu2005/agentic-wam"
    source: "GitHub"
  - title: "AW-0 预训练模型"
    url: "https://huggingface.co/miniFranka/agentic-wam-pretrain-yamego3k-soup-e1"
    source: "Hugging Face"
---

**AW-0 是 UC Berkeley、NVIDIA 和宾夕法尼亚大学团队 2026 年 10 月 21 日发布的“智能体世界动作模型”：同一个模型同时生成三样东西——技能代码、未来视频和机器人动作（来源1、2）。**

**它要解决的是两条路线各自的短板：世界动作模型（WAM）能预测未来画面，但缺少可组合、可复用的技能；“代码驱动”的智能体机器人会规划、能复用技能，但缺少对物理动态的预测（来源1）。**

**最关键的实验结论是：代码不是装饰。8 项真机任务平均 71.1 分，比最强基线 DreamZero 的 46.0 分高 25.1 分；去掉代码流只剩 32.9 分，而推理延迟只多 0.04 秒（来源2）。**

**它的数据管线本身就是一个多智能体系统：Gemini 3.1 Pro 写子任务程序，Claude Code（Claude Opus 4.8）当协调者把反复出现的套路蒸馏成技能，最终冻结出 50 个技能，再用缓存复用标注整个语料（来源2）。**

**对银行智能体的启示（本文分析）：把计划写成可校验的“技能调用代码”而非自然语言；让智能体从历史案例中蒸馏技能库并冻结版本；执行前过一道语法、依赖、白名单检查，不通过就退回更保守的路径。**

---

> 素材说明：本文依据 arXiv:2610.30136 摘要页（来源1）与作者项目主页（来源2）。论文 PDF 超过 44 MB，本文数据均取自项目主页公布的图表与正文，二者为同一团队发布；全部结果为作者自报，截至本文写作未见第三方复现。凡来源事实标注编号；对银行的映射标注“本文分析”。

## 一、一句话看懂 AW-0

| 维度 | 内容 | 来源 |
|---|---|---|
| 团队 | UC Berkeley、NVIDIA、宾夕法尼亚大学，18 位作者，Trevor Darrell、Linxi “Jim” Fan、Yuke Zhu 等共同指导 | 来源1、2 |
| 发布 | 2026-10-21 提交 arXiv，cs.RO，CC BY 4.0；代码与预训练模型已公开 | 来源1、2 |
| 核心思想 | 把代码、未来视频、动作当作三条耦合的生成流，在一个混合 Transformer 中联合生成 | 来源1 |
| 代码的双重角色 | 在模型内部组织多步预测与控制；在模型外部作为可复用程序供智能体执行 | 来源1 |
| 数据 | 约 2000 小时 YAM 双臂机器人遥操作 + 约 1000 小时第一视角人类操作，共 2913 小时、248,642 段、606 项任务 | 来源2 |
| 技能库 | 50 个冻结技能（机器人 23 个、人类视频 27 个） | 来源2 |

## 二、架构：三个专家，一条单向的“信息坡道”

### 2.1 三个专家各管一件事

- **代码专家**：在预训练扩散语言模型 LLaDA 基础上，加一个冻结的 Qwen3-VL 视觉编码器，把当前多视角画面编码成视觉 token，让技能规划“看得见场景”（来源2）。
- **视频专家**：预训练的 Cosmos-Predict2.5 视频 DiT，生成 VAE 编码的未来帧（来源2）。
- **动作专家**：独立的动作 DiT，生成连续动作块，并额外以机器人状态为条件（来源2）。

每个专家有自己的注意力投影、层归一化和前馈网络，在每一层通过带掩码的联合注意力交流。注意力在专家内部双向，跨专家按 **代码 → 视频 → 动作** 分块因果：代码只看代码，视频看代码和视频，动作看全部三者（来源2）。

### 2.2 联合去噪：代码和动作一起“想清楚”

- 视频和动作用连续的流匹配（flow matching），代码用离散的掩码扩散；每一步去噪同时预测代码 token 和连续速度（来源2）。
- 推理时在代码流末尾追加 G 个掩码 token，与视频、动作一起经过 T 步解码，每步确定置信度最高的 G/T 个位置（来源2）。
- 代码专家还读取一个**记忆缓存**：本段任务中已生成的程序片段，压缩进 K 个可学习记忆槽，因为单帧画面很难判断任务进度（来源2）。

### 2.3 两种执行方式

- **默认模式**：生成的代码片段**不执行**，只作为计划去约束动作专家，由动作块驱动机器人（来源2）。
- **混合模式**：代码片段通过阶段、依赖、语法、白名单和“非空操作”五项检查时，按 Code-as-Policies 方式调用感知与控制原语执行；否则用同一次前向传播产出的动作块驱动，直到下一次重规划（来源2）。

## 三、数据管线：用编码智能体给 2913 小时视频“写程序”

这是本文认为最值得业务领域借鉴的部分（来源2）：

1. **技能发现**：每项任务抽样一段演示，Gemini 3.1 Pro 基于只声明不实现的原语 API（如 `pick`、`place`、`rotate`、`handover`）编写子任务级程序；Claude Code（Claude Opus 4.8）作为协调者，把反复出现、跨任务通用的套路蒸馏成技能。
2. **冻结技能库**：形成 50 个技能，每个都是基于原语 API 的 Python 函数，以操作对象为参数，例如 `fold_edge_over`（双臂捏住布边、拉过去、松开）、`tilt_pour_over_target`（端起容器到目标上方倾倒再复位）。
3. **全量标注与缓存**：用冻结后的词表重新标注样本，建立“子任务 → 程序”缓存；其余语料当接触与运动特征匹配时直接复用缓存程序，只有缓存未命中才调用编码智能体。

训练时代码流由一段条件提示加上当前子任务的“活跃片段”组成，只有活跃片段被掩码监督（来源2）。

## 四、实验结果

### 4.1 仿真：RoboTwin 2.0（50 项任务、每项 50 次评测）

| 方法 | 干净场景 | 随机化场景 | 平均 |
|---|---|---|---|
| π0.5 | 54.9 | 27.7 | 41.3 |
| DreamZero | 33.6 | 17.6 | 25.6 |
| EgoScale | 26.2 | 2.9 | 14.5 |
| WLA | 64.8 | 3.6 | 34.2 |
| **AW-0（默认）** | **80.8** | 20.6 | **50.7** |
| **AW-0（混合）** | 63.1 | **29.2** | 46.2 |

单位：成功率 %，所有方法每项任务用 50 条干净演示训练（来源2）。

两个看点：默认模式在干净场景领先最强基线 WLA 16.0 个百分点；混合模式在背景、纹理、光照、桌高和干扰物随机化下最稳健，保留了干净场景表现的 46%，默认模式只保留 25%，代价是干净场景低 17.7 个百分点（来源2）。

### 4.2 真机：两种机器人、8 项任务

在固定底座双臂平行夹爪的 YAM 平台，以及配两只 22 自由度灵巧手的天机—Sharpa 人形上半身平台测试，每项任务 3×16 次、随机初始物体位置、按累加评分细则打分（来源2）。

| 方法 | 摆水果 | 装背包 | 换灯泡 | 叠毛巾 | 夹子摆水果 | 发扑克 | 翻记分牌 | 拧魔方 | 平均 |
|---|---|---|---|---|---|---|---|---|---|
| π0.5 | 70.8 | 49.7 | 63.8 | 81.7 | 7.3 | 13.1 | 26.3 | 36.1 | 43.6 |
| DreamZero | 53.3 | 36.7 | 67.4 | 79.8 | 22.6 | 37.1 | 28.4 | 42.5 | 46.0 |
| EgoScale | 37.5 | 27.3 | 60.2 | 53.3 | 17.6 | 25.6 | 40.8 | 24.9 | 35.9 |
| WLA | 39.6 | 29.6 | 56.0 | 74.6 | 14.2 | 22.9 | 29.7 | 52.3 | 39.9 |
| **AW-0** | **91.7** | **64.6** | **75.0** | **84.4** | **54.2** | **58.3** | **68.8** | **72.1** | **71.1** |

（来源2）

灵巧手任务上差距最大：例如“夹子摆水果”AW-0 为 54.2，π0.5 只有 7.3。在“叠毛巾”任务上，混合模式达到 90.6，高于纯动作执行的 84.4：灵巧的折叠靠动作专家，接近和码放等结构化动作交给代码（来源2）。

### 4.3 消融：哪些设计真正起作用

| 对比 | 结果（8 项真机平均分） | 来源 |
|---|---|---|
| 代码放在最前（C→V→A） vs 放中间（V→C→A） vs 无代码（V→A） | 71.1 vs 48.3 vs 32.9 | 来源2 |
| 代码专家用独立 ViT vs 复用 VAE 特征 | 71.1 vs 55.6 | 来源2 |
| 完整代码 vs 无注释代码 vs 无技能调用 vs 自然语言子目标 | 71.1 vs 62.8 vs 63.3 vs 63.6 | 来源2 |
| 联合去噪 vs 先自回归生成代码 | 71.1 vs 54.5 | 来源2 |

延迟方面，在 RTX 5090 上联合去噪 0.23 秒、自回归 0.55 秒（快 2.39 倍），无代码版本 0.19 秒（来源2）。

作者还对比了预测画面：指令是“最后左碗里只剩芒果”，AW-0 的预测画面伸向芒果，用自然语言子目标的版本在苹果和芒果之间犹豫，无代码版本伸向苹果（来源2）。

## 五、局限与失败案例

作者坦承三类局限（来源2）：

- **程序落地与技能覆盖**：规划质量依赖标注准确度和技能覆盖率；生成的程序可能选对技能却填错参数，**语法正确不等于执行正确**。
- **预测稳健性与混合执行**：结构化规划不能消除视觉分布偏移的影响；混合模式的仲裁只看合法性，所以用干净场景表现换稳健性。
- **持续学习**：真机混合评测只在 YAM 上做过，因为灵巧手缺少 Code-as-Policy 系统；系统也还不能从自身交互中在线学习。

六个典型失败包括：夹爪夹到篮壁、拉拉链时把背包拖倒、灯泡未对准螺纹、夹子闭合着去戳梨、交接时牌堆滑落、指尖滑离记分牌边缘（来源2）。

**本文分析**：随机化场景下默认模式只有 20.6%，说明在真实世界的“脏数据”面前，整体能力仍有很大差距；所有结果均为作者自报，评分细则由作者设计，需等待独立复现。

## 六、对银行智能体的四点启示（本文分析）

**本节全部为本文分析。** AW-0 是机器人论文，银行不会直接用它。但它回答了一个通用问题：**智能体的计划应该用什么形式表达、怎么复用、怎么安全地执行。** 以本站长期关注的资产保全业务为例：

### 6.1 计划写成“技能调用代码”，而不是一段自然语言

消融显示，完整代码比自然语言子目标平均高 7.5 分，去掉技能调用或注释都会下降。对银行而言，案件处置计划如果写成：

```
核验债权金额(案件)
检查诉讼时效(案件, 最近催收证据)
排查财产线索(债务人, 来源=[不动产, 车辆, 股权])
起草保全申请(案件, 担保方式)  # 需法务审批
```

比“先核实金额，再看时效，然后查财产并准备保全”更容易校验、审计和复用。注释同样有价值——它把程序结构和业务意图连起来，正是审计人员最需要的。

### 6.2 从历史案例中蒸馏技能库，并冻结版本

AW-0 的数据管线可以几乎原样映射：

| AW-0 | 资产保全对应 |
|---|---|
| 原语 API（pick、place、rotate） | 系统操作原语（查询档案、调取合同、查询征信、生成文书、提交审批） |
| 编码智能体给演示写程序 | 让智能体把已结案案件的处置过程还原成原语调用序列 |
| 协调者蒸馏跨任务技能 | 归纳出“抵押物处置”“诉讼时效中断核查”“破产债权申报”等可复用技能 |
| 冻结技能库 | 技能库版本化、经法务和风险条线审定后冻结 |
| 子任务 → 程序缓存 | 同类案件直接复用已审定程序，只有新情形才调用大模型 |

缓存复用有两个好处：降低调用成本，更重要的是让同类案件得到一致处理，减少“同案不同办”。

### 6.3 执行前过闸门，不过就退回保守路径

AW-0 的混合模式要求代码通过阶段、依赖、语法、白名单和非空操作五项检查才执行，否则交给另一条路径。银行可以直接借鉴这个结构：

- **阶段检查**：当前案件状态是否允许这一步（未立案不能申请执行）。
- **依赖检查**：前置步骤是否完成（未核验金额不能提交保全）。
- **白名单检查**：调用的技能和工具是否在已审定清单内。
- **非空检查**：计划是否真的有实质内容，防止“看起来完成了”。
- **退回路径**：不通过时不是让模型硬着头皮执行，而是转人工或只输出建议。

但要记住作者自己指出的问题：**仲裁只看合法性，不看可靠性**；语法正确的程序可能参数错误。银行场景中，金额、日期、当事人这类参数必须有独立的复核环节。

### 6.4 “先想后做”比“边看边做”更稳

C→V→A 的顺序（先生成计划，再预测结果，最后动作）在 8 项任务中有 7 项最优；先自回归生成代码会让早期错误传导下去，而联合去噪能让计划随预测一起修正。对银行智能体，这对应两条经验：计划要在执行前显式写出；计划应能根据中间结果修订，而不是一次生成、一路执行到底。这与 Anthropic 近期提出的“写计划和执行计划的是同一个模型”的观点相互印证。

## 七、结语

**本文分析**：AW-0 的价值不只在机器人分数，而在于证明了“代码”可以同时充当智能体的思考语言、技能载体和执行接口。对于高度依赖规则与流程的银行业务，这三种角色恰好对应可审计的计划、可积累的经验和可管控的执行。真正可借鉴的不是模型结构，而是方法：**用原语定义边界，用智能体蒸馏技能，用冻结和缓存保证一致，用校验闸门守住执行。**

## 常见问题

Q: AW-0 是什么？

A: AW-0 是 UC Berkeley、NVIDIA 和宾夕法尼亚大学团队提出的智能体世界动作模型，在一个三专家混合 Transformer 中联合生成技能代码、未来视频和机器人动作（来源1、2）。

Q: 代码流对 AW-0 的效果影响有多大？

A: 在 8 项真机任务中，完整的 C→V→A 架构平均 71.1 分，去掉代码流的 V→A 版本只有 32.9 分，而推理延迟从 0.19 秒增加到 0.23 秒（来源2）。

Q: AW-0 的技能库是怎么来的？

A: 由 Gemini 3.1 Pro 基于原语 API 为演示编写子任务程序，Claude Code 作为协调者把反复出现的套路蒸馏成技能，冻结后得到 50 个技能，再用缓存复用标注全部语料（来源2）。

Q: AW-0 对银行智能体有什么启示？

A: 把计划写成可校验的技能调用代码；从历史案例中蒸馏并冻结技能库；执行前做阶段、依赖、白名单等检查，不通过就转人工或只给建议；关键参数另设独立复核（本文分析）。

## 事实来源

1. **arXiv:2610.30136 摘要页**（来源1）：作者、机构、2026-10-21 提交、cs.RO 分类、CC BY 4.0 许可、摘要中的方法与结论。
2. **AW-0 项目主页**（来源2）：三专家架构、联合去噪、记忆缓存、混合执行五项检查、自动标注管线与 50 个技能、2913 小时训练数据、RoboTwin 2.0 与 8 项真机结果、消融、延迟、失败案例与局限。
3. **agentic-wam 代码仓库**（来源3）与 **Hugging Face 预训练模型**（来源4）：项目主页列出的公开代码与模型。

**本文推论部分（非来源表述）**：第六节全部内容、各处“本文分析”段落与结语。

**本文不构成投资建议、技术选型建议或合规意见。**

*（内容由AI生成，仅供参考）*