让世界模型先“写代码”再动手：AW-0 智能体世界动作模型深度解读与银行智能体的四点启示

AW-0 是 UC Berkeley、NVIDIA 和宾夕法尼亚大学团队 2026 年 10 月 21 日发布的“智能体世界动作模型”：同一个模型同时生成三样东西——技能代码、未来视频和机器人动作（来源1、2）。

它要解决的是两条路线各自的短板：世界动作模型（WAM）能预测未来画面，但缺少可组合、可复用的技能；“代码驱动”的智能体机器人会规划、能复用技能，但缺少对物理动态的预测（来源1）。

最关键的实验结论是：代码不是装饰。8 项真机任务平均 71.1 分，比最强基线 DreamZero 的 46.0 分高 25.1 分；去掉代码流只剩 32.9 分，而推理延迟只多 0.04 秒（来源2）。

它的数据管线本身就是一个多智能体系统：Gemini 3.1 Pro 写子任务程序，Claude Code（Claude Opus 4.8）当协调者把反复出现的套路蒸馏成技能，最终冻结出 50 个技能，再用缓存复用标注整个语料（来源2）。

对银行智能体的启示（本文分析）：把计划写成可校验的“技能调用代码”而非自然语言；让智能体从历史案例中蒸馏技能库并冻结版本；执行前过一道语法、依赖、白名单检查，不通过就退回更保守的路径。

素材说明：本文依据 arXiv:2610.30136 摘要页（来源1）与作者项目主页（来源2）。论文 PDF 超过 44 MB，本文数据均取自项目主页公布的图表与正文，二者为同一团队发布；全部结果为作者自报，截至本文写作未见第三方复现。凡来源事实标注编号；对银行的映射标注“本文分析”。

一、一句话看懂 AW-0

二、架构：三个专家，一条单向的“信息坡道”

2.1 三个专家各管一件事

• 代码专家：在预训练扩散语言模型 LLaDA 基础上，加一个冻结的 Qwen3-VL 视觉编码器，把当前多视角画面编码成视觉 token，让技能规划“看得见场景”（来源2）。
• 视频专家：预训练的 Cosmos-Predict2.5 视频 DiT，生成 VAE 编码的未来帧（来源2）。
• 动作专家：独立的动作 DiT，生成连续动作块，并额外以机器人状态为条件（来源2）。

每个专家有自己的注意力投影、层归一化和前馈网络，在每一层通过带掩码的联合注意力交流。注意力在专家内部双向，跨专家按 代码 → 视频 → 动作 分块因果：代码只看代码，视频看代码和视频，动作看全部三者（来源2）。

2.2 联合去噪：代码和动作一起“想清楚”

• 视频和动作用连续的流匹配（flow matching），代码用离散的掩码扩散；每一步去噪同时预测代码 token 和连续速度（来源2）。
• 推理时在代码流末尾追加 G 个掩码 token，与视频、动作一起经过 T 步解码，每步确定置信度最高的 G/T 个位置（来源2）。
• 代码专家还读取一个记忆缓存：本段任务中已生成的程序片段，压缩进 K 个可学习记忆槽，因为单帧画面很难判断任务进度（来源2）。

2.3 两种执行方式

• 默认模式：生成的代码片段不执行，只作为计划去约束动作专家，由动作块驱动机器人（来源2）。
• 混合模式：代码片段通过阶段、依赖、语法、白名单和“非空操作”五项检查时，按 Code-as-Policies 方式调用感知与控制原语执行；否则用同一次前向传播产出的动作块驱动，直到下一次重规划（来源2）。

三、数据管线：用编码智能体给 2913 小时视频“写程序”

这是本文认为最值得业务领域借鉴的部分（来源2）：

1. 技能发现：每项任务抽样一段演示，Gemini 3.1 Pro 基于只声明不实现的原语 API（如 pick、place、rotate、handover）编写子任务级程序；Claude Code（Claude Opus 4.8）作为协调者，把反复出现、跨任务通用的套路蒸馏成技能。
2. 冻结技能库：形成 50 个技能，每个都是基于原语 API 的 Python 函数，以操作对象为参数，例如 fold_edge_over（双臂捏住布边、拉过去、松开）、tilt_pour_over_target（端起容器到目标上方倾倒再复位）。
3. 全量标注与缓存：用冻结后的词表重新标注样本，建立“子任务 → 程序”缓存；其余语料当接触与运动特征匹配时直接复用缓存程序，只有缓存未命中才调用编码智能体。

训练时代码流由一段条件提示加上当前子任务的“活跃片段”组成，只有活跃片段被掩码监督（来源2）。

四、实验结果

4.1 仿真：RoboTwin 2.0（50 项任务、每项 50 次评测）

单位：成功率 %，所有方法每项任务用 50 条干净演示训练（来源2）。

两个看点：默认模式在干净场景领先最强基线 WLA 16.0 个百分点；混合模式在背景、纹理、光照、桌高和干扰物随机化下最稳健，保留了干净场景表现的 46%，默认模式只保留 25%，代价是干净场景低 17.7 个百分点（来源2）。

4.2 真机：两种机器人、8 项任务

在固定底座双臂平行夹爪的 YAM 平台，以及配两只 22 自由度灵巧手的天机—Sharpa 人形上半身平台测试，每项任务 3×16 次、随机初始物体位置、按累加评分细则打分（来源2）。

（来源2）

灵巧手任务上差距最大：例如“夹子摆水果”AW-0 为 54.2，π0.5 只有 7.3。在“叠毛巾”任务上，混合模式达到 90.6，高于纯动作执行的 84.4：灵巧的折叠靠动作专家，接近和码放等结构化动作交给代码（来源2）。

4.3 消融：哪些设计真正起作用

延迟方面，在 RTX 5090 上联合去噪 0.23 秒、自回归 0.55 秒（快 2.39 倍），无代码版本 0.19 秒（来源2）。

作者还对比了预测画面：指令是“最后左碗里只剩芒果”，AW-0 的预测画面伸向芒果，用自然语言子目标的版本在苹果和芒果之间犹豫，无代码版本伸向苹果（来源2）。

五、局限与失败案例

作者坦承三类局限（来源2）：

• 程序落地与技能覆盖：规划质量依赖标注准确度和技能覆盖率；生成的程序可能选对技能却填错参数，语法正确不等于执行正确。
• 预测稳健性与混合执行：结构化规划不能消除视觉分布偏移的影响；混合模式的仲裁只看合法性，所以用干净场景表现换稳健性。
• 持续学习：真机混合评测只在 YAM 上做过，因为灵巧手缺少 Code-as-Policy 系统；系统也还不能从自身交互中在线学习。

六个典型失败包括：夹爪夹到篮壁、拉拉链时把背包拖倒、灯泡未对准螺纹、夹子闭合着去戳梨、交接时牌堆滑落、指尖滑离记分牌边缘（来源2）。

本文分析：随机化场景下默认模式只有 20.6%，说明在真实世界的“脏数据”面前，整体能力仍有很大差距；所有结果均为作者自报，评分细则由作者设计，需等待独立复现。

六、对银行智能体的四点启示（本文分析）

本节全部为本文分析。 AW-0 是机器人论文，银行不会直接用它。但它回答了一个通用问题：智能体的计划应该用什么形式表达、怎么复用、怎么安全地执行。 以本站长期关注的资产保全业务为例：

6.1 计划写成“技能调用代码”，而不是一段自然语言

消融显示，完整代码比自然语言子目标平均高 7.5 分，去掉技能调用或注释都会下降。对银行而言，案件处置计划如果写成：

核验债权金额(案件)
检查诉讼时效(案件, 最近催收证据)
排查财产线索(债务人, 来源=[不动产, 车辆, 股权])
起草保全申请(案件, 担保方式)  # 需法务审批

比“先核实金额，再看时效，然后查财产并准备保全”更容易校验、审计和复用。注释同样有价值——它把程序结构和业务意图连起来，正是审计人员最需要的。

6.2 从历史案例中蒸馏技能库，并冻结版本

AW-0 的数据管线可以几乎原样映射：

缓存复用有两个好处：降低调用成本，更重要的是让同类案件得到一致处理，减少“同案不同办”。

6.3 执行前过闸门，不过就退回保守路径

AW-0 的混合模式要求代码通过阶段、依赖、语法、白名单和非空操作五项检查才执行，否则交给另一条路径。银行可以直接借鉴这个结构：

• 阶段检查：当前案件状态是否允许这一步（未立案不能申请执行）。
• 依赖检查：前置步骤是否完成（未核验金额不能提交保全）。
• 白名单检查：调用的技能和工具是否在已审定清单内。
• 非空检查：计划是否真的有实质内容，防止“看起来完成了”。
• 退回路径：不通过时不是让模型硬着头皮执行，而是转人工或只输出建议。

但要记住作者自己指出的问题：仲裁只看合法性，不看可靠性；语法正确的程序可能参数错误。银行场景中，金额、日期、当事人这类参数必须有独立的复核环节。

6.4 “先想后做”比“边看边做”更稳

C→V→A 的顺序（先生成计划，再预测结果，最后动作）在 8 项任务中有 7 项最优；先自回归生成代码会让早期错误传导下去，而联合去噪能让计划随预测一起修正。对银行智能体，这对应两条经验：计划要在执行前显式写出；计划应能根据中间结果修订，而不是一次生成、一路执行到底。这与 Anthropic 近期提出的“写计划和执行计划的是同一个模型”的观点相互印证。

七、结语

本文分析：AW-0 的价值不只在机器人分数，而在于证明了“代码”可以同时充当智能体的思考语言、技能载体和执行接口。对于高度依赖规则与流程的银行业务，这三种角色恰好对应可审计的计划、可积累的经验和可管控的执行。真正可借鉴的不是模型结构，而是方法：用原语定义边界，用智能体蒸馏技能，用冻结和缓存保证一致，用校验闸门守住执行。

事实来源

1. arXiv:2610.30136 摘要页（来源1）：作者、机构、2026-10-21 提交、cs.RO 分类、CC BY 4.0 许可、摘要中的方法与结论。
2. AW-0 项目主页（来源2）：三专家架构、联合去噪、记忆缓存、混合执行五项检查、自动标注管线与 50 个技能、2913 小时训练数据、RoboTwin 2.0 与 8 项真机结果、消融、延迟、失败案例与局限。
3. agentic-wam 代码仓库（来源3）与 Hugging Face 预训练模型（来源4）：项目主页列出的公开代码与模型。

本文推论部分（非来源表述）：第六节全部内容、各处“本文分析”段落与结语。

本文不构成投资建议、技术选型建议或合规意见。

（内容由AI生成，仅供参考）