上海AI实验室《Physical AI》专著深度解读:AI走出屏幕,需要的不只是更大的模型
核心摘要
- 是什么(来源1):上海人工智能实验室物理智能团队 2026 年 10 月 19 日发布的预印本专著,全书 388 页(PDF)、12 章,由张伟楠、沈春华、薛天帆、赵斌、周伯文领衔,作者 50 余人
- 核心定义(来源1):物理智能是人工系统感知物理状态、维护物理关系与行动后果的表征、通过物理接口执行干预,并利用反馈在物理、运行和计算约束下实现目标的能力
- 最重要的判断(来源1):一个系统能做什么,与其说取决于某个单独模型,不如说取决于“感知—预测—决策—行动—反馈”的整体闭环,以及维持这个闭环的物理和运行条件
- 路线图(来源1):提出物理 AGI 的四个能力维度(广度、深度、可塑性、持续性)和五大发展方向,并以约 5 年、5—10 年、更长期三个阶段描绘演进,作者强调时间表是“指示性和有条件的”
常见问题
这本专著是谁发布的?
上海人工智能实验室物理智能团队,2026 年 10 月 19 日以预印本形式发布于 arXiv(编号 2610.27045),由张伟楠、沈春华、薛天帆、赵斌、周伯文领衔(来源1)。
物理智能和具身智能有什么区别?
具身智能关注身体形态如何塑造感知与行动,也包括仿真智能体;物理智能关注真实物理过程中的闭环干预,还包括交通、电网等没有机器人外形的分布式系统(来源1)。
物理 AGI 是什么?
专著把它定义为能把技能带到训练范围之外、并在知识不足时高效学习的物理智能,用广度、深度、可塑性、持续性四个维度刻画(来源1)。
专著对物理数据规模定律怎么看?
作者认为物理数据能否像语言数据一样带来可预测的增益“远未明确”,关键在于数据配比和稀缺真实交互的分配(来源1)。
是什么(来源1):上海人工智能实验室物理智能团队 2026 年 10 月 19 日发布的预印本专著,全书 388 页(PDF)、12 章,由张伟楠、沈春华、薛天帆、赵斌、周伯文领衔,作者 50 余人。
核心定义(来源1):物理智能是人工系统感知物理状态、维护物理关系与行动后果的表征、通过物理接口执行干预,并利用反馈在物理、运行和计算约束下实现目标的能力。
最重要的判断(来源1):一个系统能做什么,与其说取决于某个单独模型,不如说取决于“感知—预测—决策—行动—反馈”的整体闭环,以及维持这个闭环的物理和运行条件。
路线图(来源1):提出物理 AGI 的四个能力维度(广度、深度、可塑性、持续性)和五大发展方向,并以约 5 年、5—10 年、更长期三个阶段描绘演进,作者强调时间表是“指示性和有条件的”。
本文判断(本文分析):这是一部“定概念、立框架”的教科书式专著,价值在于统一术语和评估口径;它不发布新模型、不给新实验数据,部分远景论述(如文明等级)推测成分较重。
写作说明:标注“来源N”的为专著原文或公开报道;“本文分析”为作者推论。原文为未经同行评审的预印本,作者自称“专著”(monograph)而非一般综述。
一、为什么现在需要这本书
1. 领域缺少共识
专著开篇直言:近年物理智能发展迅速,学界和产业界高度关注,但这个领域在定义、技术版图和核心挑战上尚未形成共识(来源1)。本书的目标是给出统一定义、呈现技术版图,并逐一深入每个关键子领域。
在 2026 年 CNCC 大会教程会场,上海 AI 实验室物理智能团队正式发布了这本专著;张伟楠教授在同场报告中把物理智能技术栈梳理为七层,从硬件系统、数据仿真到智能体与应用层(来源2)。
2. 发布背景(本文分析)
上海 AI 实验室在 2026 年 9 月刚发布了“书生”物理世界模型 W0(来源3),其 arXiv 论文同样署名物理智能团队。专著与模型几乎同期推出,可以理解为上海 AI 实验室在物理智能方向上“理论框架 + 模型产品”的双线布局。
二、全书结构
| 部分 | 章节 | 内容 |
|---|---|---|
| 第一部分:概述与基础 | 第 1—2 章 | 定义、边界、四要素、应用版图;物理世界的数学描述、控制论、具身认知、物理世界中的学习与推理 |
| 第二部分:方法论 | 第 3—9 章 | 感知与认知、物理数据、世界模型、机器人操作基础模型、全身运动控制基础模型、物理智能体、硬件与系统 |
| 第三部分:未来展望 | 第 10—12 章 | 物理 AGI、评估与安全治理、发展战略与人类文明 |
(来源1)
本文分析:这个结构本身就是一个观点——把控制论、具身认知这些“老学问”放在大模型之前,暗示物理智能不是大模型的简单延伸,而是多学科的重新整合。
三、核心框架:定义、边界与四要素
1. 物理智能与数字智能的三点本质区别
专著认为,物理智能面临的约束无法仅靠增大模型容量消除(来源1):
- 不确定条件下的“有后果的交互”:物理世界只能部分观测,行动会改变可获得的证据;更关键的是物理系统一般没有精确、廉价的“重置”——仿真可以回档,洒出的化学品、损坏的零件却可能无法恢复。所以规划不仅要看成功概率,还要考虑未来状态是否可恢复;
- 感知不断演化的物理状态:视觉之外还需要力、触觉、本体感觉、温度、压力;采样率、标定、同步、坐标系都影响判断,算对了但算晚了,对控制可能毫无用处;
- 数据学习与物理结构结合:守恒律、对称性、几何约束可以约束不合理的预测,但物理先验本身也有适用范围,摩擦模型不准同样会带来系统性错误。
因此,评估重心转向闭环表现:任务完成率、抗干扰能力、响应时间、资源消耗、失败后的恢复(来源1)。
2. 统一定义
定义 1.1(来源1):物理智能是人工系统感知物理环境状态、维护与任务相关的物理关系及行动后果的表征、通过物理接口选择并执行干预,并利用反馈在物理、运行和计算约束下实现目标的能力。
四个推论(来源1):
- 观测必须与真实世界的量、事件或状态挂钩;
- 系统必须有干预的通路,可以是直接执行,也可以是向受控设备发指令;
- 反馈必须影响后续行为;
- “智能”要有证据:要证明有推理、预测、规划或适应能力,不能因为装了传感器和执行器就自称智能。
作者还明确划清“组件”和“系统”:一个学习型仿真器、感知模型或动作规划器可以是关键能力,但单独存在时不满足闭环物理干预的系统级要求(来源1)。
3. 与相邻概念的边界
| 概念 | 关注点 | 与物理智能的关系 |
|---|---|---|
| 具身智能 | 身体形态如何塑造感知和行动;可以是仿真智能体 | 实际部署的具身智能是物理智能的主要实现形式之一,但物理智能还包括分布式系统 |
| 信息物理系统(CPS) | 计算与物理过程的集成 | CPS 可以只靠固定控制逻辑运行;物理智能是 CPS 架构中的“能力层” |
| 数字孪生 | 与特定物理对象绑定的数字表征 | 孪生不一定自主决策执行;物理智能系统也不一定需要完整孪生 |
(来源1)
专著举的例子很有意思:自适应交通信号系统、电网运行、托卡马克等离子体磁约束控制——没有机器人外形,但只要闭合了“观测—决策—物理后果”的回路,就属于物理智能(来源1)。
本文分析:这个定义比“具身智能”更宽,把工业控制、能源、科学装置都纳入进来,扩大了物理智能的产业边界,也让“智能电网”“自主实验室”与“人形机器人”放在了同一个分析框架里。
4. 四要素闭环
| 要素 | 回答的问题 | 对应章节 |
|---|---|---|
| 物理状态感知与估计 | 现在世界是什么状态? | 第 3 章 |
| 物理世界模型 | 我这样做,世界会怎样变? | 第 4、5 章 |
| 物理决策、规划与控制 | 该做什么、能不能做、怎么安全地做? | 第 6、7、8 章 |
| 闭环反馈与多尺度适应 | 做的结果符合预期吗?要怎么调整? | 贯穿全书,硬件见第 9 章 |
(来源1)
前三者构成智能体本身,第四个把智能体与物理世界连成持续运转的回路(来源1)。
5. 物理智能在 AI 演进中的位置
以“AI 与物理世界的耦合程度”为轴(来源1):
- 数字工具:辅助人类设计、分析、决策,执行完全靠人;
- 仿真智能体:在仿真器或数字孪生中试错,便宜安全,但受仿真与现实差距限制;
- 单智能体物理智能:机器人、车辆、无人机、自主实验平台,目前大部分具身研究集中在这一层;
- 多智能体协作;
- 基础设施级物理智能:城市、电网、工厂、科研设施中的分布式感知、计算和执行被统一调度和治理。
作者提出三个主张(来源1):
- 物理智能带来数字智能没有的新能力:感知连续变化的物理状态,并在行动前预测干预后果,这依赖因果关系而非统计相关;
- 物理智能建立在数字智能之上,而非取代它:大模型能检索文献、提出假设、写实验方案,但实验成不成,取决于移液准不准、温度稳不稳;
- 物理智能是通向 AGI 的重要路径之一:数字基准容易过拟合、难排除数据污染,而物理世界开放、连续、无法预先穷举,任务是否完成由物理结果直接判定。
四、技术版图要点
1. 数据:最贵的数据最有用
专著提出“物理智能数据金字塔”(来源1):
| 层级(自上而下) | 特点 |
|---|---|
| 真实机器人数据(遥操作、自主运行、人工干预) | 目标本体执行可执行指令并记录实际后果;最相关、最贵 |
| 手持与穿戴设备(UMI 式夹爪、外骨骼、手套) | 有真实接触和类机器人动作,但不需要机器人 |
| 人类视频 | 有真实物理和自然行为,但没有机器人动作和力 |
| 互联网图文视频 | 有语义和常识,没有物理交互 |
| 仿真与生成数据(单列) | 以极低成本提供机器人动作,但后果是模型算出来的,价值取决于标定 |
几个关键数字(来源1,转引):
- 最大的遥操作数据集合计约相当于一年的机器人经验,而训练视觉语言模型的图文数据,一个人要看约 10 万年(Goldberg,2025);
- 英伟达 GR00T N1 研究在 11 小时内生成 78 万条仿真轨迹,约相当于 6,500 小时人类演示。
专著的核心判断:物理数据是否也像语言数据一样有可预测的规模效应,远未明确。真正的问题是分配——收集或生成哪些数据、比例如何、稀缺的真实交互怎么在训练、标定、验证之间分配;数据价值要用物理系统上的闭环表现衡量,而不是损失值、帧数或仿真成功率(来源1)。
2. 世界模型:从“看”到“试”
专著指出(来源1):
- 视频提供了丰富的外观与运动证据,但通常缺少施加的力、接触状态等决定干预后果的变量;同一条轨迹可以有多种物理解释,单纯扩大观测数据并不能消除这种歧义;
- 需要用多模态测量和有针对性的“探测实验”来区分:受控提起测质量、受力滑动测摩擦;
- 证据不足时,模型应保留多种可能解释,而不是根据外观“编造”一个唯一的物理参数;
- 长时程预测需要的不只是更长的上下文窗口,而是持续状态、关键事件表示、合适的时间分辨率和随预测延长仍可用的不确定性;
- 不同架构路线(紧凑预测状态 + 生成式读出、物理结构 + 学习残差、快慢模型协同)大概率会组合使用,目前没有哪种组合被证明普遍更优。
3. 机器人操作基础模型
专著给出的界定:能适配新任务、可复用所学结构的预训练模型;参数量大或有自然语言接口,本身都不构成“基础模型”属性(来源1)。
它强调,输出“子目标”“技能编号”“程序”和输出“末端位姿序列”“关节目标”是不同的接口,不能混为一谈——“抓起瓶子”这样的指令留给下游的工作远多于一串关节目标(来源1)。
让复用成为可能的四个条件:视觉语言预训练、日益多样的机器人数据、序列与生成模型、训练基础设施与仿真;而且额外算力无法补回从未被记录的动作语义(来源1)。
4. 其他章节
- 第 7 章全身运动控制:身体动力学与状态估计、指令条件下的运动控制、运动预训练、实时执行与失败恢复(来源1);
- 第 8 章物理智能体:定义、物理形态、目标表示与任务落地、多智能体与分布式物理智能(来源1);
- 第 9 章硬件与系统:传感器、执行器、智能材料、端边云协同、软件栈、规模化部署可靠性,并有灵巧手与人形机器人集成案例(来源1)。
五、物理 AGI:通用性而不是更高分数
1. 定义
专著认为,物理 AGI 与当前物理智能系统的区别在于通用性,而非在同一任务上表现更好:物理智能系统由它拥有的技能刻画,物理 AGI 由它能把技能带到训练范围之外多远、能否扩展来刻画(来源1)。通用性总是相对于既定范围、性能标准和资源预算而言,不是面向所有可想象的任务。
2. 四个维度与四条路径
| 能力维度 | 含义 | 路径 |
|---|---|---|
| 广度 | 跨任务、环境、本体都能有效行动 | 系统性泛化 |
| 深度 | 长时程内精确可靠地行动 | 人机协作 |
| 可塑性 | 现有技能不够时能学习或调整 | 群体物理智能 |
| 持续性 | 保留有用技能并持续积累 | 自我进化 |
(来源1)
终极目标:推动科学发现,并实现超越人类直接能力的工程(来源1)。
两条值得注意的判断(来源1):
- 庞大但固定的技能库,是适应能力的弱证据;在窄任务族内学得快,是广度的弱证据;
- 通用不等于不需要人帮忙,但新任务所需的演示、反馈和人工调整都要计入适应成本。
六、评估与安全:以“完整智能体”为评估单位
专著提出“物理世界评估器”:评估单位是一次完整的交互过程,而不是单个模型输出(来源1)。
四个评估目标(来源1):
| 目标 | 核心问题 |
|---|---|
| 可靠性 | 能否在声明的自主程度和运行条件下反复完成目标? |
| 物理安全与行动对齐 | 是否在授权且物理上可接受的范围内追求目标?任务完成也可能伴随过大接触力、物体损坏 |
| 运行可控性 | 保护机制和授权监督能否及时干预并切换到安全状态?不只是“有没有急停按钮” |
| 可追溯性 | 配置、决策、动作、干预、更新能否被还原并对应到责任人? |
关键细节(来源1):
- 只看完成率会掩盖重试、人工协助、过大接触力或延迟出现的损坏;
- 每个评估结论都要说明测试本体、任务、自主程度、允许的协助、光照、负载、人员距离等条件,以及评估器自身的盲区;
- 检测到危险,不等于系统能安全应对。
本文分析:这套评估框架对产业最有直接价值。今天很多人形机器人演示只报“成功率”,不说明有多少次重试、是否有人遥控、什么光照条件。专著的要求等于给“演示视频”立了披露规范。
七、发展战略:五大方向与三个阶段
| 方向 | 要点 |
|---|---|
| 数字与物理基础模型融合 | 先通过显式接口交换目标、状态、候选动作、预测与不确定性,再走向共享表征和联合训练;解析模型和仿真器在可靠时仍应保留 |
| 自我进化的智能体 | “学习—行动—发现—再学习”循环;把环境当作数据源;更新要分阶段、可回滚;用“获得下一项能力的成本”衡量进步 |
| 软硬件协同进化 | 端侧算力、机器人形态、传感器布置要与模型一起设计;时间关键的控制和保护功能必须能在断网时本地执行 |
| 物理智能体互联网 | 联邦式基础设施,包含物理节点、共享能力服务、协调服务;节点保留本地自主,能力接口要声明条件、不确定性、延迟和故障处理 |
| 科技生态 | 测试设施、接口与专业知识;可复现、可维护 |
三个阶段:约 5 年实现可靠的任务闭环;5—10 年实现可复用、可迁移的系统;更长期迈向自适应的群体能力和物理 AGI(来源1)。
作者还提出“物理智能即服务”(PAIaaS):像“模型即服务”降低数字智能使用成本那样,把实验、制造、检测、能源运营、运维变成可被远程调用的服务(来源1)。
最后一章把物理智能放到人类文明尺度讨论,引用卡尔达肖夫指数,认为文明等级最终体现在能源、设备、材料和维护能否在更大范围、更长时间内持续运转(来源1)。
八、价值与局限(本文分析)
价值
- 统一了术语:清晰区分物理智能、具身智能、CPS、数字孪生,并明确“组件不等于系统”,有助于减少概念炒作;
- 把评估重心拉回闭环:反对用损失值、帧数、仿真成功率代替真实表现,这对行业是重要纠偏;
- 对数据的判断务实:不盲目相信物理数据的规模定律,强调数据配比和真实交互的分配;
- 安全治理具体可操作:可靠性、行动对齐、可控性、可追溯性四个目标,可直接转化为测试规范;
- 覆盖面广:从控制论到灵巧手硬件,一本书串起完整技术栈,适合作为入门与参考教材。
局限
- 综述性质,没有新实验:不发布新模型、新数据集或新基准,结论多为方法论层面的归纳;
- 定义偏宽:交通信号、电网调度都纳入物理智能,边界清晰但外延很大,可能稀释“智能”的门槛,尽管作者用“需有能力证据”作了限定;
- 远景部分推测较多:文明等级、深空基础设施、PAIaaS 等更像愿景,不宜作为近期产业判断依据;
- 时间表有条件:5 年、10 年的划分作者自己声明是“指示性”的;
- 预印本未经同行评审,作者团队来自单一机构,部分观点难免带有该机构的研究取向。
九、对产业和投资者的启示(本文分析)
- 看演示要看条件:自主程度、重试次数、人工协助、环境条件,缺一项都不能直接相信成功率;
- 数据壁垒在真实交互:真实机器人数据最贵也最有用,拥有部署场景、能持续获取闭环数据的公司更有长期优势;
- 不只是人形机器人:工厂、电网、交通、自主实验室同样是物理智能的主战场,且商业化路径可能更短;
- 软硬件协同是长期门槛:只做模型或只做本体都可能受限,端侧算力、传感器和执行器的配合决定可落地性;
- 安全与可追溯是准入条件:金融机构在评估相关企业或开展相关融资时,可把专著的四个评估目标作为尽调清单的参考。
结语
这本专著最核心的一句话是:一个系统能做什么,取决于完整的闭环,而不只是某个单独的模型。在大模型参数竞赛之外,它提醒行业,物理世界没有“撤销键”,算对了但算晚了也没用,装了传感器不等于有智能。它没有给出新的技术突破,但给出了一套讨论物理智能的共同语言和评估标准,这在一个概念快速膨胀的领域里,本身就很有价值。
事实来源
- 专著原文(来源1):《Physical AI: Concepts, Techniques, and Challenges》,arXiv:2610.27045v1。
- CNCC 2026 报道(来源2):张伟楠教授报告及专著发布信息。
- 上海 AI 实验室新闻(来源3):“书生”物理世界模型 W0 发布。
本文推论部分(非来源表述):发布背景判断、结构解读、各节“本文分析”、价值与局限、产业与投资启示、结语。
本文不构成任何投资建议。
(内容由AI生成,仅供参考)
参考文献
- Physical AI: Concepts, Techniques, and Challenges(arXiv:2610.27045) [上海人工智能实验室物理智能团队,2026-10-19]
- 上交大张伟楠教授:AI如何走出屏幕,真正改变物理世界?| CNCC 2026 [网易,2026-10-26]
- 『书生』物理世界模型W0发布 [上海人工智能实验室,2026-09-11]