#世界动作模型 (43)

智能体世界动作模型（AW-0）

近期的世界动作模型为机器人操作提供了视觉前瞻与未来预测，但缺少显式的组合式技能复用机制。智能体机器人将基于代码的规划与推理同可复用技能相结合，却往往缺少对物理动力学的预测性支撑。我们提出 AW-0，一个将基于代码的规划与联合视频、动作预测相融合的智能体世界动作模型框架。我们在统一的混合 Transformer 架构中，将代码、未来视频与机器人动作作为三条耦合的生成流联合建模。该架构中的代码专家生成参数化技能例程与控制逻辑，视频专家与动作专家则生成未来视觉状态与底层运动指令。代码承担两种互补角色：它在世界模型内部组织多步预测与控制，并把技能表示为可供后续智能体执行复用的程序。我们进一步提出自动化整理流程，为机器人视频与人类视频轨迹标注对齐的程序，并将反复出现的例程整合为可复用技能库。在 RoboTwin 2.0 与真实双臂操作任务上的评估显示，该方法相较视觉-语言-动作模型与世界动作模型基线提升了任务表现，并在语言遵循、语义推理与鲁棒性方面取得增益，表明智能体代码能够在世界动作模型中连接规划、预测与执行。

Liu, Zhuoyang, Niu, Dantong, Zhang, Botong · 26次阅读 · 2026年10月21日

世界动作模型视觉语言动作模型

2026年10月21日

AW-0：把技能程序、未来视频与动作放进同一个去噪过程

AW-0 用 Mixture-of-Transformers 联合去噪技能程序、未来视频与动作；默认模式只让代码指导动作，混合模式才执行程序。RoboTwin 平均 50.7%，8 个真机任务平均 71.1%。

博客

世界动作模型具身智能

1:38

Dream-1 零样本迁移到 27 台未见机器人

@LearnOpenCV · 77次播放 · 2026-10-21

Dream-1世界动作模型

1:14

R²-WAM:世界动作模型的无数据持续学习

@Yunsong_Zhou · 111次播放 · 2026-10-21

ContinualLearningWorldActionModel

面向世界动作模型的无数据持续学习：整流生成回放

基于预训练视频生成模型的世界动作模型（WAM）能快速适配新机器人任务，但在顺序微调下会遗忘旧任务。经验回放（ER）靠重演旧任务数据缓解遗忘，而机器人场景中策略往往只以权重形式部署、训练数据并不随权重共享，旧数据常常不可得。本文研究 WAM 能否通过重生成自己的过去实现无数据持续学习：关键观察是 WAM 可以自回归地重生成旧任务的完整 rollout 并回放以缓解遗忘，但直接回放原始 rollout 仍远不如回放真实数据，原因有二——其一，WAM 无法识别任务已完成，在任务结束后继续生成无目的动作；其二，开环生成下生成的动作会逐渐偏离生成的观测。为此提出整流生成回放 R²-WAM：用智能体式评估器在任务完成处截断生成的 rollout，并滤除动作与观测物理不一致的 rollout。在 LIBERO 四个套件与五个真实世界任务上，R²-WAM 相比顺序微调将遗忘降低 90% 以上，且在完全不接触旧任务数据的前提下接近经验回放的效果。分析进一步揭示 WAM 的遗忘集中在逆动力学建模：被遗忘的 WAM 仍能生成旧任务视觉上合理的观测，但其生成的动作已经失败。

Kaipeng Fang, Hangxu Liu, Chaojian Shi · 142次阅读 · 2026年10月13日

持续学习世界动作模型

2026年10月13日

Dream Labs 携 9000 万美元种子轮出隐身：世界动作模型 Dream-1 零样本驱动 27 台没见过的机器人，每小时 3 美元

Dream Labs 发布世界动作模型 Dream-1：零样本驱动 27 台未参与训练的机器人（含 18 岁的 PR2），12 个 beta 场地 21 段真机实拍，公开 API 每小时 3 美元。

博客

世界动作模型具身智能

LoopWAM：从部署回放中闭环改进的通才机器人策略

只堆专家示范，通才机器人策略并不会因为「上了真机」就变强：部署回放里既有成功，也有次优动作和彻底失败，逐个动作照抄会把坏行为一起学进去，而把失败样本直接丢掉，又丢掉了物理交互及其后果的证据。LoopWAM 是一个闭环的世界动作模型（world-action model），它直接从这份「全质量谱系」的回放里学习，回放既可以来自它自己，也可以来自别的已部署策略（X-VLA、π0.5）。方法上有三块互相咬合的设计：源相关噪声采样把行为学习与动作条件世界建模统一进同一个联合去噪目标——示范数据只对视频加噪、回放数据只对动作加噪，两条流在每一层的联合注意力里交互，学到的「后果」因此能直接参与动作生成；质量引导把质量分数写进指令后缀 Quality: q，部署时固定取最高档，使同一个模型既能被引导也能被评估；质量加权监督用 λ(q) 调节动作项的模仿强度（q=1,2 为 0.0，q=3 为 0.3，q=4 为 0.6，q=5 为 1.0），视频监督则在全质量段完整保留。模型由 Wan2.2-TI2V-5B 初始化，视频 DiT 30 层 3072 维、动作 DiT 30 层 1024 维，flow matching 训练。结果：RoboChallenge Table30-V2 上三轮「部署—采集—再训练」把成功率从 23.67% 拉到 43.33%（+19.7 个百分点），总分 36.10→56.80；RoboTwin 2.0 平均成功率 94.5%（用 LoopWAM、X-VLA、π0.5 三个策略共 22,500 条回放训练）；RoboCasa365 总成功率 14.9%→49.5%，三项基准在对比方法中都是最好，且没有做额外的具身预训练。最难的叠衣服任务上，单任务后训练之后再跑两轮部署驱动改进，成功率从 13.20% 升到 55.56%。消融显示：完全不做质量引导只有 72.3%，粗粒度标注加上质量加权动作监督才到 94.5%。项目页 https://loop-wam.github.io/

Wenxuan Guo, Yingping Liang, Zhaoguo Wang · 265次阅读 · 2026年10月13日

世界动作模型自改进

2026年10月13日

Agile-WAM：面向接触丰富机器人控制的敏捷触觉世界动作模型

Agile-WAM 从零训练一个不含交叉注意力的「视觉-触觉-动作」流匹配骨干，把融合观测潜变量直接当作流的源，一次前向同时生成动作块与未来视觉/触觉潜变量，并按「视觉看远、触觉看近」做多时域监督；9 个仿真与 5 个真机接触丰富任务成功率最高，单次推理 10.35 ms（96.6 Hz），真机相对最强基线提升 29.4%。

Hanchu Zhou, Brendan Lynch, Raman Goyal · 175次阅读 · 2026年9月17日

世界动作模型流匹配

2026年9月17日

EWAM：统一具身模型中涌现的深度分工

EWAM 让动作查询逐层读取视觉语言、预测未来与动作表示，在无逐层监督下形成“理解—预见—行动”的深度分工，并提升仿真与真机性能。

Hao Wang, Jiajun Wen, Jingzhi Liu · 100次阅读 · 2026年9月30日

视觉语言动作模型世界动作模型

2026年9月30日

1:34

R²-WAM:世界动作模型需要怎样的视觉表征

@ai_bites · 131次播放 · 2026-10-15

世界动作模型Visual Representation

R²-WAM：世界动作模型需要怎样的视觉表征

世界动作模型（WAM）的视觉底座继承自为像素重建训练的视频 VAE，缺的正是操作所需的语义、空间与接触信息。本文把同一个 Wan2.2 双专家骨架与同一套训练协议固定下来，在 LIBERO-Plus 上受控比较 13 种冻结视觉表征、5 种特征注入机制与多种特征组合，得到三条结论：通用表征优于专用表征（平均总体成功率 82.2 对 80.0），视角/背景/噪声每一类扰动的最佳均值都来自通用源；通道级联合预测最强（13 源平均 81.5，领先次优机制 5.1 个点），收益主要来自"预测未来特征"而非"条件于当前帧"；追加表征源只在互补时有效，最大额外增益仅 3.7 个点，师生同场（C-RADIOv4 + DINOv3）反而掉到 78.6。据此固化的 R²-WAM（DINOv3 + UniTok + V-JEPA 2.1，通道级拼接）在 RoboCasa GR1 Tabletop 达 84.7%（+5.9）、RoboTwin 2.0 达 92.8%（+2.2），Galbot G1 真机四任务各提升约 10 个点。

Kai Liu, Jiangran Lyu, Tingyu Deng · 273次阅读 · 2026年10月9日

世界动作模型Visual Representation

2026年10月9日

2:38

Long-WAM：长上下文实时世界动作模型

@AaronWeiHuang · 470次播放 · 2026-10-08

世界动作模型视觉语言动作模型

高效世界动作模型：1B 参数下的低成本未来想象

1B 参数世界动作模型，以紧凑视频专家、低分辨率未来潜变量与非对称去噪压低未来想象成本，真机每块 98 ms，成功率与 Motus 相当。

Jiajun Li, Tiecheng Guo, Yifan Ye · 335次阅读 · 2026年6月8日

世界动作模型机器人操控

2026年6月8日

SkeleWAM：把操作场景压成稀疏三维骨架

世界动作模型通常把未来状态表示为视频或视觉 latent，几何只被隐式编码且夹带与控制无关的外观。SkeleWAM 只保留机器人关节、物体中心与交互点三类三维路标，用同一副骨架同时做动作生成与未来骨架预测，训练期用后者作辅助监督、推理期完全省掉，在 LIBERO-Plus 上以 57.1M 参数取得 85.9% 零样本成功率，超过 2B 参数的 Cosmos-Policy 3.7 个百分点。

Juyi Sheng, Hua Wang, Mengyuan Liu · 515次阅读 · 2026年10月1日

视觉语言动作模型WorldActionModel

2026年10月1日

WB-WAM：清华叉院把全身动作监督塞进视频预训练，人形数据效率提升 3 倍

清华交叉信息研究院、雄安人工智能研究院与墨尔本大学（Hang Zhao 组）提出 WB-WAM：72 维共享物理动作空间（身体 29 + 根部 3 + 双灵巧手 20+20）把 1,880.2 小时九源异构视频/动捕数据的部分标注统一进掩码流匹配的生成式视频预训练，再经 PICO 第一人称演示中间训练（22h/73 任务，GMR 重定向+约束 IK+MINT）与带前向运动学损失的真机后训练落到宇树 G1 + Wuji 灵巧手。仿真 HumanoidArena 七任务全胜（81.9%）；真机五任务 84.0% 超 OpenWAM 的 80.0%（ACT 仅 20%、Fast-WAM 仅 6%）；PICO 中间训练让 30 条真机演示达 73.8%，超过 100 条直训的 65.0%——真机数据省 70%。

Chuan Qin, Shaoting Zhu, Siyuan Luo · 945次阅读 · 2026年9月28日

WAM世界动作模型

2026年9月28日

3:49

智元 GE-Act 2.0：首个验证预训练与规模化路径的「原生」世界动作模型

@AGIBOTofficial · 596次播放 · 2026-09-11

智元智元机器人

10:43

Dyna-2.1 发布：首个能可靠完成超长程全身自主的「Physical Agent」，一气呵成跑完整整一小时洗衣房流程

@DynaRobotics · 1059次播放 · 2026-09-29

DYNA RoboticsDyna-2.1

Rolling-WAM：把世界动作模型的去噪摊到每个重规划周期

南加州大学、布朗大学、复旦大学与丰田研究院提出 Rolling-WAM。世界动作模型（WAM）把未来视觉预测与动作生成耦合，但标准做法要求每个重规划周期把整个预测视野从纯噪声完整去噪一遍，延迟巨大、闭环反应迟钝。作者指出 receding-horizon 控制实际只执行视野的开头一小段，未被执行的尾巴含有价值却被丢弃。Rolling-WAM 维护一个滑动窗口，窗口内越靠未来的 chunk 噪声越高：滚动模式下 chunk j 的噪声为 σ((j-1+τ)/W)，第一个 chunk 在周期结束时变干净，且满足 σ_{j+1}(0) = σ_j(1) 的衔接条件，因此窗口前移后被保留的 chunk 恰好处于新位置的起始噪声，可直接接着去噪。每个 chunk 仍走满 N 步，但计算被摊到多个周期，稳态每周期只需 N/W 步。默认 N=10、W=5、K=16，即维持 80 个动作的预测窗口而每次更新只跑 2 步去噪。注意力掩码上，每个动作 chunk 可 attend 整个窗口的视觉特征，动作之间的直接注意力仅限同 chunk，视频 token 不 attend 动作 token，训练与推理一致。结果：稳态重规划 215 ms 对比 Joint-WAM 的 978 ms，加速 4.5 倍，比不做未来想象的 Fast-WAM（548 ms）还快，且比两个 VLA 基线（285/296 ms）更快；LIBERO 98.1%、RoboTwin 2.0 93.3%（全场最高，且无具身预训练即超过预训练的 LingBot-VA）、Unitree G1 真机三任务 85.0%。消融显示窗口 W=5 最优而 W=8 掉到 69.5%，且跨 chunk 直接动作注意力反而有害——动作应借道共享视觉未来协调。

Yinghua Zhou, Junjie Ye, Yiqi Zhao · 812次阅读 · 2026年9月24日

Rolling-WAM世界动作模型

2026年9月24日

MachEmbodied-U0：理想汽车的统一理解-生成具身基础模型

理想汽车 Foundation Model 团队提出 MachEmbodied-U0（ME-U0），一个把理解与生成专家统一进 Mixture-of-Transformers 架构的具身基础模型。理解专家以自回归文本生成输出子任务描述与可供性定位（含边界框、交互方式与交互点）；生成专家用 flow matching 联合去噪未来视觉动力学（RGB、深度、表面法线、光流）与连续机器人动作，四种视觉模态共享同一个视频 VAE 隐空间与生成骨干，无需分模态预测头。Multi-rate Rotary Position Encoding（MRPE）解决动作比视频密三倍带来的时间对齐问题：保留视频隐帧的共享时间位置，给块内每个动作按次序分配不同的高度轴索引，配合 H_a = 3(H_v - 1) 的采样规则，形成每视频隐步对应 12 个动作步的一致跨模态时间结构。数据侧从约 5,700 小时机器人示范加 3,920 小时第一人称示范中精选出约 4,200 小时，覆盖四个开源数据集与六种本体（AgiBot G1 占 52.8%）；三阶段清洗依次做突变检测、状态-动作一致性检查与物理边界检查；Ego2Robot 合成流水线用 Depth Anything 3、SAM3、ProPainter、SAM3D、两阶段 PPO 与 MuJoCo/Mink 逆运动学把人类示范转为机器人对齐的观测与轨迹标注。实验在下游不补任何子任务、可供性、几何与运动标注的前提下取得 RoboDojo 17.66 分（WAM 组最强，精度 23.95、长程 36.98 领先最明显）、LIBERO 99.0%、LIBERO-Plus 82.5%，并保留零样本的子任务预测、可供性接地与视觉动力学能力。作者诚实指出记忆类任务最弱（Score 8.42），因模型不显式保留观测历史。

Wen, Haoran, Wang, Wenfu, Shi, Kunsong · 1038次阅读 · 2026年9月22日

MachEmbodiedME-U0

2026年9月22日

1:49

Open-RAIL:中国移动开源实时执行层

@CyberRobooo · 1074次播放 · 2026-09-23

视觉语言动作模型人形机器人

0:05

FLUX 3 Action:开源世界动作模型

@HuggingPapers · 813次播放 · 2026-09-23

世界动作模型视觉语言动作模型

DexTacWAM：面向灵巧操作的视触觉世界-动作模型

DexTacWAM 把触觉纳入被预测的世界状态：冻结的视觉 VAE 逐指编码指尖触觉图，手指与姿态感知的触觉压缩器按 5:1 把五路指尖潜变量聚合成每只手一个潜变量，并作为额外视图注入视频扩散世界模型做联合去噪；动作专家再经逐模态 K/V 归一化，从预测出的视触联合潜特征生成含逐指力的动作。在 22 自由度双臂 Sharpa 触觉平台的六个接触富集真机任务上，它以平均 70.6 分全面领先，最强基线 RDP 为 38.0 分；消融显示去掉触觉世界建模会让四任务均值从 74.7 跌到 26.6。约 4 小时触觉编码器适配加每任务约 100 条演示即完成持续视觉到触觉学习，视觉预测质量损失被压在 0.5 dB 内，触觉压缩同时带来 2.26 倍训练与 1.29 倍推理加速。

Haoran Yuan, Zekai Wang, Boning Shao · 821次阅读 · 2026年9月21日

灵巧操作世界动作模型

2026年9月21日

WholeBodyWAM：以全身控制器接地协调，把预训练世界-动作先验泛化到人形移动操作

WholeBodyWAM 保留 14B 预训练视频世界-动作模型的世界-动作先验，只通过统一全身控制器（UWBC）56 维命令接口接地异构 WBC 语义，再用协调感知自注意力（CASA）让操作流按任务方向与可操作度门控去驱动全身控制流，并以结构化动作因子化（SAF）把两条流分开寻址。1.5 万条 SIMPLE 演示 + LoRA（r=4）微调 5 万步后，仿真整体任务成功率 91.9%；跨 SONIC/AMO/GEAR 三个 WBC 均值 89.2%、方差 10.5 pp²（Cosmos-3 为 80.2%/35.0），真机分布内 81.3% 对最强基线 57.5%、分布外任务进度提升 0.23。

Li, Zhuo, Yao, Yiming, Tan, Jim · 874次阅读 · 2026年9月15日

世界动作模型人形机器人

2026年9月15日

0:30

WholeBodyWAM:用可扩展运动先验学习人形机器人全身世界动作模型

@ai_bites · 764次播放 · 2026-09-18

人形机器人世界动作模型

作为亚马逊联盟会员,我们可能从符合条件的购买中获得佣金。