ω-0：人形机器人协同移动操作的潜空间预测世界动作模型

论文：ω-0: A Latent Predictive World Action Model for Concurrent Humanoid Loco-Manipulation

作者：Zhe Li*, Zhenzhe Zhang*（同等贡献）, Yangyang Wei, Wenjie Zhang, Xichen Yuan, Peiyuan Zhi, Gen Li, Xinying Guo, Fengjie Gao, Jianfei Yang†, Shanghang Zhang♣（MARS Lab, NTU / PKU / BAAI / HKUST-GZ）

链接：arXiv:2608.06375 · 项目页 · 代码/数据集：标注为 Code (WIP)、Dataset (WIP)，截至论文发布时尚未公开

图1：ω-0 与 ω-HOME 数据集总览。ω-0 从语言、多视角观测与机器人状态生成全身动作潜变量，ω-HOME 提供 40 小时多模态家庭人形示教用于训练与评测。

1 研究背景与动机

家庭场景里的人形机器人任务，往往不是"先走到、再站着操作"这么干净利落。擦一张大桌子，机器人需要边迈步、边倾身、边保持与桌面接触；拖地时，底盘在移动的同时还要控制一根长工具；从冰箱取物或把衣物放进低位的洗衣机，则要把伸手、弯腰、维持平衡和手部交互揉在一起。这些任务的本质是并发移动操作（concurrent loco-manipulation）——下半身、躯干、手臂、灵巧手必须持续相互适配，在移动中完成操作。

这一设定暴露出当前机器人学习系统的明显缺口。许多视觉-语言-动作（VLA）策略围绕臂中心操作设计，只预测末端执行器或手臂动作；移动操作系统用轮式底盘扩展工作空间，但底盘和手臂仍被当作两个独立功能模块处理。近期的人形 VLA 在移动操作上取得进展，但很多系统仍依赖"移动-平衡-操作"的实用分解。当机器人先移动到某处、再基本静止地操作时，这种分解是有效的；可一旦稳定执行依赖同时性的迈步、躯干调整、伸手与保持接触，分解式策略就显得力不从心。本文的出发点正是：与其让全身协调从分开设计的模块中间接涌现，不如直接学习一个全身协同的策略表征。

世界动作模型（WAM）提供了一条自然的路径：用未来视觉动力学为动作预测提供额外监督，让策略"看到"动作的后果。这对人形家庭任务尤其贴切——擦得是否有效、是否朝正确物体移动、工具是否保持接触，都体现在场景如何随时间演化。然而现有 WAM 大多面向臂中心操作，未来预测主要服务于局部物体交互；近期的人形 WAM 虽把这一思路扩展到全身，却常把视频动力学当作动作预测的核心中间表征。真实人形任务中视觉观测噪声大、被身体或工具遮挡、随移动而剧烈变视角；一旦动作生成强依赖预测出的视频轨迹，该轨迹的时序不一致就会被放大为突兀跳变、犹豫迟滞乃至不稳定的全身协调。更关键的是，提升像素级视频保真度并不必然换来更好的控制：实时人形执行真正需要的，只是有助于选择下一个全身动作的紧凑未来信息。

由此作者提出一个不同的问题：未来预测能否不作为视频生成目标，而作为全身动作学习的紧凑预测信号？ω-0 的设计正是沿此原则——不构造"先预测未来动力学、再转成动作"的视频中心流水线，而是训练一个潜空间预测的世界动作表征，让未来观测嵌入与全身动作潜变量协同训练。未来预测提供任务进度与场景演化线索，动作分支直接生成控制器可执行的全身动作潜变量，既保留了世界建模的收益，又不依赖大型视频生成器或测试时的"视频到动作"反演。

第二个挑战是真机人形数据的稀缺。真机示教昂贵，而人类示教与公开视频-动作数据蕴含丰富的视觉-运动先验，却因人类运动、机器人状态与控制器动作分属不同表征空间而无法直接用作人形策略。ω-0 先从全身动作 token 中学习动作感知的视觉-语言表征，再通过基于 SONIC 的仿真回放，把人类/公开视觉-运动先验对齐到机器人可执行的动作潜变量；无法可靠跟踪的动作被过滤，剩余轨迹提供控制器兼容的动作潜变量与本体感知监督。这让可扩展的人类数据也能贡献于人形动作学习，同时保留真机可执行性。

2 预备知识

理解 ω-0 需要先理清几个基础件。SONIC 是本文全程使用的低层全身控制器：它把参考运动轨迹跟踪为动力学可行的人形运动，维持平衡与接触一致性，并提供一个"动作潜变量→可执行全身指令"的控制器接口，既是仿真回放的动作生成器，也是真机部署的执行后端。机器人平台为 Unitree G1，配 Inspire 灵巧手。SMPL 是统一的人体运动表征：作者把 SMPL-X、SMPL-H 等不同标注统一转成 SMPL，使 FAST 分词器、VLM 预训练与 SONIC 回放跑在同一运动空间上。

FAST 分词器把连续高维动作轨迹压缩为离散 token 序列，让原本输出语言 token 的 VLM 也能自回归地预测动作。V-JEPA（本文用 2.1 版图像编码器）是一种重建无关的联合嵌入预测架构，擅长从单帧图像提取强语义特征；Wan 编码器则用于从未来视频帧提取潜变量作为预测目标。两者一强于单帧语义、一强于时序连续，这一差异在消融中成为关键抉择。

3 方法详解

3.1 总览

ω-0 把语言指令 $\ell$、当前视角 $v$ 的视觉观测 $\mathbf{o}_{t}^{v}$ 与机器人本体状态 $\mathbf{s}_{t}$，映射为未来一段控制器兼容的全身动作潜变量 $\mathbf{z}_{t:t+H}$，交由 SONIC 以滚动时域方式在真人形机器人上执行。它由三大组件构成：一个全身动作 VLM 把语言条件下的视觉观测映射为动作感知的语义特征；一个联合视频-动作潜变量预测器融合 VLM 特征、T5 文本特征、V-JEPA 视觉特征、视角 token、运动查询与视频查询；以及一个动作 DiT，把含未来信息的运动特征、文本特征、状态特征与噪声动作潜变量一起条件化，去噪出干净的全身动作潜变量块。

图2：ω-0 架构。先训练全身 VLM 学习动作感知的视觉-语言表征，再用联合视频-动作潜变量预测器耦合未来视觉潜变量与全身动作生成；预测器采用前缀引导的双查询注意力，视觉前缀用 2D RoPE、未来视频查询用 3D RoPE、时序动作查询用 1D RoPE。

与把视觉预测和动作生成当作两个独立问题的做法不同，ω-0 用未来视觉预测作为动作学习的轻量辅助监督信号，无需大型视频生成器或测试时反演。下面按三阶段展开。

3.2 阶段一：全身动作 VLM 预训练

第一阶段的目标是给视觉-语言骨干注入全身动作语义。直接让预训练 VLM 预测连续高维人形动作很难，因为其输出空间本就为离散语言 token 设计。因此作者先构造一个离散的全身动作词表：在动作轨迹上训练全身 FAST 分词器，把连续块 $\mathbf{a}_{t:t+H}\in\mathbb{R}^{H\times d_{a}}$ 编码为离散 token 序列

$$\mathbf{c}_{1:N}=\mathcal{E}_{\mathrm{act}}(\mathbf{a}_{t:t+H}),$$

对应的解分词器重建原轨迹 $\hat{\mathbf{a}}_{t:t+H}=\mathcal{D}_{\mathrm{act}}(\mathbf{c}_{1:N})$，分词器以重建误差优化：

$$\mathcal{L}_{\mathrm{tok}}=\left\|\hat{\mathbf{a}}_{t:t+H}-\mathbf{a}_{t:t+H}\right\|_{1}.$$

据此把 Qwen3-VL-2B-Instruct 微调为全身动作 VLM。每个样本输入语言指令 $\ell$、某视角视觉观测 $\mathbf{o}^{v}_{t}$ 与一个可学习的视角 token $\mathbf{e}^{v}$（显式区分不同相机视角），输入序列写作

$$\mathbf{x}=[\mathbf{e}^{v},\mathbf{o}^{v}_{t},\ell].$$

在此条件下，VLM 自回归地预测离散全身动作 token，其分解与训练目标为标准的下一 token 预测：

$$p_{\theta}(\mathbf{c}_{1:N}\mid\mathbf{e}^{v},\mathbf{o}^{v}_{t},\ell)=\prod_{i=1}^{N}p_{\theta}(c_{i}\mid c_{<i},\mathbf{e}^{v},\mathbf{o}^{v}_{t},\ell),$$

$$\mathcal{L}_{\mathrm{vlm}}=-\sum_{i=1}^{N}\log p_{\theta}(c_{i}\mid c_{<i},\ell,\mathbf{o}^{v}_{t},\mathbf{e}^{v}).$$

训练后，该 VLM 学会把语言条件下的视觉观测与离散全身动作 token 关联起来，其隐表示作为后续阶段的"动作感知语义先验"，与多视角视觉特征对齐并条件化扩散式全身潜变量生成。

3.3 阶段二：人到人形动作潜变量预训练

第二阶段训练模型把未来视觉潜变量预测与全身动作生成对齐。受 V-JEPA 启发，作者采用重建无关的未来嵌入预测目标而非像素空间视频生成：给定当前观测与动作条件查询，模型预测紧凑的未来观测嵌入，为全身动作生成提供潜空间世界建模信号。与以视频动力学模型作为动作预测主路径的视频中心 WAM 不同，这条未来预测分支被刻意做得很轻，只作辅助预测目标；动作 DiT 直接从语言、视觉、状态与含未来信息的查询条件去噪全身动作潜变量，无需测试时反演。

监督来自两路互补来源。未来视觉预测的真值由冻结的 Wan 编码器提取；全身动作生成则因公开人类视频-动作数据集通常不提供机器人专属的动作潜变量或本体状态，而用 SONIC 在仿真中回放每条运动轨迹，产出对应的全身动作潜变量与机器人状态——SONIC 无法可靠执行的高动态或物理不可行轨迹被过滤掉，由此把通用人类运动数据转化为机器人可执行的扩散监督。

机器人状态 $\mathbf{s}_{t}$ 含身体关节位置 $\mathbf{q}_{\mathrm{pos}}$、灵巧手关节位置 $\mathbf{q}_{\mathrm{hand}}$ 与来自 IMU 的躯干朝向。由于同一个三维旋转可由两个对偶四元数 $\mathbf{q}$ 与 $-\mathbf{q}$ 表示，直接用四元数会引入不连续、扰动训练，因此转成连续 6D 旋转表征 $\mathbf{r}_{\mathrm{torso}}^{6D}$：

$$\mathbf{s}_{t}=[\mathbf{q}_{\mathrm{pos}},\mathbf{q}_{\mathrm{hand}},\mathbf{r}_{\mathrm{torso}}^{6D}].$$

视觉特征由冻结的 V-JEPA 2.1 图像编码器提取 $\mathbf{f}_{t}^{v}=\mathcal{E}_{\mathrm{VJEPA}}(\mathbf{o}_{t}^{v})$，语言指令由 T5 编码为 $\mathbf{f}_{\ell}$，再加可学习视角 token $\mathbf{r}^{v}$ 与阶段一 VLM 产出的动作感知特征 $\mathbf{f}_{\mathrm{vlm}}$，拼接成前缀条件：

$$\mathbf{p}=[\mathbf{f}_{\mathrm{vlm}},\mathbf{f}_{\ell},\mathbf{r}^{v},\mathbf{f}_{t}^{v}].$$

为联合预测未来视觉潜变量与运动特征，引入两组可学习查询：数量与动作块尺寸匹配的运动查询 $\mathbf{q}^{m}$（每个查询对应一个未来动作步），以及对应未来视觉潜变量 token 的视频查询 $\mathbf{q}^{v}$。因前缀 token、视频查询与动作查询结构不同，联合预测器使用 token 专属 RoPE：视觉前缀按空间 patch 坐标用 2D RoPE、未来视频查询按时-空坐标用 3D RoPE、动作查询沿动作时域用 1D RoPE；文本、视角与 VLM 摘要 token 视为非空间条件 token 不赋空间 RoPE。基于 RoPE 的注意力写作

$$\mathrm{Attn}_{\mathcal{R}}(\mathbf{Q},\mathbf{K},\mathbf{V})=\mathrm{softmax}\left(\frac{\mathcal{R}(\mathbf{Q})\mathcal{R}(\mathbf{K})^{\top}}{\sqrt{d}}\right)\mathbf{V},$$

其中 $\mathcal{R}$ 为对应的 2D/3D/1D 旋转位置编码。前缀、运动与视频查询先各自经自注意力处理得 $\tilde{\mathbf{p}}$、$\tilde{\mathbf{q}}^{m}$、$\tilde{\mathbf{q}}^{v}$，再通过交叉注意力让运动与视频查询都关注前缀：

$$\bar{\mathbf{q}}^{m}=\mathrm{CrossAttn}_{m}(\tilde{\mathbf{q}}^{m},\tilde{\mathbf{p}}),\quad\bar{\mathbf{q}}^{v}=\mathrm{CrossAttn}_{v}(\tilde{\mathbf{q}}^{v},\tilde{\mathbf{p}}).$$

最后让运动查询再去关注视频查询：$\mathbf{h}^{m}=\mathrm{CrossAttn}_{mv}(\bar{\mathbf{q}}^{m},\bar{\mathbf{q}}^{v})$，$\mathbf{h}^{v}=\bar{\mathbf{q}}^{v}$。这一交互把预测出的视觉动力学注入运动表征，促使动作分支考虑由自身动作引发的未来观测。视频输出由 Wan 编码器提取的真值未来潜变量 $\mathbf{y}_{t+1:t+K}^{v}=\mathcal{E}_{\mathrm{Wan}}(\mathbf{o}_{t+1:t+K}^{v})$ 监督，潜变量预测损失为

$$\mathcal{L}_{\mathrm{video}}=\left\|\mathbf{h}^{v}-\mathbf{y}_{t+1:t+K}^{v}\right\|_{2}^{2}.$$

动作生成分支方面，运动特征 $\mathbf{h}^{m}$ 与文本特征 $\mathbf{f}_{\ell}$、状态编码器产出的 $\mathbf{f}_{s}=\mathcal{E}_{s}(\mathbf{s}_{t})$ 经条件融合模块 $\mathbf{c}_{\mathrm{dit}}=\Phi_{\mathrm{cond}}([\mathbf{h}^{m},\mathbf{f}_{\ell},\mathbf{f}_{s}])$ 融合，交由动作 DiT 去噪全身动作潜变量。设 SONIC 回放得到的真值潜变量为 $\mathbf{z}_{0}$，在扩散步 $\tau$ 加噪

$$\mathbf{z}_{\tau}=\sqrt{\bar{\alpha}_{\tau}}\mathbf{z}_{0}+\sqrt{1-\bar{\alpha}_{\tau}}\boldsymbol{\epsilon},\quad\boldsymbol{\epsilon}\sim\mathcal{N}(0,\mathbf{I}),$$

动作 DiT 在融合条件下预测干净潜变量 $\hat{\mathbf{z}}_{0}=\mathcal{D}_{\theta}(\mathbf{z}_{\tau},\tau\mid\mathbf{c}_{\mathrm{dit}})$，以 $x_{0}$ 预测目标训练 $\mathcal{L}_{\mathrm{action}}=\left\|\hat{\mathbf{z}}_{0}-\mathbf{z}_{0}\right\|_{2}^{2}$。整体阶段二目标为

$$\mathcal{L}_{\mathrm{stage2}}=\mathcal{L}_{\mathrm{action}}+\lambda_{\mathrm{video}}\mathcal{L}_{\mathrm{video}}.$$

此阶段 V-JEPA 编码器、Wan 编码器与预训练全身动作 VLM 均冻结，只优化联合视频-动作潜变量预测器、状态编码器、条件融合模块与动作 DiT；推理时用 DDIM 少步反演采样全身动作潜变量。

flowchart TB
    subgraph S1["阶段1 全身动作VLM预训练"]
        A1["FAST分词器
连续动作 -> 离散token"] --> A2["Qwen3-VL-2B
自回归预测动作token"]
    end
    subgraph S2["阶段2 人到人形潜变量预训练"]
        B1["公开人类运动
SONIC仿真回放"] --> B2["过滤不可执行轨迹
产出状态-动作潜变量对"]
        B3["Wan编码器
提取未来视觉潜变量真值"] --> B4["联合视频-动作预测器
运动查询+视频查询"]
        B2 --> B4
        A2 -->|"动作感知特征f_vlm"| B4
        B4 -->|"运动特征h_m"| B5["动作DiT
x0预测去噪全身动作潜变量"]
        B4 -->|"视频查询h_v"| B6["L_video 潜空间预测损失"]
    end
    subgraph S3["阶段3 真机微调+部署"]
        C1["omega-HOME真机示教
11任务约2220轨迹"] --> C2["微调预测器+动作DiT
引入训练时RTC"]
        C2 --> C3["滚动时域部署
H=25 执行K=8 约7Hz"]
        C3 --> C4["SONIC控制器
G1真人形执行"]
    end
    S1 --> S2 --> S3

3.4 阶段三：真机数据微调

有了阶段一的动作感知 VLM 与阶段二的联合动作-视频潜变量预测器，进一步在真人形移动操作数据上微调。微调时冻结 V-JEPA、Wan 与预训练 VLM 以保留各自的视觉预测先验和动作语义先验，优化联合预测器、状态编码器、条件融合与动作 DiT。优化大致沿用阶段二，把未来视觉潜变量预测与 $x_{0}$ 预测结合起来。

为改善真机部署的时序连续性，作者引入训练时实时分块（RTC）。滚动时域控制中相邻动作块并非独立：新预测块的开头应与上一步生成或执行的动作保持一致。为此训练时随机采样前缀长度 $M$，用对应干净动作潜变量替换噪声序列前 $M$ 帧：

$$\tilde{\mathbf{z}}_{\tau}^{1:M}=\mathbf{z}_{0}^{1:M},\quad\tilde{\mathbf{z}}_{\tau}^{M+1:H}=\mathbf{z}_{\tau}^{M+1:H},$$

动作 DiT 去噪混合潜变量序列 $\tilde{\mathbf{z}}_{\tau}$，但去噪损失只算非前缀部分 $\mathcal{L}_{\mathrm{RTC}}=\left\|\hat{\mathbf{z}}_{0}^{M+1:H}-\mathbf{z}_{0}^{M+1:H}\right\|_{2}^{2}$，阶段三目标为 $\mathcal{L}_{\mathrm{stage3}}=\mathcal{L}_{\mathrm{RTC}}+\lambda_{\mathrm{video}}\mathcal{L}_{\mathrm{video}}$。干净前缀充当时间锚点，引导剩余未来潜变量生成，减少相邻块间断、提升真机全身执行的平滑度。

3.5 真机部署

部署时 ω-0 以滚动时域方式在真人形机器人上运行，SONIC 作低层全身控制器。每个控制步接收语言指令与头戴相机实时图像，并读取本体状态（身体关节、灵巧手关节、IMU 躯干朝向，舍弃 IMU 线加速度与角速度，只用朝向四元数转 6D 表示）。模型预测一段全身动作潜变量，为维持相邻块连续性使用 RTC：缓存上一次推理预测块末尾几帧作为当前去噪的干净前缀，再生成剩余未来潜变量。生成的动作潜变量交 SONIC 转为可执行全身控制指令，从而直接从实时视觉与本 体反馈闭合感知-动作回路。

附录给出具体数值：动作表征为 66 维——64 维全身动作潜变量加左右手两个标量手指令（$[0,1]$，1 为完全闭合、0 为完全张开）；机器人状态为 47 维。单次前向约 0.14 秒（高于 7 Hz 策略推理），预测块长 $H=25$ 但每步只执行前 $K=8$ 个动作后即取新图像更新策略；语言指令每集开头分词一次跨步复用。除 RTC 暖启动外，还用 overlap blending 线性混合相邻块重叠段 $\mathbf{a}_{j}^{\mathrm{blend}}=(1-\alpha_{j})\mathbf{a}_{j}^{\mathrm{prev}}+\alpha_{j}\mathbf{a}_{j}^{\mathrm{next}}$（$\alpha_{j}=\frac{j+1}{O+1}$）消除高频跳变。动作潜变量用均值-标准差归一化 $\tilde{\mathbf{z}}=\frac{\mathbf{z}-\boldsymbol{\mu}_{z}}{\boldsymbol{\sigma}_{z}}$，手指令与状态用 min-max 归一化，训练与推理共用同一套统计量。

4 ω-HOME 数据集

为支撑全身世界动作模型在真实家庭环境的学习，作者采集了 ω-HOME：40.3 小时、4827 段、24 个任务、30 Hz 采样的多模态人形家庭数据集，每条轨迹含同步语言指令、自视角 RGB、外视角 RGB-D、本体状态、全身 SMPL 运动参考与控制器兼容动作潜变量六种模态。24 个任务归入八类能力组（取物、表面清洁、家电交互、容器搬运、布物处理、收纳整理、移动操作、工具地面作业），涉及桌、抽屉、衣柜、洗衣篮、洗衣机、床、冰箱、垃圾桶与清洁工具等。与标准桌面操作数据集相比，ω-HOME 强调全身协调：许多任务要求移动底盘、调整躯干、维持平衡并在长时域内操作物体或工具。

图3：ω-HOME 数据集统计与代表性多模态示教，覆盖八类家庭能力且时长分布跨度大。

遥操作采集以 SONIC 为遥操作策略：操作员戴 Pico VR 头显与两个脚戴 Pico 追踪器提供头部与下肢运动线索，手持两个扳机指令机器人手部抓握；机器人侧用 ZED Mini 作自视角相机，配 Inspire 灵巧手，房间内另置 ZED 深度相机同步采集第三人称 RGB 与深度。该流程记录了对齐的自视角、外视角 RGB-D、人遥操作信号、机器人状态与动作轨迹。

图4：真机遥操作装置，用 Pico 4 Ultra 头显、手持控制器、脚戴追迹器与 ZED Mini 相机采集头部运动、手部指令、下肢线索与自视角观测，重定向到配 Inspire 灵巧手的人形机器人。

5 实验结果

评测覆盖 11 项真机家庭移动操作任务（桌面操作、取物搬运、清洁、衣物处理、移动操作等），全部由同一个统一的 ω-0 模型执行，而非任务专属策略或分开的移动/操作模块。每任务每方法做 10 次试验，报成功率、子任务得分（满分 41）、任务进度三项指标。所有基线在同一数据上训练或微调、同一协议评测，且都训练为单多任务模型。

方法	成功率(%)↑	得分(/41)↑	任务进度(%)↑
ACT	8.2	10.6	32.4
Diffusion Policy	15.5	14.8	40.6
π-0.5	27.3	20.9	52.8
InternVLA-M1	31.8	21.8	55.6
EgoVLA	25.5	18.6	49.1
GR00T-N1.7	22.7	19.7	49.8
ψ-0	44.5	23.6	59.6
Fast-WAM	37.1	22.3	57.8
DiT4DiT	43.6	23.1	61.0
ω-0_Ego	79.1	35.8	88.7
ω-0_Omni	81.8	36.7	90.3

表2：11 项家庭移动操作任务整体真机评测（对应论文 Figure 5/图中的结果表图 fig5）。

ω-0 在三项主指标上稳定领先所有基线。经典模仿学习的 ACT、Diffusion Policy 能生短时域动作块，但在需协调移动、躯干、手臂与灵巧手的长时域人形任务上吃力；VLA 基线受益于预训练视觉-语言表征，但动作接口本非为统一全身人形控制设计；WAM 基线靠未来视觉建模改善动作学习，却要么偏臂中心、要么依赖不直接提供控制器兼容全身潜变量的视频生成设计。ω-0 同时学未来视觉潜变量与 SONIC 兼容全身动作潜变量，因而能生成更连贯的全身行为——成功率最高 81.8%，近乎最强基线 DiT4DiT（43.6%）的两倍。ω-0_Omni 又优于 ω-0_Ego，尤其在与移动相关的任务上，因为第三人称视角更能揭示迈步模式、躯干调整与全身-环境交互，而第一人称视角虽与执行时感知对齐却难以反映全局身体位移。

ω-HOME 作为额外真机预训练数据同样有效。为避免泄漏，作者把 11 个下游评测任务从 ω-HOME 预训练池中剔除，剩余轨迹与公开人类示教合并用于阶段二预训练再微调。结果显示加入 ω-HOME 后 ω-0_Ego 从 79.1→80.4（进度 88.7→89.7），ω-0_Omni 从 81.8→82.4（进度 90.3→91.2），表明 ω-HOME 提供了下游示教之外有用的真机全身视觉-动作先验。

变体	改动	成功率(%)	得分	进度(%)
w/o 机器人状态	去掉状态条件	60.9	29.8	75.6
w/o VLM 前缀	去掉动作语义前缀	66.4	31.7	79.8
w/o 视频查询	去掉未来视觉预测分支	64.5	30.6	77.9
w/o RTC	去掉训练时分块	71.8	33.4	84.1
Wan 作编码器	替换单帧编码器	63.6	30.9	77.3
完整 ω-0_Ego	—	79.1	35.8	88.7
完整 ω-0_Omni	—	81.8	36.7	90.3

表4：消融实验。各项改动都带来明显下降，验证各组件的必要性。

消融解读很清楚。去掉机器人状态条件成功率掉 18.2 个点——同一视觉与语言在不同机器人位姿/朝向/平衡下对应不同动作，本体状态是把生成动作潜变量锚定到当前物理构型的关键。去掉 VLM 前缀掉 12.7 个点，说明经动作 token 训练的 VLM 特征提供了高层动作语义条件。去掉视频查询（即退化为无未来预测的纯扩散策略）掉 14.6 个点，验证潜空间世界建模信号确有用——尤其长时域需协调移动、伸手与富接触操作的任务。去掉 RTC 掉 7.3 个点，真机轨迹更易出现犹豫、间断与修正动作。最微妙的当属单帧编码器选择：用 Wan 编码器同时编码当前帧与未来视频目标，离线预测更准，但 Wan 本为连续视频设计、单帧输入时表征对动作生成不够 informative，真机易产生过静或迟疑行为；改用 V-JEPA 虽在当前帧与未来潜变量间引入空间缝隙，却给出更强的单帧语义特征，真机执行更好——这印证"准确的未来潜变量重建本身并不充分，当前帧表征还须提供动作相关信息"。

图6：11 项长时程家庭移动操作的真机 rollout，全部由学习到的策略自主执行于 G1 人形机器人。

泛化方面，作者评估了跨物体、跨场景与人类数据迁移三设定。跨物体换新实例外观仍能定位、接近并操作，说明未简单记忆训练物体外观；跨场景换房间布局与家庭配置仍能适配全身运动与视角依赖感知；人类数据迁移用人类示教数据微调再部署，虽来自不同具身仍能在被对齐到机器人动作潜空间后完成任务，凸显可扩展人类数据进一步改善全身人形策略的潜力。

6 局限性分析

其一，作者自述评测在 11 项家庭任务上完成，虽覆盖桌面、清洁、衣物、移动操作等，但任务谱仍偏家庭场景，对高度动态行为（如跌倒恢复、快速奔跑、上下楼梯）未做评测——这类动作恰是 SONIC 回放阶段被主动过滤的不可靠轨迹，模型对其泛化能力存疑。其二，单帧 V-JEPA 编码器虽优于 Wan 单帧，却也在当前帧与未来潜变量之间引入空间缝隙，说明视觉表征仍非最优，未来或需专为"单帧语义+时序未来"设计的统一编码器。

从外部视角还有两点判断。ω-0 依赖 SONIC 作为低层控制器与动作潜变量来源，全身协调的质量受限于该控制器的能力边界；若控制器本身对某些接触富或高动态场景跟踪不佳，上层策略难以弥补。此外，代码与数据集截至论文发布仍标注 WIP 未公开，复现性与社区验证尚待后续；Omni 变体在移动密集任务上选外视角输入，也意味着部署时可能需要额外固定外视角相机，这与"纯自视角"的端到端部署理想略有张力。

7 总结与展望

ω-0 把人形移动操作从"移动-操作解耦"推向"边走边操作"的协同全身生成：用轻量的潜空间未来视觉预测作为辅助监督，与扩散式全身动作潜变量去噪耦合，使策略既感知当前又预见场景演化，再交 SONIC 执行。三阶段流水线——全身动作 VLM 预训练、SONIC 仿真回放把人类先验对齐到机器人动作潜变量、真机 RTC 微调——把可扩展人类数据与真机可执行性缝合在一起；ω-HOME 数据集补上了家庭全身移动操作的多模态监督缺口。在 11 项真机任务上单一模型稳定超越 IL/VLA/人形/WAM 基线，成功率最高 81.8%，消融逐项验证了状态条件、动作语义前缀、未来潜变量预测、RTC 与单帧编码器各自的贡献。作者将此作为"潜空间预测世界动作建模是可扩展并发人形移动操作的有效框架"的证据。

未来预测的价值不在于把视频画得更像，而在于为下一个全身动作选出更对的那一步——ω-0 让人形机器人学会在移动中操作，而非在操作间隙移动。