WorldDiT:面向世界与动作建模的统一扩散架构

1. 论文概览：无需大 VLM 骨干的统一扩散世界-动作模型

WorldDiT 由 Sen Wang、R. Gnana Praveen、Bidhan Roy、Marcos Villagra 于 2026 年 7 月提出，是一个统一扩散 Transformer 架构，将动作生成与视觉世界建模耦合，在无需大型预训练视觉-语言模型（VLM）作为动作骨干的情况下取得强性能。训练时，单一扩散 Transformer 生成连续动作 chunk 并从未来相机帧预测归一化 RGB patch 目标。在 LIBERO 四个仿真套件上，WorldDiT 在报告所有四套件方法中，位于"总参数量 vs 平均成功率"的 Pareto 前沿，为未来缩放研究提供了一个强力的亚十亿参数基线。系统总参数 399.084M（含推理所需冻结模块），可训练参数 135.107M。

图 1 绘制了 24 种方法在 LIBERO 上的报告成功率与总参数量。连线为报告均值的前沿方法；WorldDiT（399M 总参数、94.9% 均值）位于前沿上——在所有报告四套件均值的方法中，性能更高者均使用更多参数，参数更少者成功率均更低。

2. 核心问题：规模与架构贡献的分离

论文开篇点出一个结构性问题：许多机器人策略遵循语言建模的熟悉模式——将动作生成挂载到大型预训练模型上。这带来广泛的感知与语言理解，但也使规模与架构的贡献难以分离。当策略包含数十亿参数时，强控制可能来自动作设计、预训练骨干，或二者结合。WorldDiT 因此追问：一个统一扩散 Transformer 架构能否将连续动作生成与辅助未来视觉预测目标结合，在不使用大型预训练 VLM 作动作骨干的情况下保持强控制性能？

3. 方法：统一 DiT 骨干

3.1 概览与问题形式化

设 $N$ 步轨迹段从索引 $u$ 起为：

$$\mathcal{W}_u = \left\{(\mathbf{o}_i, \mathbf{s}_i, \mathbf{a}_i)\right\}_{i=u}^{u+N-1} \tag{1}$$

其中 $\mathbf{o}_i = (I_i^p, I_i^w)$（公式 2）含主相机图像 $I_i^p$ 与腕部相机图像 $I_i^w$，$\mathbf{s}_i$ 为机器人状态，$\mathbf{a}_i \in \mathbb{R}^{d_a}$ 为动作，$\ell$ 为跨段的共享语言指令。前 $C$ 步构成观测上下文。当前控制步为 $i=u+C-1$，可用历史为：

$$\mathcal{H}_i = \left(\ell, \left\{(\mathbf{o}_j, \mathbf{s}_j)\right\}_{j=u}^{i}\right) \tag{3}$$

动作目标为 $H$ 步动作 chunk。WorldDiT 使用冻结的视觉与语言编码器，以及可训练的机器人状态编码器，将观测上下文条件化到共享 DiT 骨干。训练时骨干接收动作令牌与从未来主/腕相机帧选取的归一化 RGB patch 令牌（均被高斯噪声腐蚀），预测其流速度。未来 RGB patch 预测提供训练期辅助监督。部署时直接走动作路径，RGB patch 令牌与 RGB 预测头不进入推理图。

3.2 训练：流匹配目标

采用流匹配训练。骨干接收干净上下文令牌、被高斯噪声腐蚀的动作令牌与归一化 RGB patch 令牌、其时间步嵌入与可学习寄存器令牌，预测对应速度。目标为回归从高斯噪声到干净目标的直线路径速度。对动作或未来 RGB patch 目标，设 $\boldsymbol{\epsilon} \sim \mathcal{N}(\mathbf{0}, \mathbf{I})$，$\mathbf{y}$ 为干净目标，采样 $\tau \sim \mathcal{U}[0,1]$，定义：

$$\mathbf{x}_\tau = (1-\tau)\boldsymbol{\epsilon} + \tau \mathbf{y}$$

流匹配目标为：

$$\mathcal{L}_{\text{flow}} = \mathbb{E}_{\boldsymbol{\epsilon}, \mathbf{y}, \tau}\left[\left\| v_\theta(\mathbf{x}_\tau, \tau, c) - (\mathbf{y} - \boldsymbol{\epsilon}) \right\|_2^2 \right] \tag{4}$$

其中 $c$ 为当前步上下文，$\mathbf{y} - \boldsymbol{\epsilon}$ 为目标速度。WorldDiT 为每个目标预测一个速度。总损失为动作速度损失与 RGB patch 速度损失的加权和：

$$\mathcal{L}_{\text{total}} = w_{\text{action}} \mathcal{L}_{\text{flow}}^{\text{action}} + w_{\text{rgb}} \mathcal{L}_{\text{flow}}^{\text{rgb}} \tag{5}$$

WorldDiT 用 $C$ 个观测步作条件，预测一个 $H$ 步动作 chunk 和一个由来自 $i+H$ 时刻主/腕相机帧归一化 RGB patch 组成的未来世界目标。仅最终时间槽贡献损失。

3.3 推理：动作生成与滚动视野控制

部署时骨干接收以当前控制步 $t$ 结尾的 $C$ 步历史：

$$\mathcal{H}_t = \left(\ell, \left\{(\mathbf{o}_j, \mathbf{s}_j)\right\}_{j=t-C+1}^{t}\right) \tag{6}$$

多模态编码路径将其映射为条件表示 $\mathbf{G}_t$。动作生成从高斯噪声开始：

$$\mathbf{x}_{t,0}^{\text{act}} \sim \mathcal{N}(\mathbf{0}, \mathbf{I}) \tag{7}$$

学到的动作速度场被数值积分：

$$\frac{d\mathbf{x}_{t,\tau}^{\text{act}}}{d\tau} = v_\theta^{\text{act}}\left(\mathbf{x}_{t,\tau}^{\text{act}}, \tau, \mathbf{G}_t\right), \qquad \tau \in [0,1] \tag{8}$$

经 $T_{\text{samp}}$ 步积分后，最终流态定义预测动作 chunk：

$$\widehat{\mathbf{A}}_t = \mathbf{x}_{t,1}^{\text{act}} \in \mathbb{R}^{H \times d_a} \tag{9}$$

执行 $\widehat{\mathbf{A}}_t$ 的前缀（前 3 步），更新历史并重规划——即滚动视野（receding-horizon）控制。

4. 实验：LIBERO 四套件

4.1 数据与模型配置

在 LIBERO 操作基准上评估，使用四个下游套件 libero_spatial、libero_object、libero_goal、libero_10（报告为 LIBERO Long），以及仅用于预训练的大多任务 libero_90 划分。将原始演示转换为含多视角与机器人状态的定长窗口。WorldDiT 总参数 399.084M（含推理所需冻结模块），可训练参数 135.107M。

4.2 主要结果

在四套件各 500 个仿真回合上评估。WorldDiT 取得：Spatial 98.0%、Object 97.0%、Goal 92.8%、Long 91.8%，均值成功率 94.9%。Long 仍是最难的套件，与其任务所需的扩展多阶段行为一致。

方法（无大 VLM 骨干）	Spatial	Object	Goal	Long	均值
WorldDiT（本文）	98.0	97.0	92.8	91.8	94.9
DreamVLA	97.5	94.0	89.5	89.5	92.6
FlowVLA	93.2	95.0	91.6	72.6	88.1
DiT Policy	84.2	96.3	85.4	63.8	82.4
Octo	78.9	85.7	84.6	51.1	75.1
Diffusion Policy	78.3	92.5	68.3	50.5	72.4

方法（有大 VLM 骨干）	均值	对比
ACoT VLA	98.5	+3.6
MMaDA VLA	98.0	+3.1
VLANeXt	97.4	+2.5
VLA Adapter	97.3	+2.4
OpenVLA OFT	97.1	+2.2
$\pi_{0.5}$	96.9	+2.0
$\pi_0$	94.2	-0.7
GR00T N1	93.9	-1.0
OpenVLA	76.5	-18.4

对比表中，WorldDiT 在无大预训练 VLM 骨干的方法中全面领先，且均值 94.9% 超越了许多使用大 VLM 骨干的方法（如 $\pi_0$ 94.2%、GR00T N1 93.9%、VLA 0 94.7%）。在与有 VLM 骨干的前沿方法对比中，仅 ACoT VLA（98.5%）、MMaDA VLA（98.0%）、VLANeXt（97.4%）等使用更多参数的方法性能更高。

5. 讨论

WorldDiT 表明单一扩散 Transformer 可耦合连续动作生成与未来视觉预测，同时保留仅动作的部署路径。其 LIBERO 表现使 399M 参数系统位于参数-成功率 Pareto 前沿，表明强力基准性能无需将大预训练 VLM 置于动作骨干即可获得。这支持统一世界-动作建模作为跨模型容量、数据多样性与部署设置的紧凑基础。未来工作可刻画归一化未来 RGB 目标如何塑造控制，以及相同权衡是否在更大规模持续。因动作与视觉目标共享流匹配形式，WorldDiT 可支持分解为独立训练的专家。

6. 局限性

• 绝对性能仍不及最强 VLA：94.9% 均值低于使用大 VLM 骨干的前沿方法（如 ACoT VLA 98.5%），表明无 VLM 骨干存在性能上限。
• Long 套件最难：91.8% 低于其他三套件，扩展多阶段行为仍具挑战。
• RGB 目标的作用机理未充分刻画：归一化未来 RGB 目标如何塑造控制尚待未来研究。
• 规模扩展性未验证：相同参数-性能权衡是否在更大规模持续尚未确认。
• 仅仿真评估：结果限于 LIBERO 仿真基准，真实机器人迁移能力未验证。

7. 总结

WorldDiT 是一个统一扩散 Transformer 架构，将连续动作生成与未来 RGB patch 预测耦合于单一骨干，训练时共享流匹配目标，推理时仅走动作路径。以 399M 总参数、135M 可训练参数，在 LIBERO 四套件上取得 94.9% 均值成功率，位于参数-成功率 Pareto 前沿，证明了强力基准性能无需将大型预训练 VLM 置于动作骨干。这一结果支持统一世界-动作建模作为紧凑的缩放基础，为未来跨模型容量、数据多样性与部署设置的研究提供了亚十亿参数的强力基线。

flowchart LR
    A["C 步观测上下文
o_j, s_j, 语言 l"] --> B["冻结视觉/语言编码器
+ 可训练状态编码器"]
    B --> C["条件表示 G_t"]
    C --> D["共享 DiT 骨干"]
    E["高斯噪声 x_0"] --> D
    D -->|"流匹配积分 T_samp 步"| F["预测动作 chunk A_t"]
    F --> G["执行前 3 步"]
    G --> H["更新历史/重规划"]
    H --> A
    D -.->|"仅训练: RGB patch 预测
(推理时关闭)"| I["归一化 RGB patch 目标"]