GE-Act 2.0：世界-动作模型预训练与规模扩展

论文：GE-Act 2.0: Pretraining and Scaling a World-Action Model for Robotic Manipulation
作者：AgiBot Research Team 等，2026
原文：https://arxiv.org/abs/2609.05588
项目页：https://ge-act-v2.github.io/
代码状态：截至精读时，项目页标注为 “Code Coming soon”；公开检索只找到前代 Genie-Envisioner-V1， 论文中的 GE-Act 2.0 代码与权重尚未发布。

1. 研究背景：为什么直接学习动作不足以支撑规模扩展

视觉-语言-动作模型通常直接从观测和语言指令回归动作。这类目标适合学习专家轨迹，却没有显式要求模型理解“场景接下来会怎样变化”。在数据充足、任务固定的环境中，直接策略可以工作；一旦测试物体、背景和光照发生变化，动作标签中的隐含物理规律就需要靠模型自行补足。

世界-动作模型试图加入中间视觉预测：模型先想象未来状态，再由逆动力学模型把当前状态到未来状态的变化转换为动作。这个中间接口带来两个好处。第一，生成的未来可以被检查，研究者能够观察策略究竟预期了什么。第二，视觉规划器可以使用没有动作标签的视频，逆动力学模型则可以使用没有语言标签、甚至包含失败尝试的机器人轨迹。训练数据因此不再局限于成功且完整标注的示范。

已有系统大多继承一个预训练视频生成器，再把它和动作模块连接起来。问题在于，视频生成器的潜空间通常为自然视频重建而设计，空间压缩有限，进入实时控制回路后 token 数过多；它的预训练目标也没有围绕动作恢复进行组织。更重要的是，视觉生成和动作推理往往没有被当成一个可以整体预训练、整体扩展的系统来研究。

论文提出三个设计问题：怎样的潜空间既紧凑又保留控制信息；怎样让视觉生成足够快，使动作梯度能够穿过生成过程；当生成未来与记录动作来自不同行为模式时，如何避免错误监督。GE-Act 2.0 的 CoAE、SVP 和 KASO 分别对应这三个问题。

作者的实验设计也有明确边界。主实验不让模型在评测任务上微调，而是直接部署预训练检查点。测试场景、背景、光照和物体实例都排除在训练之外。这样测到的是预训练本身留下的能力，而不是某个任务用额外示范补出来的专家策略。

2. 预备知识：世界-动作模型中的三个接口

第一个接口是视觉表征。编码器把图像写成潜变量，规划器只在这个潜空间里预测未来。压缩率越高，控制回路的计算越便宜；但压缩过度会丢掉纹理、接触状态和物体姿态等动作线索。

第二个接口是生成过程。传统扩散或流模型需要多步去噪。如果动作损失要反向传播到生成器，就必须保存多步采样图，显存和计算量迅速增加。过去一些系统因此只从中间特征解码动作，使动作模块与视频生成器紧密耦合，无法让逆动力学模型先在大量无语言轨迹上独立预训练。

第三个接口是多模态行为。同一个指令可能有多种正确完成方式。记录的示范只包含其中一种，而随机生成的视觉未来可能属于另一种。把任意生成未来和记录动作强行配对，会产生“看起来合理、行为却不一致”的监督。论文把这种问题称为 validity gap，即有效性缺口。

3. CoAE：为控制而不是为重建设计潜空间

CoAE 是一个逐帧二维自编码器。输入帧 $o$ 被编码为 $z=\mathcal{E}(o)$。它使用 64 倍空间下采样，把 256×384 的图像压缩成 4×6 的 512 通道潜变量网格，也就是每帧只有 24 个 token。与常见的 8 倍或 16 倍下采样视频自编码器相比，后续视觉规划器处理的序列显著缩短。

模型从 128 通道 DC-AE 转移兼容权重，再把潜变量宽度扩展到 512 通道。重建部分同时使用像素损失、LPIPS 感知损失和对抗损失： $$\mathcal{L}_{rec}=\|\hat{o}-o\|_2^2+\lambda_{perc}\mathcal{L}_{perc}(\hat{o},o)+\lambda_{gan}\mathcal{L}_{gan}(\hat{o})$$ 这项损失保证潜变量仍能解码为图像，但不保证潜空间保留动作信息。

因此，CoAE 增加三个对齐头，分别匹配 SigLIP 2 的语义特征、V-JEPA 2.1 的时空运动特征和 DINOv3 的密集视觉结构特征。对齐损失写为： $$\mathcal{L}_{align}=\sum_{k=1}^{3}\lambda_k\left(1-\cos(g_k(z),G_k(o))\right)$$ 完整目标为 $\mathcal{L}_{CoAE}=\mathcal{L}_{rec}+\mathcal{L}_{align}$。这里的含义不是简单增加三个辅助损失，而是让一个高度压缩的空间同时保留“是什么”“怎么动”“空间位置在哪里”三类信息。

作者使用固定容量的两层逆动力学探针检验各编码器。DINOv3 和 V-JEPA 2.1 的动作误差最低，但每帧使用 384 或 1536 个 token。CoAE 的动作平均绝对误差为 0.01673，比二者高 13% 到 31%，却只使用十六分之一的 token。与同样 64 倍下采样的 DC-AE 相比，CoAE 的误差低约 35%。

指令匹配探针使用 5,000 个 GenieSim-Instruction 片段。CoAE 的分类准确率为 97.95%，高于三个教师模型和 DC-AE；错误率 2.05%，比第二名的 DC-AE 低 24%。这说明压缩率本身不能解释性能，操作域训练和多教师对齐才是关键。

论文 Figure 1：CoAE 编码多视角观测，SVP 在潜空间中单步预测未来，IDM 从当前与预测潜变量生成动作块。

4. SVP：一次前向生成完整未来

4.1 近端密集与远端稀疏

视觉规划器需要同时描述马上发生的精细动作和更远期的任务意图。如果对完整时间范围逐帧预测，远端会占用大量 token，但对控制精度帮助有限。论文采用双时间尺度： $$\mathcal{F}=\{f_0\}\cup\left\{f_0+j\frac{H}{N_d}\right\}_{j=1}^{N_d}\cup\left\{f_0+H+\left\lfloor k\frac{T-H}{N_s}\right\rfloor\right\}_{k=1}^{N_s}$$ 其中 $f_0$ 是当前帧，$N_d$ 个密集帧覆盖动作执行时域 $H$，$N_s$ 个稀疏帧覆盖到片段末端 $T$。默认值为 $(N_d,N_s,H)=(4,2,52)$，控制频率为 30 Hz，$H$ 对应约 1.73 秒。

逆动力学模型接收完整多尺度未来作为上下文，但机器人只执行密集动作块。稀疏动作作为远距离辅助监督，让即时控制仍然连接到任务最终结果。

4.2 冻结 VLM 提供场景化语言条件

“把物体放到红碗后面”无法只靠文本理解，因为“后面”依赖当前场景中的红碗位置。SVP 使用冻结的 Qwen3.5-2B 联合编码头部相机观测 $o_{head}$ 和指令 $c$： $$(h_0,h_1,\ldots,h_L)=\mathrm{VLM}(o_{head},c)$$ 与只使用文本编码器不同，VLM 已经把语言放进当前画面中理解。

不同层保留的词汇、空间和视觉信息不同，因此模型对每层文本位置状态做池化并学习门控： $$\alpha_\ell=\mathrm{softmax}_\ell(g(\mathrm{Pool}(h_\ell[\mathcal{T}]))),\qquad c_{vlm}=\mathrm{LN}\left(\sum_{\ell=0}^{L}\alpha_\ell h_\ell[\mathcal{T}]\right)$$ DiT 每个模块都交叉注意 $c_{vlm}$。IDM 不直接接收语言，语言只能通过生成未来影响动作。这也让 IDM 可以在没有指令的轨迹上独立预训练。

4.3 MeanFlow 把多步去噪压缩成一次前向

对记录未来 $z$ 和高斯噪声 $\epsilon$，线性路径为 $z_t=(1-t)z+t\epsilon$，目标速度为 $v_c=\epsilon-z$。MeanFlow 学习区间平均速度： $$u(z_t,r,t)=\frac{1}{t-r}\int_r^t v(z_\tau,\tau)\,d\tau$$ 当区间为 $(r,t)=(0,1)$ 时，一次函数求值即可从噪声映射到数据。模型用共享 DiT 主干、平均速度头 $u_\theta$ 和瞬时速度头 $v_\theta$ 学习该恒等式。

条件帧保持干净，未来帧沿噪声路径演化。推理时只需一次前向： $$\hat{z}^{(i)}=z_1^{(i)}-m_i u_\theta^{(i)}(z_1,r=0,t=1)$$ 这里 $m_i=0$ 表示条件帧，$m_i=1$ 表示待预测帧。生成结果对所有可训练参数可微，因此动作损失能穿过未来视觉模型更新 SVP。

SVP 的流生成器有 2.51B 参数，采用 36 层 DiT，宽 2048、32 个注意力头，其中 20 层共享，随后分别接 8 层平均速度头和 8 层瞬时速度头。每视图输入一个条件帧和六个预测帧，共 168 个 token。

5. IDM 与有效性缺口

IDM 接收当前潜变量、预测未来潜变量和本体状态 $s$。它通过交叉注意力读取未来，生成密集控制动作块和稀疏远期动作。动作流匹配损失为： $$\ell_{FM}(a;o,s,z)=\mathbb{E}_{t,\epsilon}\left\|v_\phi(a_t,t;o,s,z)-(\epsilon-a)\right\|^2$$ 独立预训练时，未来 $z$ 和动作 $a$ 来自同一条轨迹，天然兼容。联合训练时，动作仍来自记录轨迹，但 IDM 看到的是 SVP 生成的 $\hat{z}$。

即使生成未来符合真实分布，它和记录动作也可能代表不同行为模式。端到端目标写成： $$\hat{z}=G_\theta(o,c,\xi),\qquad \mathcal{L}_{E2E}=\ell_{FM}(a;o,s,\hat{z})$$ 单纯优化它可能覆盖 SVP 和 IDM 的预训练能力。保留原目标后： $$\mathcal{L}_{E2E+PT}=\mathcal{L}_{E2E}+\mathcal{L}_{SVP}+\mathcal{L}_{IDM}$$ 但这只防止遗忘，没有解决生成未来与记录动作的模式错配。

论文用四模态高斯玩具系统展示这一机制。四个视觉模式映射到两个动作模式。将独立生成的视觉未来与记录动作配对后，回归器会把冲突的 $\pm1$ 目标平均成零，动作多模态结构消失。这个实验说明问题不是普通的生成误差：即便视频分布学得很准，条件独立配对仍会破坏视频与动作之间的模式对应。

论文 Figure 5：端到端训练会合并动作模式；保留预训练损失可保住视频模式，但动作仍坍缩到均值；KASO 同时恢复视频与动作多模态结构。

6. KASO：在动作空间选择兼容的未来

KASO 对每个样本采样 $N$ 个视觉未来。当前 IDM 分别读取每个候选未来和记录未来，并使用相同的高噪声动作输入。候选能量定义为： $$E_n=\frac{1}{|\mathcal{D}|}\sum_{i\in\mathcal{D}}\left\|v_{\phi,i}(\tilde{a},t_p;o,s,\hat{z}_n)-v_{\phi,i}(\tilde{a},t_p;o,s,z)\right\|_2^2$$ $t_p$ 取 0.95。高噪声时动作输入本身几乎不包含目标动作信息，IDM 必须从视觉未来推断行为，因此能量衡量的是“候选未来引导出的动作”和“记录未来引导出的动作”是否一致。

选择能量最低的 $k$ 个候选后，模型保留对应生成噪声，再开启梯度重放同一结果。生成动作损失为： $$\mathcal{L}_{E2E}^{sel}=\frac{1}{k}\sum_{n\in\mathcal{S}_k}\ell_{FM}(a;o,s,\hat{z}_n)$$ 最终目标为： $$\mathcal{L}_{KASO}=\mathcal{L}_{E2E}^{sel}+\mathcal{L}_{SVP}+\mathcal{L}_{IDM}$$ 实现中 $N=4$、$k=1$。候选生成和打分不带梯度，选中未来重放时允许梯度同时更新 SVP 与 IDM。选择在每一步在线重算，模型变化后兼容集合也随之变化。

flowchart LR
  A[Instruction] --> B[Frozen VLM]
  C[Multi-view observation] --> D[CoAE]
  C --> B
  B --> E[Grounded text states]
  D --> F[SVP one-step generator]
  E --> F
  G[Gaussian noise] --> F
  F --> H[Recorded future branch]
  F --> I[Sample N candidate futures]
  H --> J[IDM reference response]
  I --> K[IDM candidate responses]
  J --> L[Action-space energy]
  K --> L
  L --> M[Top-k compatible futures]
  M --> N[Differentiable replay]
  N --> O[Action chunk and joint update]
  H --> P[Recorded-video losses]
  P --> O
  

KASO 只改变生成未来的动作分支，因此与 E2E+PT 的对比能够隔离“选择”本身；E2E 与 E2E+PT 的对比则隔离保留预训练损失的影响。这种消融设计比只给最终模型一个总分更能说明每个机制的作用。

7. 训练数据与真实机器人评测

SVP 预训练使用 39,000 小时指令视频，可以包含没有动作标签的自中心视频。IDM 预训练使用 32,000 小时动作轨迹，可包含失败和部署数据。KASO 联合训练使用 30,000 小时指令-视频-动作数据。G1-OP 占联合训练数据超过一半，G2-90D 少于 2%。

主评测包含 20 类技能、100 个原子任务，并在 G1-OP 与 G2-90D 上分别测试 300、1,200、5,000 和 30,000 小时检查点。每个任务每个本体每个规模运行 10 次。场景、背景、光照和物体实例均与训练集分离，且不做任务级微调。

G1-OP 和 G2-90D 的曲线在 5,000 到 30,000 小时之间仍明显上升，没有出现饱和证据。19 个 G1-OP 技能组和 18 个 G2-90D 技能组在最大数据规模优于 300 小时。非零成功任务数分别从 39 增至 76、从 24 增至 72。

G2-90D 只占联合数据不足 2%，仍有 17.7 个百分点提升。其 20 个技能组中有 10 个对应的专属数据少于 5 小时，6 个少于 2 小时，4 个少于 1 小时。Flip 和 Separate 仅使用 1.2 与 1.25 小时专属数据便达到 20.0% 和 16.7% 成功率，说明共享多本体数据带来了跨本体迁移。

论文 Figure 8：G1-OP 在 100 个原子任务上的成功率随数据规模变化，右侧列表同时展开每个任务的结果。

8. 技能覆盖、迁移与指令跟随

论文把完整多本体语料映射到相同的 20 类技能分类，并统计每类技能的训练小时数。排除机械上较简单的 Close 后，技能专属数据量与 G1-OP 零样本成功率高度相关，Pearson $r=0.80$，Spearman $\rho=0.85$。在对数小时与 logit 成功率之间，拟合斜率为每一个数量级增加 1.94 个 logit 单位。

这项相关性解释了为什么表面相似的技能会出现巨大差异。Wipe 和 Sweep 都涉及工具接触表面，Wipe 有 824.1 小时训练覆盖，30,000 小时模型达到 76.7%；Sweep 只有 64.6 小时，只有 3.3%。Stack 获得 756.2 小时，成功率达到 41.4%；Straighten 获得 510.5 小时，并且直到最大规模才从零提升到 30.0%。

作者还检查了难以仅靠视觉质量解释的指令理解。评测包含 33 条取物指令和 26 条放置指令，共 295 次真实机器人试验，覆盖物体、颜色、尺寸、形状、位置和顺序六个维度。物体、颜色、直接位置和形状的 Follow Score 均至少为 90%，尺寸下降到 82.5% 和 65.7%，顺序只有 13.3% 和 26.7%。

整体 Follow Score 为 83.1%，完整任务成功率为 72.9%。两者之间的差距说明，部分失败发生在已经正确识别目标之后，属于抓取或放置执行问题，而不是指代理解错误。训练语料中尺寸、形状和顺序分别只占 0.96%、0.67% 和 0.13%，与长尾指令的薄弱表现一致。

论文 Figure 12：物体、颜色、尺寸、形状、位置和顺序六类受控取物与放置场景。

行为冲突测试在机器人已经接近原目标时改变目标或换手。目标切换后，机器人会短暂保留旧方向运动，但随后转向新目标；换手时，右臂停止并改由左臂完成。语义冲突测试要求把杯子放进鞋盒，模型服从明确的对象-容器关系，而不是常规场景联想。这些案例是定性展示，没有计入定量成功率。

论文 Figure 14：目标切换、换手和反常规语义关系三类指令冲突压力测试。

9. KASO 消融与标准仿真基准

真实机器人消融固定使用同一套全规模 SVP 与 IDM 初始化，只在 300 小时连接数据上比较 E2E、E2E+PT 和 KASO。四物体场景中，KASO 与 E2E+PT 的 Follow Score 都是 95%，但 KASO 的抓取成功率宏平均为 37.5%，比 E2E+PT 高 15 个百分点，并改善所有测试目标。单物体场景中，KASO 把抓取成功率从 12% 提高到 40%。

结果的关键不是 Follow Score，而是接触目标后能否完成抓取。KASO 没有改变目标选择表现，却显著提高了正确接触向成功动作的转化率，符合“生成未来与记录动作兼容性更好”的解释。该实验使用 300 小时连接阶段的缩小设置，不能直接当作最终模型性能。

三个仿真基准都先按各自协议做域内适配，再测分布外条件。RoboTwin 上，GE-Act 2.0 在 Easy、Background、Light、Clutter、Height 和 Hard 六列的成功率分别为 76.71%、70.28%、65.92%、66.52%、70.39% 和 60.52%，均高于对比的 StarVLA、GR00T-N1.7 和 pi-0.5。

GenieSim-Instruction 的十项任务归一化平均分中，GE-Act 2.0 为 0.770，高于 ACoT-VLA 的 0.757、pi-0.5 的 0.746、LingBot-VLA 2.0 的 0.708 和 GR00T-N1.7 的 0.646。LIBERO-Plus 的整体成功率为 80.4%，低于 pi-0.5 的 84.4%，但在相机扰动 94.1% 和传感器噪声 95.5% 两列表现更强，在机器人状态与背景扰动上较弱。

项目页还报告完整流程在单张 RTX 5090 上每段动作耗时 104 毫秒，生成 52 个可执行动作，对应 30 Hz 下约 1.7 秒。这个结果依赖单步未来生成和五步动作流采样，是实时部署可行性的重要条件。

10. 方法价值与适用边界

GE-Act 2.0 最重要的变化不是单一模型结构，而是把数据分工和联合训练连接起来。SVP 能消费无动作视频，IDM 能消费无语言轨迹，KASO 再在联合阶段筛选行为兼容的生成未来。这个组合让“扩大数据”不只是增加同一种 demonstration，还能纳入不同监督形式的操作数据。

CoAE 的结果说明，控制潜空间不能只以重建质量评价。相同 64 倍压缩下，经过多教师对齐的 CoAE 在动作恢复和指令匹配上均优于 DC-AE。对于准备构建实时 VLA 或世界模型的团队，这提示 token 预算、动作可恢复性和可解码性需要同时测量。

KASO 的适用条件是生成器具有足够的模式多样性，并且 IDM 已经能从记录未来中读出有意义的动作。如果生成器总是输出同一未来，或者 IDM 在高噪声点无法区分候选，动作空间的能量排序就不提供有效信息。在线选择还会增加每个训练步的候选生成与打分开销。

主实验使用真实机器人，但只覆盖两个本体。G2-90D 的改进说明跨本体迁移存在，31.1% 的绝对成功率仍说明多数复杂任务没有达到稳定部署水平。论文的 10 次试验统计能够揭示大趋势，却不适合对单个任务的一两个百分点差异作强结论。

11. 局限与风险

作者明确承认，当前研究没有按自中心视频的实际供应规模进行扩展。自中心数据被认为能提供更多物理交互和任务语义，但论文只给出了训练混合中的初步信号，没有系统验证视频数量、多样性和组成对下游能力的影响。

作者还把 GE-Act 2.0 定位为 System-1 的低层控制策略。它缺少显式推理、长程规划、任务分解、记忆和自我纠错。真实开放环境中的长期任务需要额外的 System-2 模块，如何让规划系统与可扩展世界-动作模型闭环协作仍未解决。

从独立判断看，数据规模实验没有做等计算量比较。不同 rung 训练到一个 epoch 或计算预算上限，因此 30,000 小时结果同时包含数据量和优化步数差异。论文对此有说明，但这意味着因果归因应写成“数据规模扩展的实际效果”，而不是严格隔离出的数据标签效应。

技能覆盖与成功率的相关分析也观察到一个有意义的模式，但训练小时数、任务难度和动作复杂度彼此相关。论文没有通过控制实验独立改变覆盖率，因此不能把 1.94 logit/decade 解释为精确定量的数据定律。

最后，KASO 减少了生成未来与记录动作的模式错配，却没有解决所有多模态监督问题。它依赖当前 IDM 的判断：如果 IDM 本身对某个模式估计错误，选择器会继承这一偏差。后续强化学习或偏好优化仍需要在动作多样性、稳定性和安全性之间建立额外约束。

12. 结论

GE-Act 2.0 展示了从零预训练世界-动作模型的一条完整路径：用控制导向潜空间降低未来预测成本，用单步视觉规划器把生成和逆动力学解耦，再用 KASO 在动作空间过滤不兼容的未来。100 个真实任务、两个本体和四档数据规模的结果表明，扩大共享操作数据能够提高零样本分布外能力，即使目标本体只贡献不到 2% 的训练数据。

这项工作留下的重要问题不是“能否生成更漂亮的未来视频”，而是“生成未来是否与可执行动作处于同一行为模式”。KASO 让这个接口第一次得到可量化处理，也把世界模型的评价重点从像素逼真度推向动作兼容性。

世界模型真正有价值的未来，不是看起来最真实的那个，而是能够导向正确动作的那个。