AeroAct:语言条件四旋翼飞行的世界-动作模型

AeroAct：面向语言条件四旋翼飞行的动作中心世界-动作模型

作者：Xinhong Zhang, Qiyuan Zhu, Yubo Huang 等（北京理工大学）｜arXiv:2607.14997v1（2026-07-16）｜领域：cs.RO｜Wan2.1-1.3B 骨干｜8×A100 预训练 36h

一句话总结

AeroAct 是首个在真实四旋翼上演示的世界-动作模型（WAM）：它改造 1.3B 视频扩散 Transformer，从自我中心视觉历史、本体感知和语言预测可动态执行的五阶轨迹动作块，训练时用未来帧作为密集后果监督但部署时直接解码动作不生成视频，通过分块因果掩码使推理省 37.8% 时间，并用 DiffAero+Isaac+3DGS 混合管线和手持采集设备解决数据瓶颈，仿真与真实飞行均验证了时序视觉上下文的关键作用。

研究背景与动机

空中机器人越来越被期望在杂乱 3D 场景中安全飞行时执行自然语言指令。这一问题比标准视觉语言导航（VLN）困难得多：机器人通过快速移动的自我中心相机观测世界，其动作立即改变未来视觉流，不安全指令会迅速导致振荡、目标丢失或碰撞。一个实用的语言条件飞行策略不仅要能在图像中识别目标，还必须把语义接地与局部、平滑、兼容四旋翼动力学的控制表示连接起来。

基于学习的敏捷飞行已证明 RL 和模仿学习能产生高度反应式的策略，但这些系统通常以几何目标而非开放词汇指令为条件。并行地，视觉-语言-动作（VLA）模型通过在大视觉语言表示上附加动作头改善了语义泛化。但直接动作解码并不显式教会策略第一人称观测如何在其自身动作下演化。世界模型进展——如 Dreamer 式潜在动力学和生成式交互模拟器——表明预测未来观测可为控制、规划和表示学习提供紧凑基底。世界-动作模型（WAM）进一步联合训练视觉后果预测和动作生成，使密集视频监督正则化学到的动作分布。

把 WAM 带到四旋翼导航面临两大挑战。其一，训练飞行 WAM 需要大规模多模态轨迹，且自我中心视频、语言指令、本体状态、动态可行飞行动作必须紧密同步——这比桌面演示难收集得多。其二，视频中心 WAM 推理昂贵：自回归未来视频生成增加延迟，小视觉预测误差会累积并腐蚀下游动作解码。AeroAct 的核心设计正是：训练时保留视觉后果监督，部署时只解码动作不生成视频。

图1：AeroAct 概览——策略接收自我中心视觉历史、本体感知和语言，预测分块局部轨迹；训练用来自 Isaac/DiffAero/3DGS/手持数据的成对飞行动作与未来视觉观测，部署用自引导解码动作经轨迹控制器执行。

方法详解

问题形式化

将语言条件空中导航表述为从第一人称感知的序列预测。时刻 $t$ 机器人观测 RGB 图像 $o_t$、本体状态 $s_t$ 和语言指令 $l$。AeroAct 不从单帧行动，而是以时间跨步观测历史为条件：

$$\mathcal{O}_t^h = (o_{t-(h-1)\Delta},\, o_{t-(h-2)\Delta},\, \ldots,\, o_t)$$

其中 $h$ 是参考帧数，$\Delta$ 是时间跨步。策略预测长度 $p$ 的动作块 $a_{t:t+p-1} = (a_t, \ldots, a_{t+p-1})$，每个动作紧凑地参数化一个动态可执行的局部轨迹段。遵循 WAM 形式化，用统一模型 $g_\Theta$ 同时做动作预测和视觉后果建模：

$$(a_{t:t+p-1},\, c_t) \sim g_\Theta(\cdot \mid \mathcal{O}_t^h,\, s_t,\, l)$$

其中 $c_t$ 是用于条件化视觉预测的动作隐变量。给定相同上下文和 $c_t$，模型预测未来观测：

$$(o_{t+\Delta},\, o_{t+2\Delta},\, \ldots,\, o_{t+K\Delta}) \sim g_\Theta(\cdot \mid \mathcal{O}_t^h,\, s_t,\, l,\, c_t)$$

实现中 $\Delta=3$、$p=24$，故每次推理块含 $K=\lfloor p/\Delta \rfloor = 8$ 个未来视觉帧和 24 个低层动作步。

模型架构

图2：动作中心世界-动作 Transformer。视觉历史、本体感知和语言条件化动作解码器；未来帧 token 训练时作为后果监督但从动作 token 掩码，推理时可禁用。

AeroAct 改造 1.3B 参数的 Wan 视频扩散 Transformer。为避免逐帧编码预测的计算冗余，每 $\Delta$ 步编码预测一帧。训练时，视频片段经冻结视频 VAE 编码为时空潜在 token，经 3D RoPE 位置编码后分为参考 token $T_o$ 和未来 token $T_f$。本体状态 $s_t$ 和动作块经 MLP 编码为状态 token $T_s$ 和动作 token $T_a$，指令经文本编码器编码为语言 token $T_l$。非语言 token 拼接为 $T_t = [T_s; T_o; T_a; T_f]$，语言 token 作为交叉注意力上下文。

分块因果掩码保持动作-后果顺序：状态和参考 token 不能关注预测 token；动作 token 仅关注状态、参考和动作 token；未来视觉 token 关注所有 token。因此动作预测不能从未来帧泄漏信息，而未来帧重建仍以生成动作块为条件。推理时省略 $T_f$ 只解码动作流，4 步去噪下推理时间从 0.296s 降至 0.184s，省 37.8%。

训练目标耦合动作预测与视觉后果建模。设 $\epsilon_a$ 和 $\epsilon_f$ 为动作和未来帧潜在 token 的目标噪声/速度场，总损失为：

$$\mathcal{L}(\Theta) = \mathcal{L}_{\text{act}} + \lambda_{\text{vis}} \mathcal{L}_{\text{vis}}$$

$$\mathcal{L}_{\text{act}} = \mathbb{E}\left[\|g_\Theta^a(T_s, T_o, T_a, T_l) - \epsilon_a\|_2^2\right], \quad \mathcal{L}_{\text{vis}} = \mathbb{E}\left[\|g_\Theta^f(T_s, T_o, T_a, T_f, T_l) - \epsilon_f\|_2^2\right]$$

视觉项用于训练时塑形表示和动作先验；部署仅依赖 $g_\Theta^a$。这种分离对飞行至关重要：模型从后果监督受益，但闭环控制器不必等待或信任生成的未来帧。

混合数据管线

图3：仿真数据管线。DiffAero 提供共享动力学控制接口；Isaac Lab 提升视觉保真度，3DGS 分支以更低资产工程成本扩展场景与物体多样性。

普通视频和具身数据集不提供所需同步监督。数据栈以 DiffAero 为核心（快速四旋翼动力学与飞行控制器），两个渲染分支共享此控制接口。Isaac Lab 分支提供逼真光照、材质、阴影和相机效果，但场景多样性受资产可用性限制；3DGS 分支直接从高斯泼溅场景渲染 RGB 和深度，易于跨生成场景和物体扩展，但近距离几何和光照保真度较低。两者互补：Isaac 提升视觉真实感，3DGS 提升场景物体多样性。

收集三类仿真演示：Isaac 跟踪（目标在随机走廊移动，专家控制器保持四旋翼贴近，教运动预测和视觉伺服）；Isaca 到达（语言指定物体置于干扰物中，四旋翼接近，连接语言接地与目标导向飞行）；3DGS 到达（从资产库采样场景和物体合并后收集物体接近演示）。

真实世界数据采集：设计手持设备含鱼眼相机、Intel RealSense T265 立体相机和轻量计算机，用 T265 估计自身里程计并转换为模拟四旋翼位姿，裁剪鱼眼图像为与四旋翼相机运动一致的第一人称视角。共收集 858 条真实轨迹、332,429 帧（约 3 小时）。

自引导平滑轨迹生成

图4：推理时自引导——连续动作块时间重叠，新块前缀由前一塔回退引导，减少不连续性后再采样剩余时域。

扩散和流匹配模型可表示多模态动作分布，但独立采样的动作块在邻近重规划间可能不同，给四旋翼造成参考轨迹抖动。自引导使连续动作块在重叠时间窗内一致：当第 $n+1$ 次推理在第 $n$ 块过期前开始时两块重叠，去噪时用前一动作块对应后缀替换新样本前缀速度，仅正常采样剩余后缀。

实验结果

骨干为 Wan2.1-1.3B，本体感知/动作编解码器为隐藏层 128/256 的 MLP。仿真与真实演示 30Hz 采集、3× 下采样（每三动作一视频帧）。9 参考帧对应 2.4s 视觉上下文。预训练含 900K 仿真视频片段（500K 跟踪 + 200K Isaac 到达 + 200K 3DGS 到达）、320M 帧，8×A100 耗时 36h。AdamW 学习率 $4.3 \times 10^{-5}$。推理在单 RTX 5090 24G 上约 4500MB 显存。

仿真结果

任务	参考帧	成功率 ↑	碰撞率 ↓
跟踪	1	20.0	90.0
搜索	1	90.0	10.0
跟踪	9	100.0	0.0
搜索	9	100.0	0.0
跟踪（FT）	9	95.0	0.0
搜索（FT）	9	100.0	0.0

表1：Isaac Lab 闭环仿真（20 回合）。9 参考帧将跟踪成功率从 20% 提升到 100%、碰撞从 90% 降到 0%。

仅 1 参考帧时闭环跟踪仅 20% 成功、90% 碰撞——确认单张自我中心图像不足以估计相对运动并产生安全轨迹块。9 参考帧将跟踪和搜索均提升到 100% 成功零碰撞。对未见目标物体，成功率从 75% 升到 100%，平均最终距离从 3.819m 降到 1.983m：

模型	参考帧	平均最终距离	成功率 ↑	碰撞率 ↓
AeroAct	1	3.819	75.0	25.0
AeroAct	9	1.983	100.0	0.0
AeroAct-FT	9	1.988	100.0	0.0

表2：未见目标物体搜索任务。真实微调后仿真性能几乎不降，表明真实适应未显著损害学到的闭环策略。

真实世界飞行

图5：实验硬件平台。(a) UAV 平台配板载感知经局域网离板推理，轨迹用 OM-MPC 跟踪；(b) 手持便携采集平台记录裁剪相机观测与轨迹标注。

四旋翼平台基于 OddityRC 35Pro 机架改装，配 Intel RealSense D435i 相机和 Radxa ROCK 5C 板载计算机，在带动作捕捉系统的实验室环境中实验。推理延迟约 $t_{\text{infer}} = 0.8$s。这是首个 WAM 真实四旋翼飞行演示——学习模型直接连接视觉语言任务指定、预测动作生成和闭环四旋翼执行。实验中指令"飞向黄色泡沫垫"，模型成功生成可行飞行命令并引导四旋翼到达目标。

图6：真实世界语言条件 WAM 飞行——AeroAct 生成可行飞行命令引导四旋翼飞向指定目标物体。

系统架构 Mermaid 图

flowchart TB
  subgraph Input["输入"]
    OH["视觉历史 O_t^h
9帧 跨步Delta=3"]
    ST["本体感知 s_t"]
    LANG["语言指令 l"]
  end
  subgraph Model["Wan2.1-1.3B 视频 DiT"]
    VAE["冻结视频 VAE
时空潜在token"]
    ENC["MLP编码 状态/动作token"]
    TXT["文本编码器 语言token"]
    CAT["拼接 T=[Ts;To;Ta;Tf]
语言交叉注意力"]
    MASK["分块因果掩码
动作不泄漏未来帧"]
    DECODE["动作解码 g_a
推理省略Tf省37.8%"]
  end
  subgraph Train["训练"]
    VIS["视觉后果监督 L_vis
未来帧密集监督"]
    ACT["动作预测 L_act
轨迹动作块"]
    LOSS["L = L_act + lambda*L_vis"]
  end
  subgraph Data["混合数据管线"]
    DA["DiffAero 动力学"]
    IS["Isaac Lab 视觉真实"]
    GS["3DGS 场景多样性"]
    HW["手持设备 858轨迹"]
  end
  subgraph Deploy["部署"]
    SG["自引导平滑
重叠块前缀引导"]
    MPC["OM-MPC 轨迹跟踪"]
    QUAD["物理四旋翼"]
  end
  Input --> VAE --> CAT
  Input --> ENC --> CAT
  Input --> TXT --> CAT
  CAT --> MASK --> DECODE
  DECODE --> Train
  VIS --> LOSS
  ACT --> LOSS
  Data --> Train
  DECODE --> SG --> MPC --> QUAD

从方法论的深层逻辑看，AeroAct 的"训练用世界模型、部署用动作头"设计是对 WAM 范式的关键实用化改造。传统 WAM 在推理时需生成未来视频再从中解码动作，这引入两重风险：视频生成的自回归延迟（对飞行不可接受）和预测误差的累积腐蚀。AeroAct 通过分块因果掩码从结构上保证动作 token 无法"偷看"未来帧 token，使得训练时未来帧作为监督信号塑形动作表示，但推理时动作解码完全不依赖视频生成。这把世界模型的价值从"推理时的显式预测"转移为"训练时的隐式正则"——一种更高效的表示学习利用方式。

时序上下文的消融结果值得深思。1 帧到 9 帧的跃升（跟踪 20%→100%、碰撞 90%→0%）不是渐进改善而是质变。这表明四旋翼自我中心飞行中，单帧图像几乎无法估计相对运动——目标在图像中的位置变化才是运动信息的主要来源。9 帧 2.4 秒的上下文足以让模型从像素位移推断自我运动速度，从而预测安全的局部轨迹。这一发现对空中 VLN 的动作空间设计有启示：任何缺乏时序上下文的单帧策略在快速飞行场景中都可能面临类似的根本困难。

混合数据管线的互补设计体现了工程智慧。Isaac Lab 视觉真实但场景有限，3DGS 场景多样但近距离几何保真度低，两者互补覆盖了视觉真实感与场景多样性的权衡。手持设备则巧妙地规避了真实四旋翼采集的危险与成本——用 T265 里程计把手持运动"翻译"为四旋翼位姿，再用鱼眼裁剪模拟第一人称视角。这种"人替机采集"的策略以 858 条轨迹约 3 小时的低成本获得了真实世界视觉多样性，为 sim-to-real 迁移提供了关键的分布补充。真实微调后仿真性能几乎不降（跟踪 95% vs 100%），表明这一策略有效避免了灾难性遗忘。

自引导机制的必要性源于扩散模型的固有特性。扩散/流匹配模型表示多模态分布，独立采样的相邻块可能从不同模式采样导致跳变。对于地面机器人这种跳变或许可容忍，但四旋翼的低层控制器需要平滑参考轨迹——参考跳变会导致姿态振荡甚至失稳。自引导通过强制重叠块前缀一致，在保持多模态分布表达能力的同时消除跨块不连续性，这是把扩散策略从桌面迁移到飞行平台的关键工程适配。

从评估维度看，论文提供了仿真闭环定量指标（成功率/碰撞率/最终距离）和真实飞行定性演示，这种分层评估合理反映了从仿真到真实的渐进验证策略。但真实飞行仅展示单条轨迹且依赖离板推理与动作捕捉，尚未在户外无动作捕捉环境中验证。后续若能补充更多真实场景的统计性评估，将增强结论的外部效度。

局限性

真实实验限于短室内轨迹（作者自述）。当前时序上下文足以完成单阶段目标到达，但尚不能处理需多个语义子目标、恢复行为或长时程记忆的复杂指令。

依赖离板推理（作者自述）。视频扩散骨干的计算成本使真实部署依赖离板推理（工作站经 ZeroMQ 通信），$t_{\text{infer}}=0.8$s 的延迟限制了高速敏捷飞行场景。

动作空间假设单一轨迹段结构。五阶轨迹参数化虽保证平滑和动态可行性，但可能限制极端机动（如急转弯、翻滚）的表达能力。

视觉预测仅在训练时使用未充分验证其价值边界。虽然消融表明时序上下文关键，但未来帧监督 $\lambda_{\text{vis}}$ 的具体贡献、以及在不生成视频的部署模式下学到的表示质量，与真正生成视频的 WAM 之间的差距，论文未深入量化。

总结与展望

AeroAct 提出了动作中心的 WAM 用于语言条件四旋翼飞行：输出平滑局部轨迹块而非离散动作/航点/瞬时速度，训练时用未来自我中心视觉预测作为后果监督，部署时高效解码动作不生成测试时视频。分块因果掩码使动作流与视觉后果解耦，推理省 37.8% 时间并避免想象帧的误差累积。DiffAero+Isaac+3DGS+手持设备的混合管线解决了多模态同步数据瓶颈。

从更广阔的视角看，AeroAct 代表了"训练时学世界模型、部署时用动作头"这一实用化范式的空中延伸。世界-动作模型的价值不在于推理时生成视频，而在于训练时用视觉后果监督正则化动作分布——这把"理解动作后果"从显式的模型预测控制转移到隐式的表示学习。当这一理念与四旋翼的动态可行轨迹参数化和自引导平滑结合，便实现了从视频生成到物理飞行的跨越。未来若实现板载高效推理和长时程多阶段指令跟随，WAM 有望成为空中具身智能的通用策略范式。

金句

"世界-动作模型的价值不在于推理时生成视频，而在于训练时用视觉后果监督正则化动作分布。"

"模型从后果监督受益，但闭环控制器不必等待或信任生成的未来帧——训练时学世界，部署时用动作。"