Skip to content
←返回论文库

PAPER DEEP DIVE

视觉语言动作模型机器人操控流匹配

ScaleVLA:将视觉语言动作模型扩展到 5520 亿参数

本文研究前沿视觉语言模型的表征能否直接成为机器人策略的基础。作者冻结 5520 亿参数的 DeepSeek-V4.1-Flash 混合专家主干,只读取因果编码器第 20 层输入处保留下来的 5120 维视觉与文本 token,并用从头训练的流匹配动作头把它们映射为连续动作块。在动作头、数据和训练预算保持一致的前提下,团队比较了 2B 至 552B 的多个主干,并在 LIBERO、LIBERO-PRO、RoboCasa、DexJoCo 与真实双臂插充电器任务上评估。结果表明,前沿表征的优势主要集中在演示稀缺、分布发生偏移和接触精度要求高的场景:LIBERO-PRO 平均成功率为 45.1%,真实域内任务成功 9/10;但 552B 推理需要四张 H200,每动作块中位延迟为 216 ms。

论文元信息

标题:ScaleVLA:将视觉语言动作模型扩展到 5520 亿参数。论文由 Ruixi Yu、Dairu Liu、Xuchuan Chen、Zekun Qi、Zekai Li、Zhuo Cao、Luyang Niu、Yingsheng Zhang、Sikai Liang、Ke Fan、He Wang 与 Li Yi 完成。arXiv 页面为 2611.21607,全文位于 HTML 版本。公开代码仓库是 GalaxyGeneralRobotics/ScaleVLA,采用 Apache-2.0 许可证;本文核对的是提交 c8d24902ecc84a7e2df00db03285095013646066。项目主页为 ScaleVLA Project。

一句话总结

论文把冻结的 5520 亿参数混合专家视觉语言模型压缩成一个机器人可直接消费的表征源,再用从头训练的流匹配动作头证明:前沿模型的收益主要出现在少演示、分布偏移和接触密集型操作中,而不是简单地服从参数越多越好的单调规律。

研究背景与动机

视觉语言动作模型试图把图像、语言指令和机器人状态统一到一个策略里。过去两年,主流方案通常使用数十亿参数的视觉语言主干,因为这类主干可以放进训练集群,也能在推理时维持可接受的响应速度。随着前沿视觉语言模型开始具备空间理解、工具使用和复杂指令跟随能力,一个自然问题出现了:这些能力能否继续服务于低层连续控制,而不只用于高层任务规划。

论文没有把大模型当作会反复调用工具、观察结果并继续推理的智能体。作者更关心的是表征迁移:如果冻结一个规模远超常规机器人策略的主干,并且只读取其中一层的视觉与文本 token,一个小得多的动作头是否能够学会控制。这个问题与直接把文本生成接口接到机器人系统不同,因为动作头必须在每个控制周期获得稳定的连续特征,而不能等待长链条文本推理结束。

现有 VLA 文献已经比较过不同机器人数据规模、动作表示和架构,但公开研究很少在相同动作头、相同机器人监督与相同优化预算下,把主干从二十亿参数一路扩大到五千多亿参数。作者把 ScaleVLA 定位为一项受控表征研究:动作侧组件保持一致,输入宽度随主干改变,其他会影响结论的因素尽量固定。

这个实验设计需要处理巨大的工程矛盾。混合专家模型的总参数很大,却不会对每个 token 激活全部专家;视觉语言模型有语言解码器,但机器人动作并不需要生成文本。作者因此只运行视觉编码器和二十层因果编码器,在下一层注意力操作的输入边界取出全部 token,然后停止计算。这样既保住了前沿预训练得到的表示,也避开了自回归解码开销。

ScaleVLA 的规模、任务与效率概览

图 1:论文对参数规模、任务性能和推理效率的总览。ScaleVLA 使用 5520 亿参数主干,在多个基准上取得最高平均成功率,但每动作块延迟为 216 毫秒,并需要四张 H200。

模型如何把前沿主干接到动作

ScaleVLA 的主干选用 DeepSeek-V4.1-Flash-1017。模型包含视觉编码器、二十层因果编码器和二十层解码器,总参数为 5520 亿,属于稀疏混合专家结构。输入包含相机图像和自然语言指令。视觉 token 与文本 token 按参考对话格式拼接,随后通过因果编码器。作者读取的是第二十一层注意力操作所接收的特征序列,因此每个保留 token 的通道数为 $D_{\mathrm{vlm}}=5120$。

这里的“读取第 20 层”不是只看最后一帧的池化向量。视觉 token 和文本 token 都保留顺序,也保留模态标签。图像 token 可以被后续交叉注意力单独寻址,指令 token 和填充 token 则有不同掩码。若把所有信息压成单个全局向量,动作头会丢掉空间位置、相机来源和指令词序;保留 token 序列使动作 DiT 能在不同层分别关注视觉区域与语言语义。

ScaleVLA 的视觉语言主干与动作头结构

图 2:ScaleVLA 架构。冻结的视觉语言主干只执行到因果编码器,特征适配器、状态编码器、噪声动作编码器和动作 DiT 均从随机初始化开始训练,动作由四步流匹配积分生成。

动作头沿用 GR00T N1.7 的组织方式,但所有动作侧权重都重新训练,没有加载预训练机器人专家。特征先经过层归一化,再经过一个低秩瓶颈和上投影,映射到 2048 维。实现中的两层线性映射可写为

$$F=W_{2}\left(W_{1}\operatorname{LN}(X)\right),$$

其中 $X$ 是主干输出的逐 token 特征,$W_{1}$ 把 5120 维降到可配置秩,$W_{2}$ 再把每个 token 映射到动作头公共宽度。仓库里的映射器代码与论文描述一一对应:

class FeatureMapper(nn.Module):
    def __init__(self, d_in, d_out=2048, rank=2048):
        super().__init__()
        self.norm = nn.LayerNorm(d_in)
        self.down = nn.Linear(d_in, rank, bias=False)
        self.up = nn.Linear(rank, d_out)

    def forward(self, features, token_type):
        return {
            "backbone_features": self.up(self.down(self.norm(features))),
            "backbone_attention_mask": token_type >= 0,
            "image_mask": token_type > 0,
        }

文件 scalevla/model/mapper.py:14-23 还记录了 token 类型约定:零代表文本,正数代表不同相机,负数代表填充。这个细节比公式更重要,因为同一个特征张量要同时供图像交叉注意力和语言交叉注意力使用。动作头后续有四层自注意力让视觉与语言 token 在动作监督下交互,再进入三十二层动作 DiT。

状态编码器和噪声动作编码器是 embodiment-specific 的多层感知机。不同机器人拥有不同的关节数量、夹爪维度和动作布局,因此输入会被填充到统一最大维度,同时用掩码排除无效位置。每个未来动作 token 带学习式位置编码,流时间也进入动作编码器。动作 DiT 的每一层在状态与噪声动作 token 上执行自注意力,通过交叉注意力读取适配后的主干特征;不同交叉注意力层交替关注图像 token 与非图像 token。

自适应层归一化把流时间注入 Transformer。输出经过 embodiment-specific 动作解码器,变成整个动作块的预测速度。这里的关键不是“用大模型直接吐出动作”,而是让大模型提供一个稳定条件,让随机初始化的动作网络学习连续速度场。大模型的知识通过冻结特征进入,动作精度则由机器人演示数据负责。

flowchart TB
    A["3 cameras + instruction"] --> B["Frozen DeepSeek V4.1 Flash
20-layer causal encoder"] B --> C["Layer-20 token features
5120D + modality labels"] C --> D["Feature mapper
LayerNorm to low rank to 2048"] D --> E["32-layer action DiT
self and cross attention"] S["robot state"] --> E N["Gaussian action noise"] --> E T["flow time"] --> E E --> F["4 Euler velocity steps"] F --> G["denormalize action chunk"] G --> H{"robot profile"} H -->|LIBERO| I["16-step chunk
execute 8 then replan"] H -->|DexJoCo| J["30-step chunk
buffered async execution"]

流匹配目标与动作块生成

训练从一条真实的未来动作块 $A$ 开始,采样标准高斯噪声 $\epsilon$ 与流时间 $\tau\in[0,1]$。中间状态采用从噪声到真实动作的线性插值:

$$A^{\tau}=(1-\tau)\epsilon+\tau A.$$

当 $\tau=0$ 时,样本完全由噪声构成;当 $\tau=1$ 时,样本成为演示动作。网络被要求预测这条路径的速度 $A-\epsilon$,而不是直接回归干净动作。对应的流匹配损失为

$$\mathcal{L}_{\mathrm{FM}}=\mathbb{E}\left[\left\|v_{\theta}(A^{\tau},\tau\mid Z,s,e)-(A-\epsilon)\right\|_{\mathrm{valid}}^{2}\right],$$

其中 $Z$ 是适配后的视觉语言特征,$s$ 是机器人状态,$e$ 是 embodiment 标识,范数只在有效动作维度与有效时间步上求平均。这个目标让神经网络学习一个从任意噪声位置指向演示数据的速度场;推理时不需要逐步添加噪声,只需要沿学到的速度积分。

论文对状态与动作做分位数归一化。若某一维的训练数据分位数下界和上界分别为 $q_{0.01}$ 与 $q_{0.99}$,则该维归一化可概括为

$$\tilde{x}=\operatorname{clip}\left(2\frac{x-q_{0.01}}{q_{0.99}-q_{0.01}}-1,-1,1\right).$$

使用 1% 与 99% 分位数可以减小极端关节读数或异常动作对尺度的影响。推理结束后必须执行逆变换,否则策略输出仍停留在归一化坐标中,不能直接发送给控制器。实现中的 StateActionProcessor 也保留了这套统计量,并在服务端读取检查点里的 metadata。

采样噪声后,模型用四个欧拉步把速度场积分成动作块。可以把更新写成

$$A^{(k+1)}=A^{(k)}+\frac{1}{K}v_{\theta}\left(A^{(k)},\tau_{k}\mid Z,s,e\right),\qquad K=4.$$

关键在于 $Z$ 只计算一次,四个流步骤复用同一组主干特征。主干每生成一个动作块只前向一次,而轻量动作头执行四次。LIBERO 输出十六步动作块,执行八步后重新规划;DexJoCo 输出三十步块,并通过带时间戳的命令缓冲异步计算下一块。异步策略让控制器继续消费已有命令,但旧观测也会带来反馈滞后,因此论文附录要求同时报告动作块延迟、观测年龄与缓冲空档,而不能只报告控制器频率。

服务代码把这一路径固定为观测到动作的单次映射。下面截取 scalevla/serving/policy.py:115-147 的核心部分,可以看到 mapper、动作头推理和逆归一化在同一条调用链中完成:

with torch.autocast("cuda", dtype=torch.bfloat16):
    bo = self.net.mapper(F, TT)
    pred = self.net.head.get_action(
        BatchFeature(data=bo), ai
    )["action_pred"].float()

na = pred[:, :self.horizon].cpu().numpy()
un = self.proc.unapply_action(
    {k: na[..., a:b] for k, (a, b) in self.ranges["action"].items()},
    self.tag,
)

训练端使用 64 张 H200,八个节点各八张卡,全局批大小 640,策略训练种子为 42。LIBERO 全量配方训练 5000 个 AdamW 步,学习率 $10^{-4}$,余弦衰减,预热比例为 5%。DexJoCo 训练 20000 步。真实机器人训练 40000 步,使用 303 个回合、约 52 万帧,其中 26 个回合留作验证。

实验结果

论文在 LIBERO、LIBERO-PRO、RoboCasa、DexJoCo 和真实双臂机器人上测试。LIBERO 覆盖空间、物体、目标和长程四类桌面操作;LIBERO-PRO 不重新训练,只在环境与物体扰动下测试已有策略;RoboCasa 使用三十或一百条生成演示评估厨房场景外推;DexJoCo 包含五个双臂灵巧任务,每个任务一百条人类演示。所有对照策略共享动作头结构、随机初始化、训练数据和每项基准的优化预算,只让特征适配器输入宽度跟随主干变化。

主干SpatialObjectGoalLong平均
Qwen3-VL-2B98.498.290.477.891.2
Cosmos-Reason2-2B98.897.683.283.290.7
Cosmos-Reason2-8B99.899.088.687.293.7
Qwen3-VL-32B98.899.493.283.093.6
Cosmos-Reason2-32B98.498.495.283.894.0
ScaleVLA 552B98.698.696.890.296.1

表 1:LIBERO 全量演示成功率,单位为百分比。空间与物体套件接近饱和,差距主要在需要指令落地和长程步骤组合的目标与长程套件。

全量 LIBERO 的平均成绩从 Cosmos-Reason2-2B 的 90.7% 上升到 32B 的 94.0%,再达到 ScaleVLA 的 96.1%。这组数据容易被误读成一条平滑缩放曲线,但 Qwen3-VL-32B 的平均值为 93.6%,并没有超过 Cosmos-Reason2-32B。真正稳定的现象是:两个密集主干家族从 2B 到 32B 都获得提升,而混合专家前沿主干在目标与长程任务上继续拉开差距。作者因此把结论放在“前沿表征”上,而不是宣称存在通用参数缩放定律。

LIBERO-PRO 更能说明偏移后的行为。ScaleVLA 平均成功率为 45.1%,最高的小型主干 Cosmos-Reason2-8B 为 31.3%。在目标环境扰动和目标物体扰动中,ScaleVLA 分别达到 47.8% 与 56.4%;物体环境扰动仍是所有方法的短板,ScaleVLA 的 31.2% 仅与 Cosmos-Reason2-32B 的 32.4% 相当。可见前沿表征提高了任务与物体层面的稳健性,却没有消除严重视觉分布变化造成的困难。

每任务演示数Goal 2BGoal 32BGoal 552BLong 2BLong 32BLong 552B
539.461.277.424.037.662.2
1055.083.087.856.066.475.0
2585.290.497.669.683.684.6
5085.695.295.482.483.886.8

表 2:固定 5000 次策略更新时,演示数量对 LIBERO Goal 与 Long 成功率的影响,单位为百分比。2B 与 32B 指 Cosmos-Reason2 系列。

少样本表中,五条演示时 ScaleVLA 在 Goal 上几乎把 2B 的 39.4% 翻倍到 77.4%,在 Long 上从 24.0% 提高到 62.2%。十条演示的 ScaleVLA 已达到 87.8%,超过同一实验设置下使用五十条演示的 2B 策略 85.6%。这支持“前沿预训练特征降低机器人监督需求”的解释。数据增加到五十条后,Goal 的差距缩小,ScaleVLA 甚至略低于 32B 的 95.2%,说明固定更新预算下的少样本优势不等同于收敛后的极限性能。

RoboCasa 的结果对大模型更有利。Gen-30 设置下 ScaleVLA 为 30.7%,小模型范围为 22.4% 至 25.6%;Gen-100 设置下为 54.9%,小模型范围为 42.8% 至 45.6%。当生成演示从三十条增加到一百条时,领先幅度从约五分扩大到约九分,说明前沿特征和更多机器人经验可以叠加,而不是只能互相替代。DexJoCo 的双臂任务又提供了另一条证据:在五个任务联合训练时,ScaleVLA 的物体随机化平均成绩为 42.1%,完整随机化为 24.4%,均高于小型主干。

模型或设置RoboCasa Gen-30RoboCasa Gen-100DexJoCo 物体随机化DexJoCo 完整随机化
小型主干最佳25.645.638.122.1
ScaleVLA 552B30.754.942.124.4

表 3:RoboCasa 与 DexJoCo 的关键平均成功率,单位为百分比。DexJoCo 每项设置都在五个双臂任务上联合训练一个策略。

RoboCasa 与 LIBERO-PRO 的对比还揭示出一个适用范围。ScaleVLA 在 RoboCasa 的差距没有像 LIBERO-PRO 那样大,而 DexJoCo 完整随机化只比小型最佳主干高 2.3 分。任务结构、动作空间、相机视角和演示生成方式都会改变前沿表示的价值。作者没有把这些差异掩盖成单一平均值,而是强调收益取决于数据稀缺、分布偏移和接触精度。

LIBERO、RoboCasa、DexJoCo 与 LIBERO-PRO 任务示例

图 3:论文使用的仿真任务。上排分别为 LIBERO 与 DexJoCo,中排为 RoboCasa,下排展示 LIBERO-PRO 的目标、物体和环境扰动。

延迟、硬件与真实机器人

参数规模并不等于成比例的计算量。ScaleVLA 的总参数是 Cosmos-Reason2-2B 的 276 倍,但在 RoboCasa 上的中位动作块延迟为 215.8 毫秒,而后者为 114.7 毫秒,只增加到约 1.9 倍。原因是混合专家主干每个 token 只激活部分专家,而且每个动作块只执行一次因果编码器。四步流匹配都复用同一组特征,动作头本身的耗时又固定在约 70 毫秒。

系统GPU 数主干耗时动作头耗时总中位延迟真实机器人成功率
Cosmos-Reason2-2B + Action Head144.7 ms67.1 ms114.7 ms4/10 域内;5/15 域外
PI0.5 + Action Head1未单列未单列262 ms8/10 域内;7/15 域外
ScaleVLA 552B4140.7 ms72.1 ms215.8 ms9/10 域内;8/15 域外

表 4:RoboCasa 延迟与 Plug In Charger 真实机器人结果。延迟为主干、特征适配、四步动作头推理、状态动作处理和网络往返的端到端测量;真实机器人客户端的中位往返延迟为 384 毫秒。

真实机器人任务要求右臂抓起手机充电器并交给左臂,左臂再把插头对准插排、插入并释放。训练数据包含 171 个完整遥操作演示和 132 个插入片段,共 303 个回合、约 52 万帧。每个策略执行十次域内测试和十五次域外测试,域外条件包括把充电器移动最多约 16 厘米、旋转约 30 度,或把插排移动约 10 厘米。

ScaleVLA 在域内成功 9/10,域外成功 8/15。Cosmos-Reason2-2B 为 4/10 与 5/15,经过机器人数据预训练的 PI0.5 动作头为 8/10 与 7/15。差距集中在接触敏感的插入阶段:三种成功策略到达插入阶段的时刻相近,但 ScaleVLA 的插入中位时间为 58.1 秒,PI0.5 为 81.2 秒,2B 为 85.9 秒。最终成功回合的总完成时间分别为 114.4 秒、132.0 秒与 147.1 秒。

这组结果有一个容易被忽略的反直觉点:ScaleVLA 的每动作块推理最慢,却完成了最快的中位任务。动作块延迟决定策略接收新观测的速度,但任务总时间还受轨迹质量、无效调整、接触对齐和失败重试影响。若大模型直接产生更少的来回修正,多出的数十毫秒推理可能被后续几十秒的执行节省抵消。论文因此主张同时报告块延迟与任务级完成时间,不能只用一个指标判断部署效率。

真实双臂机器人插充电器任务与成功率

图 4:ARX X5 双臂机器人的 Plug In Charger 任务。三种策略共享数据、动作头结构和训练预算;ScaleVLA 在域内与域外设置中成功率最高,并在成功回合里更快完成插入。

如何理解这条“扩展”结论

论文最重要的论证不是“552B 在所有任务上都更好”,而是“前沿预训练特征在缺乏机器人监督时更有价值”。当演示很少,动作头必须从有限轨迹中推断视觉状态与动作之间的映射;若主干已经包含丰富的物体、空间关系和任务语义,动作头可以把学习重点放在控制上。十条演示的 ScaleVLA 超过五十条演示的 2B 策略,是这一解释最直接的证据。

分布偏移下的结果也支持同一逻辑。LIBERO-PRO 的目标扰动要求模型理解物体与指令的关系,而不是记住固定的像素路径。真实机器人的充电器移位、旋转和插排位移要求策略在接触前重新估计空间关系。ScaleVLA 的优势集中在这类场景,说明冻结特征并非只是增加了容量,而是提供了更可迁移的视觉语义。

但不同密集主干家族并没有表现出严格单调的缩放。Qwen3-VL-32B 在 LIBERO 平均分上低于 Cosmos-Reason2-32B,DexJoCo 完整随机化中 ScaleVLA 也只比小型最佳主干高 2.3 分。总参数、激活参数、预训练语料、视觉编码器、语言层数和读出层位置一起变化,因此实验能比较“候选主干组合”,却不能把提升唯一归因于参数数量。论文最终使用的是“前沿表示”而非“参数缩放定律”这一更谨慎的表述。

局限与适用边界

论文附录明确说明,每个策略只使用一个训练种子,评估回合虽然覆盖多个初始状态和域外条件,但训练侧的随机波动没有被重复种子量化。对于只差几个百分点的 RoboCasa Gen-30 与 DexJoCo 完整随机化结果,单种子证据不足以判断随机初始化、数据顺序或优化噪声是否改变了排序。它是研究方向的强信号,不是稳健的生产选型表。

比较跨越不同模型家族,架构与预训练数据同时改变。即使动作头、演示和优化步数固定,主干输入 token 数、视觉分辨率、读出层相对深度和混合专家路由也可能不同。论文为较小的多层主干采用相对深度规则,ScaleVLA 则读取第二十层编码器边界,这些选择是合理的工程控制,却仍使“参数数量”成为复合变量。作者在附录中也提醒,同一训练配方可能对不同主干有不同的适配程度。

少样本实验固定为 5000 次策略更新,并保留全量训练数据计算出的归一化统计量。报告中的演示条数表示用于策略更新的轨迹,不是预处理阶段完全未见过的信息。附录的额外实验显示,五条演示下小型主干继续训练到更多步数仍能提升,而 ScaleVLA 在 Goal 上较早安顿。因此,“十条胜过五十条”描述的是固定更新预算下的效率,不应改写成所有训练预算下的最终性能。

部署成本同样没有被平均成功率掩盖。ScaleVLA 的四张 H200 推理配置明显高于单卡小模型,真实机器人每个动作块的中位往返延迟为 384 毫秒。论文只测量了一个真实任务,虽然任务包含抓取、双手交接和接触插入,仍不能代表多任务家庭环境、移动操作或长时自治。域外充电器插入也只成功 8/15,说明空间偏移下的精细对准仍有大量失败。

从独立分析角度看,5520 亿是混合专家的总参数,不是每个 token 的激活参数。将论文标题中的“552B”直接解释成每次推理都运行完整 5520 亿参数网络,会高估计算量并误解稀疏架构的意义。反过来,也不能因为延迟只增加约两倍,就认为部署成本可以忽略;四卡并行、模型加载、显存占用、服务复杂度和批处理调度都没有被单一延迟数字覆盖。

动作头的架构固定为 GR00T N1.7 风格,能够提供较好的受控比较,却也意味着结论依赖于这一组特征适配器、三十二层 DiT 和流匹配配方。其他动作表示、离散动作 token 或更大规模机器人预训练可能改变主干排序。未来工作需要多个训练种子、更多真实任务、跨 embodiment 的联合评估,以及激活参数量、输入 token 数和并行策略解耦的延迟分析。

结论

ScaleVLA 证明前沿视觉语言模型可以绕过文本推理,直接作为机器人策略的冻结表征源。二十层因果编码器保留空间与语言 token,低秩映射把 5120 维特征送入动作 DiT,四步流匹配生成连续动作块。LIBERO 平均 96.1%、LIBERO-PRO 平均 45.1%、RoboCasa Gen-100 54.9%、真实机器人域内 9/10,这些结果集中支持一个判断:当机器人数据稀缺、测试分布偏移或接触对准要求较高时,前沿预训练表示比常规小主干更有价值。

这项工作没有给出“把参数继续放大就能持续提高成功率”的定律。它给出的是一个更具体的工程路径:冻结大规模稀疏视觉语言主干,只运行必要编码层,把逐 token 特征交给可训练动作头,并用异步动作块降低推理与执行之间的耦合。成本仍然真实,泛化仍然不完整,但前沿模型与连续控制之间的接口已经从一个概念验证变成了可量化的系统方案。

前沿模型真正稀缺的不是参数,而是它在陌生场景中仍能保留的空间理解;ScaleVLA 把这些理解接到动作上,也把多卡成本、单种子证据和尚未解决的接触失败一并摆在台面上。

相关论文

仿真训练推理模型原生使用真实机器人

仿真训练推理模型原生使用真实机器人

本文仅用仿真强化学习训练 27B 机器人使用推理模型,直接预测末端位姿;LIBERO 成功率由 1.6% 升至 74.4%,真实双臂机器人达 60%。

Jiaming Tang, Zhuoyang Zhang, Junxian Guo · 222次阅读 · 2026年11月13日
Robot-Use Agents强化学习
2026年11月13日
从第一人称人类视频到机器人操作:具身智能时代的经验迁移综述

从第一人称人类视频到机器人操作:具身智能时代的经验迁移综述

第一人称人类视频记录了近距离手物交互、操作时序与日常任务结构,为机器人操作提供了可扩展的经验来源,但缺少机器人动作标签,并存在形态、视角与动作空间差异。本文把从这类视频学习或适配机器人操作策略定义为 Ego2Robot 学习,归纳为显式具身迁移、显式动作与任务监督、第一人称视频表征预训练、潜动作与动力学建模四类范式;随后梳理人类视频、机器人演示及合成或仿真数据,并以保留的交互信息和目标机器人可执行性为分析主线,讨论物理可行性、智能体协同、上下文适应、受控评测与闭环控制等开放问题。

Yi Wang, Jingqiu Wu, Lei Yao · 236次阅读 · 2026年11月10日
Egocentric Video机器人操控
2026年11月10日
AIRoA-0:从手持示范学习跨本体长程精细操作

AIRoA-0:从手持示范学习跨本体长程精细操作

AIRoA-0 用 1.6 万小时双手手持夹爪示范训练 VLA,结合锚定动作、视觉预算与阶段预测,让同一组权重在四类机器人上完成十项任务,平均成功率 78%。

Yueh-Hua Wu, Kei Ota, Hanlong Li · 311次阅读 · 2026年11月2日
Bimanual ManipulationHandheld Demonstrations
2026年11月2日
UniWAM:统一世界动作模型

UniWAM:统一世界动作模型

视觉语言动作模型继承了预训练视觉语言模型的语义理解与推理能力,但仅以动作监督难以学习世界动力学;世界动作模型虽能从视频生成模型获得时空先验,却在分布偏移下暴露出语义理解和推理不足。UniWAM 将物理推理器、世界生成器与动作预测器统一在同一混合 Transformer 架构中,通过联合多模态注意力同时学习物理语义理解、未来视觉生成和连续动作预测。训练端,作者把低层动作改写成自然语言,并将视觉问答、第一视角人类视频和机器人示范分配给相应专家;同时建立严格的数据清洗与人类视频自动分段标注流程。后训练阶段,未来帧噪声增强降低动作专家对精确未来画面的依赖,以动作历史初始化流匹配则减少去噪步数并保持性能。实验覆盖 LIBERO、RoboTwin 2.0、LIBERO-Plus、真实双臂任务和长程桌面整理,并在数据规模实验中观察到近似对数的机器人—人类联合训练缩放规律。

Wenxuan Song, Jiayi Chen, Jingbo Wang · 256次阅读 · 2026年10月1日
世界动作模型视觉语言动作模型
2026年10月1日

本站含 CakeGrowth 联盟推广链接,我们可能从符合条件的购买中获得佣金。