#流匹配 (28)

图像生成设计与前端梯顶C

FLUX:把图像生成从「出图」推进到「可控编辑 + 开放权重」的那条主线

Black Forest Labs 的 FLUX 家族用整流流(rectified flow)Transformer 做图像生成,并放出 Apache-2.0 的 dev 档权重,是开源侧最重要的图像基线;Kontext 一档把「按指令改这张图的局部而不动其余」做成了可用能力。采集库里另有 FLUX 3 的发布记录,厂商把它定位成统一图像/视频/音频的世界模型,这一主张记为待核验。

Apache-2.0开放权重档位(dev)厂商宣称 · 2024-08

产品Black Forest Labs官网 Repo

R²-WAM：世界动作模型需要怎样的视觉表征

世界动作模型（WAM）的视觉底座继承自为像素重建训练的视频 VAE，缺的正是操作所需的语义、空间与接触信息。本文把同一个 Wan2.2 双专家骨架与同一套训练协议固定下来，在 LIBERO-Plus 上受控比较 13 种冻结视觉表征、5 种特征注入机制与多种特征组合，得到三条结论：通用表征优于专用表征（平均总体成功率 82.2 对 80.0），视角/背景/噪声每一类扰动的最佳均值都来自通用源；通道级联合预测最强（13 源平均 81.5，领先次优机制 5.1 个点），收益主要来自"预测未来特征"而非"条件于当前帧"；追加表征源只在互补时有效，最大额外增益仅 3.7 个点，师生同场（C-RADIOv4 + DINOv3）反而掉到 78.6。据此固化的 R²-WAM（DINOv3 + UniTok + V-JEPA 2.1，通道级拼接）在 RoboCasa GR1 Tabletop 达 84.7%（+5.9）、RoboTwin 2.0 达 92.8%（+2.2），Galbot G1 真机四任务各提升约 10 个点。

Kai Liu, Jiangran Lyu, Tingyu Deng · 34次阅读 · 2026年10月9日

世界动作模型Visual Representation机器人操控2026年10月9日

BRACE：面向力觉与地形感知的人形机器人全身参考自适应运动跟踪

全身运动跟踪已经成为操作员驱动人形机器人的标准接口，但它消费的参考轨迹都是在平地上、空手状态下录制的：跟踪器既不知道机器人要与物体交换多大的力，也不知道自己站在什么地面上。已有控制器只解决其中一侧——具备力控能力的策略只给末端执行器一个力指令而不规定全身姿态，地形自适应跟踪器则把负载当成需要抑制的扰动，而不是需要主动施加的力旋量。BRACE 选择改写参考本身：地形贴合把落脚点与根部抬到局部地表，力旋量变换则解算出产生指定手力所需的手部位移，以及它连带引起的质心与压力中心偏移，并受教师专属的手臂力矩预算约束。施加与抵抗两个特权教师分别训练，再由 DAgger 蒸馏进同一个流匹配学生，学生只依赖本体感知，不需要高度图也不需要实测力旋量。在 Unitree G1 的仿真与真机实验中，BRACE 能在斜坡上跟踪平地参考的同时施力或抗力，全局跟踪误差平均降低 40%，成功率平均提升 18.25 个百分点。

Sudarshan Harithas, Chen Yu, Juan Borbon · 40次阅读 · 2026年10月5日

人形机器人全身控制力控2026年10月5日

TacitVLA：不留推理延迟的推理型VLA

TacitVLA 让动作专家从不关注本次生成的推理文本：训练阶段仍用推理监督塑造骨干表征，部署阶段把记忆台账的生成挪进动作执行窗口。四个基准上与显式推理精度相当而单次调用延迟最多降 3.4 倍，RoboMME 计数 82.7%、RMBench 77.5% 均超过已发表最好成绩。

Jack Lu, Yurong You, Boyi Li · 58次阅读 · 2026年10月13日

视觉语言动作模型具身推理操作2026年10月13日

VioLA：用人类数据学通用人形控制策略

VioLA 把人形通才策略的预测目标从关节指令换成身体与手部运动隐码，冻结的控制器负责执行，人类与机器人演示因此共用同一个动作空间；1.406 亿帧训练数据里 93.2% 来自人类，真机 G1 零样本运动成功率 100%、操作 88.6%。

Mert Albaba, Jens Beißwenger, Anna Manasyan · 189次阅读 · 2026年10月8日

人形机器人视觉语言动作模型全身控制2026年10月8日

0:06

QF3：流策略的 off-policy 强化学习

@robotsdigest · 105次播放 · 2026-10-11

QF3流匹配Off-Policy RL

VLAct：表示中心的VLA继续预训练

VLAct 将 VLA 继续预训练重新定义为表示学习：以 Qwen3-VL-4B 为基座，在 DROID、InternA1、RoboCoin、MolmoAct 等全开源多本体机器人数据上继续预训练，用冻结视觉编码器与下半 LLM 的浅层保护加字幕混合保留 VLM 先验，用 OFT、PI、GR00T 三个连续动作头协同监督避免表示坍缩到单一扫码几何，并以 20 维部分统一动作空间（共享夹爪维、掩码非活跃维）与周期关节 wrap-aware 损失对齐跨本体动作语义。预训练组件在微调时全部丢弃、只留骨干。固定下游微调协议下，LIBERO-Plus 达 82.6%、VLA-Arena 54.8%、RoboTwin 2.0 达 92.5%、DOMINO 成功率 18.50，真机单臂与双臂全面超过未预训练基线；RoboCasa-GR1 人形本体仅用 20% 下游数据即超过全数据 GR00T-N1.6。全部结果仅用开源数据与 16 卡训练取得。

Senqiao Yang, Chengyao Wang, Yuxin Chen · 240次阅读 · 2026年8月27日

视觉语言动作模型Continued Pre-training跨本体2026年8月27日

EgoLAP：通过语言-动作推理从第一视角人类数据中学习

第一视角人类视频规模大、行为多样，但人手与机械臂之间的具身差异使原始人类轨迹难以直接作为机器人控制的监督信号。EgoLAP 的核心主张是：低层动作是具身特定的，但其背后的运动意图可以跨人类与机器人迁移。框架把运动意图写成两种共享的文本目标——用结构化、时间抽象的自然语言动作（language action）概括一秒内位姿与夹爪的变化，用运动级推理（motion-level reasoning）给出接触、几何与物体 affordance 层面的物理依据，二者串成一条人-机共享的语言动作思维链。模型以 PaliGemma-2B 为 VLM 主干，配一个 3 亿参数、从零初始化的动作专家，经流匹配预测连续动作块；文本目标只监督主干（知识隔离），推理期仅 rollout 动作专家、不生成任何文本，因而不牺牲实时控制。在约 1 万小时人-机混合数据（ABC、EgoVerse、OXE 等）上预训练后，EgoLAP 在定制双臂真机上取得 80.1% 的平均任务进度，比 FAST、OAT 等动作表示高 2.3 倍；在零样本双臂仿真上达 38.3%，比直接用同域真机数据训练的 ABC-VLA 高 1.8 倍。运动级推理与语言动作强协同（真机 +35.6 点），而对非语言 token 几乎无益；跨 embodiment 技能检索最多提升 25 点，表明共享文本目标重塑了表征几何。

Lihan Zha, Shresth Grover, Tenny Yin · 302次阅读 · 2026年10月6日

视觉语言动作模型操作Egocentric Vision2026年10月6日

高效世界动作模型：1B 参数下的低成本未来想象

1B 参数世界动作模型，以紧凑视频专家、低分辨率未来潜变量与非对称去噪压低未来想象成本，真机每块 98 ms，成功率与 Motus 相当。

Jiajun Li, Tiecheng Guo, Yifan Ye · 206次阅读 · 2026年6月8日

世界动作模型机器人操控流匹配2026年6月8日

WB-WAM：清华叉院把全身动作监督塞进视频预训练，人形数据效率提升 3 倍

清华交叉信息研究院、雄安人工智能研究院与墨尔本大学（Hang Zhao 组）提出 WB-WAM：72 维共享物理动作空间（身体 29 + 根部 3 + 双灵巧手 20+20）把 1,880.2 小时九源异构视频/动捕数据的部分标注统一进掩码流匹配的生成式视频预训练，再经 PICO 第一人称演示中间训练（22h/73 任务，GMR 重定向+约束 IK+MINT）与带前向运动学损失的真机后训练落到宇树 G1 + Wuji 灵巧手。仿真 HumanoidArena 七任务全胜（81.9%）；真机五任务 84.0% 超 OpenWAM 的 80.0%（ACT 仅 20%、Fast-WAM 仅 6%）；PICO 中间训练让 30 条真机演示达 73.8%，超过 100 条直训的 65.0%——真机数据省 70%。

Chuan Qin, Shaoting Zhu, Siyuan Luo · 809次阅读 · 2026年9月28日

WAM世界动作模型人形机器人2026年9月28日

生成、跟踪、改进：用 RL 微调运动生成器实现感知的多技能人形机器人运动

通用人形机器人需要的运动控制器必须同时具备多技能、感知、动态与足够的鲁棒性，才能去到人能去的地方。本文提出一个两层运动架构：（1）一个感知的流匹配运动生成器，从原始深度图规划全身轨迹；（2）一个用控制引导强化学习（CLF-RL）训练的感知跟踪策略，负责实时跟上这些动作。两张策略都训练在一个由动力学优化后的人体数据构建的、与地形一致的运动片段库上，因此既有准确的速度跟踪，又有与地形一致的参考。核心贡献是一个简单而有效的离线（off-policy）RL 微调环，用来改进运动生成器：配合生成器使用一种结构化搜索方法采数据，再做优势加权回归。这个离线环比在线的残差微调样本效率高得多，并且在没见过的几何与技能组合上提升了地形一致性——成功通过地形的比例最高提升 25 个百分点，技能选择最高提升 80 个百分点。因为直接用原始深度图感知环境，不需要里程计与高度图，室外部署很轻松；两个相机让策略能更早看到地形，无论指令速度是多少都能自主调速以通过地形。同一对策略让一台 Unitree G1 人形机器人在室外环境中行走、奔跑、站立、跳上跳下箱子并上下楼梯。项目主页：https://zolkin1.github.io/generate-track-improve/

Zachary Olkin, William D. Compton, Aaron D. Ames · 661次阅读 · 2026年9月25日

Humanoid LocomotionPerceptive Locomotion强化学习2026年9月25日

MachEmbodied-U0：理想汽车的统一理解-生成具身基础模型

理想汽车 Foundation Model 团队提出 MachEmbodied-U0（ME-U0），一个把理解与生成专家统一进 Mixture-of-Transformers 架构的具身基础模型。理解专家以自回归文本生成输出子任务描述与可供性定位（含边界框、交互方式与交互点）；生成专家用 flow matching 联合去噪未来视觉动力学（RGB、深度、表面法线、光流）与连续机器人动作，四种视觉模态共享同一个视频 VAE 隐空间与生成骨干，无需分模态预测头。Multi-rate Rotary Position Encoding（MRPE）解决动作比视频密三倍带来的时间对齐问题：保留视频隐帧的共享时间位置，给块内每个动作按次序分配不同的高度轴索引，配合 H_a = 3(H_v - 1) 的采样规则，形成每视频隐步对应 12 个动作步的一致跨模态时间结构。数据侧从约 5,700 小时机器人示范加 3,920 小时第一人称示范中精选出约 4,200 小时，覆盖四个开源数据集与六种本体（AgiBot G1 占 52.8%）；三阶段清洗依次做突变检测、状态-动作一致性检查与物理边界检查；Ego2Robot 合成流水线用 Depth Anything 3、SAM3、ProPainter、SAM3D、两阶段 PPO 与 MuJoCo/Mink 逆运动学把人类示范转为机器人对齐的观测与轨迹标注。实验在下游不补任何子任务、可供性、几何与运动标注的前提下取得 RoboDojo 17.66 分（WAM 组最强，精度 23.95、长程 36.98 领先最明显）、LIBERO 99.0%、LIBERO-Plus 82.5%，并保留零样本的子任务预测、可供性接地与视觉动力学能力。作者诚实指出记忆类任务最弱（Score 8.42），因模型不显式保留观测历史。

Wen, Haoran, Wang, Wenfu, Shi, Kunsong · 913次阅读 · 2026年9月22日

MachEmbodiedME-U0理想汽车2026年9月22日

WholeBodyWAM：以全身控制器接地协调，把预训练世界-动作先验泛化到人形移动操作

WholeBodyWAM 保留 14B 预训练视频世界-动作模型的世界-动作先验，只通过统一全身控制器（UWBC）56 维命令接口接地异构 WBC 语义，再用协调感知自注意力（CASA）让操作流按任务方向与可操作度门控去驱动全身控制流，并以结构化动作因子化（SAF）把两条流分开寻址。1.5 万条 SIMPLE 演示 + LoRA（r=4）微调 5 万步后，仿真整体任务成功率 91.9%；跨 SONIC/AMO/GEAR 三个 WBC 均值 89.2%、方差 10.5 pp²（Cosmos-3 为 80.2%/35.0），真机分布内 81.3% 对最强基线 57.5%、分布外任务进度提升 0.23。

Li, Zhuo, Yao, Yiming, Tan, Jim · 794次阅读 · 2026年9月15日

世界动作模型人形机器人移动操作2026年9月15日

记忆即计划：基于记忆锚定规划的世界-动作建模

主流机器人策略把动作预测写成马尔可夫形式，只看当前观测或固定短窗口，但长时程操作往往是非马尔可夫的：决策所需的信息早已离开视野。MaP-WAM 提出「记忆即计划」：已完成的片段被记为「语言指令 + 稀疏视觉上下文」的结构化多模态情景记录（每段均匀采样 8 帧），规划时由微调的 Qwen3.5-4B 语言规划器给出下一段语言计划，再由基于 WAN-2.2-5B 的因果世界模型从长时视觉上下文生成对应的视觉计划，两者组成记忆锚定计划；执行侧的 World-Action-Progress（WAP）模型用 Mixture-of-Transformers 架构联合预测动作块、未来视觉 latent 与执行进度，进度作为一等模态参与条件与反馈。执行器只以固定长度的计划为前缀，上下文不随历史增长，块因果注意力让规划与执行两侧都可做 KV 缓存；计划-观测对齐用当前观测与视觉计划帧的像素差校准递归进度估计，进度门控（阈值 0.95）触发片段切换并把真实观测重采样写回记忆。RMBench 九个记忆依赖任务平均成功率 83.3%（最强基线 LingBot-VA 为 77.1%），真机 Franka Research 3 两个任务 88% 与 68%、平均 78.0%；1700 帧历史下全上下文执行器显存超 80GB 直接 OOM，而 WAP 保持约 827ms 每动作块的近似恒定延迟。局限：依赖基准自带的片段标注、未做自动分段；计划-观测对齐用免训练的像素差度量，复杂视觉场景下可换学习型相似度。

Sizhe Zhao, Haozhe Xie, Weiyu Zhao · 718次阅读 · 2026年9月10日

世界动作模型Long-Horizon MemoryMemory-Grounded Planning2026年9月10日

IMLE-VLA：用单步条件隐式最大似然估计加速视觉-语言-动作策略

VLA 策略的推理瓶颈不在视觉语言主干，而在动作头：扩散/流匹配头要跑 10 步 Euler 积分才出一个动作块，机器人只能在等待里停-走-停。IMLE-VLA 把 π0.5 的迭代动作头换成单步条件生成器，用条件隐式最大似然估计（cIMLE）训练——每步采 m 个噪声候选，把专家动作只匹配给最近的那一个候选（最近邻分配不回传梯度），其余候选因此可以自由地去覆盖别的模式，天然避免朴素回归头的模式坍缩。改动只限于动作头，3B VLM 主干完全冻结并原样保留，因此推理频率从 15 Hz 提到 55 Hz（3.67×），配合更长执行时域 H 动作吞吐最高 11.0×。LIBERO 40 任务平均成功率 98.0%，是所有对比方法里最高且同时最快；LIBERO-plus 五个等级的测试时扰动下保持 π0.5 的鲁棒性，而 OpenVLA-OFT 等基线急剧退化。真机 Franka Panda 四个任务全部超过 π0.5（19/15、18/15、15/12、16/12，每任务 20 回合），本体感受 jerk 低 2.2×–3.0×，每回合 VLA 前向耗时降 3.9×–6.6×。局限：加大 H 是拿反应性换吞吐；m=1 时退化为条件均值回归；评测集中在 LIBERO 与单臂桌面任务。

Hosseinkhani, Kian, Peng, Qinhe, Shramko, George · 906次阅读 · 2026年9月10日

视觉语言动作模型Efficient InferenceSingle-Step Action Generation2026年9月10日

A4A：从人类演示跨具身迁移面向动作的4D可供性

人类视频里什么信息能真正迁移到机器人控制？A4A 的答案不是静态可供性掩码，而是「面向动作的 4D 可供性」：语言条件下、与交互相关的 3D 点在未来一段时间的运动轨迹。几何依据是短程对应——短时域内交互点运动与末端执行器位移都可由 SE(3) 刚体/准刚体变换近似，是同一次操作转移的两种描述。作者用 HOI4D、EPIC-KITCHENS 与自采 RGB-D 构建超 8 万段语料，经 GroundingDINO + SAM 2 + CoTracker3 + LingBot-Depth 重建保身份 3D 点轨迹。训练分两阶段：先用基座 VLA 的原生目标族预测点运动残差，再把点接口换回机器人本体感受与动作接口，共享隐模块完整保留、不加额外时序网络，因此能同时套到自回归、回归、扩散与两种流匹配五种范式。LIBERO-Object 上五个策略全部提升（Octo 28.2→57.2、OpenVLA 66.4→76.4、π0 77.8→87.8）；RLBench 平均 39.0→61.0，纯 RGB 执行即超过用 3D/4D 观测的 ManiGaussian(51.0)；同架构只换预训练数据的对照实验 41.0→60.0，证明增益来自以交互为中心的监督；真实 Piper 六技能四策略 56.7%→72.5%。局限：大幅非刚性形变、严重滑移与反复接触切换、多圈拧盖类双臂协调。

Yifan Han, Litao Liu, Yuqi Gu · 796次阅读 · 2026年9月5日

视觉语言动作模型Affordance4D Affordance2026年9月5日

EgoWAM：超越像素的世界动作模型

把骨干、动作头与数据配比全部锁死，只换世界模型的预测目标：像素几乎不迁移，DINO 让分布外物体与场景泛化最多提升 4 倍，相机稳定 3D 流让域内提升 20–30%，而推理时世界模型头被整个丢掉，部署成本与行为克隆相同。

Baoyu Li, Xinchen Yin, Mengying Lin · 789次阅读 · 2026年7月8日

世界模型机器人操控模仿学习2026年7月8日

SPARK-VLN：流式潜空间动态视觉语言导航

冻结的 VILA-8B 慢推理器把逐 token 多层隐状态流式汇成 8 个潜槽，实时条件化流匹配快规划器；动态行人导航基准上理想/真实两阶段成功率 41.6%/34.8%，碰撞率最低。

Tianshuai Hu, Yangyi Zhong, Zeying Gong · 608次阅读 · 2026年7月18日

视觉语言导航Social NavigationDual-System2026年7月18日

VLA-Corrector：面向自适应动作视界的轻量级检测与纠正推理

视觉-语言-动作（VLA）基础模型在具身智能上进展显著。为降低策略调用频率并保持时间连贯性，多数生成式策略采用动作块机制，在固定动作视界下以开环方式执行多步未来动作。然而这种先预测后盲目执行的范式牺牲了闭环反应性：在接触丰富的物理交互中，即使微小的局部扰动也会在开环盲区内迅速放大，导致误差复合并最终任务失败。为此本文提出 VLA-Corrector，一个面向动作块 VLA 策略的轻量纠正推理框架。在不修改主干策略权重的前提下，VLA-Corrector 引入轻量潜空间视觉监控器（LVM），持续比较预测与实际的视觉特征演化，实现在线检测视觉动力学偏差；一旦检测到持续偏差，系统触发截断事件、丢弃剩余陈旧动作，并通过在线梯度引导（OGG）发起纠正重规划。该检测-纠正机制自然诱导出事件触发的自适应动作视界：当前动作块可靠时保留长视界执行，执行开始漂移时调用短视界纠正重规划，从而缓解静态视界在执行鲁棒性与策略调用频率之间的权衡。VLA-Corrector 可在不重训 VLA 主干的情况下集成到不同 VLA 模型中，在保留动作块效率收益的同时中断复合误差，显著提升长视界、接触丰富机器人操作任务的鲁棒性。

Yi Pan, Miao Pan, Qi Lu · 580次阅读 · 2026年7月2日

视觉语言动作模型Robotic Manipulation动作分块2026年7月2日

FlashVLA：流式动作解码实现快速异步 VLA 推理

视觉-语言-动作（VLA）模型在机器人操作领域前景广阔，但实际部署受制于高推理延迟与不稳定的异步执行——在基于流匹配（flow-matching）的 VLA 模型中尤为突出：动作解码需要在 VLM 上下文条件下进行多步迭代。高效推理方法能提升控制频率，异步方法能减少执行空等，但现有方案往往无法同时兼顾低延迟推理与精确、时序一致的异步执行。FlashVLA 提出一个统一的流式动作解码框架：维护一个包含多个不同噪声水平动作块的流式缓冲区，并用块级因果注意力（chunk-wise causal attention）解码，每个推理步即可产出一个可执行动作块；块级自回归结构隐式保持动作连续性，无需额外的未来状态条件即可平滑异步执行。大量仿真与真机实验表明，FlashVLA 在保持强任务性能的同时大幅提升推理速度，单 GPU 即可达到 ≥30Hz 控制频率并实现平滑异步真机部署。

Zekai Li, Jiaming Tang, Zhijian Liu · 639次阅读 · 2026年8月27日

视觉语言动作模型流匹配英伟达2026年8月27日

GigaBrain-0.7：用三系统架构扩展具身基础模型的涌现能力

GigaBrain-0.7 统一任务理解、未来预测、价值评估与连续动作控制，在三万七千多小时跨本体具身数据和约2.72亿VLM样本上完成单阶段预训练，并通过仿真与真机经验强化显著提升成功率。

GigaBrain Team, Angen Ye, Axiang Sun · 676次阅读 · 2026年8月16日

视觉语言动作模型GigaBrain流匹配2026年8月16日

DECOWAM：面向腿式移动操作的解耦全身世界-动作模型

DECOWAM 在冻结的 FastWAM 视频-动作主干上，通过未来等价瓶颈、底盘/手臂因子化与自我运动条件三个解耦接口建模腿式移动操作，Stage-2 可训练参数减少 232 倍，真机任务成功率 58.2%。

Siyuan Ma, Boshi Zhang, Yutian Zhang · 703次阅读 · 2026年8月20日

视觉语言动作模型世界模型世界动作模型2026年8月20日

HAF：层级动作流与谱潜空间强化学习将通用VLA适配人形全身运动操作

人形机器人是面向人类环境的通用智能体载体，但通用视觉-语言-动作（VLA）基础模型难以直接用于人形全身运动-操作：全身动作高维且相互耦合，单阶段架构难以协调移动、腰部姿态与双臂操作，纯离线行为克隆策略在真实部署中也往往次优。HAF（Humanoid Adaptation Framework）由两部分组成：HAF-VLA 在预训练 flow-matching VLA 之上把全身动作去噪拆为三个阶段（移动+头→腰→操作），用阶段嵌入与跨阶段 KV 缓存保留运动学依赖；HAF-Steer 在冻结的生成器之上利用流匹配可逆性与 DCT 降维，把 RL 优化限制在紧凑噪声子空间，训练正则化 SAC 策略，实现离线到在线的高效真实世界微调而无需更新大型 VLA 主干。在 7 个真实人形全身运动-操作任务上，HAF 超越单阶段 VLA 基线，显著提升全身协调与任务成功率。

Langzhe Gu, Chengkai Hou, Meng Li · 538次阅读 · 2026年8月17日

视觉语言动作模型人形机器人全身2026年8月17日

VLK：在重建场景中合成人类交互，学习人形机器人移动操作

本文提出视觉-语言-运动学（VLK）框架：在 3D 高斯泼溅重建的真实室内场景中合成导航与物体交互轨迹，并事后渲染第一人称观测，自动生成 4.8 万条视觉-语言-运动学配对数据，训练出预测 Unitree G1 全身运动轨迹的策略，经接触感知全身跟踪器执行，实现 sim-to-real 的感知驱动人形移动操作。

Yen-Jen Wang, Jiaman Li, Sirui Chen · 595次阅读 · 2026年6月29日

人形机器人Loco-manipulation合成数据2026年6月29日

作为亚马逊联盟会员,我们可能从符合条件的购买中获得佣金。