#模仿学习 (36)

PanTact：用可穿戴接触接口教会人形机器人全身灵巧性

PanTact 把接触而不是关节轨迹当作人到机器人的迁移货币。可穿戴贴片由 44×44 mm 的 FSR 模块磁吸拼装，一块 50×50 mm 自研 PCB 以 1 kHz 同读 16 路，走带 CRC 的 RS-485 菊花链，每块贴片挂一个 Vive tracker 把传感器中心定位到世界系，接触状态按每通道自适应基线二值化，阈值 max(0.35β, r_min)。策略以身体遮蔽后的 3D 第一视角点云、双腕图像与本体感知为观测，10 Hz 预测 H=16 的动作块，内含 look-at 点、EEF 位姿与夹爪宽度、逐传感器接触目标（二值状态加 3D 位置）。控制器用软最小邻近距离 d(p,q)（T=0.02 m）把激活接触交给当前最近的机器人表面，并沿按压方向偏移 δ 形成虚拟目标以产生按压力，因此 G1 不装任何触觉传感器也能抱住物体。三种公式化实现各有代价：免训练的上身 IK、由 SONIC 执行稠密参考的 WBIK、PPO 在 4096 个仿真环境训 30k 迭代的稀疏接触跟踪器（50 Hz、29 关节、上身 8 / 全身 16 个接触槽）。29-DoF Unitree G1 实测：Grasp-and-Embrace 85%（上身 IK）与 80%（稀疏），Humanoid UMI 为 0；Sweep-and-Stow 端到端 90.63%，UMI++ 两阶段各 18.75%、端到端 0；Carry-and-Push 90% 对 40%。仿真回放消融显示加入接触目标后三种控制器接触距离都下降，EEF 精度几乎不受损。

Xu, Xiaomeng, Zhang, Han, Ruan, Zhian · 134次阅读 · 2026年10月8日

Whole-Body Manipulation触觉接触丰富操作2026年10月8日

MobileVISTA：生成式数据增强让移动操作扛住 15cm 站位偏差

移动操作策略大多照着一个站位采的示范学出来，部署时底座偏几厘米，第一视角画面和末端轨迹就一起偏，成功率断崖式下滑。MobileVISTA 不重采数据，而是把已有示范「搬」到新站位。视觉侧先按 (r,θ)~(√u·15cm, 2πv) 采样盘面偏移与 ±5° 偏航，用天空盒掩码（仿真里 GR-1 标红、Franka 标黄；真机走 URDF 深度阈值 0.995 再膨胀 5px）把机器人抠掉，Open3D 反投影成点云、按相机外参升到世界系平移 Δp，再用重定向动作正运动学算出的新外参重投影，被遮挡的洞交给 E2FGVI 补，最后把机器人渲到新位置合成回去（仿真 512×512，真机 6× 上采样）。动作侧是闭式变换：p'_t=T⁻¹[p_t;1]、R'_t=R_inv_yaw·R(r_t)、夹爪原样透传，双臂绕中点偏航，再用 mink IK（FrameTask 1.0/1.0、PostureTask 1e-5、≤20 步）解回关节。数据量仿真 1:1（200→200）、真机 1:10（50→500）。GR-1 的 Can Sort 在 r=15cm 从微调 π0.5 的 0.320 提到 0.527，Pouring 0.460 对 0.013；双臂 Franka 的 Box 从基线最高的 0.087（DP3）提到 0.247，Drawer 0.413 反而高过仿真 oracle 的 0.393。真机 Book Stacking 随机站位抓到 17/25、放上书堆 13/25，三个基线只有 1-2/25。消融指向关键在「机器人几何随站位变」：只做动作变换几乎无增益（0.00-0.11），固定机器人几何会丢掉 Pouring +0.47、Can Sort +0.28、Box +0.24。补图质量 PSNR 也压过 GEN3C（Can Sort 25.02 对 16.29 dB），单帧耗时 2.39-4.31 分钟（L40S）对 GEN3C 的 13.65-16.85 分钟（H200）。

Wistreich, Suzannah, Tian, Stephen, Huang, Isabella · 141次阅读 · 2026年10月5日

移动操作Data Augmentation模仿学习2026年10月5日

RoboPrompt：用稀疏人类输入直觉式引导机器人策略

模仿学习训练的端到端机器人策略受限于数据多样性，零样本部署常常失败；遥操作纠正依赖专用硬件与熟练操作员，而把人类指导作为策略额外输入的方法又需要修改架构并专门训练可引导性。RoboPrompt 提出一个通用、轻量的机器人策略引导系统：用户只需用画出的轨迹、目标点或粗方向指令等稀疏输入，就能在线纠正策略行为。系统用一个 0.77B 参数的 VLA（Evo-1）作为人类意图翻译器，把稀疏提示转换为时空完整的动作草稿，再借助基策略（Diffusion Policy、π0.5、FastWAM）自身的扩散/流匹配去噪动力学，在噪声空间中平衡人类意图与策略先验，无需改动基策略架构或为可引导性微调。真机实验中三种策略的提示对齐率达 99.44%、97.1%、100.0%；将引导 rollout 用于 DAgger 在线改进，2–3 轮后 π0.5 三个任务平均成功率提升 15.5%，三个策略在 Insert Bread 上提升 21.3%，人工干预次数分别下降 44.0%（2.86→1.60）与 81.9%（2.60→0.47）。

Yanwen Zou, Chenyang Shi, Guoxuan Xu · 278次阅读 · 2026年10月7日

操作模仿学习扩散策略2026年10月7日

2:57

BeyondRetarget：从单目视频直接学习人形机器人可执行动作

南京大学团队（arXiv:2609.29850）把「先估人体动作再重定向」的两阶段管线整个丢掉：不经过 SMPL 显式表示，直接从单目 RGB 视频学习机器人导向的隐式共享运动表征，经机器人专属解码头输出目标人形的完整动作。三项关键设计：① 解码器围绕可学习的机器人名义态做残差参数化，新机器人只重训 DoF 与根部朝向分支，单卡约 1 小时适配一台新本体；② 用逐连杆非均匀缩放把 SMPL 标注解析对齐到机器人骨架比例，人的动作直接监督机器人，无需任何原生机器人轨迹，外加 18 共享关键点 + 有向语义连杆两级监督；③ 接触预测器 + 「接触但移动 vs 支撑」两级门控触发根部高度/水平修正与下肢 IK，支撑脚零滑动。结果：G1 上 MAMPJPE 26.36mm、Fail65/Fail100 双零、Mujoco 执行成功率 95.86%，且姿态误差低于喂 SMPL 真值的 Oracle 重定向（重定向误差存在的直接证据）；八种人形（G1/R1/H1/GR1-T1/GR2-V3/T1/Tienkung/Atlas）MAMPJPE 全部 26.36–72.05mm；端到端延迟 192.8ms（两阶段约 1.3s），支持单目视觉实时遥操作。代码开源 bear-ty/BeyondRetarget。

Tianyu Xiong, Yi Lu, Jinrui Wang · 708次阅读 · 2026年9月24日

人形机器人运动重定向模仿学习2026年9月24日

0:28

Awesome-UMI 新增 9 个设备项目

@ArataHorie · 914次播放 · 2026-09-26

机器人技术模仿学习数据采集

0:43

PPS：机器人策略的推理时残差引导

@LeoKharon · 576次播放 · 2026-09-26

Proxy Policy SteeringRobot Policy Adaptation扩散策略

1:02

GLIDE:用护栏学会人类示范不了的任务

@stepjamUK · 760次播放 · 2026-09-23

遥操作Guardrail模仿学习

HIL-UMI：把 VLA 人在环后训练搬离机器人本体

HIL-UMI 用手持 UMI 夹爪做人机在环 VLA 后训练：人在演示时，同一观测流上并行跑当前策略但不执行其预测，用 Energy Score 比较人类动作块与策略动作分布，超阈值即判为分布外（OOD）并触发定点采集；另一条回路上，在线优势预测偏低的片段被收来重训基于任务进度的优势估计器，再由它给数据打二元优势标签做优势条件行为克隆（ACBC）。四个真机任务上持续优于 SFT，Stack Cube 三轮后 TPS 84→100；对比真机 HG-DAgger，Clean Up Table 每帧采集时间 73.40ms 对 412.99ms，快 5.63 倍且末轮 TPS 高约 5 分。

Han, Zimu, Zeng, Yiming, Zhang, Jiyao · 1026次阅读 · 2026年9月17日

视觉语言动作模型Human-in-the-Loop后训练2026年9月17日