DexPoint: 通用点云灵巧操作策略

DexPoint 基于点云表示实现通用灵巧操作策略，无需物体 CAD 模型即可操作多样物体，展现良好的 sim-to-real 迁移。

灵巧手点云操作仿真到现实开源

原始链接

https://arxiv.org/abs/2211.09423

相关论文

时序视触觉学习：抬起前预判灵巧抓取稳定性

机器人抓取研究大多用视觉选位姿、配平行夹爪，而人是靠指尖触觉几乎不失手。TU Dresden LASR Lab 把问题改成「抬起之前这只多指手抓稳了没」：7 自由度 xArm7 + 16 自由度 Tilburg Hand，四指尖各嵌一颗 Digit 360，用 200 个物体（刚性 105、可形变 95）自动采集 10000 次抓取，全程录外部 RGB-D、本体感知与四路触觉（相机/音频/IMU/气压），SAM 3 检测抬起后物体高度自动打标（与人工核验一致率 92.34%）。模型是以抓取起始为锚点的 3 秒观测窗：16 帧 RGB 与触觉图像走 VideoMAEv2-Base，本体感知 100 步、音频等 224 步走 Transformer，四指触觉先跨模态融合再跨时间跨手指分解注意力，最后注意力融合输出稳定概率。5 折物体不相交验证下视觉+本体+触觉 83.55%，去掉触觉掉到 79.56%；触觉分辨率 1x1→112x112 准确率 79.40%→83.55%；把触觉冻结成最后一帧掉 2.07 个百分点。真机上把它当在线门控（阈值 0.95，最多重抓 5 次），20 个训练集外物体上执行抬起的成功率 82.0%，比无触觉门控高 10.5 个百分点。约 1.2TB 数据集已在 OPARA 公开。

Ken Nakahara, Aleksei Buvailik, Prokhor Kotov · 358次阅读 · 2026年10月7日

灵巧操作触觉Visuo-Tactile2026年10月7日

WB-WAM：清华叉院把全身动作监督塞进视频预训练，人形数据效率提升 3 倍

清华交叉信息研究院、雄安人工智能研究院与墨尔本大学（Hang Zhao 组）提出 WB-WAM：72 维共享物理动作空间（身体 29 + 根部 3 + 双灵巧手 20+20）把 1,880.2 小时九源异构视频/动捕数据的部分标注统一进掩码流匹配的生成式视频预训练，再经 PICO 第一人称演示中间训练（22h/73 任务，GMR 重定向+约束 IK+MINT）与带前向运动学损失的真机后训练落到宇树 G1 + Wuji 灵巧手。仿真 HumanoidArena 七任务全胜（81.9%）；真机五任务 84.0% 超 OpenWAM 的 80.0%（ACT 仅 20%、Fast-WAM 仅 6%）；PICO 中间训练让 30 条真机演示达 73.8%，超过 100 条直训的 65.0%——真机数据省 70%。

Chuan Qin, Shaoting Zhu, Siyuan Luo · 810次阅读 · 2026年9月28日

WAM世界动作模型人形机器人2026年9月28日

在仿真中预训练视觉灵巧操作

SPD 让操作员在 VR 头显中直接操控虚拟物体，一周内在 MuJoCo 仿真里采集 75 小时同 embodiment 灵巧操作数据，用流匹配预训练扩散 Transformer；在 56 自由度双臂灵巧平台上仅用 1-2 小时真实示教微调，五项双手任务全面超越从零训练的行为克隆，且历史条件化加短动作块配置从预训练中获益最大。

Sarthak Kamat, Adam Rashid, Satvik Sharma · 602次阅读 · 2026年8月16日

仿真到现实灵巧操作灵巧手2026年8月16日

VTAP夹爪:协同指尖传感与视觉触觉主动掌面实现灵巧手内操作

VTAP夹爪将指尖触觉传感与视觉触觉主动掌面协同,实现灵巧的手内操作,融合感知与主动控制。

Yuhao Zhou, Sheeraz Athar, Zhixian Hu · 357次阅读 · 2026年7月16日

灵巧手触觉手内操作2026年7月16日

作为亚马逊联盟会员,我们可能从符合条件的购买中获得佣金。