#Sim-to-Real Transfer (1)

迈向人类级灵巧遥操作：手-物共跟踪控制器 TeleDexter

人手能在单手内连续完成平移、重定向与指步等接触转换，而现有灵巧遥操作要么只做运动学重定向、忽略接触力与物体惯性，要么依赖生成式动作先验、在闭环中累积漂移。TeleDexter 把灵巧遥操作形式化为手-物共跟踪：操作者指定指尖位置与物体位姿的同步子目标序列，单阶段强化学习控制器在仿真接触中学会如何实现它们；混合奖励耦合稀疏子目标到达与稠密跟踪，几何感知两阶段重定向从动捕人手-物数据构造物理可行参考运动，随机动作掩码与域随机化支撑零样本 sim-to-real。在 Franka FR3 加 SharpaWave/LeapHand 两只灵巧手的七项重定向与长时程工具任务上，TeleDexter 平均成功率 75.2%、任务进度 87.1%，基线近乎全灭；每任务 50 条演示即可行为克隆出 46.7%-73.3% 成功率的自主策略。