Handroid:连接灵巧手与人形机器人

Handroid：桥接灵巧手与人形机器人的桌面级双形态可重构机器人

arXiv:2607.16187｜领域：Mechanisms & Design / Humanoid / Dexterous Hand / Robot Learning｜开源硬件与软件｜27 DoF｜0.33 m / 2.05 kg

一句话总结

Handroid 用一套 27 自由度的机电本体，通过齿轮齿条滑动机构在"灵巧手"（20 DoF 拟人手）与"桌面人形"（25 DoF 含 12 DoF 下肢）两种形态间物理重构，并配以统一的遥操作/模仿学习/强化学习/步态生成/动作编排控制栈，在真实灵巧抓取（72% 成功率）、仿真步态跟踪与跨形态长时程任务上验证了形态复用的可行性。

研究背景与动机

形态从根本上定义了机器人的功能边界：能到达哪里、如何运动、能感知什么、如何与环境物理交互。灵巧手和人形机器人代表两种互补的具身能力——前者提供紧凑高自由度结构用于精细接触富集操作（抓取、手内重定向、工具使用、柔性交互），后者提供全身移动性与人体尺度交互（行走、蹲下、够取、搬运）。前者强调局部灵巧性，后者赋予全局移动性。

尽管互补，这两种形态通常作为独立平台开发。灵巧手常安装在固定基座机械臂上，在有限工作空间内提供精确操作；人形机器人能在整个环境中导航和交互，但其手往往欠驱动或灵巧性不足以进行精细操作。因此移动性与灵巧性在机器人系统中长期分离。这种分离引出一个更广的设计与学习问题：形态能否跨形态复用，而非被视为单一机器人的固定属性？

虽然手和人形体在外观和功能上不同，但两者都可视为连接到中心体的铰接运动链集合。手指、手臂、腿在尺度和任务角色上不同，却共享共同的结构元素：关节排列、接触几何、驱动、感知与协调控制。Handroid 的核心洞察正是：这些元素可在不同形态间复用——手掌到手指的组织方式类比于躯干到肢体的组织方式，同一铰接模块可在手形态中充当手指、在人形形态中充当手臂或腿。

图1：左——Handroid 在手形态下展示灵巧操作，在人形形态下展示行走与 loco-manipulation；右——灵巧手与人形形态间的形态切换。

硬件设计

结构设计

图2：Handroid 结构设计。模块 I-V 在手形态对应五指，在人形形态对应头、左臂、左腿、右腿、右臂；模块 VI 和 VII 构成基座和髋部。关节 9 和 26 驱动形态切换的棱柱滑动机构。

从形态学视角看，人体和手都可抽象为分支拓扑——多条铰接链从紧凑中心结构延伸。躯干到肢体的组织类比于手掌到手指的组织。这激发了 Handroid 的中心设计原则：同一铰接模块可在不同形态间承担不同功能角色。

在手形态中，20 个铰接自由度分布于五指，每指提供一个外展-内收自由度和三个屈-伸自由度，近似常用的 21-DoF 人手模型，支持拇指对掌、多指协调与手内操作。在人形形态中，25 个铰接自由度分布于 4-DoF 头部（模块 I）、两个 4-DoF 手臂（模块 II、V）、两个 6-DoF 腿（模块 III、IV）和 1-DoF 中央髋关节（模块 VII），模块 VI 充当中央躯干。剩余两个驱动自由度为专用于形态重构的棱柱关节。两条腿共提供 12 个下肢自由度，近似人体下肢的主要关节运动。

形态切换机构是关键创新。关节 9 和 26 关联的两个紧凑线性重构机构集成在模块 VI 内，每个机构使用齿轮齿条传动将驱动器旋转转化为沿刚性直线导轨的平移。从人形形态切换到手形态时，这些机构将模块 II 和 V 向下平移到手配置位置，分别充当食指和小指模块——形态转换只需受控的模块重新定位，无需硬件更换。电磁法兰提供约 180 N 保持力，实现与 Franka 机械臂的快速对接与脱离。

电气设计

图3：电气设计——紧凑主板集成控制、感知、电源管理与状态监控，支持双形态运行。

电气系统设计为双形态平台的紧凑集成骨干，在有限内部体积内统一驱动控制、供电、无线通信、板载感知与硬件状态监控。定制主板通过 TTL 总线协调所有 Dynamixel 执行器，经 Wi-Fi 向主机流式传输机器人状态，支持远程操作和板载执行基本运动原语。系统支持有线开发与无线操作，配备板载电源和温度监控以在长时间实验中保护硬件。主板采用垂直堆叠模块化架构，在不增大占地面积的情况下增加可用集成面积。

统一控制与学习栈

灵巧手形态

图4：灵巧手形态的 VR 遥操作，展示手指重定向与多种灵巧任务。

遥操作：基于 Apple Vision Pro 的遥操作界面收集协调臂手演示，将操作者手部运动重定向到 Handroid，腕部运动映射到 Franka FR3 臂末端执行器命令。灵巧抓取：从遥操作演示训练物体条件扩散策略，以物体几何和近期本体感知为条件生成臂手动作块，能抓取不同几何与位姿的物体。手内重定向：在仿真中训练 RL 策略并部署到真实机器人，策略从本体感知观测命令手关节，维持立方体在手中的同时跟随目标朝向。

人形形态

RL 跟踪控制：将人形行走建模为参考引导跟踪。ZMP 规划器交替参数化的单/双支撑相，从规划脚步位置构造支撑一致的期望 ZMP 序列，用定高线性倒立摆模型（LIPM）配合 LQR 预览控制生成质心轨迹：

$$\ddot{x}_{\text{CoM}} = \frac{g}{z_h}(x_{\text{CoM}} - x_{\text{ZMP}})$$

其中 $z_h$ 为定高、$g$ 为重力加速度。Mink 求解逆运动学得到腿关节角。给定参考运动后在 MuJoCo 中训练闭环策略，跟踪奖励为：

$$r_t^{\text{track}} = 0.5\,r_t^{\text{root,pos}} + 0.5\,r_t^{\text{root,ori}} + r_t^{\text{body,pos}} + r_t^{\text{body,ori}} + r_t^{\text{body,lin}} + r_t^{\text{body,ang}}$$

RL 速度控制：无参考方法，策略以指令平面质心速度和偏航角速率为条件，输出关节位置目标。目标结合平面速度跟踪、偏航跟踪与正则化：

$$r_t^{\text{vel}} = w_v \exp\!\left(-\frac{\|\mathbf{v}_{xy,t} - \mathbf{v}_{xy,t}^d\|^2}{\sigma_v^2}\right) + w_\omega \exp\!\left(-\frac{(\omega_{z,t} - \omega_{z,t}^d)^2}{\sigma_\omega^2}\right) + r_t^{\text{reg}}$$

关键帧动作控制：基于 Viser 的关键帧编辑器支持快速全身动作编排，用户指定关节空间关键帧并插值生成参考轨迹。这支持行走、转身、蹲下、引体向上、俯卧撑、取放等动作。

实验结果

实验围绕三个问题：Q1 可重构体能否保留专用灵巧手的精细操作能力？Q2 同一本体能否在人形配置下支持稳定行走与全身交互？Q3 形态重构能否扩展单一形态无法实现的任务空间？

灵巧手形态

灵巧抓取：选取 10 个不同形状大小的物体，用 RealSense L515 和 FoundationPose 估计 6D 位姿，采样 512 表面点作为策略输入。每物体收集 10 条演示共 100 条，训练物体条件扩散策略。评估时物点位姿在工作空间内随机化。表 1 报告平均成功率 72%。

评估项	结果
灵巧抓取平均成功率（10 物体）	72%
RL 跟踪关节位置误差	0.12 rad
RL 跟踪身体位置误差	0.0019 m
RL 速度跟踪误差（指令 0.20 m/s）	0.052 m/s

表1：关键定量结果汇总——灵巧抓取与仿真步态控制均达可用精度。

手内重定向：Handroid 手形态安装于 Franka FR3 臂，掌面朝上，3D 打印与仿真同尺寸立方体。策略以 30 Hz 运行，定性评估能否维持立方体在手中。图 6 展示代表性 rollout。

图6：手形态下真实手内立方体重定向。

人形形态

仿真 RL 跟踪：用 ZMP 生成的行走运动评估，策略达到关节位置跟踪误差 0.12 rad、身体位置误差 0.0019 m。仿真 RL 速度控制：指令前进速度 0.20 m/s 下跟踪误差 0.052 m/s。关键帧动作控制部署了行走、转身、蹲下、引体向上、俯卧撑、取放等真实动作。

图7：人形形态下的任务——取放、引体向上、俯卧撑等。

跨形态长时程任务

最终演示了一个结合形态切换、人形移动与物体交互、与 Franka 臂电磁脱离与重新对接、灵巧取放的长时程任务。这直接回答 Q3：形态重构使任务空间超越任一单独形态——人形形态移动到对接位置，切换到手形态后由 Franka 臂承载执行灵巧操作。

图5：灵巧抓取的代表性 rollout 与更多细节。

形态切换的运动学一致性

形态切换的关键约束是：同一模块在两种形态下需保持运动学合理性。设模块 $j$ 在手形态中的关节空间为 $\mathcal{Q}_j^{ ext{hand}}$，在人形形态中为 $\mathcal{Q}_j^{ ext{hum}}$。齿轮齿条机构的平移量 $\Delta s$ 须满足两种配置下无碰撞且关节限位有效：

$$\Delta s = d_{ ext{switch}}, \quad ext{s.t.} \quad \mathcal{Q}_j^{ ext{hand}} \cap \mathcal{Q}_j^{ ext{hum}} = \emptyset ext{（无空间干涉）}$$

这保证切换过程是确定性的：给定初始构型，平移 $\Delta s$ 后的终态构型唯一确定，便于自动化控制。

LIPM 步态稳定性

ZMP 规划器依赖线性倒立摆模型保证步态稳定性。在定高 $z_h$ 假设下，质心动力学退化为线性，ZMP 稳定条件为期望 ZMP 始终落在支撑多边形 $\mathcal{S}$ 内：

$$x_{ ext{ZMP}}^d(t) \in \mathcal{S}(t), \quad orall t \in [0, T_{ ext{step}}]$$

LQR 预览控制在此基础上最小化质心跟踪误差与 ZMP 偏移的加权代价，生成平滑且稳定的轨迹。跟踪误差 0.0019 m 表明策略忠实复现了这一参考。

扩散策略的动作生成

物体条件扩散策略以物体点云 $\mathbf{P}_{ ext{obj}}$ 和近期本体感知 $\mathbf{o}_{t-L:t}$ 为条件，生成未来动作块 $\mathbf{a}_{t:t+H}$：

$$\mathbf{a}_{t:t+H} \sim p_ heta(\mathbf{a} \mid \mathbf{P}_{ ext{obj}}, \mathbf{o}_{t-L:t})$$

其中 $H$ 为动作时域长度，$ heta$ 为去噪网络参数。条件注入使策略能适应训练时未见过的物体位姿，这是 72% 成功率跨越位姿泛化的机制基础。

系统架构 Mermaid 图

flowchart TB
  subgraph HW["27-DoF 共享机电本体"]
    M["模块 I-V
手=五指 / 人形=头臂腿"]
    BASE["模块 VI 基座 + VII 髋"]
    SLIDE["齿轮齿条滑动机构
关节9+26 形态切换"]
    EM["电磁法兰
180N 对接 Franka"]
  end
  subgraph Hand["灵巧手形态 20 DoF"]
    TELE["Vision Pro 遥操作
手重定向+臂控制"]
    GRASP["物体条件扩散策略
100演示 72%成功率"]
    REORIENT["手内重定向 RL
30Hz 仿真到真实"]
  end
  subgraph Humanoid["人形形态 25 DoF"]
    ZMP["ZMP 规划器
LIPM+LQR 预览"]
    TRACK["RL 跟踪策略
误差0.12rad/0.0019m"]
    VEL["RL 速度策略
0.20m/s 误差0.052"]
    KEY["关键帧编辑器
Viser 全身动作"]
  end
  subgraph Long["跨形态长时程"]
    SW["形态切换"]
    LOCO["人形移动"]
    DOCK["电磁对接/脱离"]
    DEX["灵巧取放"]
  end
  HW --> Hand
  HW --> Humanoid
  SLIDE --> SW
  Hand --> DEX
  Humanoid --> LOCO
  EM --> DOCK
  SW --> LOCO --> DOCK --> DEX

形态	自由度	关键模块映射	核心能力
灵巧手	20 DoF	模块 I-V → 五指	抓取/手内重定向/精细操作
桌面人形	25 DoF	I→头, II/V→臂, III/IV→腿, VII→髋	行走/转身/蹲下/引体/俯卧撑
重构机构	2 DoF（棱柱）	关节 9+26 → 模块 VI 内齿条	形态切换无需换硬件

表2：双形态自由度分配与模块映射——27 DoF 在两种形态间重新分配，重构机构独立占用 2 DoF。

从设计哲学的角度，Handroid 的模块化思路与生物演化中的"同源性"概念相呼应。人的手和脚在骨骼结构上高度同源——都由指骨、掌骨、腕骨组成——但在功能上分化为精细操作与承重移动。Handroid 的模块 I-V 在两种形态下分别充当指/头臂腿，正是这种同源性在机器人硬件上的工程化实现。这种设计不仅节省硬件成本，更让同一套驱动、感知与控制接口在两种形态下复用，为跨形态学习提供了统一的抽象层。

跨形态长时程任务的意义值得深入解读。该任务中机器人先以人形形态移动到对接位置，通过电磁法兰与 Franka 臂对接后切换为手形态，再由臂承载执行灵巧取放。这展示了一种"移动-对接-操作"的协同范式：人形形态提供移动能力到达工作位置，手形态提供精细操作能力完成任务，外部臂提供大工作空间定位。这种范式映射了真实场景中"巡检机器人到达设备前-对接机械臂-执行精细维护"的需求结构，虽在桌面尺度上演示，但理念可推广到更大尺度。

从评估的完备性与系统性角度看，论文在灵巧手形态提供了真实世界定量结果（72% 抓取成功率），在人形形态提供了仿真定量结果（跟踪误差），并在长时程任务上提供了定性演示。这种分层评估反映了平台验证的合理策略：基础能力用定量指标确认，集成能力用定性演示展示。但人形形态缺乏真实世界步态的定量评估，后续工作需补充 sim-to-real 的步态迁移验证，以全面确认平台在真实环境中的可靠性。

局限性

仍处初期阶段（作者自述）。Handroid 是双形态机器人学习的初步尝试。未来无线操作将减少线缆引起的扰动并支持更长移动任务。执行器与结构的进一步小型化可在保持人形功能的同时改进灵巧手形态。

缺乏触觉感知（作者自述）。当前未集成指尖摄像头和触觉传感器。添加这些将有利于接触富集操作和足-地接触估计——因为同一模块既充当手指也充当脚。这对两种形态的操作质量都有提升空间。

桌面级尺度限制任务范围。0.33 m / 2.05 kg 的桌面级尺度虽利于低成本复现和快速迭代，但限制了与真实人体尺度环境的直接交互。形态复用的理念能否在全身尺度上保持机构效率和运动学合理性，尚需更大平台的验证。

跨形态策略迁移尚未充分探索。论文展示了两种形态各自的策略，但跨形态策略迁移（如手形态学到的抓取知识迁移到人形形态的手臂操作）主要作为未来方向提出，未在实验中验证。这是形态复用理念的最深层价值所在，也是最开放的挑战。

总结与展望

Handroid 用一套 27-DoF 机电本体实现了灵巧手与人形两种形态的物理重构，配以统一控制学习栈，在真实灵巧抓取（72%）、仿真步态跟踪（0.12 rad / 0.0019 m）和跨形态长时程任务上验证了形态复用可行性。齿轮齿条滑动机构使形态切换无需硬件更换，电磁法兰使与外部臂的对接脱离快速可靠。

从更广阔的视角看，Handroid 代表了机器人设计从"一机一形"向"一机多形"的范式转变。当同一模块既可做手指又可做腿时，形态不再是机器人的固定属性而是可配置的自由度。这种思路不仅降低硬件成本，更为跨形态学习提供了独特实验平台——同一物理结构在不同形态下学到不同技能，这些技能间的迁移与共享可能揭示机器人学习的更深层规律。未来若加入触觉感知与无线操作，Handroid 有望成为形态可重构机器人学的标准研究平台。

金句

"形态能否跨形态复用，而非被视为单一机器人的固定属性？——手掌到手指的组织，类比于躯干到肢体的组织。"

"同一模块既做手指又做脚时，形态不再是固定属性而是可配置的自由度。"