HITTER:层级规划+学习控制的人形乒乓球机器人

论文信息

• 标题：HITTER: A HumanoId Table TEnnis Robot via Hierarchical Planning and Learning
• 作者：Zhi Su、Bike Zhang、Nima Rahmanian、Yuman Gao、Qiayuan Liao、Caitlin Regan、Koushil Sreenath、S. Shankar Sastry
• 机构：加州大学伯克利分校（UC Berkeley）
• arXiv：2508.21043v1（cs.RO，2025 年 8 月 28 日）
• 代码：截至本解读撰写时论文未附代码链接，GitHub 检索未发现官方开源仓库；作者团队的 sastry-group 组织下有相关工作 LATTE-MV（乒乓球击球意图预测）与 robot_table_tennis 仓库
• 硬件平台：Unitree G1 通用人形机器人（无专用硬件改装，仅 3D 打印连接件将球拍固定在右腕）

一句话总结

HITTER 用基于模型的规划器预测球轨迹并解出击球位置、速度与时刻，再用融入人类挥拍参考动作的强化学习全身控制器执行击球，让一台标准 Unitree G1 在真实球台上与人类对手连续对拉最多 106 拍。

研究背景与动机

人形机器人在行走、平衡与动作模仿上已有大量成果，但绝大多数工作停留在自由空间运动或与静态地面的交互。与快速运动物体的动态交互是另一类问题：它要求数十个关节的协调控制，以及一个在极端时间尺度上闭环的感知—决策—执行回路。乒乓球是这类问题的典型代表——球速超过 5 m/s，留给系统的反应窗口只有几百毫秒，机器人必须在亚秒时间内完成感知、预测、规划与击球。

与其他球拍类运动相比，乒乓球对机器人的要求更苛刻：羽毛球、网球的场地更大、回合节奏更慢，而乒乓球距离短、交换快、反应窗口最小。它同时考验三种能力：(a) 高动态的球轨迹预测与击球规划；(b) 连续对拉中每一拍之后的敏捷移动与平衡恢复；(c) 既有效又自然的人类式挥拍动作。这三条让乒乓球成为检验人形机器人敏捷交互能力的独特测试床。

已有工作的局限很明确。机器人乒乓球领域最接近的成果来自 DeepMind Gemini Robotics 团队，用机械臂与分层架构达到了业余人类水平的竞技表现；而人形机器人方向上，此前只有依靠阻抗控制、且必须原地站立不动的演示，无法敏捷移动，击球范围受限。全身控制方向上，从大规模 RL 模仿人类动作，到上下身解耦控制，再到通用动作跟踪器，技术积累已经到位——缺的是一个面向快速动态交互的控制器。

HITTER 的思路是把问题拆成两层：高层用基于模型的规划器做长时程预测与规划（球往哪飞、何时到达、该在哪以多快速度击球），低层用强化学习训练的全身控制器做短时程执行（像人一样挥拍、移动、保持平衡）。这种分层设计直接回应了三个挑战：规划器提供快速而稳定的指令接口，同时显著提升 RL 训练的样本效率；控制器在连续击球任务上训练，学会敏捷动作与平衡恢复；训练中仅引入两条人类挥拍参考动作，就让击球姿态自然、拟人。

图 1：HITTER 系统总览。(a) 球拍经 3D 打印连接件装于右腕，球贴反光胶带供动捕跟踪；(b) 动捕系统跟踪球位置 p_ball、机器人基座位置 p_base 与基座朝向 e_base,x；(c) 模型规划器由球位置与期望落点预测击球位置、速度与时刻，并计算基座目标位置；(d) RL 全身控制器 π_WBC 在仿真中训练后部署到真机。

方法详解

1. 系统配置与感知

系统搭建在标准乒乓球台上：台面 2.74 m × 1.525 m，台面距地面 0.76 m。坐标系原点取台面中心，x 轴沿长边，z 轴竖直向上，机器人位于 x < 0 一侧。感知完全依赖外部光学动捕：9 台 OptiTrack 相机以 360 Hz 跟踪球的位置，精度达毫米级；球表面包裹反光胶带，机器人基座上安装多个反光标记点并被建模为刚体，用于估计基座的 6D 位姿。机器人本体是 Unitree G1，RL 策略以 50 Hz 输出全部 29 个关节的目标位置，再由 PD 控制器转换为关节力矩。除右腕的球拍连接件外，没有任何专用硬件改装——这一点是本文反复强调的卖点：整套能力建立在通用人形平台之上。

2. 球状态估计：二次多项式平滑

动捕系统只能给出球的位置，速度必须估计。HITTER 的做法朴素但有效：对最近 31 个位置测量，在 x、y、z 三个方向分别做二次多项式的最小二乘拟合，用拟合曲线及其导数同时给出平滑的位置与速度估计。二次项恰好对应匀加速运动，与球在空中的抛物线轨迹结构一致。一个关键细节是弹跳处理：一旦检测到球在台面弹起，立即清空位置缓冲区，避免弹跳前的数据污染弹跳后的速度估计。这一步为后续轨迹预测提供了干净的初始状态。

3. 球轨迹预测：混合动力学模型

球的运动被建模为一个混合系统：空中飞行阶段服从带二次空气阻力的连续动力学，触台瞬间服从离散反弹映射（沿用文献 [7] 的模型）：

$$\Sigma:\ \mathbf{a}=-k\|\mathbf{v}\|\,\mathbf{v}+\mathbf{g},\quad \mathbf{p}\notin\mathcal{S} \tag{1a}$$

$$\Sigma:\ \mathbf{v}^{+}=\mathbf{C}\,\mathbf{v}^{-},\quad \mathbf{p}\in\mathcal{S} \tag{1b}$$

其中 $k$ 是空气阻力系数，$\mathbf{g}$ 是重力向量，$\mathbf{v}^{-}$ 与 $\mathbf{v}^{+}$ 分别是触台前后的速度。作者假设旋转足够小，忽略马格努斯力等旋转诱导效应。反弹矩阵取对角形式：

$$\mathbf{C}=\mathrm{diag}(C_{h},\,C_{h},\,-C_{v}) \tag{2}$$

$C_h$、$C_v$ 分别是水平与竖直方向的恢复系数；碰撞状态集定义为台面平面 $\mathcal{S}=\{\mathbf{p}\,|\,p_{z}=0\}$。三个参数 $k$、$C_h$、$C_v$ 不是拍脑袋设定的，而是从 15 条真实录制的球轨迹（每条轨迹从一侧发球、在对侧弹跳一次后出台）中辨识得到：

$$\begin{cases}\|\mathbf{a}-\mathbf{g}\|=k\|\mathbf{v}\|^{2},\\ \{\|v_{x}^{+}\|,\|v_{y}^{+}\|\}=C_{h}\{\|v_{x}^{-}\|,\|v_{y}^{-}\|\},\\ \|v_{z}^{+}\|=C_{v}\|v_{z}^{-}\|,\end{cases} \tag{3}$$

速度与加速度由位置曲线 $p(t)$ 的一、二阶导数估计。辨识完成后，用显式逐步时间积分向前滚动预测球的未来位置与速度，再结合预先定义的虚拟击球平面 $x=-1.37\ \mathrm{m}$（即台端位置），解出球的到达时刻与到达位置——这就是击球时刻 $t_{\mathrm{strike}}$ 与击球位置 $\hat{\mathbf{p}}_{\mathrm{racket}}$ 的来源。

图 2：模型规划器在 20 条球轨迹上的预测误差。上为击球位置误差，下为击球时刻误差；阴影为标准差，红色虚线为球拍半径对应的 7.5 cm 关键阈值。击球前 0.5 s 位置误差已低于球拍半径，击球前 0.3 s 时刻误差低于 20 ms（一个控制步长）。

4. 击球规划：从期望落点反推球拍速度

命中只是及格线，把球有效回过去才是目标。HITTER 不追求精确控制落点，只要求一次合法回球，因此采用了简化的击球后飞行模型与拍—球交互模型：假设击球瞬间拍面与拍速方向垂直；拍—球接触沿拍面法向有恢复系数 $C_r$，忽略切向摩擦；击球后球只受重力。给定期望落点 $\hat{\mathbf{p}}_{l}$（设为对方台面中心）、击球位置 $\hat{\mathbf{p}}_{\mathrm{racket}}$ 与预设的飞行时间 $\Delta t$，先解出所需的出球速度：

$$\mathbf{v}_{o}=\dfrac{\hat{\mathbf{p}}_{l}-\hat{\mathbf{p}}_{\mathrm{racket}}}{\Delta t}+\frac{1}{2}\mathbf{g}\Delta t \tag{4}$$

再由出球速度 $\mathbf{v}_o$ 与预测的来球速度 $\mathbf{v}_i$，沿两者差的方向解出所需的球拍速度：

$$\hat{\mathbf{v}}_{\mathrm{racket}}=\dfrac{\mathbf{v}_{o}\cdot\mathbf{u}+C_{r}\mathbf{v}_{i}\cdot\mathbf{u}}{1+C_{r}}\mathbf{u},\quad \mathbf{u}=\dfrac{\mathbf{v}_{o}-\mathbf{v}_{i}}{\|\mathbf{v}_{o}-\mathbf{v}_{i}\|} \tag{5}$$

这个一维投影的形式来自沿法向的恢复系数定义：拍速只需在 $\mathbf{u}$ 方向上提供足够的相对速度，即可把来球"翻转"成期望的出球速度。至此，规划器把全部任务信息压缩成四个量交给控制器：击球位置 $\hat{\mathbf{p}}_{\mathrm{racket}}$、击球速度 $\hat{\mathbf{v}}_{\mathrm{racket}}$、击球时刻 $t_{\mathrm{strike}}$，以及由基座位置与击球位置关系推出的基座目标位置 $\hat{\mathbf{p}}_{\mathrm{base}}$。

5. 人类动作参考：两条挥拍片段喂出拟人击球

让击球"像人"不需要海量数据。HITTER 只用两条参考动作——正手挥拍与反手挥拍，两者走同一条生成流水线：先录一段人类挥拍视频，用 GVHMR 从视频重建 SMPL 动作片段，再用 GMR 重定向到人形机器人，得到 30 Hz 的基座位姿与关节位置序列。随后按 BeyondMimic 的做法增强以便跟踪：把基座位姿与关节位置从 30 Hz 插值到与策略控制频率一致的 50 Hz，用中心差分计算基座线速度、角速度与关节速度，再用正向运动学求出每个刚体的位姿 $\mathbf{T}_b$ 与旋量 $\mathbf{V}_b$。由于只跟踪上身动作，跟踪集合 $\mathcal{B}$ 只含骨盆以上的刚体（骨盆、躯干、双臂），并选骨盆作为锚点刚体 $b_{\mathrm{anchor}}$。处理后的每条动作片段长 94 帧（1.88 秒），击球发生在第 43 帧（0.86 秒）——这个数字后面会再次出现，它是控制器敏捷性评估的时间标尺。

6. MDP 设定：基座与球拍指令分离

与把击球时刻的全局球拍位姿直接当指令的做法不同，HITTER 把指令拆成两路以提升训练效率：第一路 $\hat{\mathbf{p}}_{\mathrm{base},xy}$ 是世界系下的期望基座位置，驱动机器人及时跑位；第二路 $[\hat{\mathbf{p}}_{\mathrm{racket}},\hat{\mathbf{v}}_{\mathrm{racket}}]$ 是相对基座的球拍位置与球拍速度（均以世界系表达）。期望基座朝向始终设为面朝前方。为了训练连续击球与正反手切换，每个 episode 长 10 秒：完成一次挥拍后，均匀采样下一次挥拍类型（正手或反手），并按挥拍类型条件随机采样击球时刻的球拍目标位置、球拍目标速度与基座目标位置。击球平面固定在机器人前方 0.4 m，因此只采样球拍位置的 y、z 坐标；正手与反手的目标区域定义为互不重叠。

7. 奖励函数：模仿、跟踪与正则的加权组合

总奖励沿用标准结构：

$$r=w_{i}r_{i}+w_{g}r_{g}+w_{r}r_{r} \tag{6}$$

$r_i$ 鼓励上身参考动作的模仿，$r_g$ 奖励对指令目标的跟踪，$r_r$ 是正则项。$r_i$ 与 $r_r$ 是全程稠密奖励；$r_g$ 则包含若干高权重的稀疏项——球拍位置、速度、朝向的跟踪奖励只在击球时刻附近的短窗口内激活，基座位置跟踪奖励只在击球前激活，使策略击球后立刻开始向下一个目标位置过渡。这种稀疏—稠密混合设计把"像人"（$r_i$）与"打到球"（$r_g$）两个目标解耦在不同时间尺度上。

8. 非对称 Actor-Critic 与部署细节

训练采用非对称 actor-critic：critic 拿到策略部署时不可得的特权信息，例如各刚体位姿 $T_{\mathcal{B}}$（帮助更准确地估计回报）以及本 episode 剩余时间 $t_{\mathrm{left}}$（因为 $r_g$ 的稀疏性使得回合回报依赖剩余击球次数）。actor 与 critic 都是 512-256-128 三层隐藏层的 MLP。部署时，动捕系统提供基座位置与朝向，用于构造观测中的 $\mathbf{e}_{\mathrm{base},x}$ 与 $\mathbf{p}_{\mathrm{base},xy}$；系统根据 $\mathbf{p}_{\mathrm{base},xy}$ 与预测击球位置 $\hat{\mathbf{p}}_{\mathrm{racket}}$ 用启发式规则决定用正手还是反手，再据此计算 $\hat{\mathbf{p}}_{\mathrm{base},xy}$——这个二值变量不进策略观测，只用于辅助计算基座目标。下表给出 actor 与 critic 的观测空间划分（论文 Table I）。

观测量	Actor	Critic
基座角速度 $\bm{\omega}_{\mathrm{base}}\in\mathbb{R}^{3}$	✓	✓
投影重力 $\mathbf{g}_{\mathrm{base}}\in\mathbb{R}^{3}$	✓	✓
基座前向向量 $\mathbf{e}_{\mathrm{base},x}\in\mathbb{R}^{2}$	✓	✓
基座目标偏差 $\hat{\mathbf{p}}_{\mathrm{base},xy}-\mathbf{p}_{\mathrm{base},xy}\in\mathbb{R}^{2}$	✓	✓
球拍目标位置 $\hat{\mathbf{p}}_{\mathrm{racket}}\in\mathbb{R}^{3}$	✓	✓
球拍目标速度 $\hat{\mathbf{v}}_{\mathrm{racket}}\in\mathbb{R}^{3}$	✓	✓
距击球时间 $t_{\mathrm{strike}}\in\mathbb{R}$	✓	✓
本体感知（关节位置/速度、上一动作、基座速度）	✓	✓
刚体位姿 $T_{\mathcal{B}}$（特权）	—	✓
剩余时间 $t_{\mathrm{left}}$（特权）	—	✓

表 1：观测空间划分（论文 Table I）。critic 额外获得刚体位姿与剩余时间两项特权信息。

9. 整体数据流

把上述组件串起来，HITTER 的运行时数据流如下图所示：动捕以 360 Hz 供球与基座状态，规划器做状态估计、轨迹积分与击球解算，控制器以 50 Hz 消费指令并驱动 29 个关节。训练侧则完全离线：两条人类挥拍参考动作经视频重建与重定向进入奖励函数，策略在仿真 RL 中学会后直接部署到真机。

flowchart TB
    subgraph P1["Model-based Planner"]
        A1["9 OptiTrack cameras 360 Hz
ball + base tracking"] --> A2["State estimation
quadratic fit on 31 samples"]
        A2 --> A3["Trajectory integration
drag model + bounce restitution"]
        A3 --> A4["Strike solving at x=-1.37 m plane
p_racket, v_racket, t_strike"]
        A4 --> A5["Base target p_base,xy
forehand or backhand heuristic"]
    end
    subgraph P2["Learning-based Whole-Body Controller"]
        B1["2 human swing clips
video to GVHMR to GMR retarget"] --> B2["RL training
r = wi*ri + wg*rg + wr*rr"]
        B2 --> B3["Asymmetric actor-critic
MLP 512-256-128"]
        B3 --> B4["Policy at 50 Hz
29 joint position targets"]
    end
    A4 --> B4
    A5 --> B4
    B4 --> C1["PD torque control
Unitree G1 with wrist-mounted racket"]
    C1 --> C2["Rallies up to 106 shots vs human"]

图 3：HITTER 层级数据流——模型规划器（上）与学习控制器（下）的分工与接口。

实验结果

实验围绕三个问题展开：模型预测有多准？全身控制器有多敏捷？整套系统在真实世界能不能打？

规划器精度：亚秒窗口内的毫米级收敛

在 20 条球轨迹上统计预测误差（图 2）：误差随击球时刻临近单调下降，触球时归零，符合"预测时域越长、累积误差越大"的直觉。关键节点是：击球前 0.5 秒，位置误差降到 7.5 cm 以下——这正好是球拍半径，意味着此时预测已经"够得着"；击球前 0.3 秒，时刻误差降到 20 ms 以下，相当于策略的一个控制步长；击球前 0.1 秒，两项误差都到达最低水平。全程稳定的低误差为控制器提供了可靠的指令接口。

控制器敏捷性：0.75 m 内 0.8 秒到位

敏捷性评估方式：统计"指令下发时基座与目标位置的初始距离"与"收敛到目标 1 cm 内所需时间"的关系。仿真中采集 1000 次 rollout，剔除 57 次未达标的，得到 943 个有效样本，成功率 94.3%。结果显示：初始距离小于 0.75 m 时，几乎所有试验都能在 0.8 秒内收敛到 1 cm 以内——而指令下发到击球的典型时长是 0.86 秒（正是参考动作片段中第 43 帧对应的时间）。也就是说，机器人在挥拍完成之前就已经站到了该站的位置。收敛时间随初始距离单调增加，左右两侧分布高度对称。

图 4：WBC 策略敏捷性评估（943 次成功仿真试验，成功率 94.3%）。初始距离 0.75 m 内平均不到 0.8 s 即可到位，快于 0.86 s 的击球时间；误差棒为标准差。

真机上的观察与仿真一致：球打向台面左侧时，机器人一步横移过去完成回球（图 5 左）。作者特别对比了位置指令与速度指令的差别——以往 WBC 工作用速度指令时，机器人总是用较慢的多步横移；改用位置指令后，单步快速横移才成为可能。上身方面，人类参考动作训练出的击球带有明显的转腰动作，与人类打乒乓球的姿态高度相似（图 5 右）。

图 5（左）：真机快速到位——机器人从球台右侧一步横移至左侧完成回球，全程保持平衡。

图 5（右）：真机拟人击球——全身控制策略生成的击球动作包含协调的转腰，模仿人类打球方式。

真机对打：96.2% 命中率与 106 拍连续对拉

部署测试向机器人发 26 个球，落点在虚拟击球平面上广泛分布。结果：24 球成功回击（正手为蓝色、反手为绿色），1 球碰到但未能形成有效回球，1 球完全漏掉——命中率 96.2%，回球率 92.3%。策略还表现出与人类一致的手侧偏好：y < 0 侧来球倾向正手，y > 0 侧倾向反手。

图 6：回球表现评估。虚拟击球平面上每格边长 0.2 m：26 个来球中 24 个成功回击（蓝：正手，绿：反手），1 个触拍未回（橙），1 个完全漏球（红），命中率 96.2%、回球率 92.3%。

与人类对手对打时，最长连续对拉达到 106 拍（该回合以机器人击球下网告终）——这一长度已经超过普通人类休闲对拉的水平，说明机器人不仅回球可靠，还能在连续击球间维持平衡与预备姿态。面对人类的扣杀，从对手击球到机器人回球的反应时间只有 0.42 秒。把两台装载同一策略的 G1 面对面放置，它们还能在全自主设定下持续对拉。下表汇总了核心性能数字。

指标	数值	条件
命中率	96.2%（25/26）	26 个广分布来球
回球率	92.3%（24/26）	同上
最长连续对拉	106 拍	对人类对手，以下网结束
扣杀反应时间	0.42 s	从对手击球到机器人回球
跑位成功率	94.3%（943/1000）	仿真，收敛阈值 1 cm
0.75 m 内跑位耗时	< 0.8 s	短于 0.86 s 击球窗口
击球前 0.5 s 位置误差	< 7.5 cm	球拍半径阈值，20 条轨迹
击球前 0.3 s 时刻误差	< 20 ms	一个控制步长

表 2：HITTER 核心性能数字汇总（分别来自论文 Fig. 2、Fig. 3、Fig. 6 与正文）。

局限性

• （作者自述）固定虚拟击球平面。系统假设击球发生在台端固定平面，限制了击球策略的多样性，对特别短或特别深的球效果差；与机器人对打的人类对手必须避免打它够不到的短球。放松这一假设、允许更多样的接触点，才能提高台面覆盖。
• （作者自述）依赖外部动捕。球位置与基座位姿都由动捕系统提供，部署被限制在受控环境中；作者指出引入视觉感知是摆脱这一依赖的方向。
• （作者自述）不处理旋转、击球方式单一。系统假设旋转可忽略，只用平推回球；职业水平的对抗充满上旋弧圈、下旋削球、侧旋挡等旋转与拍法，感知旋转并生成对应的应对拍法是通往专业水平的必经之路。
• （评读者判断）感知与规划链路无冗余。整条链路单点依赖 360 Hz 动捕——球一旦脱离跟踪（例如贴地飞出台面或反光胶带反光条件变化），规划器没有任何退化模式；真机 26 球测试的样本量也偏小，92.3% 回球率的置信区间较宽。
• （评读者判断）无代码与无消融实验。论文未公布代码，也未提供奖励项或人类参考动作的消融实验——"两条参考动作足以产生拟人击球"这一核心主张目前只有定性展示，没有量化验证。

总结与展望

HITTER 展示了"模型规划 + 学习控制"这一正交组合在人形敏捷交互任务上的有效性：规划器负责长时程、可解释、可单独评估精度（图 2）；控制器负责短时程、可单独评估敏捷性（图 4）；两者通过位置/速度/时刻的稳定指令接口解耦。另一重组合——模型方法与学习方法——同样各取所长：端到端 RL 在稀疏延迟奖励下探索困难、样本效率低，纯模型方法又依赖难以获得的高精度动力学与感知；层级设计在两者之间架桥，既提升了样本效率，又增强了对感知误差的鲁棒性。

作者给出的后续方向有三个：其一是多智能体训练与自主发球——当前两台机器人只是各自装载同一策略、没有联合训练，且发球仍需人类代为完成；其二是学习与高水平对手对打，包括通过观察对手学习其风格（战略学习）与实时调整击球策略（战术学习），并计划结合 Markov 博弈框架追求"冠军级"机器人球员；其三是用视觉替代动捕。这套框架的价值不止于乒乓球：它给出了一条在通用人形平台上获得敏捷交互技能的务实路线——规划器压缩任务复杂度，学习控制器消化人类动作先验，真实世界只需最小硬件改装。

金句

"These results demonstrate real-world humanoid table tennis with sub-second reactive control, marking a step toward agile and interactive humanoid behaviors."

（这些结果展示了具备亚秒级反应控制的真实世界人形乒乓球，标志着向敏捷、交互式人形行为迈出的一步。）—— HITTER 摘要