RoboGesture：人形机器人实时语义手势

RoboGesture：人形机器人实时语义对齐共语手势生成

论文元信息

• 标题：RoboGesture: Real-Time Semantic-aligned Co-Speech Gestures Generation for Humanoid Interaction
• 作者：Zifan Wang, Ziang Ren, Pengyang Shi（共同一作）, Zirui Wang, Chenghuai Lin, Tianze Wang, Zekun Qi, Liangliang Zhao, He Wang, Li Yi
• 机构：清华大学、Galbot（银河通用）、北京理工大学、哈尔滨工业大学、北京大学、上海期智研究院
• 时间：2026-08-27（arXiv:2608.28693，cs.RO；据来源推文，该工作被 ECCV 2026 接收）
• 链接：arXiv:2608.28693 · 项目主页 RoboGesture.github.io
• 代码：尚未发布（项目页 Code 链接仍为占位符；GitHub 上仅有项目主页仓库）
• 硬件平台：Unitree G1 人形机器人 + 双手 BrainCo 灵巧手，上半身 41 自由度（躯干与手臂 17 + 双手 24）

一句话总结

RoboGesture 用「数据—模型—控制」协同设计的方式解决人形机器人共语手势生成：自建 300 余类语义手势数据集与 1000 小时机器人空间半合成语料，用分层语义-声学对齐器从原始音频流提取韵律与语义线索，驱动基于扩散 Transformer 与条件流匹配的流式动作生成器，再以每帧仅 5.6 毫秒的 MPC 安全滤波保证真机无碰撞执行，最终在 Unitree G1 上实现「听懂—回应—打手势」的实时闭环交互。

研究背景与动机

共语手势（co-speech gesture）是人类沟通中不可或缺的非语言通道：说话时的节奏性挥动、强调时的前倾、表达「OK」时的指尖相扣，都在为语言内容补充语义与情绪信息。让人形机器人也具备这种能力，是把它从「工具」升级为「交互伙伴」的关键一步——论文开篇就把目标定得很完整：机器人要能听着人说话，用同步且语义合理的肢体动作实时回应。

作者梳理出这一任务长期存在的三道壁垒。第一是数据稀缺：现有音频-动作数据集（以 76 小时的 BEAT 为代表）里语义丰富的手势极其稀疏，处于自然动作分布的长尾，模型很难学到「什么话配什么手势」的语义对齐。第二是「模态遮蔽」（modality eclipse）：在线流式生成时，模型倾向于抄历史动作的运动学惯性，把弱一些的音频与语义信号忽略掉——生成的手势看起来流畅，实际上与当前语音内容脱节。第三是 sim-to-real 的安全鸿沟：虚拟形象上生成的动作直接重定向到真机，常伴随抖动、急停与自碰撞，而社交场景恰恰要求机器人在人旁边长时间稳定工作。

与以往工作相比，这篇论文的定位差异很鲜明。一类主流路线（LivelySpeaker、Semantic Gesticulator、SemTalk 等）依赖文本作为中间表示：先语音转文本，再用文本特征引导手势。但语音转文本会丢掉韵律信息——同一个「Really」，升调是怀疑、降调是确认，手势应当完全不同；而且这类方法大多离线生成，无法流式部署。另一类路线（DiffSHEG 等）做到了流式与无文本，但语义建模粗糙、缺少手部细节。论文在对比表中把自己的设计总结为四个「全都要」：流式、语义、无文本、手部建模，动作空间取连续值。

还有一个容易被忽略但贯穿全文的立场：直接在机器人关节空间学习，而不是在人体骨骼空间生成后再在线重定向。作者把重定向内化为离线预处理：数据在进模型之前就完成了向 G1 运动学的映射与碰撞清洗，训练分布与部署空间天然一致，推理时不需要任何昂贵的逆运动学或重定向计算。论文甚至专门在附录里论证：机器人空间学习「不是实验上的便利，而是安全、低延迟、高保真人形交互的根本要求」。

在系统层面，这项工作不满足于只做手势生成模块，而是把它作为「听—回应—手势」闭环的动作核心：上游接 ASR、LoRA 微调的 Qwen3-4B 与流式 TTS，下游接 30 Hz 的 PD 控制，整套系统部署在真实 G1 上完成社交互动演示。这种「完整交互系统」取向，是它与纯动作合成论文最本质的区别。

预备知识

Mimi 音频编码与多粒度表示。论文使用 Mimi codec 把流式音频切成离散 token。与传统编解码器不同，Mimi 的分层量化结构天然把信息解耦：第一层量化器输出高层语义 token，后续残差量化器逐层编码韵律、语调等细粒度声学细节。这为「同一个音频流同时提供节奏信号和语义信号」提供了现成的表示基础。

扩散 Transformer 与条件流匹配。动作生成器采用 DiT（Diffusion Transformer）架构，参数化方式为条件流匹配（CFM）：不学习逐步去噪，而是学习从噪声 $M_0 \sim \mathcal{N}(0,I)$ 到目标动作 $M_1$ 的插值轨迹 $M_\tau = (1-\tau)M_0 + \tau M_1$ 上的速度场 $v_\theta(M_\tau, \tau, C)$。相比离散 token 的自回归方案，连续状态空间对手指级精细运动学更友好，也避免了逐步采样的误差累积。

FiLM 调制。Feature-wise Linear Modulation 对中间特征图做逐通道仿射变换（缩放 + 平移），适合注入「全局基调」类条件。论文用它承载压缩后的语义指令，与承载逐帧节奏的交叉注意力形成分工。

方法详解

图1：RoboGesture 框架总览。(a) 语义-声学对齐器预训练解耦多粒度音频线索；(b) 动作生成器以条件流匹配合成动作，同时接受分层音频特征与历史动作条件；(c) 推理时与上游语音大模型对接，经安全滤波驱动真机。

整个框架围绕三个模块组织：分层语义-声学对齐器（Hierarchical Semantic-Acoustic Aligner）、流式条件动作生成器（Streaming Conditional Motion Generator）和 MPC 碰撞规避滤波器。动作空间设定为：每个 1 秒动作块 $T=30$ 帧、关节维度 $D=41$，历史窗口 $T_{hist}=2T=60$ 帧。

（1）分层语义-声学对齐器：浅层管节奏，深层管语义。对齐器是一个多层 Transformer，输入为 $3T$ 帧音频窗口（当前块 + 历史窗口），用多任务辅助学习做层级解耦。浅层对快速声学能量瞬变敏感，被引出接一个 beat head，回归节奏目标：

$$B_{target} = \big[\,\text{Norm}(\text{Resample}(\|\dot{q}\|_2));\ \text{Norm}(\text{Onset}(wav))\,\big]$$

即真值动作的关节速度幅值（重采样归一化）与音频 onset 强度的拼接，保证生成动作与声学起始严格同步。深层则接一个由 300 类手势分类驱动的 semantic head，以信息瓶颈的方式把声学细节压缩成可执行的语义 token。第一阶段的总目标是节奏回归与语义分类的加权和：

$$\mathcal{L}_{Stage1} = \lambda_{beat}\,\text{MSE}(\hat{B}, B_{target}) + \text{CE}(\hat{Y}, Y_{target})$$

这一设计的动机来自「前语音预期」现象：人在说出强调词（如「Stop!」）之前，身体往往已经开始蓄力——后仰、抬手。这些预备信号藏在发声前的细微声学前兆里，只有直接处理原始音频才能捕捉，文本中间表示天然看不见。

（2）流式条件动作生成器：双通道条件注入。生成器面对的核心矛盾是「模态遮蔽」：历史动作信息强、音频条件弱，模型会偷懒地只靠运动学惯性续写。论文的解法是明确分工的双通道注入。逐帧微对齐通道：把对齐器的浅层节奏特征、深层局部语义特征与过去动作块一起投影为 Key-Value，与生成查询做交叉注意力，负责帧级节奏同步与窗口间平滑过渡。全局宏观调制通道：把高度压缩的语义指令经 FiLM 作用于 DiT 中间特征，建立整段动作的情绪与语义基调，且不会被局部运动学噪声盖过。

（3）Anti-Inertia CFG 掩码：逼模型认真听音频。训练时，Past Motion 条件以 15% 概率被整体掩码，迫使网络在「冷启动」状态下只依赖对齐器特征生成动作。这是 Classifier-Free Guidance 思想的训练侧实现：推理时同时做条件与无条件前向并外推，历史与音频两个条件的引导强度都得到保留。附录 C 的受控扰动实验（打乱音频、分析梯度幅值、延迟注入历史）系统验证了历史主导偏置的存在与该机制的必要性。

（4）训练目标：时空加权的速度匹配 + 动力学一致性。第二阶段解冻 DiT 联合训练。为了让精细手指运动学不被淹没，论文定义了空间权重 $W_s \in \mathbb{R}^D$（手指关节 $w_{hand}=4.0$）与时间权重 $W_t \in \mathbb{R}^T$（语义区间内帧 $w_{frame} \in \{5, 10\}$），核心监督是加权速度匹配损失：

$$\mathcal{L}_{vel} = \mathbb{E}_{\tau, M_1, M_0}\Bigg[\sum_{t=1}^{T}\sum_{d=1}^{D} W_t^{(t)} W_s^{(t,d)} \cdot \Big(v_\theta(M_\tau, \tau, C)^{(t,d)} - (M_1 - M_0)^{(t,d)}\Big)^2\Bigg]$$

其中 $\tau \sim \mathcal{U}(0,1)$ 为流匹配时间步。为抑制高频抖动，论文再对单步 Euler 预测 $\hat{M}_1 = M_\tau + (1-\tau)\,v_\theta(M_\tau, \tau, C)$ 的帧间差分施加「动力学一致性损失」：

$$\mathcal{L}_{kin} = \mathbb{E}_{\tau, M_1, M_0}\Bigg[\sum_{t=1}^{T-1}\sum_{d=1}^{D} \bar{W}_t^{(t)} W_s^{(d)} \cdot \Big(\Delta\hat{M}_1^{(t,d)} - \Delta M_1^{(t,d)}\Big)^2\Bigg]$$

其中 $\Delta M^{(t)} = M^{(t+1)} - M^{(t)}$ 为帧间位移，$\bar{W}_t^{(t)}$ 为相邻帧时间权重的平均。第二阶段总目标：

$$\mathcal{L}_{Stage2} = \mathcal{L}_{vel} + \lambda_{kin}\,\mathcal{L}_{kin} + \lambda_{sem}\,\text{CE}(\hat{Y}, Y_{target})$$

训练数据为 1000 小时语义标注的半合成数据混合 3 倍上采样的节奏中心数据（BEAT，约 76 小时），语义分支与节奏分支互为补充。

（5）MPC 碰撞规避滤波器：每帧 5.6 毫秒的凸二次规划。生成模型再稳也不能在数学上保证绝对安全，论文在推理链路末端加了一层安全过滤。为节省算力，先按碰撞对分组：FINGER_FINGER_PAIR（指间）、FINGER_HAND_PAIR（指手间）、OTHER_CHECK_PAIR（手与身体），只需在组内做两两距离计算。设 $dist(q)$ 为一对刚体的最小距离，约束为 $dist(q) \geq dist_{th}$，并用一阶泰勒展开线性化：

$$dist(q) \approx dist(q_0) + \left.\frac{\partial\, dist(q)}{\partial q}\right|_{q_0} \cdot \Delta q$$

接触雅可比由 MuJoCo 的 mj_jac 接口给出。最终问题被写成凸二次规划，代价由三部分组成——速度代价 $J_1(\Delta q) = W_1\|\Delta q\|_2^2$、轨迹跟踪代价 $J_2(\Delta q) = W_2\|q_0 + \Delta q - q_{ref}\|_2^2$、平滑代价 $J_3(\Delta q) = W_3\|q_0 + \Delta q - q_{prev}\|_2^2$，用 OSQP 逐帧流式求解。效果直接而显著：生成动作的自碰撞帧占比从 4.16% 压到 0.13%。

图2：RoboGesture 数据集可视化。数据集修正了 SeG 的穿透问题、为 EgoGesture 补齐全身动作，并新采集了大量手势，每段动作都带详细语义标注。

（6）数据侧：300+ 类手势库与五阶段半合成流水线。作者先用标记式动作捕捉建立 RoboGesture 手势库：300 余类手势，类别清单来自 SeG 与 EgoGesture 模板，再经用户问卷扩充；每个手势都有详细的动作描述与多场景含义标注，并在真机上回放验证可达性。重定向采用增强版 GMR（身体）加 Dex-Retargeting（BrainCo 灵巧手），随后用同一套 MPC 滤波器把整个数据集清洗成无碰撞语料。半合成流水线分五步：LLM 生成带情绪描述的日常场景脚本；LLM 从手势库挑选语义匹配的手势并确定插入点、微调措辞；情感感知 TTS 合成带词级时间戳的语音，同时用 BEAT 训练的模型生成节奏手势；语义手势被安排在关键词前 0.4 秒启动（模拟人类的前语音预期），与节奏动作以五阶插值融合；最后再过一遍碰撞规避优化。论文称该流水线可以低成本地生成「数百万条」音频-动作对。

flowchart LR
  A[Streaming Audio
1s chunks] --> B[Mimi Codec
semantic + acoustic tokens]
  B --> C[Semantic-Acoustic Aligner]
  C -->|shallow layers| D[Beat Head
rhythm regression]
  C -->|deep layers| E[Semantic Head
300-class prediction]
  D --> F[Streaming Motion Generator
DiT + Conditional Flow Matching]
  E --> F
  G[Past Motion
2T frames, masked 15%] --> F
  F --> H[MPC Safety Filter
OSQP QP, 5.6 ms per frame]
  H --> I[Unitree G1
41-DoF upper body]

flowchart TD
  S1[Scenario Generation
LLM scripts with emotional descriptions] --> S2[Gesture Tagging
select gestures + insertion points]
  S2 --> S3[Multimodal Synthesis
emotion-aware TTS + beat gestures]
  S3 --> S4[Temporal Blending
semantic gestures start 0.4s early
fifth-order interpolation]
  S4 --> S5[Safety Optimization
MPC collision filter]
  S5 --> S6[1000h robot-space
audio-motion pairs]

实验结果

实验分两条线：标准共语手势生成基准（仿真，BEAT 测试集 + 作者新建的 SemanticBEAT——1000 条来自线上与用户问卷、人工标注语义手势区间的语音视频），以及真机社交交互任务。基线为四个提供官方权重的 SOTA：LivelySpeaker（ICCV 2023）、DiffSHEG（CVPR 2024）、SemTalk（ICCV 2025）、Semantic Gesticulator（SIGGRAPH 2024），全部重定向到机器人空间以保证公平；附录还验证了把基线直接在机器人关节空间重训，结论几乎不变，排除了「收益来自重定向」的质疑。

方法	FGD ↓	BC ↑	MSE ↓	DIV ↑	Col. ↓	SemanticBEAT BC ↑	SemanticBEAT DIV ↑	SemanticBEAT Col. ↓
LivelySpeaker	3.0350	0.1811	0.1861	0.1485	21.41	0.2852	0.1384	13.36
DiffSHEG	2.2316	0.1851	0.1753	0.1218	0.85	0.2859	0.1209	1.20
SemTalk	7.9328	0.1828	0.3931	0.1781	52.82	0.2913	0.1440	42.65
Semantic Gesticulator	3.0147	0.1771	0.2375	0.2818	13.11	0.2906	0.2831	13.84
RoboGesture	0.8452	0.1866	0.1347	0.2075	0.88	0.2950	0.2041	0.13

表1：BEAT 与 SemanticBEAT 定量对比（论文 Table 2）。Col. 为自碰撞率（%）。

定量结果有三点值得注意。其一，分布保真度大幅领先：FGD 0.8452，约为次优（DiffSHEG 2.2316）的三分之一，说明机器人空间生成的动作分布与真实数据高度吻合。其二，安全优势是数量级的：BEAT 上碰撞率 0.88%、SemanticBEAT 上仅 0.13%，而 SemTalk 高达 52.82%——一半以上的帧在自碰撞，这类动作在真机上根本不可执行。其三，多样性上 Semantic Gesticulator 更高，但作者引用先前工作指出：DIV 可以被抖动与不稳定动作人为抬高，数值多样性不等于表达质量；RoboGesture 在保真、同步、安全三者间取到了更好的平衡。

图3：三个代表性场景的定性对比。左：基线出现严重自穿透（橙框），RoboGesture 严格避免；中：给定「OK」语义线索时只有本文方法合成出精确的 OK 手势；右：强调语境「seize the chance」下，本文方法生成拍胸口等富表现力动作。

模型	BEAT RA ↑	BEAT SA ↑	BEAT PHC ↑	BEAT OP ↑	SemanticBEAT RA ↑	SemanticBEAT SA ↑	SemanticBEAT PHC ↑	SemanticBEAT OP ↑
LivelySpeaker	-0.2223	-0.3994	-0.4304	-0.3064	-0.2126	-0.3015	-0.3466	-0.3497
DiffSHEG	-0.0058	-0.2691	-0.1440	-0.0992	-0.0090	-0.0817	-0.0458	-0.0626
SemTalk	0.0128	0.0151	0.1679	-0.0132	0.0650	-0.0012	0.1207	0.0970
Semantic Gesticulator	0.0819	0.2264	-0.0273	0.1137	0.0296	0.1605	-0.0347	0.0640
RoboGesture	0.1334	0.4270	0.4338	0.3050	0.1269	0.2239	0.3066	0.2514

表2：成对人类评测（论文 Table 3，Merit 分数，均值 ± 标准误见原文）。RA 节奏对齐、SA 语义准确、PHC 物理与手部一致性、OP 总体偏好。

人类评测采用成对比较：每个基线随机抽 20 段生成片段，共 200 个对比对，评分聚合为 merit 分数。RoboGesture 在两个数据集的全部四个维度上都是第一，其中语义准确（SA 0.4270）与物理/手部一致性（PHC 0.4338）的优势最大——分别对应语义对齐器与动力学一致性损失 + 安全滤波的设计初衷。

配置	SA ↑	HD ↑	HN ↑	BM ↑
w/o 半合成数据	4.281	2.321	4.945	4.628
1/4 半合成数据（约 250h）	6.316	5.980	6.882	6.892
w/o 历史动作上下文	4.237	4.263	2.192	1.928
w/o FiLM 注入	5.181	4.389	4.506	4.589
w/o 语义分类任务	5.007	4.747	4.750	5.268
w/o CFG	4.628	4.885	6.453	6.212
AR 策略	4.843	5.031	5.358	6.850
w/o 动力学一致性损失	5.573	3.947	4.763	5.587
w/o 滤波器	6.541	6.913	6.891	7.387
完整模型	7.175	7.203	7.394	7.529

表3：消融实验（论文 Table 4，200 名参与者评分）。SA 语义动作、HD 手部细节、HN 拟人自然度、BM 节拍匹配。

消融由 200 名参与者打分，信息量很大。数据侧：去掉半合成数据后语义动作分（SA）从 7.175 崩到 4.281、手部细节（HD）崩到 2.321——模型退化成只会打拍子的节奏机器，印证了语义手势必须靠规模化合成数据喂出来。架构侧：去掉历史动作上下文是全局最惨烈的退化（HN 2.192、BM 1.928），说明流式生成的连续性仍强依赖运动学先验；FiLM、语义分类、CFG 各自贡献明确。一个有趣的对照是「AR 策略」行：把连续流匹配换成自回归离散生成，HN 掉到 5.358，支持了论文对离散 token 精度不足、误差累积的判断。

模块	在线延迟
ASR	max(0.157 s, T_idle)，T_idle = 0.5 s
Qwen3-4B-Instruct（LoRA 微调，8430 MB）	0.142 s（首 token）
流式 TTS（Seed-TTS）	0.414 s（首个语音块）
Mimi 音频 tokenizer	0.161 s（首个流式 token）
动作生成器	0.250 s/块（240 块平均 249.78 ms，约 120.11 FPS）
MPC 滤波器	0.170 s/块（0.0056 s/帧）

表4：部署系统各模块延迟（论文 Table 5，均为首个可用输出的流式延迟）。

真机部署方面，系统延迟的大头在上游语音链路：ASR 受端点检测阈值约束约 0.5 秒，LLM 首 token 0.142 秒，TTS 首块 0.414 秒；而动作栈远超实时——生成器约 120 FPS、滤波器每帧 5.6 毫秒，对 30 Hz 的机器人控制率绰绰有余，首个音频块通常不到 1.5 秒即可开播。平台为 G1 配双 BrainCo 灵巧手，高层轨迹经 PD 控制下发，下肢平衡交给 G1 自带站立控制器，部署范围明确限定为「站定式上半身手势」。

图4：附录中的数据集可视化。RoboGesture 是涵盖 300 余类高质量动作的全身手势数据集，每类均带语义标注并经真机回放验证。

局限性

作者自述的四点。其一，交互范围仅限上半身共语手势，不涉及移动、操作与场景级决策，是通向更广泛人形社交智能的「重要但有限」的一步。其二，历史动作条件无法完全去除：反惯性掩码、延迟历史注入等机制削弱了历史主导偏置，但动作连续性先验仍是必需品——好的共语动作必须在「响应新音频」与「跨块平滑」之间取平衡。其三，模型性能受限于半合成数据的分布多样性，作者认为补充更丰富的真实交互录制会进一步提升鲁棒性。其四，当前系统级延迟主要由语音链路（语言生成、语音合成、分块流式）决定，而非动作模型本身。

我的补充判断。其一，语义空间是封闭的 300 类分类问题，对库外新语义手势的泛化能力未被验证；语义头准确率（附录 E.4）与手势-关键词绑定（0.4 秒提前量的规则式调度）都意味着该系统更像一个「语义手势检索器 + 节奏生成器」的融合体，而非开放式的语义理解。其二，评测的生态效度有限：SemanticBEAT 虽是新建测试集，但仍是仿真空间内的离线评测；真机部分以定性演示与延迟测量为主，没有多轮连续对话下的系统性用户研究，「社交自然度」的最终裁决还留在真实场景里。其三，MPC 的碰撞约束依赖一阶线性化，只在 $q_0$ 邻域内有效，对大幅度快速动作的保守性与可行性边界论文未给出系统分析。

总结与展望

RoboGesture 的价值在于把「共语手势」从虚拟形象动画问题重新定义为人形机器人的系统问题：数据要机器人空间的、模型要流式且抗模态遮蔽的、控制要带安全证明色彩的。三个模块各自不新（分层音频编码、CFM 扩散、MPC 滤波都有先例），但把它们按「听—回应—手势」闭环拧在一起，并用消融逐一证明每个部件不可拆，是这篇论文扎实的工程科学贡献。BEAT 上 0.8452 的 FGD 与 0.13% 的碰撞率给出了清晰的数字证据；而 120 FPS 的生成速度与 5.6 毫秒的滤波开销说明：在社交人形机器人上，「听得懂、动得对、不撞到自己」已经可以在实时约束下同时成立。

往前看，这条路线的延伸方向相当清楚：把上半身手势与操作技能接起来（服务场景里「边说边做」才是常态）、把 300 类封闭语义扩展为开放词汇的语义条件、用真实多轮交互数据替代部分半合成语料、以及压缩上游语音链路延迟。论文结尾的伦理备注也值得保留：更具表现力的机器人行为会更强地塑造用户预期，部署应当对「生成性质与应用边界」保持透明。

金句

「实时性能不是可选项，而是无缝社交交互的根本必需。」——论文附录 A.1 对低延迟流式推理的立场。

「直接在机器人空间学习不是实验上的便利，而是实现安全、低延迟、高保真人形交互的根本要求。」——论文对 Human-space 与 Robot-space 路线之争的回答。

「模型常常『作弊』：过度依赖过去的运动学惯性，忽略弱一些的音频与语义引导。」——模态遮蔽现象的生动刻画，也是 Anti-Inertia 机制的出发点。