PAMoR：人形机器人实时参数化情感动作生成

PAMoR：人形机器人实时参数化情感动作生成

论文：PAMoR: Parameterized Affective Motion Generation in Real Time for Humanoid Robots
作者：Yan Pan, Lingfan Bao, Tianhu Peng, Chengxu Zhou（伦敦大学学院计算机科学系）
链接：arXiv:2608.28213（2026-08-28，IEEE RA-L 审稿中） | 平台：29 自由度 Unitree G1
代码：本文未提供公开代码，GitHub 检索亦未发现官方仓库；论文未给出代码发布计划。

一句话总结

PAMoR 用闭式运动学公式直接从机器人自身姿态算出效价–唤醒度（V-A）情感坐标，再靠三个在共享潜空间中组合的扩散先验，让 29 自由度 Unitree G1 实时生成、并且边跑边改"做什么动作"与"带什么情绪"。

研究背景与动机

人形机器人不只是一个执行任务的机器，也是一个社会行动者：它的一举一动都在被人观看、解读并赋予情感含义。随着人形机器人进入现场演出、公共服务等日常场景，动作本身成了一条向观众传递情绪的通道——无论设计者有没有这个意图，人们都会从动作里读出情绪。要真正控制这条通道，作者认为必须同时满足三件事：其一，情感必须以一种可解释的方式被参数化；其二，动作必须实时生成，并且在执行过程中仍然可以编辑；其三，平台必须是人形机器人，这样从人体肢体语言积累的规律才仍然适用。

然而，已有的情感动作生成几乎都集中在虚拟人（avatar）上，情绪的指定方式只有两种：要么给一段参考视频，让模型模仿其风格；要么在文本提示词里塞一个情绪词。参考视频路线的问题是，"悲伤"到底长什么样完全取决于那一段具体的视频——它无法被写下来、无法被复现，而且风格与视频里所做的动作纠缠在一起。情绪词路线的问题是，"悲伤"的含义由训练语料上标注者的共识决定，在动作层面没有任何定义。两条路线都没有把情感当作一个可解释、可参数化的控制条件。心理学中其实早就存在这样的参数化：Russell 的效价–唤醒度（valence–arousal, V-A）环状模型。机器人领域也有少数系统用 V-A 值指挥情感动作，但它们的量纲只能靠人工放置的锚点或人工标注来标定；而且在四肢人形机器人上，连续 V-A 控制全身动作仍然是空白——没有手臂和躯干可以测量情感，量纲就无从谈起。

动作如何到达机器人是第二个缺口。虚拟人侧的生成器一次性离线产生整段动作序列，既不能实时运行，也不能中途修改；把动作重定向到机器人还会在推理回路中引入延迟，并改变承载情感的那些姿态与速度——一个命令正确的情绪可能在迁移过程中丢失。近期已有工作在机器人本体上实时生成、并支持执行中编辑指令，但它的条件里没有情感。

为了同时补上这两个缺口，作者提出 PAMoR：第一步，把情感参数化为直接从机器人运动学测量出来的 V-A 坐标，用姿态扩张程度定义效价、用运动能量定义唤醒度，闭式计算、零人工标注；第二步，把这个坐标变成真正的控制量——三个独立训练的扩散先验在共享潜空间中各自学习一种条件如何塑造动作，采样时在每一步去噪中把它们的引导相加，文本提示词决定"做什么"，V-A 数值调制"怎么做"，两者可以在自回归滚动中随时独立修改。

预备知识

Russell 的环状模型把情感铺在一个二维平面上：横轴是效价（消极到积极），纵轴是唤醒度（平静到激动），八种基本情绪按 45 度扇区落在环上，中性在原点。这个平面给出了情感的连续坐标系，但它本身不回答"机器人做什么动作才算是高效价、高唤醒"。

肢体语言研究给出了桥梁：开放、扩张的姿态被感知为积极情感（高效价），快速、有能量的运动被感知为高唤醒。这些结论通常用于从动作识别情感，PAMoR 把它们反过来用——从这些身体线索出发去标注和生成情感动作。

技术上，PAMoR 建立在两类扩散模型工具之上：一是可组合扩散，多个条件先验各自训练、采样时把引导项相加；二是无分类器引导，用"有条件预测减去无条件预测"得到条件方向，以引导权重放大。PAMoR 把这两者搬到机器人动作潜空间里。

方法详解

1. 问题定义与动作表征。模型在机器人自己的特征空间里工作。每一帧是一个 69 维特征向量，堆叠了根关节朝向（正弦/余弦编码）、航向变化、足部接触、航向不变的根位移、根高度、关节角度与关节增量：

$$\mathbf{x}_{t}=\bigl[\mathbf{r}_{t}^{\sin\cos},\;\Delta\psi_{t},\;\mathbf{f}_{t},\;\Delta\mathbf{b}_{t}^{xyz},\;b_{t}^{z},\;\mathbf{q}_{t},\;\Delta\mathbf{q}_{t}\bigr]\in\mathbb{R}^{69}$$

给定指定动作的文本提示 $\tau$（如 walk、wave arms）、目标情感坐标 $(v,a)\in[-1,1]^2$，以及过去 $H$ 帧历史 $\mathbf{h}=\mathbf{x}_{t-H:t-1}$，目标是合成下一个 $F$ 帧动作基元并在 29 自由度 G1 上自回归地滚动成完整动作。动作由 $\tau$ 决定，$(v,a)$ 只调制情绪风格。

2. 情感不是标注出来的，而是算出来的。这是 PAMoR 最有辨识度的一步。效价和唤醒度都在前向运动学得到的 14 个身体关键点上闭式求值：姿态给效价，运动能量给唤醒度。整个训练语料因此被零成本地打上了 V-A 标签，而且这个条件始终保持可解释。

3. 效价：姿态扩张的三个线索。作者按肢体语言文献给出的指标，从机器人自身运动学读出三个方向的"身体打开程度"：手臂扩张度 $s_t$ 是双腕与躯干关键点构成的三角形周长，刻画横向打开；根高度 $b_t^z$ 刻画纵向伸展；躯干倾角 $\theta_t$ 是根关节在航向对齐坐标系下的带符号俯仰，后仰为正、前屈越深越负。三者都随身体打开而上升。文献只给出了定性方向、没有给出各线索的定量权重，所以三者等权；每个线索在全部训练帧上做 z 归一化（记作 $\tilde{\cdot}$）后相加：

$$v_{t}^{\text{raw}}=\tilde{s}_{t}+\tilde{b}_{t}^{z}+\tilde{\theta}_{t}$$

4. 唤醒度：运动能量。同样的关键点集合上，速度 $\dot{p}_t$ 取所有关键点速度幅值的均值，加速度 $\ddot{p}_t$ 取加速度幅值的均值，各自 z 归一化后相加：

$$a_{t}^{\text{raw}}=\widetilde{\dot{p}}_{t}+\widetilde{\ddot{p}}_{t}$$

5. Winsorize 重标定到 [-1,1]。两个原始分数都是无界的，作者用该分数在全部训练帧上的 10% 与 90% 分位数 $q_{10},q_{90}$ 作锚点做重标定：

$$v_{t}=\operatorname{clip}\left(2\frac{v_{t}^{\text{raw}}-q_{10}}{q_{90}-q_{10}}-1,\;-1,\;1\right)$$

$a_t$ 同理。逐帧标签再在每个 $F$ 帧基元上取平均，得到该基元的 $(v,a)$ 条件。注意这里的量纲完全来自机器人自己的语料分布，没有任何人类标注。

6. 动作潜空间：MVAE。扩散不在原始特征 $\mathbf{x}_t$ 上跑。一个 9 层 Transformer 动作 VAE 把 $H$ 帧历史加 $F$ 帧未来的窗口压缩成 128 维潜码 $\mathbf{z}$，解码器再从潜码和历史帧重建 $F$ 帧未来。MVAE 约 42M 参数，先单独训练、之后冻结，为三个先验提供共享的潜空间——这是三者预测能够直接相加的前提。

7. 三个可组合的条件先验。单一网络同时吃文本、效价、唤醒度会把动作与情绪风格纠缠在一起，改 V-A 就可能带歪动作本身。因此作者训练三个独立先验，共享同一份加噪潜码 $\mathbf{z}_t$、扩散步 $t$ 与历史 $\mathbf{h}$，只是条件不同：

$$D_{\tau}(\mathbf{z}_{t};t,\tau,\mathbf{h}),\quad D_{v}(\mathbf{z}_{t};t,v,\mathbf{h}),\quad D_{a}(\mathbf{z}_{t};t,a,\mathbf{h})$$

每个先验直接预测干净潜码而不是噪声；每个去噪器读入一条 token 序列 $[\mathbf{c},t,\mathbf{h}_1,\mathbf{h}_2,\mathbf{z}_t]$——条件 token、扩散步、历史帧各一、加噪潜码——条件以 token 形式进入上下文，而非走交叉注意力；文本提示由冻结的 CLIP 编码器嵌入。情感先验训练时用的条件就是该基元自身动作上测出来的标量，所以它学到的是"给定这个标量值，干净潜码的分布"：高 $v$ 选出解码为开放舒展身体的潜码，低 $v$ 选出蜷缩的；$a$ 同理区分快慢。推理时"有条件预测减无条件预测"就是潜空间里把该标量拉向命令值的方向；因为三个先验独立拟合，效价方向的估计与动作无关，跟着它走只改变"怎么做"，而文本先验稳住"做什么"。

8. 采样时的组合规则。每一步去噪都做无分类器组合：

$$\hat{\mathbf{z}}_{0}=\hat{\mathbf{z}}_{\tau}^{u}+\sum_{i\in\{\tau,v,a\}}\lambda_{i}\bigl(\hat{\mathbf{z}}_{i}^{c}-\hat{\mathbf{z}}_{i}^{u}\bigr)$$

其中 $\hat{\mathbf{z}}_i^c$、$\hat{\mathbf{z}}_i^u$ 分别是先验 $i$ 有条件和无条件的预测，$\lambda_i$ 是引导权重，实际取 $(\lambda_\tau,\lambda_v,\lambda_a)=(5,2,2)$。该规则假设三种条件在给定动作下相互独立。组合出的 $\hat{\mathbf{z}}_0$ 再加噪回 $\mathbf{z}_{t-1}$，从纯噪声 $t=T$ 一路降到 $t=0$，解码器把干净潜码映射为一个动作基元。每个基元在自己的条件下采样，其末尾 $H$ 帧成为下一个基元的上下文，滚动长度不受限，提示词与 V-A 目标可以在基元之间随时切换。

9. 训练目标。两阶段训练：先训 MVAE（重建项 + 前向运动学项 + 时间差分项 + 潜空间 KL 正则），冻结后再独立训练三个先验。每个先验用回归干净潜码的扩散损失：

$$\mathcal{L}_{i}=\mathbb{E}\bigl[\mathcal{H}\bigl(\mathbf{z}_{0},D_{i}(\mathbf{z}_{t};t,c_{i},\mathbf{h})\bigr)\bigr],\qquad i\in\{\tau,v,a\}$$

$\mathcal{H}$ 是 Huber 损失，期望遍历训练潜码、扩散步与噪声采样；同时对预测潜码解码出的动作施加同样的前向运动学与时间差分约束。训练时以 0.1 的概率丢弃条件，为推理时的无条件预测提供来源。先验只在采样时组合，因此任何一个都可以即插即用地增删，无需重训。

10. 语料构建。情感先验需要"同一个动作以不同风格执行"的样本。BABEL 标注的 AMASS 动作虽然动作类别多，但风格不均：高频类有很多变体，罕见类只覆盖很窄的速度、幅度与姿态范围。因此作者补充两类数据：GVHMR 从视频重建的动作，以及直接在机器人上遥操作录制的动作，都瞄准张开双臂、握手这类日常且富表现力的动作，每种采集多种风格。AMASS 与视频来源用 GMR 重定向到 G1，遥操作数据本来就在 G1 空间。所有来源切成单动作片段、归入 15 个动作类；再以类别均衡的方式把 3 个片段插值串成一条链，让模型见到动作之间的过渡；链与片段都在仿真中用 SONIC 跟踪器回放，跟不上的、根高度过低或倾斜过大的样本被丢弃。

flowchart LR
    A[AMASS + Video + Teleop] --> B[GMR retarget
to Unitree G1]
    B --> C[Cut into segments
15 action classes]
    C --> D[Chain 3 segments
class balanced]
    D --> E[SONIC replay
filter failures]
    E --> F[Closed-form V-A labeling
posture and energy]
    E --> G[MVAE encode
128-d latent]
    F --> P1[Text prior D_tau]
    F --> P2[Valence prior D_v]
    F --> P3[Arousal prior D_a]
    G --> P1
    G --> P2
    G --> P3
    P1 --> H[Sum guidance
each denoising step]
    P2 --> H
    P3 --> H
    H --> I[MVAE decode
8 frame primitive]
    I --> J[Autoregressive rollout
edit action and affect on the fly]
    J --> K[G1 whole body controller]

图1：PAMoR 框架总览（论文 Fig. 2）。语料经重定向、串链与仿真筛选后，被闭式 V-A 标注；MVAE 冻结后为三个先验提供共享潜空间；三个先验只在采样时组合。

图2：论文框架图原图——数据处理（左上）与可组合潜扩散生成（右侧）。

图3：在机器人上实现的 V-A 平面（论文 Fig. 3）——效价左右、唤醒度上下，Russell 八种情绪位于环状位置，每个象限展示一段生成动作。

实验结果

设置。语料共 10,095 条训练链与 2,406 条留出链（3 段插值成链，合 30,285 / 7,218 个片段），全部在 G1 上 20 Hz。评测用作者自训的 G1-TMR 文本–动作嵌入评估器，按标准文本到动作协议报告 FID、R-precision、MM-Distance、Diversity、MultiModality，固定 1,000 条留出提示、固定种子。基线是两个只吃文本的机器人空间扩散模型：TextOp（自回归潜扩散）与 ECHO（动作空间 1D 卷积 U-Net），外加风格化扩散 SMooDi。PAMoR 额外接收从 $[-0.8,0.8]$ 均匀采样的 V-A 值。所有网络为 512 隐层 Transformer，MVAE 约 42M 参数，每个先验为 8 层约 17.5M 参数，按 100 步 DDPM 调度训练，推理只走 10 步；每个基元 $F=8$ 帧（400 ms），历史 $H=2$ 帧。

文本到动作质量。直觉上，V-A 目标会把生成推离文本匹配最好的"典型版本"，应当牺牲 FID 与 R-precision；但表 1 显示并没有：PAMoR 的 FID、R-precision、MM-Distance、Diversity 与两个纯文本基线持平，MultiModality 反而最高（0.882 对 0.521 / 0.787）——V-A 条件带来了风格多样性，且动作质量没有可测的损失。SMooDi 只能比 R-precision，其 R@1 仅 0.166：风格来自参考视频时，动作本身付出了沉重代价。

方法	FID ↓	R@1 ↑	R@3 ↑	MM-Dist ↓	Div. →	MMod. ↑
真实动作（上限）	0.000	0.985	0.992	1.106	1.305	1.094
TextOp	0.438	0.799	0.904	1.188	1.240	0.521
ECHO	0.366	0.798	0.897	1.187	1.272	0.787
SMooDi	–	0.166	0.309	–	–	–
PAMoR（本文）	0.379	0.792	0.883	1.188	1.274	0.882

表1：文本到动作评测（论文 Table I），1,000 条固定留出提示；SMooDi 仅 R-precision 可比。

V-A 可控性。对效价与唤醒度各扫 7 档、49 个组合、每动作提示 3 个种子，再用第 3 节的标注函数把生成动作的 V-A 测回来：两轴的测量值都跟随命令值，秩相关达 0.95；斜率效价 +1.10、唤醒度 +0.79；响应在全量程单调，意味着可以命令环状平面上的任意一点，而不只是几个离散情绪；跨轴相关低于 0.06，命令一个轴不会拖偏另一个轴。

推理效率。单张 RTX 5090 上，三先验完整滚动每个基元 78 ms（$T=10$ 步），而一个基元对应 400 ms 动作——生成速度约为实时的 5 倍，实时运行成立。

感知实验。作者按 Fourati 与 Pelachaud 的身体情感感知协议设计了用户实验：7 个动作（握手、张臂、挥臂、出拳、行走、鼓掌、踢腿）与 8 种情绪（Russell 的术语，环上每 45 度一种：happy、excited、tense、distressed、sad、bored、relaxed、content）完全交叉，情绪必须从"动作怎么做"而非"做什么动作"里读出来；每个试次并排展示待评片段与同动作的中性参照，评分者从八种情绪里排序前三并打 5 分自然度。12 名与项目无关的评分者完成全部 840 个试次，无剔除。结果如表 2：PAMoR 的 Top-1 为 0.384、Top-3 为 0.845，95% 置信区间显著高于随机线（0.125 / 0.375）；两个基线的 Top-3 都没有离开随机区间。加权一致性 $\kappa_w$（对首选取近邻误判加权）把三者进一步拉开：0.688 对 0.209 与 0.060。其定义为：

$$\kappa_{w}=1-\frac{\sum_{ij}d_{ij}^{2}n_{ij}}{\sum_{ij}d_{ij}^{2}e_{ij}}$$

其中 $d_{ij}$ 是命令情绪 $i$ 与回答 $j$ 在环状模型上的步数距离——把 excited 猜成 happy 只有一步，代价是猜成 sad（三步）的九分之一。且排序在每个评分者内部都成立：12 人全部把 PAMoR 排在情绪提示词之上。被认错时，所选的词是环上的近邻而非任意词：平均距命令 1.48 个扇区，随机作答的期望是 2.29；两个基线分别是 2.20 与 2.15，基本等于随机。

方法	Top-1 ↑	Top-3 ↑	κ_w ↑	自然度 ↑
TextOp（情绪提示词）	0.125	0.423	0.060	3.40
SMooDi	0.202	0.417	0.209	3.25
PAMoR（本文）	0.384	0.845	0.688	4.05

表2：感知实验（论文 Table II）。随机线：Top-1 为 0.125，Top-3 为 0.375。

图4：用户实验界面（论文 Fig. 4）——待评片段位于中性参照左侧，评分者把前三情绪猜测拖入排序槽。

更值得注意的参照系是真人：Emilya 数据库里演员用身体表演的情绪，被观察者识别的比率是 0.44（同样的八选一随机线）；G1 上的生成动作被识别的比率已逼近真人表演，逐情绪从 relaxed 的 0.21 到 excited 的 0.49。还有一个细节：出拳与踢腿这类动作天生被读作攻击性，命令它们带正效价是最难的情形——命令仍然传达了出来：命令正效价时，评分者首选取为正情绪的比率达 0.85；而在所有出拳、踢腿试次上，首选取正负之比为 49 对 47，几乎无偏。

消融：可组合对单一先验。单一先验同时条件于 $(\tau,v,a)$ 时，V-A 调制下文本检索与动作准确率都掉了 0.2 以上（表 3）：R@1 从 0.792 跌到 0.556，动作准确率从 0.748 跌到 0.478。这直接验证了"联合条件会纠缠动作与风格"的设计动机。

变体	FID ↓	R@1 ↑	动作准确率 ↑
单一先验 (τ, v, a)	0.447	0.556	0.478
可组合先验（本文）	0.379	0.792	0.748

表3：V-A 调制下单一先验与可组合扩散对比（论文 Table III）。

消融：潜空间对动作空间。保持同样的可组合设计，把去噪对象从冻结 MVAE 潜码换成原始特征：潜空间版本的 V-A 命令更"可见"也更平滑——斜率更接近 1，两轴自相关均上升（唤醒度 0.79 升至 0.95），关节 jerk 下降约 40%（157.8 到 92.7 rad/s³）。

变体	s_v → 1	s_a → 1	ρ_{v→v} ↑	ρ_{a→a} ↑	Jerk ↓
动作空间	+1.122	+0.570	0.896	0.786	157.8
潜空间（本文）	+1.095	+0.787	0.950	0.947	92.7

表4：同一可组合设计下潜空间与动作空间扩散对比（论文 Table IV），jerk 单位 rad/s³。

局限性

其一（作者自述）：线索权重只是约定。肢体语言文献确定了哪些线索抬升效价、哪些抬升唤醒度，但没有给出各线索应占多少权重。式 (2) 的等权求和因此是一个约定，标定它需要进一步的实验。

其二（作者自述）：开环部署，情感可能漂移。部署是分层结构：模型生成动作、全身控制器执行，中间没有反馈。控制器必然带跟踪误差，且对情感一无所知，执行出来的 V-A 可能偏离命令而没有任何机制去察觉。把这个环闭上、看真实机器人上能否守住命令的情感，是作者列出的首要后续工作。

其三（解读者判断）：量纲锚定语料。z 归一化与分位数重标定都以训练语料的分布为锚点，V-A 刻度的含义因此绑定于该语料；更换语料或扩充风格范围时，同一 $(v,a)$ 命令对应的动作风格可能漂移，跨系统的可比性需要重新标定。

其四（解读者判断）：识别率仍有提升空间。0.384 的 Top-1 虽然显著高于基线并逼近真人表演的 0.44，但仍是少数情形下才被准确命名；relaxed、content 这类低唤醒情绪的逐情绪识别率明显低于 excited，说明环状平面低唤醒区域的表达仍是难点。实验也只覆盖 15 个动作类、12 名评分者。

总结与展望

PAMoR 把"情感"从参考视频和情绪词这两种不可写的指定方式，变成了从机器人自身运动学闭式测出的连续控制量：效价读姿态扩张、唤醒度读运动能量，训练语料零标注；三个先验在共享潜空间中独立学习、采样时逐步组合，让"做什么"与"怎么做"在实时滚动中各自可编辑。定量上，它在保持文本到动作质量的同时实现了全量程单调的 V-A 跟踪；感知上，评分者识别命令情绪的比率逼近真人身体表演。作者给出的方向是把 V-A 值交给场景推理来产生，并根据人的反馈在线调整——当情感的来源与去向都进入闭环，人形机器人才真正具备社交层面的动作表达能力。

金句

"从身体本身而非标注来参数化情感，正是让条件变得可解释、可验证的原因。"
—— 原文："parameterizing affect from the body itself, rather than through annotation, is what makes the condition explainable and verifiable."