UMR 框架通过学习稠密点云对应关系实现人形运动重定向,无需手动映射,提升可扩展性与细节还原能力。
提出端到端感知跑酷框架,将原始深度图与本体感受直接映射为关节动作,结合地形边缘检测、足部体积点防边缘滑落机制与平坦区域采样抑制奖励作弊,全尺寸人形机器人实测最高 2.5 m/s 穿越复杂非结构化地形。
CReF 提出单阶段、直接以深度图+本体感知映射到关节目标的视觉人形运动框架:本体感知查询的跨模态注意力、门控残差融合与 GRU 高速公路门控循环融合从原始前向深度提取运动相关特征,并引入基于足端点云可支撑候选的地形感知落脚奖励。仿真中在楼梯/间隙/平台三类地形全部难度档取得领先,零样本部署到 AGIBOT X2 Ultra,在带扶手楼梯、镂空托盘、强反光与杂乱户外场景中稳定行走。
RoboGesture 让人形机器人听懂语音并实时做手势:300 余类手势数据集,分层语义-声学对齐提取韵律与语义线索,流式扩散生成器驱动 Unitree G1,MPC 安全滤波保真机无碰撞执行。
苏黎世联邦理工提出 ADAPT:文本条件扩散技能先验加约束残差强化学习,在 Unitree G1 上实现实时指令切换的端到端全身控制,并可通过噪声引导复用冻结先验完成风格保持的目标到达。
PAMoR 把情感变成可测量的控制参数:在人形机器人自身运动学上以闭式解计算效价-唤醒度(V-A)坐标,由姿态扩展度与运动能量直接得出,无需人类标注。动作先验与两个情感先验在共享潜空间中逐去噪步复合——动作先验决定做什么,情感先验调节怎么做。全身动作在 29 自由度 Unitree G1 上自回归实时展开,动作与情感均可在线编辑;感知实验中评分者对目标情绪的识别率达 0.38,超过基线并接近真人表演动作的 0.44。
ZEST 用单阶段强化学习,把动作捕捉、单目视频和关键帧动画三类异构参考动作统一训练成模拟策略,零样本部署到 Atlas、Unitree G1 和 Spot,实现全尺寸人形机器人上首个动态多接触技能,无需接触标签、状态估计器或逐技能调参。
研究人形机器人在被动椅上的全向坐姿移动。策略仅用本体感知,速度跟踪优于站立。分析了正则化对收敛与误差的影响。
LAC 提出通用人形全身柔顺控制器:在人体交互数据接触帧上施加采样的力/力偶扰动合成大规模柔顺响应数据,经教师-学生强化学习训练单一策略,实现对上半身外力的线性与角度柔顺、刚度全程单调调制,并在仿真、真机与遥操作移动操作中验证。
首个用于人形机器人全身控制的行为世界模型(BWM),训练因果Transformer联合预测下一步动作、状态和潜在行为指令分布,使策略网络同时建模环境对行为的影响。自动地形标注管线从重定向运动中恢复3D接触几何,部署时检测不合理指令并回退到已学行为,在四项测试中成功率最高(地形交互81.3%、不合理指令83.1%、跌倒恢复99.3%),Unitree G1检查点可迁移至Maker L01机器人。
LATENT 以碎片化、不完整的人类网球动作数据为先验,经修正与组合学出可稳定击球的人形策略,部署到 Unitree G1,能与人类进行多拍对拉。
人形机器人同时实现拟人自然性与地形鲁棒通行仍是核心挑战。现有RL方法依赖固定运动先验,环境适应性有限。本文提出地形条件生成式运动先验(T-GMP),用CVAE从少量专家状态-地形示教中学习地形条件的潜在运动流形,使风格平滑过渡、策略统一适配地形变化;结合Foothold Penalty与对抗学习判别器,按局部地形动态调制自然性约束。实验表明该方法在通行成功率与运动平滑度上优于基线,同时保持仿生自然且物理协调的运动。