GRIT:宇树G1全身运动追踪控制与VR遥操作部署

项目定位:人形全身运动追踪的"部署最后一公里"

GRIT(GRIT v0.0.1)是一个面向宇树 G1 人形机器人的全身运动追踪控制算法,本仓库提供其部署代码:ONNX 策略、50 Hz Python 推理与控制运行时、MuJoCo sim2sim、PICO/XRoboToolkit 实时动作重定向,以及基于 Unitree SDK2 的原生硬件桥。操作员佩戴 PICO 头显做出动作,机器人即可实时复现全身运动。

训练与数据生成代码不在本仓库范围内——这是一个纯粹的部署/推理工程库,但它完整覆盖了从仿真验证到真机落地、再到 VR 遥操作的全链路,这对想在自有机器人上跑通运动追踪的团队非常实用。

核心架构

组件	职责
GRIT ONNX 策略 + 部署契约	模型权重与动作/观测接口的明确约定(grit_policy.py / grit_observation.py)
50 Hz 推理与控制运行时	统一 UDP 接口驱动策略推理循环、增益与关节序(controller.yaml)
MuJoCo sim2sim	headless 与交互式两种模式,先在仿真里验证策略(sim2sim.py + bridge.yaml)
PICO/XRoboToolkit 重定向	XR 数据流 → G1 关节重定向,8080 端口浏览器可视化(teleop/)
Unitree SDK2 硬件桥	原生 C++ 桥 + 过期指令看门狗,保障真机安全(g1_sim2real/)

策略推理通过统一 UDP 接口通信,使得仿真与真机共用同一套推理逻辑;过期指令看门狗则防止通信中断时机器人执行陈旧指令,这是真机部署的关键安全设计。

部署流程

环境要求为 Ubuntu 22.04/24.04(x86_64 或 aarch64)、Python 3.10 + uv、MuJoCo 图形栈;真机还需一台 G1 与专用机器人网口。典型路径是:

阶段	命令/配置
仿真验证	uv run src/sim2sim.py --robot g1 启动模拟器,deploy.py 跑策略
本地参考动作模式	tracking.yaml + config/g1/motions/ 中的示例参考动作
实时 VR 遥操作	tracking_vr.yaml + retarget/teleop.yaml(PICO 重定向)
真机部署	原生 SDK2 桥,经机器人专用网口通信

路线图:从部署库到通用运动基础模型

这个仓库是更大研究计划的第一阶段,后续版本将逐步补齐训练侧:

时间	版本	内容
8 月 29 日	v0.0.1	初始策略检查点 + sim2sim / 本地 sim2real / VR 遥操作完整管线(本仓库)
9 月	v0.0.2	更新检查点 + 技术文档、机载部署管线、头/手硬件改装方案、VLA 数据采集管线
10 月	v1.0.0	通用运动基础模型:技术报告(论文)、整合检查点、训练数据集与框架源码、VLA 数据采集与训练教程

值得注意的是 v0.0.2 起将提供 VLA 数据采集管线——遥操作采集是训练 VLA 模型的关键数据来源,这使 GRIT 从单纯的运动控制工具升级为具身数据采集基础设施。

点评

GRIT 的价值在于它把"人形全身运动追踪"从论文概念落到了可直接运行的工程形态:仿真先行验证、统一推理接口、真机安全看门狗三件套齐备,且明确规划了向通用运动基础模型与 VLA 数据采集演进的路径。对于拥有一台 G1、想做遥操作数据采集或全身运动控制实验的团队,这是一个起点极高的开源项目。