
Meta开源SuperDex:面向灵巧操作的统一仿真平台,接触优先物理引擎+零样本sim2real
Meta Reality Labs Research 开源 Project SuperDex:以自研接触优先物理引擎为核心,叠加工具链与 Gymnasium 风格 RL 接口的灵巧操作仿真平台,支持软体/杆腱/非凸接触、VR 遥操作合成数据,并展示形状分拣策略零样本迁移到真实机械手。
Project SuperDex 是什么?
Meta Reality Labs Research 开源了 Project SuperDex——一个面向机器人灵巧操作(dexterous manipulation)的统一仿真平台。项目于 2026 年 8 月 20 日以 Apache-2.0 许可证首次发布在 GitHub 上(facebookresearch/project_superdex),围绕一个自研的"接触优先"(contact-first)物理引擎构建——它专为灵巧操作中最难的那些交互而生:多指抓取、手内重定向、可变形物体与非凸接触。
平台由四个积木式模块组成,层层堆叠出一条完整的研究管线:
- SuperDex Physics——为触觉操作量身打造的接触优先物理引擎,是整个项目的仿真基石。
- SuperDex Robotics——机器人 SDK,提供声明式机器人定义、控制器、传感器与执行器。
- SuperDex Studio——桌面端创作工具,把机器人、任务物体与场景打磨到生产级、仿真可用的质量。
- SuperDex Lab——Gymnasium 风格的强化学习接口(早期预览版),把仿真与策略开发连起来。
基于 VR 的遥操作计划在后续版本发布(SuperDex Teleop 预计 2026 年 Q4 推出)。用 Meta 自己的话说,最终目标是:研究者与工程师为机器人打下基础,"从最难的问题开始:灵巧操作。"
为什么要做一个新的物理引擎?
大多数机器人仿真器是把接触处理"外挂"到一个通用刚体引擎上。而灵巧操作恰恰相反:接触不是边缘情况,接触就是任务本身。一只手反复抓握麦片盒、指尖挤压海绵、腱驱动的手指缠绕绳子——这些都需要在高压实频率下,对非凸、可变形的表面给出稳定的力分布。SuperDex Physics 就是围绕这个前提设计的,Meta 称之为 contact-first(接触优先):在稳定接触与精确感知重要的任何地方,都能胜任。
物理能力一览
- 多物理场仿真——刚体、软体、杆/腱、壳/布料统一求解,更多物理类型在路上。
- 任意刚性与柔性关节系统——支持多种关节类型的关节体,刚性与可变形构件可以共存于同一个模型。
- 非凸碰撞——对任意几何(包括非凸与变形物体)给出精确的接触力分布。
- 数值稳定性——摆脱显式/半隐式方法苛刻的时间步稳定性限制,仿真依然稳健。
- 逆运动学——约束感知的 IK 与正向动力学共用同一个非线性优化内核,可以在碰撞、末端执行器与轨迹约束下解出物理上精确的姿态。
- 触觉传感器与软接触——面向富接触操作:感知交互与产生交互同样重要。
SuperDex Robotics:机器人层
SuperDex Robotics 把物理引擎延伸到机器人工作流:声明式机器人定义与组合、控制器、传感器与执行器。
- 声明式机器人(Declarative bots)——一个人类可读的
.superdex_bot文件完整描述一台机器人(连杆、关节、网格引用)。它在物理引擎关节系统之上补充了机器人工作流所需的字段,是从 Studio 到仿真的唯一事实来源。 - 开箱即用的机器人库——机械臂、机器人手、人手、传感器、躯干一应俱全,每个都可以作为
.superdex_bot文件直接加载进场景。 - 自带机器人(BYO Bots)——运行时直接加载 URDF,或用 SuperDex Studio 把它升级成原生 bot,获得生产级碰撞网格。
- 控制器、传感器、执行器——统一、可扩展的框架;内置操作空间与关节空间 PD 控制器,开箱即用。
SuperDex Studio:创作层
SuperDex Studio 是桌面端内容创作工具:把原始 CAD 和机器人描述变成原生 SuperDex 资产——bot、预制件与场景——并达到生产级、仿真可用的质量。
- 组合、编辑与拼装机器人——用经过验证的组件搭建复杂机器人,或从 URDF 导入;反复迭代运动学、动力学、关节限位与自碰撞,直到模型表现得像真机。可以给机械臂拧上一只手,或把原厂指尖换成定制传感器。
- CAD 直出网格——直接从 CAD 生成仿真可用的碰撞网格,让接触行为与真实零件一致。
- 场景与任务创作——任务物体与场景在同一环境里搭建,随时可进入策略训练。
SuperDex Lab:规模化强化学习
SuperDex Lab 通过 Gymnasium 风格的 API 把仿真与策略开发连接起来。目前处于早期预览阶段;未来将以部分可观测马尔可夫决策过程(POMDP)的通用抽象为底座,支撑强化学习、系统辨识与模型预测控制等应用。
- SuperDex Gym——构建在 SuperDex Physics 之上的 Gymnasium 兼容 RL 框架,自带一套操作与运动环境。
- 批量、向量化训练——场景共享 + 多线程执行的批量仿真,在向量化环境中训练策略。
- Ray / RLlib 集成——开箱即用,直接从 Gym 环境启动 RL 训练。
项目官网展示的头号成果是一次 zero-shot sim-to-real 迁移:形状分拣操作策略完全在 SuperDex Gym 仿真中训练,随后未经任何真实数据微调,直接部署到真实机器人手上。
遥操作与规模化合成数据
虚拟遥操作让人类操作员驾驶仿真中的机器人,以远低于真实世界采集的成本与风险生成演示数据集。项目官网的画廊展示了交互式 VR 遥操作——一个人戴着 Meta Quest 3 头显执行灵巧操作任务,物理过程实时仿真——目标正是合成数据采集与策略开发。用于录制演示视频的遥操作套件 SuperDex Teleop 计划于 2026 年 Q4 发布。
快速上手
Project SuperDex 对 Python 提供一等支持。最快的路径是用 uv 安装 PyPI wheel:
- 安装 uv(Linux 上运行 GUI 工具还需要 X11 显示环境与 OpenGL 4.1 支持)。
- 创建虚拟环境并安装:
uv venv,然后uv pip install superdex。 - 运行示例:腱对比物理示例(
superdex_physics/examples/example_tendon_comparison.py)、操作空间/关节空间控制示例(superdex_robotics/examples/control/example_osc_jsc_control.py),或直接启动 SuperDex Studio(superdex-studio)。 - 可选双精度:设置
SUPERDEX_PRECISION=double(源码构建时用--extra double编译双精度版本)。
源码构建需要 CMake 3.25+、Ninja,Linux 上用 Clang 17+(macOS 用 Xcode CLT,Windows 用 MSVC/ClangCL);uv sync 的参数决定构建范围——--extra core 构建 physics/robotics/lab,--extra gui 加上 Studio 与物理调试器,--all-extras 全量构建。核心模块用 C++ 编写并提供 Python 绑定;也提供了精简的纯 C++ CMake 构建方式。
许可证与注意事项
SuperDex 第一方源码采用 Apache-2.0;资产与文档采用 CC-BY-4.0。在此基础上构建前有两个坑值得先读:可选的 superdex_mesh_cli 工具因使用 OCCT 与 CGAL 而是 GPLv3;更重要的是——仓库中的部分第三方依赖与资产仅限非商业/学术用途。各组件以其附带的 LICENSE 与 NOTICE 文件为准,商用用户应逐一审计自己要分发的资产。
它处在什么位置
SuperDex 进入的,是一个正在快速为灵巧操作"上装备"的领域:NVIDIA 的 Isaac Lab 与 GR00T 生态面向人形机器人策略训练,Google DeepMind 有自己的仿真管线,开源灵巧手硬件也在批量涌现。它的差异化在物理层——一个专为软体、杆件与非凸几何的稳定高频接触而生的求解器,并用一个 zero-shot sim2real 演示证明接触保真度能够迁移到现实。再加上用 VR 遥操作低成本产出演示数据、Gymnasium 原生的 RL 技术栈,这是一次对"仿真优先"的灵巧操作研究的全栈押注。
参考链接
- 项目官网:projectsuperdex.com
- GitHub:facebookresearch/project_superdex
- 文档:SuperDex Physics · Robotics · Studio · Lab
来源:Project SuperDex 与 project_superdex README(Meta Reality Labs Research)。本文为 RobotWorld 改编。
原文来源:projectsuperdex.comhttps://projectsuperdex.com/