执行器现实塑形实现零样本 sim-to-real 机器人学习

执行器现实塑形：面向零样本 Sim-to-Real 的机器人学习

论文：Actuator Reality Shaping for Zero-Shot Sim-to-Real Robot Learning
作者：Satoshi Yamamori, Koji Ishihara, Kenjiro Minamikawa, Ryosei Ohmori, Taiyo Yasaki, Norikazu Sugimoto, Jun Morimoto（京都大学 / ATR 计算神经科学实验室）
arXiv：2607.02205v2（2026-07）· 项目页：Actuator Reality Shaping（含视频，代码未开源）

一句话总结：与其费力让仿真器逼近真实电机，不如反过来——在每个关节驱动器上装一层固定的 2-DoF 前馈-反馈控制器加扰动观测器，把真实电机的闭环响应"塑"成仿真里那个理想二阶参考模型。策略只在理想模型上训练，部署时零样本直接上真机，无需任何硬件数据或任务级微调。

一、研究背景与动机：sim-to-real 的差距到底在哪一层

在 GPU 加速的大规模物理仿真中训练强化学习策略，已经能产出令人印象深刻的运动与操作控制器。但仿真中训练好的策略一旦部署到物理硬件上，性能往往显著退化，这就是所谓的 sim-to-real 鸿沟。本文作者把矛头直指鸿沟的核心来源：执行器层。刚体仿真器通常把关节建模成理想力矩源或简化的伺服系统，而真实电机存在摩擦、静摩擦、齿隙、传动柔顺性、惯量失配、饱和以及机电延迟。这些未建模效应扭曲了"指令关节运动"与"实际关节运动"之间的关系，导致在仿真中被优化的策略驱动真实机器人走上一条它从未预料到的轨迹，轻则跟踪误差放大，重则在动态任务中直接失稳。

当前主流做法是让仿真器变得更真实。域随机化（Domain Randomization, DR）在随机化的物理参数上训练策略，期望真实系统落在训练分布之内；这条路线有效，但鲁棒性往往以任务性能为代价——策略必须在一大族动力学上都过关，而不是针对精确的执行器模型把性能榨干。另一条路线是用物理模型或数据驱动的执行器模型增强仿真器（例如 Hwangbo 等人在 ANYmal 上用台架数据学习电机模型的经典工作），或者训练在线自适应模块（如 RMA）在部署时推断潜在的环境/执行器参数。

这些方法有一个共同的结构性代价：它们都在让仿真或策略去适应某个特定的硬件分布。一旦执行器更换、老化，或者换一台机器人平台，硬件相关的数据采集与辨识就必须重做一遍。这种依赖限制了仿真训练策略的可复用性。

作者还特别指出了一个常被忽视的假设漏洞：现有的执行器建模工作大多隐式假设残余差距很小，因为它们的演示平台几乎都是低减速比的准直驱（quasi-direct-drive）执行器，其力矩响应接近理想电流源。高减速比关节完全违反这一假设——反射摩擦、静摩擦和齿隙主导了关节力矩，无法被当作简单的参数扰动来捕获。而本文的实验平台恰恰全部使用高减速比摆线减速器伺服（99:1 与 501.9:1），这使得该工作对低成本、高减速比硬件的自研机器人格外有参考价值。

于是作者提出了一个"对偶"视角：与其辨识硬件让策略去适应它，不如在驱动器层面直接塑形硬件的闭环响应，让策略在每一台平台上都看到一个固定的、由仿真器定义的被控对象。这就是执行器现实塑形（Actuator Reality Shaping）。

图1：执行器现实塑形的核心思想——让真实执行器表现得像仿真器的理想模型，而不是反过来。上：仿真中使用理想二阶参考模型；下：零样本硬件部署，策略无需修改。

二、问题建模：把"执行器差距"写成一个传递函数

考虑一台 $n$ 关节、直流电机驱动的机器人。RL 策略 $\pi:\mathcal{O}\to\mathcal{A}$ 把观测 $o_t$ 映射为目标关节角 $\bar{\theta}_t$。在仿真中，关节 $j$ 由一个作用在目标角上的 PD 控制器支配：

$$I_{\mathrm{sim}}\ddot{\theta}_{j}=K_{p}(\bar{\theta}_{j}-\theta_{j})-D\dot{\theta}_{j}+f_{j} \tag{1}$$

其中 $I_{\mathrm{sim}}$、$K_p$、$D$ 分别是仿真惯量、比例增益和阻尼系数，$f_j$ 是净外部关节力矩。这个动力学定义了 MDP 的转移算子，策略用 PPO 针对它进行优化。

式 (1) 隐含了一个关键假设：指令力矩 $\tau_{\mathrm{cmd}}=K_p(\bar{\theta}_j-\theta_j)-D\dot{\theta}_j$ 在关节处被瞬时、无损地产生。而真实硬件上，关节 $j$ 由带自身动力学的电机驱动：

$$J_{\mathrm{real}}\ddot{\theta}_{j}=K_{\tau i}(i_{j}-i_{d,j})-d_{\mathrm{real}}\dot{\theta}_{j}-\tau_{f,j}(\dot{\theta}_{j})-\tau_{\mathrm{ext},j} \tag{2}$$

其中 $J_{\mathrm{real}}$ 是实际转子惯量（含齿轮反射），$K_{\tau i}$ 是力矩常数，$i_j$ 是电流指令，$i_{d,j}$ 是扰动电流（如齿槽效应），$d_{\mathrm{real}}$ 是粘性阻尼，$\tau_{f,j}(\dot{\theta})$ 是速度相关摩擦项（库仑摩擦与静摩擦），$\tau_{\mathrm{ext},j}$ 是外部负载力矩。

围绕工作点线性化后，每个关节可以用一个力矩-角度传递函数 $P(s)=\theta_j(s)/\tau_j(s)$ 描述。由式 (1) 和式 (2) 的惯量与阻尼项可得 $P_{\mathrm{sim}}(s)=\frac{1}{I_{\mathrm{sim}}s^{2}+Ds}$ 与 $P_{\mathrm{real}}(s)=\frac{1}{J_{\mathrm{real}}s^{2}+d_{\mathrm{real}}s}$，而式 (2) 中的非线性项与外生项（速度摩擦、扰动电流、外部负载）作为集总扰动力矩加性地进入 $P_{\mathrm{real}}$。于是"执行器差距"被定义为真实被控对象相对仿真被控对象的乘性不确定性：

$$\Delta P_{j}(s)=\frac{P_{\mathrm{real}}(s)}{P_{\mathrm{sim}}(s)}-1=\frac{I_{\mathrm{sim}}s+D}{J_{\mathrm{real}}s+d_{\mathrm{real}}}-1 \tag{3}$$

即 $P_{\mathrm{real}}(s)=(1+\Delta P_j(s))P_{\mathrm{sim}}(s)$。这个无量纲差距同时捕获了惯量失配与阻尼失配，也解释了为什么高减速比关节问题严重：$J_{\mathrm{real}}$ 被 $N^2$（$N$ 为减速比）放大后与 $I_{\mathrm{sim}}$ 相差悬殊，$\Delta P$ 在整个控制带宽内都不可忽略。

三、方法详解：2-DoF 控制器 + 扰动观测器

本文的执行器现实塑形架构如图所示：每个关节装一个级联的两自由度（2-DoF）控制器——位置外环包裹速度内环——并叠加一个扰动观测器（DOB），驱动真实电机复现仿真器的参考动力学。

图2：单关节执行器现实塑形架构：级联 2-DoF 控制器（位置外环 + 速度内环）加扰动观测器（DOB），使真实电机的闭环响应跟踪仿真参考模型。

flowchart LR
    P["RL policy pi"] -->|goal angle r| POS["Position outer loop
2-DoF: F1 + K1 PID"]
    POS -->|goal velocity| VEL["Velocity inner loop
2-DoF: F2 + K2 PID"]
    DOB["Disturbance observer DOB
low-pass alpha_dob"] -->|cancel tau_hat_d| SUM["Sum + saturate
i = clip tau_ff + tau_fb - tau_hat_d / K_tau_i"]
    VEL --> SUM
    SUM -->|current i| M["Real motor + cycloidal gear
99:1 / 501.9:1"]
    M -->|theta, theta_dot| ENC["Encoder feedback"]
    ENC --> POS
    ENC --> VEL
    ENC --> DOB

（1）两自由度控制结构。设 $P(s)$ 为被控对象块。标准 2-DoF 结构的控制输入为：

$$u=\frac{F(s)}{\hat{P}(s)}r+K(s)e,\qquad e=F(s)r-y \tag{4}$$

其中 $r$ 是参考信号（策略给出的目标关节角 $\bar{\theta}$），$y$ 是测量输出（$\theta$），$F(s)$ 是期望系统响应块，$K(s)$ 是反馈块。设真实被控对象为 $P(s)=(1+\Delta P(s))\hat{P}(s)$，$\hat{P}$ 为标称模型，$\Delta P$ 为模型误差。把式 (4) 代入被控对象并整理（论文附录 B 给出五步推导），可得从参考到输出、从扰动到输出的闭环传递关系：

$$y=\underbrace{\left(1+\frac{\Delta P}{1+PK}\right)}_{\approx 1}Fr+\underbrace{\frac{P}{1+PK}}_{\text{sensitivity}}d \tag{5}$$

这个分解是全文的理论支点。当反馈增益 $K$ 足够大、能压住模型误差 $\Delta P$ 时，输出近似 $y\sim Fr$，与扰动抑制回路无关——于是 $F$ 可以独立设计去匹配仿真器的参考动力学，而 $K$ 专门负责鲁棒镇定与抗扰。参考响应与鲁棒镇定彻底解耦，这正是 2-DoF 相对普通单回路 PD 的本质优势：普通 PD 只跟踪目标角，而这里跟踪的是"目标角经过仿真参考动力学滤波后的轨迹"。

（2）参考模型的选择。外环的期望响应直接取仿真器 PD 动力学的闭环形式，内环取一阶惯性环节：

$$F_{1}(s)=\frac{K_{p}}{I_{\mathrm{sim}}s^{2}+Ds+K_{p}},\qquad F_{2}(s)=\frac{\alpha}{s+\alpha} \tag{6}$$

由于速度内环的闭环响应在内环 2-DoF 控制下紧贴参考模型 $F_2$，外环被控对象近似为 $P_1\approx F_2/s$。$F_1$ 中的 $K_p$、$I_{\mathrm{sim}}$、$D$ 与仿真训练时使用的数值完全一致——也就是说，真实关节在驱动器层面被"变成"了仿真中的那个理想弹簧-阻尼-惯量系统。

（3）反馈块。根据内模原理，要在常值扰动下保证零稳态跟踪误差，$K(s)$ 必须包含积分器。论文采用 PID 形式：

$$K(s)=k_{p}+\frac{k_{i}}{s}+k_{d}s \tag{7}$$

（4）扰动观测器。2-DoF 控制器之外再叠加一个 DOB：从指令力矩 $\tau=K_{\tau i}i$ 与测量速度 $\dot{\theta}$ 估计集总扰动力矩。由电机方程 $J\ddot{\theta}=\tau-d\dot{\theta}-\tau_d$ 可解出 $\tau_d=\tau-(sJ+d)\dot{\theta}$；由于该式需要对速度微分、会放大编码器噪声，论文用截止频率 $\alpha_{\mathrm{dob}}$ 的一阶低通滤波器得到估计：

$$\hat{\tau}_{d}=\frac{\alpha_{\mathrm{dob}}}{s+\alpha_{\mathrm{dob}}}\left(\tau-(sJ+d)\dot{\theta}\right) \tag{18}$$

估计出的扰动以补偿电流 $i_{\mathrm{comp}}=\hat{\tau}_d/K_{\tau i}$ 的形式，在电流指令送入驱动器之前被减掉。DOB 在 $\alpha_{\mathrm{dob}}$ 以下的频段内衰减残余模型误差 $\Delta P$——摩擦、齿槽、外部负载这些无法写进标称模型的项，都在运行时被在线抵消，而不是靠离线辨识去除。附录 D 用标定力矩传感器验证了 DOB 的重构精度：在 20°、2.5 s 周期的正弦指令下，电流估计力矩与测力计实测力矩的平均绝对误差为 YM070 上 0.37 N·m、PH54 上 0.66 N·m。

（5）级联实现与逐步流程。对位置控制的关节，两个 2-DoF 环级联：内环是速度环，标称被控对象 $\hat{P}_2=1/(Js+d)$，参考模型为 $F_2$；外环是位置环，参考模型 $F_1$ 即完整的二阶响应 (1)，被控对象 $P_1\sim\hat{P}_1=F_2/s$。外环输出目标关节速度 $\bar{\dot{\theta}}$ 作为内环参考。整个控制器以 500 Hz 运行在电机驱动器上，每步依次执行：(1) 读编码器角度并计算速度；(2) 计算前馈力矩 $\tau_{\mathrm{ff}}=\frac{F}{\hat{P}}r$；(3) 计算反馈力矩 $\tau_{\mathrm{fb}}=K(Fr-\theta)$；(4) 计算 DOB 估计 $\hat{\tau}_d$；(5) 求和并饱和：$i=\mathrm{clip}((\tau_{\mathrm{ff}}+\tau_{\mathrm{fb}}-\hat{\tau}_d)/K_{\tau i},\,-i_{\mathrm{max}},\,i_{\mathrm{max}})$；(6) 把 $i$ 发给驱动器。进入 DOB 分子的速度信号先经过 $0.5\alpha_{\mathrm{dob}}$ 的额外低通以压制编码器噪声，代价是少量相位滞后，相对控制带宽可忽略。

参数	符号	PH54	YM070
力矩常数	$K_{\tau i}$ [N·m/A]	4.8	1.389
标称惯量	$J$ [kg·m²]	0.0763	0.0152
标称粘性阻尼	$d$ [N·m·s/rad]	0.02	1.0
内环时间常数	$\alpha$ [rad/s]	15	30
DOB 截止频率	$\alpha_{\mathrm{dob}}$ [rad/s]	10	200
位置环 PID	$k_p,k_i,k_d$	[15, 0, 0.02]	[50, 10, 1]
速度环 PID	$k_p,k_i,k_d$	[3, 3, 0.01]	[15, 8, 0.1]
仿真弹簧刚度	$K_p$ [N·m/rad]	50	30
仿真阻尼	$D$ [N·m·s/rad]	3.16	3.46
仿真惯量	$I_{\mathrm{sim}}$ [kg·m²]	0.05	0.1

表1（论文 Table 2）：实验所用控制器参数。硬件参数（$K_{\tau i}, J, d$）由摆锤自由响应拟合一次性粗辨识得到；控制器与仿真参数是设计选择。

值得注意的是这套流程对"系统辨识"的要求有多低：$K_{\tau i}, J, d$ 只需要一次粗略的摆锤自由响应拟合，残差全部交给 DOB 在运行时吸收。这与 actuator-net 一类需要大量扫频数据训练神经网络的做法形成鲜明对比。

四、实验平台与基线

作者在三个自研平台上验证，任务复杂度递增：单关节测试台（参考模型跟踪，静态与动态扰动下）、7 自由度机械臂（关节耦合下的末端 reaching）、轮腿机器人（31 自由度：四条 7-DoF 机械臂以三脚架布局刚性耦合在中心机体上，其中三条末端装轮）与人形机器人（22 自由度：两条 6-DoF 腿、2-DoF 腰、两条 4-DoF 臂）上的零样本行驶与双足行走。所有 IsaacSim 模型直接由 CAD 数据的运动树生成 URDF——没有商业机器人那种供应商精调过的仿真资产，也没有隐式参数校准，因此这些平台上的 sim-to-real 差距比现成硬件严重得多，是零样本迁移的严苛测试床。

执行器统一采用高减速比摆线减速器伺服：单关节、机械臂与轮腿实验用 Dynamixel YM070（99:1），人形行走用 PH54（501.9:1）。高减速比把连杆侧惯量按 $N^2$ 反射（YM070 的 $N=99$，PH54 的 $N=501.9$），电机侧惯量比关节级动力学高出数个数量级，因此关节间惯性耦合相对电机侧惯量很小，在 DOB 看来只是抑制带宽内的低频有界扰动——这从机理上论证了逐关节分布式 DOB 的合理性，同一套辨识参数与增益也无需重调即可从测试台迁移到多关节整机。

策略在 Isaac Sim 中训练（关节动力学实现为式 (1)），框架为 IsaacLab，算法 PPO。人形行走任务基于公开的 BeyondMimic 实现，只替换了执行器模型与低层控制器，策略架构、奖励项与训练管线原封不动。对比基线全部运行在相同的 500 Hz 驱动级控制频率上：(a) PID Cascade——伺服出厂默认的多级位置-速度-电流 PID 级联，纯反馈、无前馈，代表开箱即用的标准伺服控制；(b) Simple PD——单回路 PD 直接输出电流指令 $i=k_p(\theta_{\mathrm{ref}}-\theta)-k_d\dot{\theta}$，增益在真机上手工调到稳定；(c) ASAP——一个 real-to-sim-to-real 基线，用真实 rollouts 训练 Delta Action 模型 $\pi_\Delta$，部署时叠加在基策略输出上：

$$a=\pi(s)+\pi_{\Delta}(s) \tag{8}$$

$\pi_\Delta$ 的拟合目标是最小化仿真转移与真实观测转移的失配，即 $\min_{\pi_{\Delta}}\mathbb{E}\big[\lVert f_{\mathrm{sim}}(s,a)-s'_{\mathrm{real}}\rVert^{2}\big]$。与本文方法不同，ASAP 需要硬件专属的数据采集。本文方法则报告两个配置：仅前馈-反馈控制器的 2-DoF，与叠加 DOB 的 2-DoF+DOB，以隔离 DOB 的贡献。

五、实验结果

单轴跟踪。在 YM070 测试台上以式 (1) 的仿真参考动力学为目标，用 20 s 正弦参考（20° 幅值、2.5 s 周期，5 次重复）评估。相图（位置误差 $\Delta\theta$ vs 速度误差 $\Delta\dot{\theta}$）显示：PID Cascade 与 Simple PD 留下了巨大的 sim-to-real 差距——它们的位置环跟踪的是指令目标角而非参考动力学，在 $\Delta\dot{\theta}$ 方向产生系统性偏移；而 2-DoF 与 2-DoF+DOB 的点云紧贴原点，这归功于前馈滤波器 $F$ 在不超调的前提下消除了相位滞后。2-DoF 单独使用仍有轻微位置偏移，说明 DOB 进一步压制了摩擦等扰动力矩。定量结果：2-DoF+DOB 相对 PID Cascade 与 Simple PD 分别把平均位置偏差降低 96.3% 与 94.5%，相对级联把平均速度偏差（级联的主导误差模式）降低 99.1%。

方法	单轴跟踪		Reaching 任务
	$|\Delta\theta|$ [rad]	$|\Delta\dot{\theta}|$ [rad/s]	$\|\Delta p\|$ [m]	$\|\Delta\dot{p}\|$ [m/s]
PID Cascade	$(4.9\pm2.7)\times10^{-2}$	$3.6\pm1.5$	$(3.7\pm3.5)\times10^{-2}$	$6.1\pm2.8)\times10^{-1}$
Simple PD	$(3.3\pm5.8)\times10^{-2}$	$(1.7\pm7.5)\times10^{-1}$	$(4.7\pm4.1)\times10^{-3}$	$(6.5\pm5.8)\times10^{-2}$
2-DoF	$(2.6\pm1.5)\times10^{-3}$	$\mathbf{(1.3\pm1.4)\times10^{-2}}$	$(2.6\pm2.0)\times10^{-3}$	$(1.0\pm0.6)\times10^{-1}$
2-DoF+DOB	$\mathbf{(1.8\pm1.3)\times10^{-3}}$	$(3.2\pm3.1)\times10^{-2}$	$\mathbf{(1.3\pm0.9)\times10^{-3}}$	$\mathbf{(1.8\pm0.7)\times10^{-2}}$

表2（论文 Table 1）：相对仿真参考轨迹的平均±标准差偏差，单轴跟踪用关节空间，reaching 用任务空间，各 5 次试验。加粗为最优。

Reaching 任务。7-DoF 机械臂跟踪一条双纽线（figure-eight）轨迹。只在 IsaacSim 中针对理想参考模型训练的策略，通过 2-DoF+DOB 零样本迁移到真机。在双纽线稳态窗口内（5 次重复），2-DoF+DOB 取得最低的末端偏差——相对出厂 PID 级联降低 96.5%；DOB 相对纯 2-DoF 再贡献约 50% 的改善；相对手工调过的 Simple PD 降低 72%——因为 PD 与级联控制器中未补偿的摩擦引入了策略无法预判的系统性偏移。

图3：reaching 任务上与 ASAP 的对比：(a) 末端位置误差；(b) 末端姿态误差。

与 ASAP 的对比尤其说明问题。ASAP 的残差策略 (8) 确实缩小了 sim-to-real 差距，但为了做到这一点，它输出了比基策略 $\pi$ 更大的动作，在仿真中 destabilize 了训练（附录 H 的损失曲线，图 6）；其真机表现因此并没有比未调优的出厂 Default 好多少。本文方法则无需任何微调就获得了良好的零样本性能。这个负面结果本身就是对"real-to-sim-to-real"路线的一个有价值观察：修正仿真器并重训策略的闭环，可能把真机数据的噪声与分布外行为重新灌回训练过程。

图4（论文 Figure 6）：ASAP 的 Stage-A 训练损失曲线（配对运行）——Delta Action 模型在真机 rollouts 上拟合期间，训练在仿真中失稳的证据。

跨构型零样本演示。把 2-DoF 驱动层装到另外两个平台上：轮腿机器人的轮执行器采用速度控制，策略零样本迁移，直接爬上斜坡——坡高必须仅凭逐关节状态与 IMU 姿态推断，这对难以反驱的高减速比伺服本是很困难的任务，但 2-DoF 控制器通过复现仿真器的柔顺弹簧-阻尼行为成功了；人形机器人换用 PH54 伺服，基于 BeyondMimic 训练行走策略、只替换执行器模型为理想参考模型，策略未经任何硬件专属调参即让机器人迈出稳定的前进步，证明该方法可以扩展到需要全身动态平衡的高自由度平台。

图5：跨构型零样本演示：(a) 轮腿机器人爬斜坡；(b) 人形机器人零样本行走。

任务	网络 (MLP)	迭代数	Rollout/环境	并行环境数
Reaching	[512, 256]	4,000	128	4,096
Rover（轮腿）	[512, 256, 128]	10,000	64	4,096
Humanoid	[512, 256, 128]	30,000	24	4,096

表3（论文 Table 3）：各任务的 PPO 训练超参数。人形行走任务的域随机化范围：静摩擦 [0.3, 1.6]、动摩擦 [0.3, 1.2]、恢复系数 [0, 0.5]、P 增益 [80, 500]、D 增益 [0.8, 5.0]、躯干质心偏移 x ±2.5 cm / y ±5 cm / z ±5 cm（论文 Table 4）。

六、局限性

作者自述的局限有三点。其一，方法把关节轴惯量当作常数 $I_{\mathrm{sim}}$，而真实惯量依赖全身构型 $I_{\mathrm{sim}}(q)$；在高减速比下这一近似可忽略（电机侧惯量主导），但对准直驱执行器不成立，作者认为用模型参考自适应控制（MRAC）处理构型依赖是一个有希望的方向。其二，标称的 $J$ 与 $K_{\tau i}$ 仍需要一个粗略估计（虽然只需摆锤拟合一次）。其三，该方法能否扩展到强非线性硬件仍是开放问题——例如存在显著齿隙、迟滞或结构柔性的关节，DOB 的低带宽假设可能失效。

从读者视角补充两点。其一，所有定量实验（单轴跟踪与 reaching）都是运动学层面的跟踪任务，零样本"行走"目前是定性演示而非成功率统计，动态任务上该方法相对 ASAP/RMA 类自适应方法的优势幅度还需更多量化证据。其二，2-DoF+DOB 把执行器接口标准化为"理想二阶系统"，意味着策略无法利用真实执行器的某些特性（如利用摩擦做力控），驱动层引入的固定相位滞后与电流饱和也可能在爆发力任务中成为瓶颈。

七、总结与展望

这篇论文给出了 sim-to-real 问题的一个干净利落的"对偶"解法：不再追问"如何让仿真更像我的硬件"，而是追问"如何让我的硬件更像仿真"。答案是在每个关节驱动器上放一层固定增益的 2-DoF 控制器加 DOB——前馈块 $F/\hat{P}$ 负责让参考响应精确等于仿真中的二阶动力学，反馈块 $K$ 负责压住模型误差与扰动，DOB 负责在运行时吞掉摩擦、齿槽与负载等一切集总扰动。三者分工明确，全部基于经典控制理论，不需要神经网络、不需要硬件数据采集、不需要在线自适应，却把高减速比关节的跟踪误差压低了约一个数量级，并在三个自研平台、两种完全不同的执行器上实现零样本迁移。

对自研机器人团队，这项工作的工程启示非常直接：与其在仿真器里堆 actuator net 和域随机化，不如先在驱动器层把关节闭环整定成仿真所用的参考模型——一个 500 Hz 的级联 2-DoF + DOB 固件层，就能让仿真训练的策略"所见即所得"。它把 sim-to-real 的适配负担从"每换一个硬件就要重做一遍的数据工程"变成了"一次性、透明、硬件无关的驱动层设计"，这正是策略跨平台复用所缺失的那块接口。

八、金句

"Instead of modifying the simulator to match the real world, our method shapes the closed-loop behavior of physical actuators to match the idealized second-order reference dynamics used in simulation."（不是修改仿真器去匹配真实世界，而是塑形真实执行器的闭环行为，去匹配仿真中使用的理想化二阶参考动力学。）

"Rather than identifying the hardware so the policy adapts to it, we shape the hardware's closed-loop response at the driver level so the policy perceives a fixed, simulator-defined plant on every platform."（与其辨识硬件让策略去适应它，不如在驱动器层面塑形硬件的闭环响应，让策略在每一台平台上都看到一个固定的、由仿真器定义的被控对象。）