AR 可视化提升接触丰富操作的遥操作性能

论文信息

项目	内容
标题	Visualizing Impedance Control in Augmented Reality for Teleoperation: Design and User Evaluation
作者	Gijs van den Brandt, Femke van Beek, Elena Torta
机构	Eindhoven University of Technology, Netherlands
arXiv	2603.25418 (2026年3月)
视频	YouTube 演示视频
数据集	4TU.ResearchData

一句话总结

本文提出在 VR 遥操作中将阻抗控制器的隐式目标位姿以 AR 蓝色圆盘和偏移线可视化，17 人用户研究显示力控关键的举起任务完成时间减少 24%，而滑动任务不受影响。

研究背景与动机

在非结构化环境中进行接触丰富的机器人操作仍然是一个重大挑战。双臂机器人重新定位物体等任务需要持续的多接触交互和精确的力协调。因为自主系统难以可靠地处理这些交互，人类操作员通过遥操作仍然是执行此类任务的核心方式——无论是在远程应用中，还是在收集示范数据供学习方法使用时。

使遥操作广泛可及需要低成本、直观的输入界面。作为昂贵且机器人特定的主从设置的替代方案，消费级 VR 控制器因其 6-DoF 运动跟踪能力而成为受欢迎的选择。它们以可负担的价格和灵活性实现了对机器人末端执行器的直观控制。然而，许多操作任务是接触丰富的，需要精确调节交互力——而 VR 控制器感知运动却不提供力输入或反馈，这限制了操作员在接触过程中管理力的能力。

阻抗控制填补了这一空白。它通过在机器人当前位姿和命令目标位姿之间模拟虚拟弹簧-阻尼器来生成交互力。操作员可以将目标设定在表面之外，使虚拟弹簧偏转产生接触力。然而，阻抗控制本身不提供触觉反馈——操作员无法直接感知控制器产生的力或底层虚拟目标位姿。这种透明度的缺失使遥操作变得复杂。之前的研究表明力反馈可以改善遥操作，但 VR 控制器无法提供这种反馈。

图1：接触丰富的遥操作示例。操作员使用 VR 运动跟踪控制器和阻抗控制器命令末端执行器。AR 可视化显示阻抗控制器的目标位姿（蓝色圆盘）和位置跟踪偏移（蓝色线），提供与生成力相关的直观视觉反馈。

本文通过引入 AR 可视化来解决这一透明度缺失。该界面将目标位姿和目标位置偏移直接叠加到操作员的视野中，提供直观的实时反馈。其核心洞察是：如果操作员能看到阻抗控制器的目标位姿与末端执行器当前位姿之间的差距，就能间接理解控制器正在施加多大的力——因为虚拟弹簧的偏移量直接决定了力的大小。

预备知识

阻抗控制的核心概念是机械阻抗——运动与力之间的关系。直觉上，机器人通过虚拟弹簧-阻尼器连接到目标位姿：移动目标拉伸弹簧，产生驱使末端执行器跟随的力。如果目标被物体阻挡，末端执行器转而对物体施力。这种"橡皮筋"般的行为对人类来说很直观，因此是遥操作的合适接口。

已有一些力可视化方面的先前工作。Talasaz 等人在机器人手术中用力条图可视化力的幅度但不显示方向。Chan 等人将力分解为三个正交方向并用箭头可视化。Zhang 等人用三维箭头表示双臂机器人的意图控制。虽然可视化意图控制的想法与本文一致，但本文研究的是无夹爪应用，将可视化扩展到单一箭头之外以表示完整的 6-DoF 目标，并将其显式耦合到阻抗控制器。

方法详解

阻抗控制器

阻抗控制器通过当前和目标末端执行器位姿之间的虚拟弹簧-阻尼器生成交互力。形式化定义如下：考虑当前位置 $\mathbf{p} \in \mathbb{R}^3$、方向 $\mathbf{R} \in SO(3)$、平移速度 $\mathbf{v} \in \mathbb{R}^3$ 和角速度 $\boldsymbol{\omega} \in \mathbb{R}^3$ 的末端执行器。设目标位姿为 $\mathbf{p}_t, \mathbf{R}_t, \mathbf{v}_t, \boldsymbol{\omega}_t$，阻抗力旋量为：

$$\mathbf{F} = \mathbf{K}\begin{bmatrix}\mathbf{p}_t - \mathbf{p} \\ \boldsymbol{\phi}(\mathbf{R}^{\top}\mathbf{R}_t)\end{bmatrix} + \mathbf{D}\begin{bmatrix}\mathbf{v}_t - \mathbf{v} \\ \boldsymbol{\omega}_t - \boldsymbol{\omega}\end{bmatrix}$$

其中 $\mathbf{K} \in \mathbb{R}^{6\times6}$ 是对角刚度矩阵，$\mathbf{D} \in \mathbb{R}^{6\times6}$ 是阻尼矩阵，$\boldsymbol{\phi}(\mathbf{R}^{\top}\mathbf{R}_t) \in \mathbb{R}^3$ 表示从 $\mathbf{R}$ 到 $\mathbf{R}_t$ 的相对旋转向量。对应的关节空间力矩命令通过雅可比转置获得：

$$\boldsymbol{\tau} = \mathbf{J}^{\top}\mathbf{F}$$

其中 $\mathbf{J} \in \mathbb{R}^{6\times n}$ 是末端执行器雅可比。这个公式意味着力 $\mathbf{F}$ 的大小由刚度 $\mathbf{K}$ 和位姿差 $\mathbf{p}_t - \mathbf{p}$ 共同决定——目标越远，力越大。这个位姿差正是 AR 可视化的核心：将其显示出来就能让操作员"看到"力。

AR 可视化设计

可视化由两个主要元素组成。第一是目标圆盘——蓝色末端执行器几何副本，代表 6-DoF 目标位姿。虽然位姿通常用三个正交坐标轴表示，但用末端执行器副本提供了旋转到物理末端执行器的更直观映射。第二是目标偏移线——连接末端执行器到目标的蓝色线。这条线代表当前与目标末端执行器位置的差异，通过刚度贡献于阻抗控制器施加的虚拟力。线还关联每个目标圆盘到正确的机器人。圆盘和线是半透明的，叠加在真实世界视频透视之上，实现环境和控制器状态的同步感知。

图2：举起任务的连续快照。(a) 无接触时目标圆盘悬空。(b) 初始接触——蓝盘与末端执行器分离，偏移线显示虚拟力开始建立。

图3：(c) 夹紧盒子——偏移线变长，表明更大的虚拟力正在施加。(d) 举起——没有可视化时用户无法直接区分(b)和(c)，使力调节困难。

手-目标映射

VR 控制器到阻抗目标的映射通过离合按钮实现。当按下时（$b=1$），目标跟随控制器相对于锚点的运动；释放时（$b=0$），目标固定在最近释放时的锚点。形式化如下：

$$\mathbf{p}_t = \mathbf{p}_t^a + b(\mathbf{p}_h - \mathbf{p}_h^a), \quad \mathbf{v}_t = b\,\mathbf{v}_h$$

其中 $(\mathbf{p}_h^a, \mathbf{p}_t^a)$ 是最近离合状态变化时记录的控制器和目标位姿。这个设计允许操作员重新定位手而不影响机器人——类似鼠标的点击-拖拽范式。

系统实现

系统由两台 Franka Emika Panda 机器人组成，间距 90 厘米，配备定制硅胶末端执行器。末端执行器以 90° 角安装。用户佩戴 Meta Quest 3 头显运行自定义 Unity 应用，提供真实环境视频透视并叠加阻抗可视化。手持 Meta Quest 3 控制器指定阻抗目标。机器人 PC 上运行修改版的 franka_ros 笛卡尔阻抗控制器——修改避免了不必要的阻尼，通过将目标速度设为操作员手部速度而非零。平移刚度设为较低的 200 N/m 以防止过大的接触力（相比之下，有夹爪的设置通常用 600 N/m）。

graph TD
    A["VR 控制器
Meta Quest 3"] -->|离合按钮按下| B["手-目标映射
p_t = p_t^a + b(p_h - p_h^a)"]
    B --> C["Unity 应用
目标位姿+速度"]
    C --> D["ROS 节点
笛卡尔阻抗控制器"]
    D --> E["Franka Panda
τ = J^T F"]
    F["AR 可视化
蓝色圆盘+偏移线"] -->|叠加到视频透视| G["操作员视野"]
    E -->|末端执行器运动| G

实验结果

用户研究设计

研究采用被试内、重复测量 2×2 设计，两个自变量：界面条件（有/无可视化）和任务类型（举起/滑动）。17 名参与者每人每条件完成 8 个目标，总计每人 32 个记录目标。举起任务要求将盒子抬离桌面，需要精确力控以避免掉落；滑动任务允许盒子保持桌面接触。目标在 3D 位置和垂直轴旋转上变化，参与者偶尔需要在目标之间放下盒子以改变抓取方式。盒子尺寸 16×16×20 厘米，质量 635g。

目标完成判定标准：盒子位置与目标位置的欧氏距离小于 $\delta_p = 30$ mm，方向偏差小于 $\delta_\theta = 0.4$ rad（考虑盒子 180° 对称性）：

$$\|\mathbf{p}_{\text{box}} - \mathbf{p}_{\text{target}}\|_2 < \delta_p$$

$$\min\bigl(\|\boldsymbol{\phi}(\mathbf{R}_{\text{box}}^{\top}\mathbf{R}_{\text{target}})\|_2, \|\boldsymbol{\phi}(\mathbf{R}_{\text{box}}^{\top}\mathbf{R}_{\text{sym}}\mathbf{R}_{\text{target}})\|_2\bigr) < \delta_\theta$$

完成时间结果

线性混合效应模型分析显示，AR 可视化在举起任务中显著减少完成时间（$t(507) = -2.49, p = 0.01, d = -0.30$），即 24% 的时间缩减。在滑动任务中无显著效应（$t(507) = 0.08, p = 0.94, d = 0.00$）。这些结果与可视化的预期目的一致：举起任务需要精确力调节以避免掉落物体，使阻抗目标反馈特别有价值；滑动任务中掉落或建立抓取不是问题，因此基本不受影响。

条件	举起任务完成时间	滑动任务完成时间
有可视化	显著更快（-24%）	无显著差异
无可视化	基线	基线

表1：AR 可视化对完成时间的影响——举起任务减少 24%，滑动任务无显著差异。

主观评估

NASA-TLX 和 SUS 问卷结果显示可视化条件之间在感知工作量（$t(16) = -0.39, p = 0.70, d = -0.09$）或系统可用性（$t(16) = 1.02, p = 0.32, d = 0.25$）上均无显著差异。完成时间的客观改善没有伴随主观指标的显著变化——这可能因为主观测量变异性更大需要更大样本，也可能因为问卷捕获整体印象而时间分析是按任务分开的。

问卷	可视化（均值±SE）	无可视化（均值±SE）	t(16)	p	d
NASA-TLX	4.34 ± 0.34	4.40 ± 1.46	-0.39	0.70	-0.09
SUS	59.41 ± 3.16	56.47 ± 15.79	1.02	0.32	0.25

表2：NASA-TLX 和 SUS 得分——可视化条件间无显著差异。

定性反馈

五名参与者明确报告使用目标可视化来调节力，两人指出可视化对举起比滑动更有帮助——与定量结果一致。三人提到可视化帮助他们旋转末端执行器以实现与盒子的平面接触。一名参与者最初以为机器人在超调目标——使用可视化后意识到是自己移动目标太快，感知的超调是因为目标移动过远。这表明可视化对响应较慢的系统（如无速度跟踪的系统）可能更有益。八名参与者反馈 AR 目标偶尔遮挡了对机器人或盒子的视野，有人建议使目标更小或更透明。一名参与者指出蓝色圆盘在熟悉交互后不再需要——暗示可视化在训练阶段特别有价值。

阻抗控制器的参数选择对操作体验有显著影响。本文选择了较低的平移刚度 200 N/m，这是出于安全考虑——过高的刚度可能导致机器人对目标位姿的微小偏差产生过大的力，在接触丰富场景中可能损坏物体或机器人。作为对比，使用夹爪的设置通常采用 600 N/m 的刚度，因为夹爪通过物理夹持提供稳定性，不需要依赖阻抗力来维持接触。无夹爪设置中，两个硅胶末端执行器通过阻抗力夹住物体——如果力太小会掉落，力太大会损坏。200 N/m 是在安全性和操作性之间的折衷。

系统还做了一个关键修改：将目标速度设为操作员手部速度而非零。标准的 franka_ros 笛卡尔阻抗控制器将目标速度设为零，这意味着每当操作员移动目标时，阻尼项会产生一个反方向的力来减速。通过跟踪手部速度，这个不必要的阻尼被消除，使遥操作响应更快。这个修改对于低刚度设置尤其重要——在 200 N/m 下，如果不跟踪速度，机器人收敛到目标会非常慢，导致操作不灵敏。

实验中使用的盒子尺寸为 16×16×20 厘米，质量 635 克。这个尺寸和重量选择是有意义的：它足够重和足够大，需要双臂协调才能稳定操作；同时它足够轻，操作员不会因为体力消耗而影响实验。目标在 3D 空间中的位置和绕垂直轴的旋转变化确保了任务的多样性——某些旋转角度要求操作员改变抓取方式，模拟真实操作场景中常见的重新抓取需求。

实验设计的另一个考量是顺序效应的平衡。界面条件（有/无可视化）的顺序在参与者之间进行了平衡——一半先使用可视化再无可视化，另一半相反。这确保了任何学习或疲劳效应不会系统性地偏向某一条件。任务类型（举起/滑动）也在条件内交替，每个条件包含练习阶段（4 个滑动 + 4 个举起）和评估阶段（8 个滑动 + 8 个举起），总实验时间约 30 分钟以限制疲劳影响。

定性反馈中最有意思的发现之一是关于训练效应的观察。一名参与者表示蓝色圆盘在帮助他们理解系统工作原理方面很有价值，但一旦熟悉了阻抗控制的交互方式后，反而更希望移除圆盘以获得更清晰的视野。这暗示 AR 可视化可能具有入门工具的角色——它帮助新手建立对阻抗控制的直觉，这种直觉在移除可视化后仍然保留。如果这个假设成立，AR 可视化在遥操作培训中的价值可能远超其在持续操作中的价值。这是一个值得未来专门研究的假设。

局限性

第一，可视化对滑动任务无改善。作者承认滑动任务中精确力控不那么关键，因此可视化对这类任务的增益有限。这提示 AR 阻抗可视化的适用范围是力控关键的任务——不是所有遥操作场景都能受益。

第二，AR 目标的视觉遮挡问题。八名参与者反馈目标偶尔遮挡视野。虽然定量指标未受显著影响，但这是一个需要改进的用户体验问题。未来工作可探索不同大小、透明度或形式的替代设计。

第三，主观指标未随客观指标改善。完成时间减少 24% 但 SUS 和 NASA-TLX 无显著变化。作者推测可能因为主观测量变异性大需要更大样本，或问卷捕获整体印象而任务特定收益被聚合评分掩盖。这也意味着可视化的收益主要体现在操作效率而非体验改善上。

第四，目标位置在两种条件间相同。虽然不同目标会引入更大的顺序效应，但相同目标可能导致记忆效应——参与者可能在第二次执行时因熟悉而加速。作者认为这比使用不同目标的替代方案更好，但这是一个实验设计上的权衡。

总结与展望

本文研究了增强现实如何改善基于 VR 的阻抗控制遥操作的透明度。AR 可视化暴露了原本隐藏的阻抗目标位姿及其位置偏移，使用户能更直接地解释输入、机器人运动和交互力之间的关系。17 人对照研究表明可视化显著改善力控关键的举起任务性能（减少 24% 完成时间），不影响滑动任务。定性反馈表明可视化辅助力调节、帮助对齐末端执行器方向并防止目标超调。

这项工作对遥操作界面设计有实际启示。随着 VR 遥操作在机器人数据采集和学习方法示范中的广泛应用，降低操作门槛和提高效率变得越来越重要。AR 阻抗可视化提供了一种无需额外触觉硬件的低成本方案——它利用操作员已有的视觉通道来弥补力反馈的缺失。训练效应的发现（可视化帮助建立持久直觉）尤其有价值：AR 可视化可能作为入门工具使用，操作员熟悉后即可移除。

未来方向包括：跨不同硬件和控制配置的研究（响应较慢的系统可能获益更大）、减少视觉遮挡的替代设计、学习效应的专门研究，以及补充力曲线、运动轨迹或掉落率等客观指标。

金句

"使阻抗目标通过 AR 可见，是改善接触丰富遥操作人机交互的可行方法——无需额外触觉硬件。"

"移动目标拉伸弹簧，产生力；如果目标被阻挡，末端执行器转而对物体施力——这种'橡皮筋'行为对人类来说很直观。"