减轻触觉手套姿态相关伪影的姿态感知建模

触觉手套在手物交互中数字化接触和力信息，使机器人能用于灵巧操作、遥操作和从演示中学习。为保持手部灵巧性并捕获自然交互的细微差别，这些手套及其集成触觉传感器被设计为柔软、柔性且舒适。然而，柔性传感器不仅对接触力敏感，也不可避免地对手部姿态变化敏感，产生姿态相关伪影（PRAs）。PRAs 在低力范围内尤为有害，导致接触误检或检测延迟，提高手套的最小可检测力（MDF）。本文提出一种手套无关的算法框架，利用日益可用的手部姿态信息，通过残差预测分支显式建模和校正姿态引起的传感器形变来缓解 PRAs。在3种手套设计和15名用户上验证，MDF 分别降低10.4%、12.2%和18.3%。

1. 问题动机与核心挑战

柔性触觉传感器的基本挑战是力与应变的内在耦合。当集成到手套中时，传感器同时响应接触力（手套应捕获的）和佩戴者自身的手部姿态变化（不应被误认为接触的）。我们定义姿态相关伪影（PRAs）为由手部姿态而非接触力引起的触觉传感器信号变化。

图1说明了PRAs问题：在空中弯曲手指可产生与1.1N轻触相当的触觉信号变化，即使在指尖（不随关节直接弯曲的远端指骨）也如此。这使得可靠接触检测变得困难——零载荷下姿态变化产生的信号可能被误判为力交互。

PRAs以两种关键方式降低触觉信号质量：

$$\text{PRA影响}_1: \text{零载荷下} \Delta T_{\text{pose}} \approx \Delta T_{\text{light\_touch}} \Rightarrow \text{接触误检}$$ $$\text{PRA影响}_2: \text{有载荷时} T(F, \text{pose}_a) \neq T(F, \text{pose}_b) \Rightarrow \text{同一触觉读数对应不同力}$$

这些效应在低力范围最为显著——而低力对人类（如触屏点击平均0.5N）和机器灵巧性都至关重要。先前工作因手套噪声排除了小于0.2N的力，且发现触摸检测阈值显著影响策略训练结果。

2. 经验观察与设计启示

通过系统实验，作者识别了PRAs的三个关键属性，每个都产生了具体的设计启示：

观察	发现	设计启示
#1 零载荷伪影	空中运动产生可测信号变化，量级类似轻接触	利用姿态信息建模和预测PRA
#2 姿态调制灵敏度	同一触觉读数在不同姿态下对应不同力	联合建模姿态和触觉特征交互
#3 空间局部性	指尖传感器对近端关节（DIP/PIP）最敏感	优先使用运动学近端关节数据

3. 数据采集

图4展示了数据采集设置。15名用户（每种手套5人）使用3种左手手套原型。手部姿态用OptiTrack动作捕捉系统采集，力真值用6轴ATI Nano17测力计（分辨率0.32gF）测量。所有信号同步并重采样至100Hz。每次会话包含三个阶段：

阶段	内容	目的
阶段1	空中零载荷姿态变化	捕获纯PRAs，无接触力混淆
阶段2	加载-卸载姿态变化	检查不同姿态下触觉响应
阶段3	持续加载姿态变化	表征连续加载下的PRAs

每位用户完成2次会话（手套间重新安装），总计13.8小时、5M帧数据。该设计优先考虑用户内姿态-力条件多样性而非用户数量，适合表征传感器级现象。

4. 姿态感知力估计框架

图5展示了姿态感知建模框架。给定时间窗口的触觉读数 $\mathbf{T}_t \in \mathbb{R}^{L \times T}$ 和同步手部姿态 $\mathbf{P}_t \in \mathbb{R}^{L \times P}$（$L$=窗口长度，$T$=taxel数，$P$=关节数），目标估计法向力 $\mathbf{F}_t \in \mathbb{R}$。关键思想是保留触觉到力的强因果映射，同时将PRAs建模为从手部姿态及其与触觉特征交互预测的单独残差项。

姿态特征提取分支：首先对姿态应用正弦编码以处理角度周期性：

$$\mathbf{P}_t^{\text{enc}} = [\sin(\mathbf{P}_t), \cos(\mathbf{P}_t)] \in \mathbb{R}^{L \times 2P}$$

然后通过LayerNorm、全连接层和GELU激活转换为64维嵌入，再用2层Bi-LSTM（隐藏维32）捕获时间变化。选择Bi-LSTM而非GCN或PoseConv3D，因其轻量、表达力强且平滑，适合实时使用。

特征融合与残差缓解模块：拼接触觉特征、姿态特征及其逐元素乘积：

$$\mathbf{Z}_t = \left[\mathbf{T}_t^{\text{feat}}, \mathbf{P}_t^{\text{feat}}, \mathbf{T}_t^{\text{feat}} \odot \mathbf{P}_t^{\text{feat}}\right] \in \mathbb{R}^{192}$$

解码融合特征得到残差校正项 $\hat{\mathbf{F}}_t^{\text{residual}}$，最终缓解力为：

$$\hat{\mathbf{F}}_t = \hat{\mathbf{F}}_t^{\text{base}} - \hat{\mathbf{F}}_t^{\text{residual}}$$

逐元素乘积捕获上下文依赖交互——直接拼接触觉和姿态特征在早期探索中表现不佳，因为模型会错误学习姿态到力的关联而非姿态到伪影的映射。

辅助零载荷PRA触觉解码分支：仅在零载荷（空中）条件下监督，此时触觉信号变化可完全归因于PRAs，提供可靠监督真值。

graph TD
    A[触觉信号 T_t] --> B[触觉特征提取]
    B --> C[基线力预测 F_base]
    A --> D[触觉特征 T_feat]
    E[手部姿态 P_t] --> F[正弦编码]
    F --> G[Bi-LSTM姿态编码]
    G --> H[姿态特征 P_feat]
    D --> I[特征融合: T_feat, P_feat, T_feat⊙P_feat]
    H --> I
    I --> J[残差预测 F_residual]
    C --> K[最终力: F = F_base - F_residual]
    J --> K
    G --> L[辅助零载荷PRA解码]
    style I fill:#f9f,stroke:#333,stroke-width:2px
    style K fill:#bfb,stroke:#333,stroke-width:2px

5. 训练目标

训练使用多项损失，每项针对模型性能的特定方面：

校正力损失：使用修改的MAPE损失强调低力范围鲁棒性：

$$\mathcal{L}_{\text{final\_force}} = \frac{1}{N}\sum_{i=1}^{N}\frac{|\hat{F}_i - F_i|}{1 + F_i}$$

分母包含基项1，避免除零并稳定小力值训练。

基线力损失：确保触觉分支提供强基线：

$$\mathcal{L}_{\text{base\_force}} = \text{MAPE}(\hat{\mathbf{F}}^{\text{base}}, \mathbf{F})$$

辅助零载荷PRA触觉损失：在零载荷阶段用MAE重建触觉信号：

$$\mathcal{L}_{\text{PRA\_tactile}} = \frac{1}{N_0}\sum_{i \in \mathcal{I}_0}|\hat{T}_i - T_i|$$

总损失：

$$\mathcal{L}_{\text{overall}} = \mathcal{L}_{\text{final\_force}} + \mathcal{L}_{\text{base\_force}} + \lambda\mathcal{L}_{\text{PRA\_tactile}}$$

6. 实验结果

表1和图6展示了三种手套的结果。姿态感知模型在所有指标上持续改进：

手套	模型	BA↑	F1↑	MDF↓(gF)	MAE↓(gF)	R²↑
Glove 1	触觉only	98.19	97.73	41.80	14.83	0.964
Glove 1	姿态感知	98.46	98.13	37.44	13.54	0.969
Glove 2	触觉only	97.06	95.98	48.61	21.70	0.912
Glove 2	姿态感知	97.69	96.90	42.18	20.51	0.920
Glove 3	触觉only	97.59	97.23	33.69	13.84	0.934
Glove 3	姿态感知	98.17	97.90	27.52	12.78	0.943

MDF分别降低10.4%（Glove1）、12.2%（Glove2）和18.3%（Glove3）。单侧Wilcoxon符号秩检验（每手套5用户配对）显示BA、F1、MAE和R²显著改善（p=0.03125），效应量（Cohen's $d_z$）大（1.23-2.89）。

灵敏度-特异性权衡：Glove 3在低力范围有陡峭BA曲线——传感器检测到超低力信号但难以区分PRA引起的信号与真实力，18.3%的MDF降低表明超低力混淆大部分来自PRAs。相反，Glove 2在超低力处混淆较少但整体MDF最差，传感器对信号整体响应较弱。

图2展示了实时PRA缓解效果：空中运动中触觉only模型触发误报，接触开始时保守阈值引入检测延迟，接触结束时持续弯曲产生残留力。姿态感知方法缓解了这些失败模式。

7. 局限性与未来工作

局限性1：仅限食指尖端。当前工作聚焦于食指尖端触觉信号，虽然方法可推广到其他手部位置，但PRA特性在不同位置（如掌心、关节皱褶）可能不同。

局限性2：依赖高精度动作捕捉。方法依赖基于标记的OptiTrack系统获取手部姿态。随着更便携的系统（如自我中心视觉）可用，需理解姿态跟踪质量如何影响PRA缓解。

局限性3：样本量有限。小样本产生离散p值0.03125，虽然所有用户、手套和指标的一致改善提供了有力证据，但更大规模验证仍有必要。

8. 总结

本文解决了触觉手套传感中姿态相关伪影的挑战，这些伪影降低接触检测和力估计质量，尤其在机器人应用至关重要的低力范围。通过跨多种手套设计和用户表征PRAs，提供了理解和缓解PRAs的洞察。姿态感知力估计框架利用机器人系统中日益常见的手部姿态信息，通过残差学习算法缓解PRAs而无需手套硬件改动。这种手套无关、易于部署的方法在3种手套和15名用户上将MDF降低10.4-18.3%，在所有评估指标上持续改进，为触觉手套在机器人数据采集和多样化应用中的可用性提供了实用路径。