fNIRS引导强化学习实现机器人行为的离线方法

Figure 1 — NEURO-LOOP 框架概览。离线 fNIRS 数据训练性能模型，将神经分类注入 RL 训练循环，通过增强（而非替换）优先级、奖励或 Q 值来指导策略学习。

1. 研究背景与动机

人在回路强化学习（Human-in-the-Loop RL, HITL-RL）通过人类反馈训练、微调和对齐机器人行为。现有方法（学习自演示、偏好学习、干预学习）普遍要求显式反馈——通过语音、物理演示或界面偏好表达。这引入两个问题：

• 认知过载：持续注意力和专家反馈导致人类教师认知负荷过重。
• 偏见与排斥：假设用户的隐式反应服从训练集的一般分布，且要求用户能移动和说话——排除了有运动或言语障碍的人群。

隐式 HITL-RL 通过被动反馈（手势、表情、语气）缓解了第一个问题，但第二个问题仍未解决。本文直接使用脑信号作为反馈通道解决这一根本限制：不需要用户移动或说话。具体选用 fNIRS（功能性近红外光谱），相比 EEG 捕获更慢的血流动力学信号但空间分辨率更高，且对某些 EEG 困扰的伪影更鲁棒。

核心问题：能否用离线fNIRS 数据（而非实时 BCI 设备）增强 RL 训练，使其在实时管道不切实际或数据有限的场景下也可部署？

2. 核心方法

NEURO-LOOP 框架将 fNIRS 信号注入 DDPG-HER + 优先化经验回放的 RL 训练循环。关键设计原则是增强而非替换——神经信号调制现有 RL 参数，而非替代整个奖励函数。

2.1 交互任务

数据来自两种交互场景：

• 被动（Passive）：参与者观察机器人执行取放任务。状态-动作对是机器人自主选择的，约 50/50 最优/次优分布。
• 主动（Active）：参与者遥操作机器人。由于非专家演示，状态-动作对通常次优，数据更嘈杂。
• 混合（Pooled）：结合两种数据。

2.2 性能模型与输出校准

训练性能模型将 fNIRS 特征向量映射为描述智能体最优性的标签。模型粒度分三种：

• 二分类（Binary）：最优 / 非最优，$g_b \in \{0,1\}$
• 三分类（Ternary）：最优 / 次优 / 非最优，$g_d \in \{0,1,2\}$
• 连续回归（Continuous）：预测智能体所选动作与近最优策略动作之差，$g_e \in \mathbb{R}$

输出经校准对齐到增强目标。回归器输出校准为：

$$n_t = (x_t + c_t \cdot \mu_X[0]) \cdot \beta$$

分类器输出校准为：

$$n_t = (x_t + c_t \cdot \mu_X[\hat{y}_t]) \cdot \beta$$

其中 $\hat{y}_t$ 为原始模型输出，$x_t$ 为待增强参数（奖励、优先级、Q 值），$\mu_X$ 为描述每个最优性类别参数期望值的数组，$n_t$ 为最终注入 RL 循环的值。

2.3 增强技术

四种增强条件，均在 DDPG-HER + 优先化基础上，仅 $n_t$ 调制方式不同：

2.4 噪声注入

以概率 $\tau$ 翻转分类器输出或偏移回归器输出（随机值 0-1），测试框架对噪声的鲁棒性。

flowchart TB
    A[Offline fNIRS Data
21 participants] --> B[Performance Model
Binary/Ternary/Continuous]
    B --> C[Calibrate Output
n_t = f(x_t, c_t, mu_X)]
    C --> D{Augmentation Method}
    D --> E1[Prioritization
modulate trajectory priority]
    D --> E2[Reward Aug
modulate domain reward]
    D --> E3[Q-Aug
modulate state-action Q-value]
    D --> E4[All
combine three]
    E1 & E2 & E3 & E4 --> F[DDPG-HER + Prioritized Replay]
    F --> G[Robot Policy
Fetch-and-Place Task]
    style E3 fill:#dcfce7,stroke:#16a34a
    style E2 fill:#fee2e2,stroke:#dc2626
    style C fill:#e0e7ff,stroke:#2563eb

3. 实验结果

在公开 fNIRS + 机器人行为数据集上评估，21 名参与者（14 女 11 男，19-27 岁），每 10000 步评估一次，每次 25 回合。追踪总回合回报和成功率。

Figure 2 — 最佳设置下二分类性能模型的增强方法对比。Q-Aug 和 All 持续优于 Baseline 及其他条件。Prioritization 排第三，Reward Aug 与 Baseline 相当。误差条为 95% 置信区间。

3.1 增强方法

• Q-Aug 和 All 最优：持续优于 Baseline 及所有其他条件。因为 Q 值增强最直接地影响策略。
• Prioritization 第三：温和但一致地优于 Baseline。可能因为 Baseline 已用 TD 误差优先化，Prioritization 在与已建立的排序方案竞争。
• Reward Aug 无效：与 Baseline 无显著差异。与文献 [19] 一致——将神经反馈应用于奖励管道效果与密集奖励函数类似。

3.2 模型粒度

3.3 噪声鲁棒性

Figure 3 — 模型噪声影响。显著优于 Baseline 的条件（Q-Aug）随噪声增大而退化；与 Baseline 相当的条件（Reward Aug）不受影响。这表明策略改善直接源于神经信号本身。

• 显著优于 Baseline 的条件（Q-Aug）：随噪声增大退化。
• 与 Baseline 相当的条件（Reward Aug）：噪声几乎无影响。
• 将噪声设为 0.5 时，二分类性能收敛到三分类水平——验证了三分类表现差是因为模型输出更嘈杂。

4. 主要贡献

• NEURO-LOOP 框架：首个将离线 fNIRS 脑信号注入 RL 训练循环的系统框架，测试多种增强方法、模型粒度、噪声鲁棒性和微调检查点。
• 增强而非替换：神经信号调制现有 RL 参数（优先级/奖励/Q 值）而非替代整个管道——Q 值增强最优，奖励增强无效。
• 离线可行性：纯离线数据即有效，无需实时 BCI 设备和校准开销，使方法在实时管道不切实际的场景下可部署。
• 噪声鲁棒性分析：系统表征框架可容忍的噪声水平——增益随噪声增大而侵蚀回退。

5.

门控模块输出预测

$$ \mathcal{M}_{g}(f_{t})=\hat{y}_{t} $$

置信度估计

$$ c_{t}=1-\hat{e}_{t} $$

噪声调整公式

$$ n_{t}=(x_{t}+c_{t}\cdot\mu_{X}[\hat{y_{t}}])\cdot\beta $$

局限与展望

作者自述局限：

• 智能体性能标签是智能体最优性的函数，不保证反映参与者的真实判断——假设参与者判断与近最优策略一致。
• 使用 4 秒神经特征窗口回避了信用分配问题（credit assignment），但 fNIRS 血流动力学响应与智能体交互之间的时间延迟处理不够标准化。
• 未与其他 HITL 方法做对比——无法明确神经信号在已有反馈通道之外贡献了什么。

分析判断：

本文最大的价值在于证明了离线脑信号可以增强 RL 训练——Q 值增强的一致性改善和噪声退化模式令人信服地表明效果来自神经信号本身而非框架伪影。然而，离线方法依赖预录制数据与特定任务的映射，迁移到新任务需重新采集脑数据。4 秒窗口的粗粒度时间对齐是工程折衷，fNIRS 的血流动力学延迟（6-8 秒峰值）使得精细的因果归因困难。未来最关键的方向是向在线实时设置和物理机器人扩展——这才是 BCI 引导 RL 从仿真走向真实部署的跨越。

6. 总结

本文表明 fNIRS 信号可用于更新机器人学习算法并提升训练效率。NEURO-LOOP 框架评估了不同增强方法、模型粒度和噪声鲁棒性。结果表明该管道纯离线数据即可生效——为实时 BCI 设置不切实际的场景提供了实际可行的替代方案。Q 值增强效果最优，奖励增强无效，增强而非替换是核心设计原则。

框架可作为未来将此方法扩展到实时物理具身人机交互的起点。需解决的关键挑战包括：性能标签与用户真实判断的对齐、fNIRS 延迟的标准化处理、与其他 HITL 范式的系统对比。