RoboNav-Arm:智能体驱动的机械臂避障框架

论文:RoboNav-Arm: Agentic AI-Driven Navigation and Obstacle Avoidance for Robotic Manipulator in Cluttered Environments
作者:Aachal Sharma, Narendra Kumar Dhar
机构:Centre for Artificial Intelligence and Robotics (CAIR), IIT Mandi,印度
链接:arXiv:2607.09716 · PDF
代码:论文未公开代码仓库;实验平台为 Gazebo Classic + Kinova Gen3 仿真

一句话总结

RoboNav-Arm 用一个 LLM 决策智能体统一调度"场景理解—记忆检索—规划执行"三个模块:感知模块把 RGB-D 观测变成可注入 MoveIt 碰撞场景的结构化语义表示,规划模块在 RRTConnect、RRT*、BiTRRT 之间自适应选型并做安全裕度膨胀校验,执行期间持续监测最小障碍间隙、触发重规划,从而在未知杂乱环境中实现碰撞规避的机械臂操作。

一、研究背景与动机

机械臂操作在近年来取得了长足进步,但在障碍物密集、环境未知的场景中,"安全地朝目标移动"依然是一个困难问题。抓取放置这类任务要求机械臂在绕过障碍物的同时应对不断变化与不确定的条件。避障不仅要防止碰撞,还要与障碍物保持安全距离——靠得太近同样会损害安全性与可靠性。因此,作者把避障定义为一个动态的、依赖上下文的问题,而不是一次性的静态规划任务。

经典运动规划方法——RRT、PRM 等采样式规划器及其各种改进版本,以及任务-运动规划框架——被广泛用于机械臂避障。但它们假设对环境有完整先验知识,并依赖预定义的规划策略,在未知环境中适应性有限。学习式方法(强化学习、模仿学习)允许机器人通过交互学习,但强化学习面临样本效率低、奖励函数难定义的困境;模仿学习依赖大量专家演示与训练数据,计算成本高,且在安全攸关场景中可靠性存疑,更关键的是这两类方法都没有显式处理"与障碍物保持安全距离"这一几何约束。

大语言模型的出现催生了"智能体 AI"(agentic AI)驱动的机器人系统:LLM 负责推理、任务分解与高层决策,能从自然语言指令生成动作序列;VoxPoser 等工作进一步展示了语言模型可以把语义理解与空间表示连接起来指导轨迹生成。然而现有 LLM 机器人系统大多停留在高层规划层面,执行时依赖外部运动规划器或预定义动作基元,并不真正处理避障所涉及的底层运动规划问题。此外,LLM 输出未必可行或安全,长时域任务中常假设"正确执行"而不考虑环境不确定与执行失败,也缺乏针对近碰撞场景与实时自适应的安全推理机制。

作者据此归纳出当前方法无法同时满足的三项能力:(i)高层推理,(ii)底层运动规划,(iii)未知环境中的安全感知实时自适应。RoboNav-Arm 的回答是:让一个决策智能体站在系统中央,把环境理解、规划器选型与轨迹执行组织成一个闭环——规划失败或环境变化时,智能体重新感知、查询记忆、触发重规划。这与"LLM 只做任务分解、规划器各自为战"的既有架构形成了清晰分野。

二、预备知识:MoveIt 碰撞场景与采样式规划器

理解本文需要两个背景概念。其一是 MoveIt 的规划场景(planning scene):MoveIt 维护一份包含机器人几何、当前关节配置与碰撞物体集合的世界模型,规划器在其中做碰撞检测;只要把感知到的障碍物作为碰撞物体注入场景,规划器就自动"看见"这些障碍。其二是采样式运动规划:RRTConnect 通过从起点与目标点双向快速扩展随机树来加速连接;RRT* 在 RRT 基础上引入重布线以渐近逼近最优路径;BiTRRT 是双向版本的 T-RRT,在代价空间中有向性探索。三者在不同障碍密度下各有优劣——这正是本文让智能体"自适应选型"的候选池。

另一个关键概念是障碍物的安全膨胀:把障碍物几何体向外扩张一个安全缓冲半径,再在膨胀后的表示上做碰撞检测,等价于给机器人附加了一层"最小间隙"约束。Minkowski 和是实现这类膨胀的标准数学工具。本文把膨胀半径交给智能体根据场景决定,而不是写死常数。

三、方法详解

RoboNav-Arm 的整体框架由一个决策智能体和三个功能模块组成:对象级场景理解模块(OSUM)、轨迹规划与执行模块(TPEM)、上下文记忆与检索模块(CMRM),如图 1 所示。

3.1 形式化定义:决策智能体的输入输出

整个框架被形式化为三元组 $\mathcal{D}=\langle\mathcal{G},\mathcal{S},\mathcal{A}\rangle$,其中 $\mathcal{G}$ 是目标位姿,$\mathcal{S}=\{\theta_t,\mathcal{E}_t\}$ 是工作空间状态——包含当前机械臂关节构型 $\theta_t$ 和场景理解模块返回的环境表示 $\mathcal{E}_t=\{\mathcal{O}_t,\mathcal{W}_t\}$,$\mathcal{A}$ 是智能体可调用的模块集合:

$$\mathcal{A}=\{a_{env},a_{mem},a_{plan}\} \tag{1}$$

其中 $a_{env}$ 调用场景理解模块,$a_{plan}$ 初始化轨迹规划与执行模块,$a_{mem}$ 查询记忆模块。每个决策步,智能体产生一个高层操作决策:

$$d_t=\mathrm{LLM}(a_t,s_t,h_t),\quad a_t\in\mathcal{A},\;s_t\in\mathcal{S} \tag{2}$$

$d_t$ 是推理智能体生成的动作,$s_t$ 是当前工作空间状态,$h_t$ 是累积的执行历史与上下文推理信息。式 (2) 是全文的调度核心:LLM 不是直接输出轨迹,而是在"调用哪个模块、用什么参数"这一层级上做决策。

智能体的工作流程是:先接收目标位姿,调用 OSUM 获取规划感知的场景表示 $\mathcal{E}_t$;随后把检测到的物体几何作为碰撞物体注入 MoveIt 规划场景。接着智能体评估环境复杂度,决定是否需要通过 CMRM 做额外上下文推理——在障碍物密集、规划反复失败、障碍间隙过小或几何约束严重等"执行关键"条件下,智能体会检索相似环境下的历史成功经验,再决定规划器选型、安全参数与避障策略,最后调用 TPEM。执行期间智能体持续监督;一旦发现不安全条件、规划失败或环境意外变化,就重新调用 OSUM 更新场景、查询 CMRM 获取经验、通过 TPEM 重规划——形成闭环。

3.2 对象级场景理解模块 (OSUM):从 RGB-D 到规划兼容表示

OSUM 是感知组件,把原始传感观测转换为结构化的、可直接用于规划的工作空间表示。流程分四步:首先用 YOLO-World 做开放词汇检测,不限制预定义类别就能把工作空间中的物体识别为障碍,检测类别作为语义标签 $l_i$,边界框给出粗定位;然后用 SAM 做实例级分割,得到像素级精确的物体掩码,剔除背景只保留物体区域;再把分割区域利用深度投影到 3D,重建出机器人基座坐标系下的物体点云 $P_i$。

环境表示被定义为 $\mathcal{E}_t=\{\mathcal{O}_t,\mathcal{W}_t\}$:$\mathcal{O}_t=\{o_1,o_2,\dots,o_n\}$ 是对象级场景表示,$\mathcal{W}_t$ 是工作空间级推理上下文。每个物体表示为 $o_i=(l_i,\Delta_i,g_i,p_i)$,即语义标签、尺寸、几何属性与位置。其中几何属性由 LLM 推断:

$$g_i=\mathrm{LLM}(l_i,\Delta_i) \tag{3}$$

式 (3) 是一个有意思的设计:语言模型根据物体名称与尺寸直接生成紧凑碰撞表示(如盒子、圆柱),而不是去拟合精确网格——这正好匹配 MoveIt 碰撞场景对简单凸形状的需求,也避开了从点云重建精确几何的计算负担。

物体定位是 OSUM 最有工程特色的部分。作者没有使用整个点云的质心,而是先估计"地面支撑表面区域"——物体与支撑平面物理接触的区域:

$$B_i=\{p\in P_i\mid z(p)\leq z_{\min}+\epsilon\} \tag{4}$$

其中 $z_{\min}$ 是重建点云的最小竖直坐标,$\epsilon$ 是容忍表面不规则的小量。物体位置取该区域的质心:

$$p_i=\frac{1}{|B_i|}\sum_{p\in B_i}p \tag{5}$$

用最低支撑面而非整体质心来定位,在物理上更稳定:质心容易受物体悬伸部分、遮挡缺失点的影响,而底部接触面直接决定物体"立在哪里",对碰撞场景而言是更可靠的锚点。最后,$\mathcal{W}_t$ 由 LLM 对物体几何、障碍分布、自由空间结构与工作空间约束做推理生成——模块内置了明确的场景分析提示词:输入物体位置、尺寸形状与末端执行器距离,任务为分析障碍、分类风险、检查工作空间安全,输出结构化的障碍分析列表、工作空间摘要与 safe_to_move 布尔判断。

3.3 轨迹规划与执行模块 (TPEM):膨胀、校验、监督

TPEM 负责运动生成与安全校验。规划器按智能体选定的策略生成轨迹 $\tau=\{Q_1,Q_2,\dots,Q_n\}$,其中每个轨迹点 $Q_k=(\theta_1,\theta_2,\dots,\theta_n)$ 是一个合法的 n 自由度关节构型。为提升受限环境下的执行安全,障碍物几何做安全感知膨胀:

$$g_i'=g_i\oplus B(\sigma_i) \tag{6}$$

其中 $B(\sigma_i)$ 是半径为 $d_{safe}$ 的安全缓冲球,$\oplus$ 是 Minkowski 和。安全裕度由函数 $\sigma_i=f(g_i,\lambda_i)$ 确定,$\lambda_i$ 是为鲁棒避障附加的执行间隙。膨胀后的碰撞表示被注入 MoveIt 规划场景,用于碰撞检测与轨迹校验。对轨迹上每个点 $Q_k\in\tau$,机械臂占据的体积记为 $R(Q_k)$,无碰撞校验条件为:

$$\forall Q_k\in\tau,\quad R(Q_k)\cap g_i'=\emptyset \tag{7}$$

只有满足式 (7) 的轨迹才会被批准下发到机器人控制接口执行——注意这是对膨胀后障碍的校验,等价于要求机械臂与真实障碍之间至少保持 $\sigma_i$ 的间隙。

执行期间,决策智能体用最小障碍间隙持续监督轨迹安全:

$$\phi=\min_i\|R(Q_k)-g_i'\| \tag{8}$$

若最小间隙违反预设阈值 $\phi<\delta$,立即终止当前轨迹执行,并在更新后的工作空间条件下动态触发重规划。式 (6)–(8) 构成了一套"静态膨胀校验 + 动态间隙监督"的双层安全机制,这是本文区别于"规划完就开环执行"的系统的关键。

3.4 上下文记忆与检索模块 (CMRM):经验复用

为避免对几何相似的工作空间反复从零推理,CMRM 存储历史任务经验,记忆表示为:

$$\mathcal{M}=\{(\mathcal{E}_i,\tau_{p_i},c_i,r_i)\}_{i=1}^N \tag{9}$$

每条记忆包含场景表示 $\mathcal{E}_i$、历史成功轨迹 $\tau_{p_i}$、执行安全上下文 $c_i$ 与恢复/重规划策略 $r_i$。检索通过 ChromaDB 向量相似搜索完成:

$$m_r=\arg\max_{m_i\in\mathcal{M}}\kappa(s_t,m_i) \tag{10}$$

$\kappa(\cdot)$ 度量当前工作空间构型与记忆条目之间的几何相似度。当当前场景与历史场景接近时,系统检索相关经验,用于支持规划器选型与重规划——把"上次这种情况用什么策略成功过"注入当前决策。这使智能体的决策不再是无状态的,而是随任务累积逐渐变"聪明"。

3.5 闭环调度流程

把上述模块串起来,系统的单轮任务执行流程如下(Mermaid 基于论文真实方法绘制):

四、实验结果

4.1 实验设置

所有实验在 Gazebo Classic 仿真中进行,平台为 Kinova Gen3 7 自由度机械臂配 Robotiq 2F-85 平行夹爪;RGB-D 相机以固定 eye-to-hand 方式外置安装,世界坐标系下位姿为 $(-0.55,0.0,0.85)$ m、姿态 $(0,0.698,0)$ rad,保证全工作空间可见。作者设计了四个复杂度递增的场景,如图 3 所示:场景 1 (S1) 空工作空间,无障碍;场景 2 (S2) 障碍物全部在可达工作空间之外;场景 3 (S3) 稀疏杂乱,部分障碍在可达区内且间距充足;场景 4 (S4) 密集杂乱,大部分障碍在可达区内且彼此紧邻。每次试验机器人从预定义固定初始位姿出发,抓取配置保持不变,目标位置 $(x,y,z)$ 由用户通过 GUI 输入。图 4 给出了四个场景下真实工作空间与 MoveIt 碰撞场景的对照,验证了感知到规划场景注入的一致性映射。

4.2 LLM 选型对比

作者先在 S3、S4 两个富障碍场景下对比了三种 LLM 作为决策智能体的表现:DeepSeek-V4-Flash、Qwen-480B-A35B-Instruct 与 Llama-3.1-70B-Instruct。结果如表 1 所示:

Llama 在规划与执行开销上明显更低(S4 规划时间 59.6 s,比 Qwen 的 105 s 低约 43%),且重规划行为更稳定(重规划次数最少),因此被选为后续详细实验的决策智能体。这一对比说明,在"模块调度"这种结构化决策任务上,更大的模型并不必然更好,响应稳定性与低延迟同样关键。

4.3 跨场景性能与成功率

使用 Llama 的完整评估结果如表 2 与表 3 所示:

数据呈现出清晰的复杂度梯度:空环境下规划时间仅 18.9 s、轨迹 42 个点、几乎无需智能体干预(重规划 1.1 次),成功率 100%;障碍移出可达区后各项指标仅轻微上升;进入稀疏与密集杂乱场景后,路径更长、执行更慢、规划器切换更频繁——S4 的规划时间是 S1 的 3.2 倍,重规划次数翻了近三倍,成功率相应降至 93.3% 与 83.3%。这组数字直接验证了框架的自适应性:同一个系统在没有改任何超参数的情况下,依靠智能体的模块调度与规划器选型覆盖了从空场到密集障碍的完整难度谱系。图 4 展示了目标点 $(0.36,0.64,0.10)$ 下四个场景的代表性轨迹可视化。

4.4 与现有方法的能力对比

作者还在表 4 中与四类代表性工作做了特征级对比:GPT-4o 驱动的操作任务规划管线 [13]、带运动失败推理的 LLM 任务-运动规划器 LLM3 [14]、进化计算驱动的机械臂避障控制 [15]、基于椭圆锥视场表示的非完整移动操作 NMPC [16]。RoboNav-Arm 是五个方法中唯一同时具备智能体推理、对象级场景理解、记忆引导自适应与碰撞感知校验的框架——其他方法至多覆盖其中两三项,或仅部分支持(如 [16] 的部分能力)。

五、局限性

作者自述的局限集中在"动态性"与"实时性":当前框架尚未处理动态移动障碍物,实时重规划能力有待提升,未来将引入学习驱动的决策以实现更自主的运行。这意味着所有实验本质上仍是静态障碍场景——障碍在试验中不移动,系统的"动态"体现在场景间的变化与重规划循环,而非对运动中障碍物的响应。

从第三方视角可补充三点。其一,实验全部在 Gazebo Classic 仿真中完成,没有真机验证;感知链路 (YOLO-World + SAM + 深度投影) 在真实光照、遮挡与深度噪声下的鲁棒性未经检验,而支撑面定位式 (4)–(5) 恰恰依赖干净的深度观测。其二,评估协议偏薄:每场景仅 30 次试验、单一机器人平台、单一抓取配置,且没有与其他避障基线方法在相同场景下的直接定量对比——表 4 只是特征勾选表,无法回答"比传统规划器到底好多少"。其三,系统对 LLM 的依赖引入延迟与不确定性:即便是最快的 Llama,密集场景规划时间均值也接近 60 s 且标准差高达 30 s,难以满足需要快速响应的应用;式 (2) 中决策智能体的可靠性完全取决于 LLM 输出质量,论文未报告智能体决策失败的模式分析。

六、总结与展望

RoboNav-Arm 的核心贡献可以概括为三句话:第一,把避障从"给定地图的一次性规划"重构为"感知—记忆—规划"的闭环智能体调度问题,用 $\mathcal{D}=\langle\mathcal{G},\mathcal{S},\mathcal{A}\rangle$ 与式 (2) 的决策形式化把 LLM 放在模块编排层而非动作输出层;第二,设计了工程上务实的感知管线——开放词汇检测加实例分割加点云支撑面定位,再用式 (3) 让 LLM 直接生成 MoveIt 友好的紧凑碰撞几何;第三,用式 (6)–(8) 的膨胀校验加间隙监督构成双层安全机制,并以式 (9)–(10) 的向量记忆让决策随经验累积改善。在四个复杂度递增的仿真场景中,系统以同一套配置取得 100%/100%/93.3%/83.3% 的无碰撞成功率,验证了"智能体调度 + 自适应规划器选型"这条技术路线的可行性。

展望层面,作者点名的三个方向——动态移动障碍、实时重规划、学习驱动决策——恰好对应本文最明显的短板。若把感知换成真机验证的版本、把评估扩展为与经典规划器的同场定量对比,这套框架有望成为"LLM 智能体 + 经典运动规划"混合架构的一个可复现参考实现。

金句

"RoboNav-Arm 不指望 LLM 直接画出轨迹,而是让它当好'调度员':该看的时候看,该记的时候记,该换规划器的时候果断换——避障的活儿,依然交给最懂几何的那批算法。"