Skip to content
←返回论文库

PAPER DEEP DIVE

视觉语言导航具身智能人形机器人

ASENA:面向具身导航的自演化智能体

ASENA 是一套让人形机器人成为通用编码智能体可编程环境的具身智能体系统:智能体读取传感器、编写并执行程序、对照录制的执行证据修复失败,并在模型权重保持不变的前提下,把可复用的笔记与可执行技能沉淀进持久工作区。论文同时提出可选工具 ASENA-VLN,一个 4B 单目导航策略,基于路线指令、视觉问答与新构建的几何原子导航任务训练,可预测本体坐标系轨迹。独立评测中 ASENA-VLN 在 R2R 与 RxR 上分别取得 68.7% 与 70.2% 的成功率;与编码智能体结合后,学习型导航在两个 agentic 基准上各提升 11 个百分点成功率并缩短执行时间。持久工作区演化在十轮重复任务子集上把 R2R 成功率从 72% 提升到 98%、RxR 从 65% 提升到 89%。在具身问答上 ASENA 以更少交互步数取得最先进准确率,并在 Unitree G1 上无预建地图地演示了搜索、视觉检查、空间推理、合成手势与包含拾取、搬运、递交的移动操作。

ASENA: Self-evolving Agents for Embodied Navigation
An-Chieh Cheng、Isabella Liu、Edmund Bu、Johan Bjorck、Hongxu Yin、Zhengyi Luo、Jan Kautz、Linxi "Jim" Fan、Yuke Zhu、Sifei Liu(NVIDIA;Edmund Bu 来自加州大学圣迭戈分校,Yuke Zhu 兼任德州大学奥斯汀分校)
arXiv:2609.39207v2 [cs.RO],v2 更新于 2026-10-12 · arXiv:2609.39207 · 项目页 research.nvidia.com/labs/gear/asena
代码状态:项目页给出演示视频、接口说明与程序片段示例(如 climb.py、onsurface.py 这类内联示例),但截至本文撰写时(2026-10-15)整页没有任何 github.com 链接,代码、权重与原子导航数据集均未公开放出,页面上的 Dataset 一栏只是页内章节锚点(#training-data)。因此本文的可复现锚点落在附录的协议描述上:训练采样(64 卡、批 512)、数据池构成(Table 7)、Jetson Thor 上的量化与测时协议(A.2)、G1 传感器与导航参数(A.5)。

一句话总结

ASENA 把人形机器人交给编码智能体当作一个可编程环境:智能体读传感器、写程序、执行程序、对照录制的执行证据修复失败,并把可复用的笔记与可执行技能沉淀进持久工作区,整个过程不更新任何模型权重;系统内可选的 4B 单目导航策略 ASENA-VLN 独立评测即在 R2R / RxR 上拿到 68.7% / 70.2% 的最先进成功率,作为工具挂进智能体后把较弱编码后端的成功率抬升 11 个百分点、单 episode 平均工具调用最多降 62.5%;在十轮重复的百任务子集上,工作区演化把 R2R 成功率从 72% 推到 98%、RxR 从 65% 推到 89%。

一、问题:导航只是一个更大任务里的一步

论文用一个很具体的请求开场:让机器人去看一眼自动售货机里有没有某样东西,然后回来给出答案。要完成它,机器人得决定去哪里找、认出目标、记住用户站在哪、再把结论传达回来;换成从房间里取一件东西,还要规划抓取、拿起、搬运、递交。导航因此只是一个更大任务的一部分,而下一步做什么取决于机器人刚刚看到了什么。学习型导航策略能提供"移动"这一种能力,但这类请求还需要决定检查什么、如何对物体行动、传达什么内容,这些流程依赖新的观测,也可能超出预定义技能的边界。

编码智能体恰好擅长这件事:它可以在任务进行中通过程序化接口访问感知、计算、仿真与动作,边做边构造和修改流程。但要落到物理机器人上,还缺两样东西——与结果绑定的执行反馈,以及一个能留住有用流程的持久工作区。ASENA 补的就是这两块。论文给出三个贡献:其一是一个统一的机器人 harness,让编码智能体以编程方式控制人形机器人的导航、操作与交互,并保留可执行技能与经验;其二是 ASENA-VLN,一个支持路线跟随与可复用原子技能的最先进单目导航策略;其三是系统性的评估,证明在模型权重全部冻结的前提下,工作区演化本身就能提升任务表现。评估覆盖仿真中的导航与具身问答(EQA),以及一台没有预建地图的 Unitree G1 真机。

二、系统总览:一个统一的机器人 harness

ASENA 把感知、计算、可视化、仿真与动作收进同一条"写程序—跑程序—看记录"的工作流。在 G1 上暴露的感知接口包括:桅杆上的 360 度全景相机(支持 Insta360 X5 与 Ricoh Theta X,配置为 6 Hz JPEG 并做 180 度偏航校正)、倒置安装在头壳内的 Livox Mid-360 激光雷达(SLAM 桥接 10 Hz、单批至多 20,000 点)、里程计、机身 IMU、29 个关节的位置与速度(20 Hz 发布),以及用于操作的标定头部 OAK RGB/立体相机。身体运动由 SONIC 全身控制器执行,可选的 YAM 平行夹爪(带 fin-ray 指垫)由一个独立控制器开关并回报 Jaw 宽度与控制器状态,语音走机载扬声器。

图1(论文 Figure 1):ASENA 把编码智能体与物理机器人技能连起来。程序把感知、计算、机器人执行与可复用技能组合在一起,学习型导航作为可选工具。配图中的代码示例用 LiDAR 几何提出一条穿廊路线;下方的演示画廊覆盖导航、检查、抓取规划、物体搬运、递交与手势。

图2(论文 Figure 2):系统结构。机器人感知、持久工作区、导航与操作工具、机器人执行被整合进同一接口;身体运动走 SONIC,可选 YAM 夹爪走独立控制器。每一次运行都被存成一条 MCAP 记录,把传感器与机器人状态同动作、反馈、代码、可视化对齐,供事后检查与回放;智能体基于这些记录更新自己的笔记与技能。

三、把程序钉在机器人反馈上:导航、操作与执行检查

导航。智能体有两条路可走:几何工具,或调用 ASENA-VLN 做语言条件导航。几何工具基于 LiDAR 占用图规划航点并检查障碍间隙;ASENA-VLN 则从语言与最近的单目观测预测有界的本体坐标系轨迹(见第五节)。由智能体自己决定何时调用哪个工具、通过新观测检查进度、必要时修订计划——这条"工具选择权在智能体手里"的设计贯穿全文。

操作。抓取候选由 SAM 2 的物体掩码加深度测量给出;需要更多候选时,系统用 GraspGenX 的学习型候选补充几何提案。逆运动学与运动规划把这些候选转换成reach、lift、carry 三段臂轨迹。执行前系统会从实测关节状态重建臂轨迹,并检查关节极限、采样自碰撞与场景间隙——其中包括 lifting 与回缩过程中所持物体的间隙。夹爪侧的独立控制器负责开合 YAM 夹爪并回报状态,智能体可以把这些工具与导航组合起来,编出"拿起—搬运—递交"这样的任务程序。

执行检查。生成的手势先在 MuJoCo 里在线验证:姿态连续性、关节与运动极限、采样自碰撞;验证失败时,被违反的约束会返回给智能体去修程序。物理执行需要验证加操作员批准,修订后的程序提出的动作同样要过这一关。另有一个独立的导航 safeguard 强制运动限制,在里程计过期或电量低时拒绝命令;心跳触发的停止与手动急停提供额外保护。这一层是"智能体可以随便写程序"与"机器人不能随便动"之间的闸门。

四、把执行变成留得住的经验:工作区演化

每次运行都以 MCAP 格式记录,把传感器与机器人状态同动作、反馈、代码、可视化对齐。回放这些证据,智能体就能定位"执行在哪一步偏离了意图",并修掉负责的那段程序。修好一次失败之后,ASENA 可以把解法留给以后的任务:把第 $k$ 版工作区记为 $W_k=(N_k,S_k)$,其中 $N_k$ 是笔记、$S_k$ 是可执行技能;一个权重固定的编码模型在解题时查阅这份工作区;在两版之间,另一个同样权重固定的 improver 用执行轨迹 $\mathcal{T}_k$ 与反馈 $f_k$ 更新工作区:

$$W_k=(N_k,S_k),\qquad W_{k+1}=I_{\phi}\bigl(W_k,\,\mathcal{T}_k,\,f_k\bigr) \tag{1}$$

模型与控制器的权重始终保持冻结。在仿真里,私有 worker 可以在两轮之间编辑自己的工作区,而冻结评测期间写入被禁用;在 G1 上,执行记录与可选的操作员反馈支持技能修订,但修订期间机器人运动被禁用。换句话说,"学习"全部发生在文本与代码层面,而不是梯度层面。

flowchart TD
    S["感知接口: 360 度相机 / Livox Mid-360 / 里程计 / IMU / 关节状态 / 头部 OAK 相机"] --> A["编码智能体: 读观测、估几何、看可视化、写程序"]
    A --> V{"需要语言条件导航?"}
    V -->|是, 可选工具| P["ASENA-VLN-4B: 语言 + 至多 8 帧单目历史 → 本体坐标系航点"]
    V -->|否| G["几何工具: LiDAR 占用图规划航点并检查间隙"]
    P --> E["执行: SONIC 全身控制 + YAM 夹爪独立控制器 + 机载扬声器"]
    G --> E
    E --> C["执行前检查: MuJoCo 验证手势 / 关节极限 / 自碰撞 / 间隙 + 操作员批准 + 导航 safeguard"]
    C --> R["MCAP 记录: 传感器与机器人状态对齐动作、反馈、代码、可视化"]
    R --> Q{"执行与意图一致?"}
    Q -->|否| F["回放证据定位偏离, 修订程序"]
    F --> A
    Q -->|是| K["把笔记与可执行技能沉淀进持久工作区 W_k"]
    K --> I["improver 汇总轨迹 T_k 与反馈 f_k 更新工作区, 权重冻结"]
    I --> A

五、ASENA-VLN:一个 4B 单目导航策略,作为可调用的工具

ASENA-VLN 的动机很直接:把运动委托给专门策略,可以减少智能体的重复决策,也能支持那些难以用几何语言描述的导航行为。它以 Qwen3-VL-4B-Instruct 为骨干,扩展出轨迹与像素目标两套专用 token 词表。输入侧,模型接收至多 8 帧前视画面与一条结构化 JSON 指令;视觉 token 做 recency 加权,保留时间上下文的同时强调最新观测。指令给出简洁的导航命令,可选地附带期望终止位姿、锚定物体或运动约束——这个接口让策略天然是一个"可调用工具":程序传一段 JSON 进去,拿一段轨迹出来。

图3(论文 Figure 3):左为导航策略架构——语言与单目历史进入同一个自回归解码器,轨迹与像素目标各自占用独立的 token 块,视觉问答仍走原始文本 token,运动 token 解码为本体坐标系航点(架构符号为示意)。右为录制得到的训练观测,附指令与叠加轨迹;更多样例见论文 Figure 6。

输出表示。共享的自回归解码器预测至多 8 个累积式本体坐标系航点,每个航点表示为 $(x,y,\theta)$;每个轴上的固定 bin 把轨迹 token 转成显式运动目标,不需要额外的连续动作头。像素目标 token 提供辅助监督,鼓励模型在图像里定位它想去的位置,但像素目标本身不可直接执行,还需要额外的运动规划器(仿真里则是最短路径跟随器),因此本文所有评测都用轨迹 token 的预测,而不是像素目标。新增 token 的账是:660 个轨迹 token、683 个像素目标 token,合计 1,343 个。

$$\tau=\bigl[(x_i,\,y_i,\,\theta_i)\bigr]_{i=1}^{m},\qquad m\le 8 \tag{2}$$

六、原子导航数据与训练混合:教模型"可复用的细粒度动作"

一个可被调用的导航策略既要跟得完长路线,也要听得懂精确的局部命令。论文因此在 MP3D 与 HM3D 里策展了九类原子导航任务,覆盖度量运动(往前走几步)、纯旋转(转到某个航向)、航向相对目标(从给定方向接近物体)、细对齐、进入房间、穿过门口、沿走廊行进、楼层切换等行为。每个任务都用测地距离、可见性与场景几何生成并校验,保证每条指令描述的都是可行且可度量的运动;每条指令配一条航点轨迹与辅助像素目标监督。这些数据直接教的就是任务程序可以调用与组合的那些细粒度操作。

图4(论文 Figure 6 的一例):原子导航训练样本。观测画面上叠加了对应的航点轨迹,指令形如"穿过门进入厨房";整个数据集横跨度量运动、旋转、相对目标、对齐、房间目标、门、走廊与楼层切换。

训练混合。ASENA-VLN 在这些原子任务、短程 ObjectNav、以及来自 R2R / RxR / ScaleVLN / SRDF 的视觉语言导航数据上训练,并加入多视角 VQA 数据强化空间理解。为了匹配"可调用策略"的接口,原始导航指令由 GPT-5.5 重述成结构化 JSON 格式,重述后的指令包含简洁命令,以及在适用时的终止位姿、锚定物体与运动约束。数据池的规模见论文 Table 7:轨迹池合计约 28.4M(含重复),VQA 池约 9.1M。训练采用轨迹预测与空间 VQA 3:1 的混合;为强调停步行为,每个合格的轨迹收尾窗口额外复制五份。

采样账。训练用 64 张卡、有效批大小 512:每张卡每步处理 3 条轨迹样本与 1 条 VQA 样本,梯度累积 2 步——

$$512=64\times(3+1)\times 2 \tag{3}$$

上报的 checkpoint 优化器步数少于 10K、训练样本(含重复)少于 5M。对一个 4B 模型而言这是一份相当克制的配方,论文也把它当作卖点之一:原子数据与接口设计带来的收益,不需要靠堆算力换。

七、独立导航评测:R2R 与 RxR 上的新 SOTA

Table 1 在 R2R 的短指令与 RxR 的长而细致的路线上独立评测 ASENA-VLN(不借助编码智能体规划),动作原语为 0.25 m 前进步与 15 度旋转。口径上,NE 是终点到目标的距离(米),OSR 衡量是否进入目标区域,SR 还要求在那里停下,SPL 计入路径效率,nDTW 衡量与参考路线的相似度,后四项均为百分比;SPF 指像素目标方法所用的仿真最短路径跟随器。

方法R2R NE↓R2R OSR↑R2R SR↑R2R SPL↑RxR NE↓RxR nDTW↑RxR SR↑RxR SPL↑
NaVid5.7249.241.936.55.72–45.738.2
NaVILA5.2262.554.049.06.7758.849.344.0
StreamVLN4.9864.256.951.96.2261.952.946.0
NaVIDA4.3269.561.454.75.2367.057.449.6
DualVLN4.0570.764.358.54.5870.061.451.8
Qwen-RobotNav-4B4.2273.666.960.54.1568.671.361.5
ASENA-VLN-4B(本文)3.5272.668.764.23.9073.170.259.7

ASENA-VLN-4B 以 3.52 m 的 NE 与 68.7% 的 SR 拿下 R2R val_unseen 的最好成绩,比最强的同规模对照 Qwen-RobotNav-4B(66.9%)高 1.8 个百分点;RxR 上 70.2% 的 SR 与 73.1 的 nDTW 同样领先,代价是 SPL 略低于 Qwen-RobotNav-4B 的 61.5(59.7)。值得注意的还有 OSR 与 SR 的差距:72.6 对 68.7,说明停步决策仍吃掉约 4 个百分点的成功率——这正是训练里给收尾窗口额外复制五份想要压的那一项。

八、物体目标导航:全局搜索推理配局部学习导航

物体目标导航要求找一个起初可能看不见的物体。ASENA-VLN 的训练重点是原子导航行为而非全局探索,因此论文把它与一个独立的 VLM 配对:由后者规划去哪里搜、并根据新观测更新计划。在 HM3D-v2 与 HM3D-OVON 上,这种"全局搜索推理 + 局部学习导航"的组合相对已发表方法取得最先进结果,且在 seen、同义、unseen 三类物体类别上表现一致,说明系统同时扛住了物体描述的变化与找到它们所需路线的变化。

方法HM3D v2 val(SR/SPL)OVON seenOVON syn.OVON unseen
VLFM63.6/32.535.2/18.632.4/17.335.2/19.6
Uni-NaVid‡73.7/37.141.3/21.143.9/21.839.5/19.8
ABot-N0–55.3/32.155.4/33.254.0/30.5
ApexNav76.2/38.0–––
Qwen-RobotNav-4B75.6/30.657.7/24.460.1/25.153.1/20.9
ASENA(本文)80.8/38.160.5/33.565.8/37.964.9/38.4

‡ 表示 HM3D v1 结果(论文注明强调时不计这些行)。ASENA 在 v2 val 上比 ApexNav 高 4.6 个百分点 SR,在 OVON 三个切分上全面领先 Qwen-RobotNav-4B 约 3 到 6 个百分点,且 SPL 同步提升——不是靠多走换来的命中率。

九、智能体与策略的互补:谁才需要学习型导航

Table 3 是全文信息量最大的一张表:它把已发表零样本方法、独立运行的 ASENA-VLN、以及挂了两个不同编码后端的 ASENA 放在同一坐标系里。R2R 与 RxR 的 Agentic Split 各含 100 个任务(沿用 Open-Nav 与 Uni-LaViRA 的减集评测惯例),所有策略与智能体变体在每个基准的十个场景里使用相同任务 ID;RxR 有 4 个 episode 的 NE 或 SPL 非有限值,按失败计入 SR,NE 与 SPL 在其余 96 个 episode 上计算。编码智能体都从空白工作区起步,Claude Sonnet 5 跑 high effort,GPT-6 Astra 跑 maximum effort。

方法 / 编码智能体VLN 工具R2R NE↓R2R OSR↑R2R SR↑R2R SPL↑R2R 调用/ep.↓RxR NE↓RxR SR↑RxR SPL↑RxR 调用/ep.↓
InstructNav–6.8947.031.024.0–––––
Uni-LaViRA–3.6673.760.747.7–6.4851.334.0–
ASENA-VLN-4B 独立–3.1682.078.070.7–4.5462.052.9–
ASENA(Claude Sonnet 5)×5.2370.061.034.283.325.8050.031.9103.83
ASENA(Claude Sonnet 5)✓3.3183.072.054.933.96(−59.2%)4.9461.045.538.91(−62.5%)
ASENA(GPT-6 Astra)×1.8490.087.072.426.370.8293.078.040.80
ASENA(GPT-6 Astra)✓2.1889.088.072.814.00(−46.9%)1.6586.064.019.98(−51.0%)

三个结论各自成立、互不遮掩。其一,强编码智能体不需要学习策略也能导航得很好:只用几何与程序化工具,GPT-6 Astra 在 R2R 上 87.0% 的 SR 已超过独立运行的 ASENA-VLN(78.0%),并接近论文引用的人类水平 90% SR——它的推理能力足以解释指令、构造路线、监控进度并从错误中恢复,这本身就把编码智能体确立为一种强零样本导航系统。其二,学习型导航对较弱的后端收益最大:对 Claude Sonnet 5,挂上策略后 R2R 与 RxR 的 SR 各升 11 个百分点(61.0→72.0、50.0→61.0),SPL 也大幅改善——专门策略补偿了它在路线执行上的短板。反过来,GPT-6 Astra 本就很强,收益变小:RxR 上启用策略后 SR 甚至从 93.0 略降到 86.0,论文直白地指出学习型导航的价值取决于编码后端、以及它把策略预测并入计划的有效性。其三,无论成功率怎么变,调用次数都在降:一次 ASENA-VLN 调用执行多个运动决策,减少了反复的观测与动作请求,平均工具调用在每个后端、每个基准上都下降——

$$1-\frac{33.96}{83.32}=59.2\%,\qquad 1-\frac{38.91}{103.83}=62.5\% \tag{4}$$

(Claude Sonnet 5 在 R2R / RxR 上的降幅;GPT-6 Astra 为 46.9% / 51.0%。)即使成功率变化不大,策略也吸收了低层导航——这是"学习策略作为工具"相对"学习策略作为大脑"的真正卖点。

十、工作区演化:十轮重复任务,72% 到 98%

演化评测的做法是反复给出同一批任务、场景、指令与初始位姿。每一轮里 16 个 high effort 的 Claude Sonnet 5 worker 执行任务,可以在私有工作区里保留程序、笔记与既往动作序列;轮与轮之间,一个 improver 用它们的轨迹与反馈更新 canonical 工作区。R2R 与 RxR 上各跑带与不带 ASENA-VLN 两条 campaign,反馈用 ground truth,所有模型、策略与控制器权重冻结。

图5(论文 Figure 4):R2R 与 RxR Agentic Split(各 100 任务)上的工作区自演化。每一轮以 ground-truth 反馈重访同一批任务,工作区经验被保留而权重全部冻结;成功率相关指标上升,记录的单 episode 成本总体下降,VLN 工具一致地改善 SPL。

结果是全文最直观的一条曲线:R2R 成功率从 72% 升到 98%,RxR 从 65% 升到 89%,同时记录的 worker 与 improver 成本随工作区演化下降——留得住的经验既提升重复任务的表现,也降低代价,而不需要更新任何权重。细节上,带与不带 ASENA-VLN 的变体在 R2R 上最终成功率接近,但策略在更长的 RxR 指令上保持更清晰的优势;带工具的工作区在两个基准上都维持更高 SPL,说明即使最终成功率收敛,ASENA-VLN 仍在改善路径效率。

十一、具身问答:用更少的路换更高的准确率

EQA 要求智能体探索环境、收集视觉证据、并尽量少走地回答问题。评测在 HM-EQA 与 MT-HM3D 上用其发布的初始位姿,遵循 Explore-EQA 的 teleport 协议:面积为 $A$ 的场景,每个 episode 的名义步数预算为 $3\sqrt{A}$;上报答案为准确率与归一化探索步数(智能体消耗的名义预算比例):

$$B=3\sqrt{A},\qquad s=\frac{n_{\text{steps}}}{B} \tag{5}$$

手工设计的参考配置。EQA 智能体组合导航、视觉检查、物体搜索、地点记忆与答案生成五类工具。论文先手工搭了两个参考点:quality 配置优先收集足够证据答对,不被显式要求少走路;efficient 配置被提示把探索步数当有限资源、更挑地收集证据,在 HM-EQA 上给它的目标预算是名义额度的 30%,两个配置共用同一个仿真硬上限。这两个配置提供的是人工设计的"准确率—效率"操作点,而非单组件的受控消融。

演化协议与结果。演化池固定为训练场景里的 398 条 HM-EQA 问题与 1,183 条 MT-HM3D 问题;每轮 16 个 worker 各采样 50 条、用私有工作区执行并反思,improver 汇总轨迹与编辑更新 canonical 工作区,未被采样的问题用于监控、其聚合结果也提供给 improver。冻结工作区评测中,第 17 版工作区在 HM-EQA 上拿到最高准确率 81.2%,MT-HM3D 上则是第 4 版最好(66.5%);低推理强度下,演化出的工作区用与手工 efficient 配置相当的步数拿到更高准确率。

方法 / 配置HM-EQA 准确率↑HM-EQA 步数↓MT-HM3D 准确率↑MT-HM3D 步数↓
Explore-EQA58.4.5235.1.64
GraphEQA63.5.2045.6.45
MemoryEQA(GPT-4o)63.4.4055.1.41
FAST-EQA69.2.6550.5.52
Qwen-RobotNav76.7.1554.4.19
ASENA base(low effort)70.9.1564.8.10
ASENA 手工(efficient)72.2.1163.8.11
ASENA 手工(quality)78.8.2267.1.24
ASENA 自演化 pass 17(low)74.8.1364.9.08
ASENA 自演化 pass 17(high)81.2.2565.5.22

81.2% 的 HM-EQA 准确率是表内最高,代价是 .25 的归一化步数——比 efficient 配置费路,但比 quality 配置的 .22 只多一点,准确率高出 2.4 个百分点。另有一项配对消融:在 132 条 MT-HM3D 问题上,ASENA-VLN 把中位归一化探索步数降低约 19%,准确率几乎不变——与 R2R / RxR 上的结论同源:学习型导航通过减少重复的智能体交互来提升效率。

十二、真机 G1:四个没有预建地图的演示

真机部分给出四个演示,全部不依赖预建地图,组合导航与搜索、用户交互或物体递交。三个搜索任务发生在从未见过的环境里,搜索目标起初都在视野之外:洗手间任务中机器人在电梯厅附近定位门,用在线地图找一条从用户出发的更短路线并带回指引;储藏间任务中它定位房间、检查分配器与冲泡机、报告"两台咖啡机";零食比对任务中它先检查参考零食、再找到售货机核对是否有同款,然后回到用户身边、用一个在线生成的全身手势作答。取物递交任务(D)则演示人形移动操作:到储藏间后用头部相机定位易拉罐并接地抓取、检查臂运动计划、用 YAM 夹爪拿起、边走边搬回来,再由另一段程序用逆运动学把罐子放到接收者手掌上方释放。

图6(论文 Figure 5):G1 上的真机导航、操作与交互。四个演示把在线地图与录制的轨迹同观测、机器人动作并列;蓝色与橙色虚线轨迹分别表示去程搜索与返程;距离由驱动里程计估计;D 组合了拾取、搬运与递交。提示与回复为展示做了压缩。

硬件与运行参数在附录 A.5 里给得很细:全景相机原生 2880×1440@30fps,配置输出 6 Hz JPEG;LiDAR 200,000 点/秒、视场 360° 水平 / −7° 到 52° 垂直,SLAM 桥接 10 Hz;机身状态 20 Hz。慢走控制器把平移速度限在 0.12–0.35 m/s、近目标(0.5 m 内)0.25 m/s,到达容差 0.10 m 与 4°,单条 move / turn 命令限 2.0 m 与 180°,路径块限 6.0 m 与 16 点,move-job 超时 25 s、path-job 超时 45 s,速度命令 2.0 s 过期、活跃任务心跳超时 3.0 s——这些运行时可调的限制,正是"智能体写程序"与"机器人安全动"之间的另一道闸。论文也坦承:真实任务单次耗时 10–20 分钟。

十三、端侧推理:Jetson Thor 上的 FP8 与裁剪词表

要把策略跑上 G1 的 Jetson AGX Thor,论文用 NVIDIA ModelOpt 做训练后 FP8 量化,用 TensorRT-Edge-LLM 建推理引擎;这部分测量用的是 step 8,400 的早期 checkpoint,与 Table 1 的基准策略不是同一个。所有 FP8 变体量化的都是语言模型,标 "BF16 vision" 的变体把 4.15 亿参数的视觉编码器留在 BF16;embedding 与输出投影在所有变体里都不量化。关键的一刀在词表:导航引擎只需要预测运动 token,于是输出词表从 152,596 裁到 768 项(保留全部 660 个轨迹 token),从每个解码步都要算的输出投影里去掉 3.887 亿参数。

变体导出体积(GiB)视觉(ms)Prefill(ms)Decode 32 步(ms)合计(ms)加速比
PyTorch BF169.01167.3363.42,275.52,8061.00×
FP8,BF16 vision5.6373.3128.7847.41,0502.67×
FP8,BF16 vision,裁剪词表4.9178.3125.5694.18983.13×
FP8,裁剪词表4.5364.9129.1683.48773.20×

测量协议:batch 1、同样的 8 帧混合分辨率历史、32 步贪心解码;BF16 数值为 5 次运行的热中位,TensorRT-Edge-LLM 的视觉与 prefill 为 10 次均值、decode 为 5 次中位。FP8 加裁剪词表把三段延迟之和从 2,806 ms 压到 877 ms:

$$\frac{2806}{877}=3.20\times,\qquad \frac{683.4}{877}\approx 78\% \tag{6}$$

解码仍是最大头,占 FP8 总延迟的约 78%;在 BF16-vision 变体里,裁词表把解码从 847.4 ms 降到 694.1 ms(18.1%),视觉与 prefill 几乎不动。量化一致性在 256 条留出输入上检查:FP8 + BF16 vision 的首航点一致率 91.41%、整条轨迹完全一致率 82.81%(纯 FP8 为 90.23% / 75.39%)——保留视觉编码器的精度对输出一致性有明显帮助。论文同时强调这些指标衡量的是输出一致性而非导航成功率,后者需要单独的 rollout 评测;另测得 BF16 端到端 2,735 ms、加载后占用 8.28 GiB。

十四、局限与展望

论文对自己的边界写得很清楚。G1 的四个演示是能力组合的定性证据,不是跨物体、布局与用户的系统性可靠性测量;真实任务 10–20 分钟的耗时让"更快的推理与执行"成为实用化的前提。未来工作包括:在新任务上评测留存的技能、在重复真机试验中度量导航与操作的可靠性、为动态环境加强 safeguard;另一个方向是把工作区演化扩展到学习策略与智能体自身的更新——也就是把今天冻结的那两族权重也放进演化循环里。

把全文压成一句工程判断:ASENA 没有试图训一个更大的端到端模型去吞掉所有能力,而是把"智能体会写程序"与"小策略会走路"做成同一个可编程接口里的两种工具,再让经验以文本和代码的形式沉淀——权重冻结不是限制,而是这套系统能持续演化而不失控的前提。

金句

十轮重复任务、成功率从 72% 到 98%,没有一次梯度更新:变的是工作区里的笔记与技能,不变的是所有模型与控制器的权重——"自我演化"在这里不是修辞,而是一个可以被逐轮画成曲线的工程事实。

相关论文

MemoryVLN:分层记忆驱动视觉语言导航

MemoryVLN:分层记忆驱动视觉语言导航

MemoryVLN 以遗忘曲线压缩、位姿感知表示与分层记忆库,将长时程导航历史变为可检索复用的经验,成功率提升约 2% 与 6.5%。

Xueyao Wei, Yifei Wang, Delun Li · 31次阅读 · 2026年10月13日
视觉语言导航Memory具身智能2026年10月13日
LifelongCrossNav:面向跨楼层多目标导航的持久 3D 语义记忆

LifelongCrossNav:面向跨楼层多目标导航的持久 3D 语义记忆

LifelongCrossNav 把「单 episode 内的顺序多目标导航」与「多层建筑中的楼梯通行」合并成同一个问题:用一张支撑感知的稀疏 3D 体素地图同时存放几何与目标无关的视觉-语言特征(SED/CLIP),使后续任意新目标都能按余弦相似度直接检索历史观测;统一策略在平面探索、楼梯穿越与 POI 导航之间按模式切换,并用七种体素状态、延迟楼梯晋升与类型感知的 3D A* 把楼梯从语义标签变成可规划的边。作者同时发布 HM3D-MFMON 基准(36 个场景、927 条三目标 episode,其中 288 条的完整目标序列可证明必须跨楼层)与因果正确的事后逐阶段评测协议。实验上,序列成功率从平面持久地图基线 OneMap 的 16.83% 提升到 29.13%,SPL 从 6.95% 提升到 9.64%;在必须跨楼层的子集上 OneMap 为 0.00%,LifelongCrossNav 达到 7.99%。消融显示后段条件 SPL 的增益来自历史语义检索(History-POI),而非单纯的几何持久化。代码以 MIT 协议开源。

Zehui Li, Zihao Sun, Jiawei Xu · 155次阅读 · 2026年8月7日
Object-Goal NavigationSemantic MemoryMulti-Floor Navigation2026年8月7日
3DG-VLN:视场内无人机精准视觉语言导航

3DG-VLN:视场内无人机精准视觉语言导航

提出视内导航任务 UAV-VLN-FOV 与 3DG-VLN 框架:用动态 3D 方向线索引导视觉语言航点预测,在线更新目标相对方向,让无人机精准抵达可见目标。

Fanfu Xue, En Yu, Yantian Shen · 106次阅读 · 2026年6月18日
视觉语言导航UAV具身智能2026年6月18日
HAM-VLN:用分层智能体记忆实现零样本视觉语言导航

HAM-VLN:用分层智能体记忆实现零样本视觉语言导航

视觉语言导航(VLN)要求机器人在从未见过的环境中按自然语言指令走到目标位置或目标物体。近期出现了一条免训练范式:机器人把当前观测交给多模态大模型,由模型理解场景并规划下一步动作。但无论用图像流还是稠密地图做长程导航,都会不可避免地引入不断膨胀的记忆与推理瓶颈。本文提出 HAM-VLN——一种与决策耦合、由智能体自己撰写的记忆机制,为机器人配上一张持久的、由深度反投影落地的世界图。在选择下一个动作的同一次模型调用里,HAM-VLN 同时记录语义与反思信息,包括房间类型、看到的物体、指令执行进度以及失败原因。最近的航点在有限窗口内原文保留,更久远的历史只有通过检索才会重新进入上下文,检索按相关性、时近性与显著性打分,并做一跳拓扑扩展。这个设计不需要在逐航点决策之外增加任何大模型调用。相比已有方法,HAM-VLN 不仅提升了多项导航指标,还把上下文长度压缩了 65% 以上:在完全不训练的前提下,VLN-CE R2R 成功率 61.0%,VLN-CE RxR 52.7%,HM3D-v2 ObjectNav 79.7%。

An Liu, Bingxi Liu, Hongyu Ding · 670次阅读 · 2026年7月31日
视觉语言导航具身智能Zero-Shot Navigation2026年7月31日

作为亚马逊联盟会员,我们可能从符合条件的购买中获得佣金。