论文

盲装配：只靠关节编码器完成轴孔插入、齿轮啮合与螺母攻丝

精密装配通常被当成视觉问题：孔在哪、零件在指间怎么转、间隙多大，都得由相机或力/扭矩传感器告诉策略。MIT 的这篇工作把外部传感全部掐断——策略每步只观测最近 0.6 秒的关节位置、关节速度、由正运动学算出的夹爪位姿与速度，以及自己上一步的动作；没有相机、没有力/扭矩传感器、没有触觉，也不知道孔位、零件尺寸与间隙大小。作者在三个接触密集的精密任务上检验本体感知究竟够不够：轴孔插入（训练时每侧间隙 1.0–1.5 mm，5 秒限时）、齿轮啮合（每个锚齿齿侧间隙 0.2–0.6 mm，10 秒）、螺母攻丝（M24–M42，螺纹侧面间隙 0.05–0.2 mm，15 秒）。训练完全在仿真里完成：PPO 跑 12,288 个并行 MuJoCo 世界，随机化零件形状、尺寸、间隙、孔位与抓取偏置，并用特权仿真状态给出辅助接触监督——去掉这项监督，三个任务分别需要 2.7 / 3.8 / 5.1 倍的环境步数。时序卷积把 30 步历史压成 32 维 latent，线性探针能从 latent 解出七种接触模式（准确率 61–73%，只看当前观测是 41–64%，随机基线 14%），把不同模式的 latent 互换会让动作整体改道（变化量是同模式互换的 1.3–3.0 倍）——说明策略是在做反应式接触搜索，而不是背一套固定螺旋图案；同样的起点，它入孔前中位只走 37 mm，乐观的脚本螺旋要走 95 mm。轴孔策略 zero-shot 迁到 Flexiv Rizon 4S 真机（50 Hz，无真实数据、无微调），237 次试验成功 173 次（73%），其中三个销完全在训练分布之外；对未见零件，盲策略也明显比参数匹配的 RGB 视觉策略稳（螺母尺寸外推 98.4% 对 1.6%，销的新形状 93.8–97.1% 对 40.1–62.7%）。为让这种规模的训练跑得起来，作者还开源了 mjfit：从任意平面轮廓程序化生成「间隙精确保持」的凸棱柱装配体，在 20 µm 级间隙上比 CoACD/V-HACD 凸分解与 MuJoCo 自带 SDF 碰撞既准又快一个数量级。结论很直接：每台机器人本来就自带高分辨率接触传感器——它自己的关节。

Peg-in-Hole仿真到现实

Antonia Bronars, Younghyo Park, Kushal Kedia · 54次阅读 · 2026年10月16日

Terminal-RSI:递归自改进终端智能体

递归自重写验证轨迹并继承评论家做策略精炼,配 TB-GAE 与成功优先奖励,27B 模型 Terminal-Bench 4.0 达 19.84%。

Terminal Agent强化学习

Junyao Yang, Zongxia Li, Yucheng Shi · 110次阅读 · 2026年10月15日

BRACE：面向力觉与地形感知的人形机器人全身参考自适应运动跟踪

全身运动跟踪已经成为操作员驱动人形机器人的标准接口，但它消费的参考轨迹都是在平地上、空手状态下录制的：跟踪器既不知道机器人要与物体交换多大的力，也不知道自己站在什么地面上。已有控制器只解决其中一侧——具备力控能力的策略只给末端执行器一个力指令而不规定全身姿态，地形自适应跟踪器则把负载当成需要抑制的扰动，而不是需要主动施加的力旋量。BRACE 选择改写参考本身：地形贴合把落脚点与根部抬到局部地表，力旋量变换则解算出产生指定手力所需的手部位移，以及它连带引起的质心与压力中心偏移，并受教师专属的手臂力矩预算约束。施加与抵抗两个特权教师分别训练，再由 DAgger 蒸馏进同一个流匹配学生，学生只依赖本体感知，不需要高度图也不需要实测力旋量。在 Unitree G1 的仿真与真机实验中，BRACE 能在斜坡上跟踪平地参考的同时施力或抗力，全局跟踪误差平均降低 40%，成功率平均提升 18.25 个百分点。

人形机器人全身控制

Sudarshan Harithas, Chen Yu, Juan Borbon · 180次阅读 · 2026年10月5日

QwenGyre：训练 xLong 长程智能体的弹性强化学习框架

单次执行数小时、数百次模型与环境交互、生命周期近 100 万 token 的 xLong 长程智能体任务，把在线强化学习推到两个极限：rollout 长尾让 GPU 大量空转，黑盒 harness 的分叉历史又让轨迹严重冗余。QwenGyre 的回答是解耦三种生命周期——harness 执行、GPU 角色、训练样本。弹性调度器以水位 w(t)=d(t)-f(t) 为准绳在 rollout 与训练之间迁移 GPU 角色，RDMA KV-cache 迁移与 Mooncake 权重拉取把角色切换压到平均 8.52 秒与 3.46 秒，且全程不打断在途执行；轨迹处理器用 TITO 记录与轨迹树保住每个输出的原始条件上下文，为超时执行已完成的部分打分，并按 main、main-summary、sub-agent、sub-agent-summary 的角色优先级每执行至多准入 5 条轨迹，共享前缀只训一次。在旗舰 Qwen 3.8 2.4T、每条 rollout 70 万 token 的规模上，48 步把 NL2RepoBench 通过率从 52.5% 提到 58.5%，相对 Colocate 与 Async 分别取得最高 1.85× 与 1.78× 的端到端加速。

强化学习LLM智能体

Weiqi Wang, Yuxin Zhou, Mouxiang Chen · 216次阅读 · 2026年9月27日

IdeaScientist：科研构思智能体编排

自动科研系统大多把提出想法与实现、实验、写作耦合在一起，难以判断成功究竟来自想法还是执行。IdeaScientist 把科研构思剥离为独立任务：给定问题定义与当前方案未满足的挑战，产出有据的研究提案。系统由 orchestrator 协调三个子智能体——gap finder 在同问题先前工作中定位方法论缺口，innovator 到其他领域寻找解决过同类挑战的机制并迁移，report writer 把存活的直觉写成完整提案；每个角色用异步 GRPO 与参考锚定的 rubric 奖励单独训练。为支撑跨域检索与时间可控评测，作者构建 Svalbard Idea Vault：从 470 万篇 arXiv 论文中分解出 277 万条（问题、挑战、缺口、直觉、提案）五元组，并以 2026-01-01 为截止线，用截止后 14,977 篇方法论文中的 277 篇做留出测试。在 Qwen3.6-27B 上，IdeaScientist 总分 74.6%，比最强开源 autoresearch 基线高 14.0%，优势主要来自新颖性；在同一开放骨干上还超过 Claude Code SDK（Claude-4.8-Opus）5.9%、Codex SDK（GPT-5.4）5.1%。

AI ScientistLLM智能体

Jiarui Liu, Renjie Tao, Yiwei Liao · 337次阅读 · 2026年10月2日

PhoneBot：手机驱动的开源人形机器人

PhoneBot 把一部消费级智能手机当作人形机器人的 IMU、相机与机载计算机，配合 13 自由度模块化下肢与扭矩感知强化学习步态，整机约 400 美元、重 1.8 kg，可在四台旧款或廉价安卓手机上完成行走、跟人、站立恢复与移动临场。

人形机器人开源硬件

Ruochen Hou, Quanyou Wang, Daniel Koh · 256次阅读 · 2026年10月6日

基于注意力神经地图编码的敏捷泛化足式运动

本文提出一个统一的强化学习框架，用于兼顾敏捷与泛化的足式运动。核心是一个注意力地图编码器（AME-2）：在提取局部地图特征的同时计算全局地形上下文，并用全局上下文调制局部特征，生成可解释、可泛化的策略嵌入。感知侧提出一套轻量神经建图管线，把深度观测转成带不确定性的局部高程估计并与里程计融合，显式建模噪声与遮挡，且能在并行仿真中以同一份代码运行，便于 sim-to-real 迁移。在四足 ANYmal-D 与双足 TRON1 上验证：控制器零样本穿越未见地形，兼具敏捷性与泛化能力。

腿足行走强化学习

Chong Zhang, Victor Klemm, Fan Yang · 367次阅读 · 2026年1月13日

HuMBLE：把人体步态蒸馏成能听命令的行走策略

HuMBLE 把「像人」与「听命令」拆成两阶段：先用能看到全身参考的特权教师策略在强化学习里学出物理可行的动作，再蒸馏成只看本体感受与一个 SE(2) 速度命令的学生先验；随后用短时程参考模仿环境与长时程目标命令环境各占一半的多任务强化学习微调这个先验，把命令覆盖扩到数据分布之外而不丢风格。最终策略是一个 MLP(1024,1024,1024)，在 Unitree G1 的 Jetson AGX Orin CPU 上单次推理 1.1 ms，在 Atlas R1 上主方向抗推可达 1400 N；数据保真度相对教师只退化 20.83%（线速度）到 130.31%（角速度），而单阶段直接训命令条件策略在侧移上退化 240.87% 并干脆放弃响应命令。训练数据为 528,214 帧（约 3 小时）Vicon 动捕，逐帧标注 SE(2) 命令，并为小型人形提供 0.8 倍空间缩放加时间扭曲的变体。三平台硬件验证：Boston Dynamics Atlas R1、Atlas D1 与 Unitree G1。

Humanoid Locomotion运动模仿

Mike Zhang, Dongho Kang, Kevin Bergamin · 611次阅读 · 2026年10月7日

CHOREO：把每一项人形技能都表示成轨迹

中国海洋大学与中科院自动化所的 CHOREO 提出免训练的人形技能组合框架：把运动库、强化学习策略与生成模型的输出统一转换成语义与边界完整的 SkillMotion 轨迹资产，用边界失配评分决定直接接缝（五次多项式匹配位置/速度/加速度）或插入预验证站立桥，再由冻结的 GMT 跟踪器在 Unitree G1 上执行。130 个多动作任务序列成功率 95.4%，八动作 93.8%，552 个边界切换成功率 96.7%，摔倒率从 41.5% 降至 4.6%，3,069 个异构实例 100% 通过注册。

人形机器人skill-composition

Ziyi Sun, Jingwen Chen, Yuxi Wang · 452次阅读 · 2026年9月11日

生成、跟踪、改进：用 RL 微调运动生成器实现感知的多技能人形机器人运动

通用人形机器人需要的运动控制器必须同时具备多技能、感知、动态与足够的鲁棒性，才能去到人能去的地方。本文提出一个两层运动架构：（1）一个感知的流匹配运动生成器，从原始深度图规划全身轨迹；（2）一个用控制引导强化学习（CLF-RL）训练的感知跟踪策略，负责实时跟上这些动作。两张策略都训练在一个由动力学优化后的人体数据构建的、与地形一致的运动片段库上，因此既有准确的速度跟踪，又有与地形一致的参考。核心贡献是一个简单而有效的离线（off-policy）RL 微调环，用来改进运动生成器：配合生成器使用一种结构化搜索方法采数据，再做优势加权回归。这个离线环比在线的残差微调样本效率高得多，并且在没见过的几何与技能组合上提升了地形一致性——成功通过地形的比例最高提升 25 个百分点，技能选择最高提升 80 个百分点。因为直接用原始深度图感知环境，不需要里程计与高度图，室外部署很轻松；两个相机让策略能更早看到地形，无论指令速度是多少都能自主调速以通过地形。同一对策略让一台 Unitree G1 人形机器人在室外环境中行走、奔跑、站立、跳上跳下箱子并上下楼梯。项目主页：https://zolkin1.github.io/generate-track-improve/

Humanoid LocomotionPerceptive Locomotion

Zachary Olkin, William D. Compton, Aaron D. Ames · 710次阅读 · 2026年9月25日

VLA-Precision：面向大模型 VLA 真实世界在线强化学习的不对称协同自举

中国科学技术大学团队提出 VLA-Precision，用真实世界在线强化学习做大 VLA 后训练：算法层 ACoB 以「快速行为学习 + 渐进价值校准」的不对称协同自举抑制策略漂移，系统层 ACoB-Stream 以不变状态解耦与按需流式带来最高 10.9 倍吞吐提升。在四个本体、九个高精度化学任务上取得 98.3% 平均成功率（45.8 分钟/任务），单回合 27.6 秒，比 VLA 与 RL 基线分别快 1.2 倍与 1.8 倍，干预率低至 0.024%。代码开源（scy-v/VLA-Precision）。

视觉语言动作模型强化学习

Su, Chenyu, Shen, Zhaolong, Qian, Yuan · 706次阅读 · 2026年9月3日

VIRAL：把人形 loco-manipulation 完全练在仿真里，零样本搬上真机

VIRAL 是 NVIDIA GEAR 与 CMU 等提出的视觉 sim-to-real 框架：特权 RL 教师用 delta 动作空间、分段奖励与参考状态初始化学会长程 loco-manipulation，再经 64 卡大规模视觉仿真把 DAgger 与 BC 混合蒸馏成只用 RGB 的学生策略，配合灵巧手 SysID、相机外参对齐与四维视觉随机化，零微调部署到 Unitree G1——59 次真机试验成功 54 次，单循环 20.2 秒快过专家遥操作，并泛化到九类环境变化。消融显示算力规模是及格线而非加速器，官方代码、模型与完整奖励表全部开源。

人形机器人仿真到现实

He, Tairan, Wang, Zi, Xue, Haoru · 705次阅读 · 2025年11月19日

作为亚马逊联盟会员,我们可能从符合条件的购买中获得佣金。