Skild S1：机器人界的 GPT-3 时刻——看一段视频就学会新任务，无需微调

引言

语言建模的演进为"把有能力的模型变成好用的通用工具"提供了一份蓝图。早期基于 Transformer 的方法，例如 BERT（Devlin et al., 2019），在理解语言上被证明行之有效，但每一个新应用仍然需要额外的数据收集和模型微调。从这些早期语言模型走向 ChatGPT 的关键转折，是由一种根本不同的学习范式的涌现所驱动的——这一现象后来被称为上下文学习（in-context learning, ICL），或者在技术圈外更常见的叫法：提示（prompting）。正是这项能力把 GPT-1、GPT-2 这样的研究原型与今天的前沿语言模型区分开来：用户可以完全通过 prompt 引入一个全新概念，模型无需微调权重就能给出合理回应。

机器人学至今还卡在"BERT 时代"。过去几年的机器人研究表明，我们可以用深度神经网络学会一系列复杂行为。然而，要稳健地执行一个新任务，我们仍然需要收集数小时的数据并微调一个专用策略。这个范式虽然被广泛接受，却把一个令人不安的事实扫进了地毯底下：要为中等复杂度的任务学到稳健的策略，后训练（post-training）数据在部署条件下必须达到数十到数百小时。更进一步，研究已经表明：当后训练数据足够大、对任务覆盖足够密集时，即使是完全从头训练、没有任何预训练的策略，也能追平后训练基础模型的峰值性能（Oh et al., 2026）。事后看这显而易见，但它引出了一个问题：预训练的意义到底是什么？

预训练一次 → 任务专属数据采集（数天遥操作）→ 微调（一个只管一个任务的专用模型）——而每一个新任务都要从这里重新走一遍。

我们认为，预训练的主要目的——甚至可以说是唯一目的——就是在机器人领域复现我们从 BERT 到 GPT-3（Brown et al., 2020）见过的那次转变：上下文学习，即从一个或少数几个例子中立即学会的能力。

一年前，我们发布了一个用于运动的上下文学习器，它通过在 prompt 中积累实时经验来自适应（Liu et al., 2025）。今天，我们分享旗舰机器人基础模型 S1 的操作（manipulation）成果——S1 从零开始就被构建成一个上下文学习器。给它看一段任务视频，无论长短、无论见过与否，它都能执行。

这篇文章是我们未来几个月系列文章中的第一篇；今天的重点是分析 S1 的上下文学习能力，后续文章将深入讲解 S1 的训练方式。

为什么机器人需要上下文学习？

TL;DR —— 任务由视频演示指定，而不是语言。跨多样任务的预训练迫使模型学会从演示中读取意图——最终得到一套权重，无需微调即可执行未见过的任务。

机器人领域上下文学习的目标与语言模型并无不同：展示任务，机器人就应该执行——即使它从未见过这个任务。难的问题不是"上下文学习是什么意思"，而是作为一个领域，我们如何评估模型的上下文能力。当我们让人做一个简单的原子动作时，语言通常就足够了。"把杯子递给我"不需要任何展开。但一旦任务变得精细、微妙或长程，我们就不再描述，而是开始示范。我们不会从一句话里学会怎么套床笠、怎么把蛋白打到硬性发泡、怎么打一个结。同样地，在机器人学中，如果基础模型执行的是原子动作，通常不需要给它看视频，用语言提示即可。这一社区共识被 Jim Fan 精辟地表述过：

当你有足够多的数据时，许多行为其实可以是零样本的。例如，拾起一个新物体甚至不需要微调。给定训练分布内的相似场景，模型"天然就知道"该怎么做。上下文学习是否真的奏效，还取决于测试离训练有多远。

因此，必须沿着两个独立的轴来理解 ICL：

• 演示的任务是否在预训练中见过（即分布内任务），还是训练中完全没见过（即分布外任务）。
• 演示的任务是短程、原子化的（5–25 秒），还是长程的——需要以从未见过的方式学习或组合新技能。

我们发现，操作领域并行的上下文学习方法（Generalist AI, 2026）、（Jiang et al., 2026）大多覆盖的是短程任务，或已经存在于预训练分布中的任务。这是机器人基础模型第一次在极长程（最长 10 分钟）、预训练中从未见过的任务上展示上下文学习——S1 做到了。

S1：一个上下文学习器

TL;DR —— S1 把上下文中期望任务的视频演示翻译成机器人动作。

我们的高层训练配方在概念上很简单：我们在情景式（episodic）数据上做预训练，任务只通过一个上下文内的演示来指定。由于演示可能来自不同的场景、视角或具身（embodiment），策略必须隐式地学会演示者的意图、功能对应关系和任务进度，才能预测出正确的动作。S1 构建在 NVIDIA AI 基础设施之上，后者为我们多样化的机器人数据混合提供了大规模训练所需的加速计算底座。

S1 从上下文中学到了什么？

S1 的上下文学习大放异彩的两个难度轴是技能新颖性和任务时长。Prompt 可以要求策略从未训练过的原子技能，也可以要求以从未见过的方式组合已知技能的长程任务。一个 ICL 策略应当同时在这两种能力上被评估。

学习分布外技能。机器人数据依然稀缺且昂贵，许多重要任务都落在预训练分布之外。因此，分布外 ICL 对通用机器人策略至关重要。ICL 预训练带来的丰富视频上下文，鼓励模型建立从演示到动作的功能性映射，从而在测试时学会新行为。

跨长程任务组合。从上下文执行一个十分钟的任务，需要若干在短程任务中无法被稳健评估的能力：把新的操作原语序列串接起来、跟踪进度、从错误中恢复。这些能力与配置良好的 ICL 预训练天然契合，也是成功执行长任务所必需的。

数据引擎

TL;DR —— 没有任何单一数据源能在可扩展性、多样性和硬件贴近度上同时取胜，所以我们全都在扩。

高质量数据是任何基础模型的核心。机器人学面临的挑战是：没有单一来源能在三个关键轴上同时最优。

• 硬件贴近度（Hardware proximity）：数据与部署硬件的相似程度。
• 多样性（Diversity）：数据覆盖多少任务、场景和行为。
• 可扩展性（Scalability）：收集更多数据的成本有多高。

每一类主要的机器人数据来源都在这三个轴之间做取舍。遥操作离机器人最近，但最难规模化；第一人称视频最容易规模化，但与机器人的域差距最大。没有任何一种能在三者上全胜，这就是为什么押注单一来源是短视的。Skild 一直在内部同时扩展所有这些来源。这一点稍后会详细展开。

数据来源	硬件贴近度	多样性	可扩展性
机器人遥操作	高	低	低
UMI	中	中	中
第一人称视频	低	高	高
仿真	中	低	高

任务多样性和规模是这些基础 ICL 能力涌现的驱动力。在高多样性状态下，场景歧义必须通过关注上下文来解决，这激励模型学会如何从演示中学习。用元学习的语言说：预训练是教会策略如何从上下文中学习的外循环；推理时，演示驱动内循环而不改变任何权重。结果是一个单一策略，既能以新配置完成熟悉的行为，也能通过上下文学习完成以前从未见过的行为。没有微调，没有后训练。本文展示的所有例子都出自同一套权重。

S1 实战

TL;DR —— S1 执行的任务最长可达十分钟，且不出现在训练数据中。在见过的任务上，ICL 相对语言提示的提升是温和的；但在未见过的任务上，性能提升达到 7 倍。

见过的任务

我们广泛的操作预训练任务库带来了丰富的能力。下面的分布内演示采样了预训练池直接教会的原语，S1 之后可以把它们组合起来执行未见过的任务。

长程未见任务

下面是 S1 从未训练过的四个任务：植物换盆、煎松饼、手冲咖啡和套件组装。这些任务最长可达十分钟，横跨数十个操作步骤，全部由单段视觉演示驱动。S1 展现出强大的组合能力和全新的测试时行为，包括挖开泥土为植物腾出空间、把咖啡滤纸按进漏斗、以及给松饼翻面。

在传统工作流中，为一个新的操作任务部署策略要从数小时遥操作和一次任务专属微调开始。教会 S1 一样新东西只要几分钟。下面复现我们在植物换盆任务上的时间线：我们的 ICL 实验从晚上 8:54 开始——泥土、花盆、喷壶和植物到达办公室。我们大部分时间花在搬家具和布置场景上。从演示到自主执行，只用了 11 分钟。

时间	事件
晚上 8:54	泥土、花盆、喷壶和植物到达办公室。
晚上 9:16	场景布置完毕，开始录制。
晚上 9:22	录制一段第一人称人类视频演示。
晚上 9:27	S1 开始在硬件上自主执行任务。

ICL 规模定律

本节将 ICL 式的演示提示与传统 VLA 流行的语言提示做对比。我们在预训练数据池的一个过滤子集上做了受控研究：ICL 策略和语言条件策略分别在 1 千到 10 万小时的数据集上训练。两个模型使用完全相同的数据、架构（除 prompt 嵌入外）和算力。数据集质量至关重要——用低质量或噪声数据盲目扩张可能反而有害。我们每在数据采集上花一块钱，就在质量控制上花三块钱。进入预训练的每一个数据点都要经过低层精度、任务连贯性和标注保真度的筛查。

我们在两个内部基准套件上评估：一个由预训练分布内的任务组成，另一个由未见任务组成。我们汇报所有任务的平均每步成功率。为了确保所有步骤都被评分，我们在策略 rollout 期间使用人工干预来从失败中恢复。

见过的任务。见过的任务区间对传统 VLA 最有利。事实上，在 1 千小时处，语言条件策略的成功率为 53%，而 ICL 只有 43%。这与一个事实一致：VLA 的任务规格被压缩进语言 token，而上下文模型容易对少量高维条件数据过拟合。然而，随着训练数据扩大，ICL 超越了传统 VLA。我们把这归因于语言的歧义性：语言指令可以允许多种有效执行方式，而演示指定了其中一种模式。

未见过的任务。两种提示方式的真正差距，随着预训练数据的扩大，在分布外任务上显现出来。语言提示的性能随预训练增长缓慢，在 10 万小时数据时成功率为 9%。我们的 ICL 模型吸收数据的效率高得多，在相同数据规模下成功率达到 66%。我们把这归因于两大优势：

• 新技能。像"给松饼翻面"这样的新动作原语，恰恰是语言提示在动作层面缺乏落点的地方。ICL 则依赖广泛的视觉对应关系，能更好地迁移到新行为。
• 组合性。语言往往太粗粒度，无法指定已知原语的新串接方式——对于模型从未被要求执行过的行为，可能根本不存在简洁的指令。相反，演示直接把组合方式写了出来。

这些结果为数据扩张提供了乐观的视角：每多一小时数据，都能换来更稳健的原语和更好的合成能力。

涌现特性

TL;DR —— S1 能抵御扰动、表现出常识推理、从错误中恢复，有时甚至比演示做得更好。我们量化了鲁棒性，并将单次（single-shot）ICL 性能与预训练策略上的 SFT 做了对比。我们的单次性能大致相当于约 380 个后训练样本。

鲁棒性与常识行为

我们给出从 ICL 预训练中涌现出的行为的定性例子。

对扰动的鲁棒性。在执行过程中扰动场景，可以检验策略到底是过拟合于训练条件，还是过拟合于 prompt 本身。我们在机器人接近时把物体滑走、替换物体、改变光照——这些扰动没有一个出现在 prompt 里。S1 依然完成了任务。

失误恢复。当 S1 失败时，它经常会重试，而不是盲目继续。虽然任何强策略都应该表现出恢复行为，但这通常要靠针对性的数据采集来实现。我们观察到恢复行为是"开箱即用"的——即使对分布外任务也是如此，比如组装滑板轮。

常识行为。S1 展现出常识性物理理解的迹象。在一个例子中，prompt 用喷壶给植物浇水，但现场只有一杯水——S1 改用杯子。在另一个例子中，prompt 往杯子里倒果汁，但杯子已经快满了——S1 只补到满为止。

演示纠错。有时 prompt 本身就包含错误。我们注意到 S1 经常会改进这些有缺陷的演示。例如，在一段 prompt 中，演示者过早松手把鸡蛋摔得一团糟，而 S1 用受控的动作完成了同一步骤。它把演示当作对目标的规格说明，而不是要复刻的轨迹。

量化 ICL 对分布偏移的鲁棒性

在 ICL 规模定律研究中，任务身份是离散划分的：任务要么取自预训练分布，要么不是。但部署条件是一个连续谱。对 ICL 而言，分布偏移可以沿两个轴测量——与训练条件的距离，以及与上下文中保存的演示的距离。为了测量第一个轴，我们选了一个数据分布很窄的已知任务，并在与预训练条件偏离程度递增的五个等级上评估：L2 和 L3 以递增幅度扰动物体位姿，L4 换成可供性（affordance）匹配的替代物体，L5 强制一半动作改用另一只手臂。

在 L5 扰动下，语言提示 VLA 的性能退化最多可达 ICL 策略的三倍。VLA 策略对物体位姿的小变化是稳健的，但一旦需要新动作——无论是引入新物体，还是摆放位置要求新的执行方案——它们就无法泛化。而上下文策略可以轻松地用与部署条件匹配的执行方案来提示。

第二个轴是对 prompt 偏移的鲁棒性。我们通过改变部署场景与演示之间的距离来测量。ICL 对物体摆放的不匹配、甚至对替代物体（L4）都是稳健的；只有当演示意味着一个截然不同的执行方案时——例如 L5 中动作必须切换到另一只手臂——性能才会显著下降。

ICL 演示效率

ICL 与语言提示在未见任务上的差距，也可以用演示数量来表达：一个 VLA 策略需要多少后训练样本，才能达到上下文策略从单个演示就能达到的水平？我们用 1 到 2000 条遥操作演示对 VLA 策略做未见任务的后训练。上下文策略不做后训练，以其单演示成功率作为水平参考线出现。

上下文中的一个演示大约相当于 380 个后训练样本（精确的交叉点通过在测量点之间插值估算）。上下文策略从不在该任务上做后训练，但仅凭上下文中的一个例子就达到 66% 的成功率。后训练最终确实会超过它——用 2000 条演示达到 86% 的成功率——但我们预计随着持续扩大 ICL 预训练，这个差距会缩小。

结语

TL;DR —— ICL 的快速部署和强劲的规模定律，为我们的数据飞轮提供动力。

对机器人的需求正在迅速扩展到受控环境之外。真实世界的需求每天都在变化，新任务不断出现。如果每一次变化都要经历数据采集、策略微调、验证的反复迭代，机器人永远跟不上它们所处的环境。相反，机器人应该像人一样获得新行为：观察一次演示即可。

去年，我们确立了大规模上下文学习在运动领域是可行的（Liu et al., 2025）。即使被投入未见过的具身和环境，LocoFormer 也能通过在 prompt 中积累经验来动态适应。近期的工作在操作领域尝试了类似的想法（Jiang et al., 2026）、（Generalist AI, 2026），但仍局限于短程任务、分布内任务，或两者兼有。从 LocoFormer 开始，我们一直把学到的经验迁移到操作领域。大约六个月前，我们第一次在短程任务上看到生命迹象，此后不断迭代数据和训练配方，解锁了未见环境中的长程能力。

我们可预测的 ICL 规模定律放大了快速部署的收益。几分钟内就能设置新任务，使得从真实世界的机器人交互中自举（bootstrap）成为可能，把实时经验回馈到预训练流水线中。S1 已经与我们的商业合作伙伴一起投入工作，我们期待把它的能力推得更远。

参考文献

1. Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, et al. Language Models are Few-Shot Learners. NeurIPS, 2020.
2. Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL, 2019.
3. Generalist AI, Embodied foundation models are one-shot learners. 2026.
4. Yunfan Jiang, Yevgen Chebotar, Ruijie Zheng, Fengyuan Hu, Yunhao Ge, et al. RoboTTT: Context Scaling for Robot Policies. arXiv:2607.15275, 2026.
5. Min Liu, Deepak Pathak, and Ananye Agarwal. LocoFormer: Generalist Locomotion via Long-context Adaptation. arXiv:2509.23745, 2025.
6. Steven Oh, Jason Jingzhou Liu, Tony Tao, Philip Han, Kenneth Shaw, Satoshi Funabashi, Ruslan Salakhutdinov, and Deepak Pathak. FACTR 2: Learning External Force Sensing for Commodity Robot Arms Improves Policy Learning. arXiv:2606.12406, 2026.

---

来源：Skild AI — Introducing S1: In-Context Learning for Robotics（2026 年 8 月）。由 RobotWorld 翻译转载。