机器人刷一段「短视频」，就能学会新技能？自变量 HOST 技术「神器」来了

本条来自 爱范儿（Business / 科技），聚焦 机器人学习、HOST框架、具身智能、单样本技能获取。 教会一台机器人叠袜子，一共分几步？ 摊平、对齐、折叠，再将袜口翻过来，这些看似简单的动作，过去机器人要学会，往往需要四五个小时的训练。但现在，只需一段数十秒的演示视频，就能快速掌握。 好家伙，这是哪来的东方神秘力量？ 最近，自变量机器人发布了一套名为 HOST 的机器人学习框架。HOST 全称为 Human-to-robot One-Shot Skill AcquisiTion，也就是「人类到机器人单样本技能获取」。 有了它，机器人只要看一段 29 秒的人类演示短视频，就能当场上手干活，期间甚至完全不需要更新模型参数，也不必专门采集几十条机器人遥操作数据。 不仅技能获取速度比最快传统方案飙升了 500 倍，连成功率都实现了反超。更简单粗暴点说，高冷死板的机器人，光靠「刷视频」就能进化为全能管家。 机器人学习做家务，进入「刷短视频」时代 别看如今的具身机器人能文能武，各个都是练习时长两年半的练习生，但熟悉机器人的圈内人都知道，以前让 AI 学干一件新家务，到底有多费劲。 目前常见的模仿学习方案，仍依赖数据采集与模型微调。 怎么教？先请个专业工程师坐在遥操作台前，像玩极品飞车一样，手把手控制机械臂干上 50 遍。 这就完了？早着呢。这几十条数据还得拿去给模型做监督微调（SFT），一通离线「炼丹」下来，少说也要花上 4 个小时。 如果机器人真进了千家万户，同样是整理桌子，涉及的动作可能完全不一样。难道每碰上个新活儿，都得呼叫工程师上门服务，再等几个小时？ 这笔账，怎么算怎么离谱。 但 HOST 这套方案，则对传统流程带来了明显改变。研究团队搭建了一个双臂机器人平台，测试了 50 项训练阶段从来没见过的全新任务（比如放水果、堆碗、擦盘子、插笔、叠袜子）。 不采集数据，不改通用参数，只给机器人看一段人类普通演示视频。结果它在 50 项新任务中全都有成功记录。在主要的测试任务中，仅观看一次数十秒的人类演示视频，学会技能的平均成功率达到了 62%！ AI 之间的差距有多大，直接看数据吧。 当前最强的微调基线，需要专业人员遥操作机器人完成 50 条示范，从采集数据到训练出新技能，通常要花 4 小时。HOST 让机器人只需要观看一段平均 29 秒的普通人操作的视频，不需要反复演示和微调，就能学会新技能。 相比监督微调的方案，HOST 需要的示范数量降至五十分之一，技能获取时间较最快的 SFT 基线缩短约 507 倍。 这下，机器人是真体验到了人类那种「看一遍就会」的快乐。 不再模仿人类动作，而是想象结果、反推动作 你可能会问： 让机器人看视频，不就是对着人类动作照猫画虎吗？ 真没那么简单。人和机器的「手速」能一样吗？视频里人类小哥 2 秒钟就把杯子拿起来了，机器人的铁胳膊可能需要 5 秒。 如果硬卡视频播放时间，视频里的人都开始倒水了，机器人还在那瞄准杯把手呢，任务步骤越多，双方的偏差也会越明显。 于是 HOST 的研究团队想了个绝招：不看时间，看进度。他们把视频画面和机器人的动作，映射到同一个叫「向量空间」里，然后用动态时间规整算法自动对齐。简单说，就是给任务打上进度条。 不管人类用了 2 秒还是机器人用了 5 秒，只要双方都进入了「杯子已经被拿起」的状态，进度就算同步。这种操作，让进度误差从 0.079 暴降到了 0.006， 直接缩小了一个数量级。 这时，聪明的你可能又会想到一个问题：即便节奏对上了，人类与那些「铁疙瘩」之间仍然存在明显的身体结构差异。 比如人的手掌可以贴合杯壁，机器人的夹爪需要寻找合适的夹取位置。人可以捏住袜子的一角，机械臂还要考虑夹爪开合、运动角度和两只手臂之间的配合。 让机器人直接复制人类动作，很难得到有用的结果。 对此，HOST 想出了一套非常巧妙的解决思路：先让机器人从人类执行完任务的结果，「想象」出机器人执行完任务的画面，再根据画面反推出机器人需要动作的动作。为实现这个方案，HOST 还设计了一个核心策略模型——双专家 MoT 架构。 更通俗点理解，就是它有两个分工明确的大脑，一个「视觉大脑」负责理解视频、定位进度和预测未来场景，另一个「动作大脑」负责把视觉目标变成机器人动作： 视觉大脑（Localization & Vision）：先看懂机器人干到哪一步了，对应的人类视频到哪一步。然后根据人类动作结果，脑补出将这个画面转换为机器人视角应当看到的画面（比如想象出水杯被夹爪拿起的画面）。 动作大脑（Action）：负责把脑补出的机器人画面变成现实，计算机械臂怎么动才能达到目标。 不强行模仿人类手臂的角度，只盯着需要实现的最终效果，然后从最终效果想象出动作。这样就绕过了「让机器人模仿人类动作」这个最难的跨越。 当然，「单样本技能获取」容易让人产生误解，以为机器人此前完全没有接受训练。 但其实这里的 one-shot 指机器人面对一项新任务时，只需要接收一段人类演示，整个任务都是在「推理过程」中完成的，无需再为这项任务更新模型参数。支撑这种能力、让机器人能从视频学习的基础模型，依然经过了大规模训练。 机器人出厂前可是见过大世面的。 第一阶段主要使用机器人数据。会团队先喂给它 193462 条机器人轨迹以及对应的机器人执行任务视频（涵盖 229 项任务），让它尝试从机器人的任务视频中想象出结果，再拆解出自己这副钢铁身躯怎么动。 第二阶段再加入人类与机器人的配对数据。比如用 5847 段人类任务视频和对应的机器人轨迹配对，让它学会把人的执行任务的画面翻译成机器的视角，好从人类视频学习。 先利用规模更大的机器人数据建立任务理解和预测动作结果的能力，再用数量相对较少的人机数据完成能力的迁移，这样的好处是可以充分利用数据、降低对人机配对数据的依赖。 而出山之后，再遇到新任务，直接把人类视频当操作指南，边看边干就行。 学会叠袜子，也没忘了洗盘子 掌握新技能只解决了一半的难题，更关键的是，机器人学会新技能后，原来的能力能否保留，同样决定了它能否长期「有用」。 这就涉及到机器人一个极其令人头痛的痛点：灾难性遗忘。 比如用后训练微调教机器人，会改变模型的参数、侵蚀模型原本已经学会的技能。这会导致「狗熊掰棒子」，看似学会了叠袜子，但以前很溜的洗盘子反而退步了。 论文中也注意到了这个问题。论文选取了七项来自训练集、模型此前已经掌握的任务，包括取出瓶子、对齐袜子、堆叠杯子、整理包装材料、盖住中央物体、放置纸巾和排列花朵。 研究人员先测试 HOST 与三种监督微调基线在这些旧任务上的表现。随后，三种基线通过监督微调学习新任务，HOST 则通过一段人类视频获取新技能，再重新测试各自的旧任务表现。 在旧任务测试中，三种微调基线几乎被「灾难性遗忘」打回原形。 学完新任务后，π0.5+SFT 只保留了原有表现的 17%，就连旧技能保留率最高的 Wall-OSS+SFT，也只保住了 40%。 但 HOST 因为全程没改模型的脑回路（参数），旧任务表现基本没受影响，比最好的微调基线高出了整整 59 个百分点！ 在 HOST 眼里，那段人类视频就像一份可以保存和再次读取的「菜谱」。今天叠袜子，翻开第一页；明天理餐具，读第二页。技能随时调取，互不干涉。 而且，这种机器人的学习方式极其「抗造」。 研究团队设置了光线变化、替换同类物体、更换操作场景和执行过程中移动物品等干扰。 HOST 在标准环境中的平均成功率为 62%。改变光照后下降 1 个百分点，替换物体后下降 4 个百分点，更换场景后下降 6 个百分点，执行中人为移动物品后下降 9 个百分点。最后一种情况下，平均成功率仍达到 53%。 这还有个冷知识，物品被临时移动后，原有动作计划已经失效。但 HOST 会根据新的观察结果重新判断任务进度，再生成对应动作。这说明它真正理解了任务，在动态规划每一步，而不是在「背」动作序列。 全面开源「技术家底」，普通人也能教机器人干活儿 老实说，62% 的成功率，距离进工厂干活儿还有提升空间。反而是在家庭场景，不太关心单次成功率，更关心泛化性，也就是「多摸索几次没关系，最后做成了就行」。 HOST 的出现，让行业看到了一条具身智能极其性感的落地路线。 2023 年底成立的自变量机器人，算是国内死磕「完全端到端路线」的具身智能硬核玩家，至今发布并开源的各种技术，已经「多如牛毛」。 研发范围已经覆盖具身智能的 VLA 基础模型、世界模型、用来拆分动作的「动作分词器」、训练模型的底层「神经网络优化器」、数据采集系统和机器人本体。自变量不仅发布基础模型，还延伸到用来训练模型的底层基础设施。 今年 4 月，他们发布了从零联合训练的具身大模型 WALL-B，采用独特的「世界统一模型」架构，已经部署在机器人里，在大量用户家庭做起家政服务。后来又发布了世界模型 WALL-WM，还开源了 VLA 模型 WALL-OSS-0.5，后者已经被很多科研机构用起来了。 在机器人本体上，自变量已经自研并量产量子一号、量子二号。机械臂、关节模组、动力驱动器和主控制器等核心部件均为自主研发，并与算法深度适配，为机器人进入家庭和工业产线提供了载体。 今年 3 月起，自变量又与 58 到家合作，让机器人与保洁人员共同进入普通家庭提供服务。5 月推出的「X 家庭成员计划」，还让机器人在用户家中连续驻留一个月，接受真实、随机家庭需求的检验。 「从零开始」训练具身模型，在具身智能领域有相当高的门槛。真正能在国内从零预训练出好的具身模型，还搭建起从数据采集到模型训练的整套管线的，更是廖廖无几。 购买现成模型、拼接几个模块，可以更快做出演示 Demo。 真正从基础架构起步，意味着团队需要自己解决模型设计、数据生产、分布式训练、动作表达、真机控制和部署效率。 自变量选择从零训练自己的基础模型，同时开放部分核心成果，已经形成一条从具身基础模型延伸到底层设施的开源技术「全家桶」，也成为国内开放具身智能核心技术、建设开发者生态的「扛把子」之一。 在这些研究之外，HOST 正是让机器人在应用场景快速学习技能、真实落地的又一块技术拼图。现在，他们连同北理工和清华，直接把 HOST 的核心家底给开源了（论文、GitHub、Hugging Face 一应俱全）。 ▲ 项目主页： https://host-site.host-robotics.workers.dev 论文链接： https://arxiv.org/abs/2607.20033 Github 链接： https://github.com/CGuangyan-BIT/HOST Huggingface 链接： https://huggingface.co/papers/2607.20033 这就很有格局了。具身智能现在百家争鸣，处于技术路线快速变化的阶段。 模型架构、动作对齐方法、数据规范、训练方法和评测标准都没有完全确定。单靠一个预训练模型，即使训得再好，距离能胜任家庭这个最终场景的「一切任务」仍很遥远。在这个特殊的时间点，能让机器人快速学到预训练没有的新技能，就对机器人真正「用起来」十分重要。 HOST 就是让机器人先能「快速用起来」的技术神器。 开源能够让更多研究机构和开发者参与其中。 研究者可以复现论文结果，机器人公司可以尝试适配不同本体，开发者也能基于已有模型继续改进。同行的复现、质疑和改进，也会反过来加快模型迭代。这也让自变量进一步成为国内具身智能开源阵营中最鲜明的技术派之一。 文章的最后，咱们不妨开个脑洞。过去，教机器人意味着采集专业数据；但在 HOST 展示的未来里，教学一个新技能终于不再需要「高薪算法工程师」，变成了普通人皆可完成、皆可受益的工作。 你家机器人不会给衣服叠出你想要的效果？ 没关系，你亲自站在它面前叠一遍，剩下的它自己悟。 或许不久的将来，互联网上最火的不再是搞笑段子，而是各种《让机器人欲罢不能的 100 个家务教学短片》。普通人教机器人做事的时代，这次是真的要来了。 #欢迎关注爱范儿官方微信公众号：爱范儿（微信号：ifanr），更多精彩内容第一时间为您奉上。