上周一，我在深圳参加了一场机器人黑客松。
前一晚达到九点时我抵达，那时我原本认为自己会属于少数尚在工作的那一批人。我走进场地，此时才发觉，灯依然亮着，地上已然支起了一排排帐篷。机械臂未曾停下，选手们围绕在工位前采集数据、训练模型、盯着评测结果。有人困得极为严重，就在场边睡上一会儿，醒来后接着干。
现场流传着一句话：“我可以歇着，卡不能歇。”
这是迄今为止全球最大规模的线下具身智能开发者大赛之一。
为所有参赛队伍，免费开放高质量数据集，免费开放相关数采设备，提供训练环境，提供高性能双臂操作平台，提供算力资源。
在 3 天之内，参赛队伍能够达成由数据采集开始，历经模型训练，直到真机部署这般一整个的闭环流程。然而，在通常的情形之下，专业的研究实验室去成就相似的搭建起码得费整整 6 个月的时长。
主办方从数目浩大的候选任务之中筛选出了四类核心能力，分别是抓取放置，语言理解，精细操作以及长时序决策。对应于比赛而言，选手能够选择诸如套环，按指令分类水果，插电源线，拼写单词等任务持续进行钻研攻克。最终成绩并非仅仅取决于是否成功完成步骤，还在于成功率，稳定性以及泛化表现。
这个比赛，在被极致压缩之后，时间变为 3 天规模，与此同时，却因之使具身智能行业的差距得以显形，机会也得以显形。
3 天，两个大学生，就能做出一个学术论文里的视频 demo
3 天是什么概念？
依据学术研究的那种节奏，一篇论文从开展实验开始，一直到能够发表，常常是需要以年作为单位来进行计算的。
但要是仅瞧某个特定任务的达成成效，众多由 00 后大学生构建的团队，依靠自变量所给予的算力、数据以及基础模型，仅仅耗费两天时间，便能将那常在论文与演示视频里出现的 pick-and-place 任务，让机器人予以完成，进而做出一个“似乎挺像那么回事”的演示文稿。
这恰恰是这场黑客松极具值得留意之处，3天，它既是一个能引发人兴奋之感的数字，亦是一个极易营造出错觉的数字。
先看它令人兴奋的一面。
所谓此次黑客松的赛制，被划分成了 A 榜以及 B 榜这两个阶段，其中 A 榜任务是处于公开状态的，选手能够围绕着明确的目标来开展训练以及进行优化；对 B 榜而言，具体任务以及数据分布是不会提前公布的，它更加侧重于去考察模型于真实环境当中的泛化能力。
比赛前两日，选手们着重攻克 A 榜任务，涵盖套环、依指令对水果分类、插电源线、拼写单词等。这些任务的操作要求与 KPI 皆极为明晰。就“依指令对水果分类”而言，水果种类既定，抓取点和放置点亦大致固定，模型能够围绕一组相对恒定的条件反复开展训练，所以短时间内便可快速提分。
比赛第一天，大家成绩呈现普遍而非个别、整体而非个体的不高态势，套环任务成功率大多处于仅 20% 至不过 70% 范围，这是自变量算法合伙人甘如饴所谈及被提及的；然而到了第二天，许多团队已然迅速摸索知晓了自己所特长擅长的方向，进而开始专心集中进行优化，部分团队甚至在单一任务上出现显著明显的过拟合情形状况，成功率趋近逼近已然快要达到 100%。
这意味着什么？
如今的具身智能领域中，对于一个模型而言，将其迅速调整到能够完成特定具体任务的状态，已并非想象得那般遥不可及。这对于解决方案供应商和落地工厂来讲，绝对是一个能够增强信心的信号。往昔之时内，工业机器人每切换一项任务，通常都意味着要经历漫长的预编程过程，随后是仿真操作，接着是工程调试环节，最后还有现场磨合阶段；然而当下的情况而言，要是一部分任务的适配周期真的能够被缩短至几天，纵使距离“通用”还相差甚远，可即便是如此，也已经足以转变很多人对于机器人进入工厂并承担具体工作的期望了。
但问题也恰恰出在这里。
一个任务，能在几天之内被飞快地做到完成，这，并不能表明模型具有的泛化性就获得了提升。
当 A 榜成绩以较快速度向上提升，某些团队逐渐快要靠近满分之际，自变量把隐藏着的 B 榜给释放出来了。
倘若任务趋向未知状态，原本依据单一目标而优化塑造成功之模型，迅速显露出局限结果。
此次比赛中，获得三等奖的参赛者袁浩宽，来自南京邮电大学，他对InfoQ表示，他们所选择的是“按指令分类水果”任务。在进入B榜阶段时，比赛不仅新增了水果的种类，还加入了干扰项，并且改变了抓取与放置的空间结构。他还表示，“之前针对A榜所做的微调基本无法再使用了，只能回到base model，重新采集具有更多样性的真机数据。”。
他们于现场补采了大概 30 条随机放置的数据，进行了总计约 1 小时、总共约 1 万步的微调，然而效果依旧不尽如人意，主要问题是数据量不足且多样性欠缺。
不是个别队伍偶然出现的问题，而是众多队伍于B榜阶段共同给出的反馈。针对单一任务获取高分并非特别困难，然而一旦任务开始引入诸如增加水果种类、改变摆放方式之类的泛化要求，模型便很难稳定地跟上。
在这场黑客松里我看到两件事。
一方面，任务适配的速率的确处于变化愈快的情况；机器人进入真实场景的门槛正被降低着。另一方面，哪些团队是在切实认真做base model，哪些团队仅仅是倚靠现成基座跟任务微调做出表面成绩，还会以更快的方式被区分开来。
存在一个开源的基座模型，添加一些于现场采集得到的数据，再配备几张算力卡，围绕特定的任务开展短周期的微调，那般便有机会去复现论文或者宣传视频里所呈现的效果。
这样的结果肯定不是毫无意义，它表明当前的基础模型以及工具链已然能够支撑部分任务的迅速达成，然而它也不应该被错误解读成“模型已然具备一般而言的能力”。因为这类演示的前提条件，常常是清晰明确的任务、固定不变的环境以及数量有限的变量，而非开放世界里的持续适应。
切实将彰显具身公司差别的，是哪一方持有更为强大的基础模型，是哪边可于任务变动、环境变动与持续执行期间维持稳定。
换而言之，着力精心打造基座模型的团队，以及借着套壳实施过拟合行为的团队，往后所呈现出的差距将会持续不断地日益拉大，直到形成显著差别。
如果要讲这场黑客松带来的最为直接的教训，那便是，如今衡量一个模型，已无法仅仅满足于它是否拥有一段漂亮的真机演示，而是得看它在真机环境里能不能承受多任务、陌生任务以及连续任务的压力。
正是由于这样的缘故，国内有越来越多的各个厂商，开始纷纷推出属于自己的真机评测整体系统以及挑战赛。其中原力灵机有着RoboChallenge，智元有着AgiBot World Challenge，自变量推出了ManipArena。它们这些背后所存在着的共识实际上是非常简单的：倘若不将模型从demo里面拉出来，放置到真机、多任务，还有带有约束条件的周遭环境当中，并且不停地去进行测试一番的话，那么整个行业就特别容易跟随着演示所呈现出来的效果而被带动着走。
确实，当下那诸多榜单依旧是很难达成绝对的透明状态。为了去削减参评方对于泄密方面的担忧，好多测评体系是不会强行公开模型归属的，并且还会借助接口隔离这样的方式，使得模型参数以及代码自身不会被直接地暴露出来。
此种安排具备现实层面的合理性，然而这也表明，行业依旧欠缺一套更为成熟的准则，用以区分“针对任务进行打榜的能力”以及“确确实实能够广泛适用的能力”。
换个角度来讲，黑客松期间那些只需两天便能够完成的呈现出过拟合状况的成果，并非仅仅只是一种比赛当中出现的现象，它其实更像是一次起到提示作用的警示：对于行业而言，应当针对模型所展现出来的表现变得更加具备警觉意识，同时，这也应当能够促使模型团队去产出更加能够经受住真实机器以及多任务所带来压力考验的成果。
其选择自变量时，并非是为了垂直场景能够迅速落地，而是去堆积那些具有针对性的涉及模型系统以及工程方面所需要打的各种补丁。
赛场上的教训，也在某种程度上印证了自变量自己的思路。
比赛很快暴露出一个问题，对于很多参赛队伍而言，后训练及参数微调能够补足一部分能力，然而到了某个阶段，决定模型上限的依旧是基础模型本身。
因为有这样的一个判断，所以自变量在场景选择方面，没有去挑选那种借助工程手段更易于优化效果的场景，反而是把像家庭这类更为复杂的环境，放置在了相对比较靠前的位置，其目的在于期望在真实的交互当中积累数据，并且依据这些数据进而持续地对基础模型进行迭代。
与包括 InfoQ 在内的媒体交流之际，自变量 CTO 王昊表明，公司核心方向为“保持基模持续向前迭代”。于他而言，团队能够前去场景中开展探索，以此验证基模能力，观察其在某些场景中能否达成规模化应用；但是，有一点务必要予以克制，也就是不要为促使机器人在垂直场景里更迅速地落地，而去堆砌过多针对性的模型系统以及工程补丁。假定出现视觉方面存在盲区的情况，那就增添一个视觉小模型来实施检测以及进行弥补操作，像这样的方法，从短期而言能够助力你加速实现成果落地，然而从长期来判断，对于基模的提升是具有损害性的。
这句话不止技术判断，也是商业判断。
凭借外部合作轮廓予以观察，自变量并非不存在工业客户，然而，它将更多精力投放进去的场景，显著偏向于家庭、养老院、酒店等服务环境。
王昊没有去回避这一情况，他向我们表明，就产品战略以及商业策略而言，自变量期望机器人能够尽快大规模地进行部署，能够更早些进入商业场景，而家庭、养老院、酒店这类的服务场景之所以具备重要性，是由于“这种场景才能够给我们提供数据的源头”。
与此同时，有这么一种观点，即自变量觉得家庭属于极其复杂并且极度开放的若干环境其中之一，朝着这般复杂的情境方向去推进能力，而后再回转过来覆盖更为垂直的情境，从本质层面来讲，这是一种先是做通用的，接着再做“降维”的进程：当基模足够强大的时候，垂类情境针对模型所提出的额外要求反倒会降低。
而通用能力，最终还是要落回基础模型能力。
这也是为什么，具身厂商开始把目标指向“具身原生”的模型。
从工程实践这个角度来看，当下具身大脑的主流方案已然形成了某种共识，视觉、语言，再加最多触觉等模态输入，经过大语言模型进行处理，进而输出动作；世界模型更多地被用于生成仿真数据或者构建环境。
但问题在于，这种架构，是否真的适合物理世界？
按照王昊的说法，以往训练路径存在一个典型误区，即让不同模态的数据分别进行训练，随后再将它们对齐，还有种情况是先把语言做到充分泛化，接着让视觉去对齐语言，如此方式在不少时候会致使视觉能力受损，因为其默认视觉仅供语言服务，然而具身场景并非如此，语言更善于表达宏观意图，可很难精准描述一个动作在厘米级空间以及秒级时间内的连续变化，视频模型虽关注像素级细节，却不一定生来就明白哪些接触、运动以及碰撞在物理层面更为关键。
给出新方向的自变量，这种新方向处于端到端框架下，在此框架下要将世界模型与VLA进行更深层次融合。此种融合需通过联合建模达成，联合建模能让视觉与动作在比对更早阶段实现对齐，视觉与动作对齐后进而能使预测更符合物理规律。
这并不意味着放弃大语言模型。
王昊向InfoQ声称，大语言模型依旧是训练所依赖的根基，然而关键的转变之处在于表达空间的重新构建，大语言模型这个作为训练基础的东西还是得运用，只是我们要将语言以及动作放置到一个空间里面，并非像以往那样，所有视觉单纯是为语言提供服务。
从他的角度来看，语言、视觉以及动作相互之间存在着差异，这种差异首先在信息尺度方面得以显现。语言更倾向于宏观层面的表达，也就是说语言所描绘出的信息是较为宏观的，它很难精准地去刻画一个物体在以厘米作为度量单位的空间里，以及以秒作为计时单位的时间内的连续变化情况；然而视频模型却与之截然不同，它着重关注像素层面的细节，具体而言就是每个像素的颜色以及明暗程度都能够被预测得极为准确。这两种处于不同尺度的信息，必须要在同一个模型当中实现自然融合，这件事情本身就具备一定的难度。
在这一框架下，动作不再只是输出结果，而成为关键模态之一。
依据王昊所讲的内容，动作的价值体现于它同时拥有宏观以及微观这两层表达能力，动作是相当不错的模态，在宏观层面它能够表述这段行为所蕴含的意义以及将会引发的结果，在微观层面它又能够助力视觉更优地观察运动里的关键变化，这同样意味着，模型不再仅仅是“看见静态世界”的时候，乃是要去理解运动的实质本身，把视觉从静态的感知推进到对于动态进程的建模。
“将这几个模态放置在一起，”王昊归纳讲道，“便能够搭建出一个切实归属于物理世界的模型。”。
循着这一目标，动作于模型里的编码模式也跟着产生改变，它不再被视作单一模态的输出，而是能够跟语言、视觉开展联合编码或者条件编码，并且在更为精细的时间尺度上予以表达。
模型结构的选择，也直接影响数据路线。
如今，差不多所有具身公司都在谈论自身的“数据金字塔”，而针对金字塔底部究竟应放置什么，不同公司的理解并非一致，是存在差异情况的，是有着不同看法的，是各不相同的。
以星海图以及自变量当作例子而言，两家公司均着重强调了Egocentric data的重要意义，不过针对这个概念的理解实际上并非相同。星海图的Egocentric核心数据基座，更多的是指人类第一视角视频。自变量的Egocentric数据包含人的可穿戴设备。王昊表示：“从自由度视角予以看待，Egocentric的数据全然与人的自由度相一致，所有的手持式、穿戴各类设备是处于人的自由度和机器的自由度之间的形态。”。
看似这仅是数据分类手段的不一样，实则对应的却是关于“通用能力源自何处”的不一样判定。有人觉得，首要的是先使模型具备大量人类视角的经验；有人觉得，得尽快获取更契合机器人控制结构的数据；还有人更重视真机接管、遥操作以及真实任务反馈。看起来所有人都在讲数据，然而真正的分歧，常常恰恰隐匿于对数据最底层定义的不同之中。
仅仅三天的时间，便足以产出一个颇具模样的成果。这所蕴含的意义在于，演示样本不再处于稀缺状态，甚至已经到了不再具备可信程度的地步。
真实的世界所需求的，是基模能力不停歇的提升，需经历实打实地认真参与真切深度投入进去的进程，也就是去领会模型，懂得硬件，明白数据，还要晓得那些不会于视频里呈现出来的失败以及边界。
在这样的标准下，很多差距才刚刚开始显现。
