港科广与欧拉万象联合推出SLA模型登顶真机评测

港科广与欧拉万象联合推出SLA模型登顶真机评测

  机器人正伸手去抓取桌面上摆放的果蔬,一旁的测试人员突然伸手将目标物体挪到了桌面另一侧,原本已经规划好抓取路径的机器人没有出现动作卡顿,很快重新调整了夹爪的移动轨迹,稳稳落到了果蔬的正确抓取位置上。另一组测试场景里,承载目标手表的桌面持续上下升降,机器人的夹爪始终跟着目标的高度同步调整姿态,没有出现脱靶或者碰撞桌面的情况。这些此前对通用机器人模型来说难度极高的动态操作场景,如今被香港科技大学(广州)与欧拉万象联合提出的SLA空间语言动作模型顺利完成,相关测试数据显示,该模型在RoboDojo真机评测中以平均得分42.3分和完整任务成功率33.9分登顶榜首,成绩约为π0.5的2.6倍。

真机评测中的动态适应表现

  RoboDojo-Real公开真机评测覆盖ARX X5、Piper和Piper X三种不同的机器人本体,总共设置了18项操作任务,每种本体对应六项不同的测试任务。SLA模型在训练阶段联合使用三种本体的示范数据完成后训练,最终用同一个模型完成了全部三类机器人的测试任务。在相同的公开评测环境中,作为参照基准的π0.5模型平均得分仅为22.9分,完整任务成功率为12.8%,SLA的两项核心指标分别较基准模型提升19.4分和21.1个百分点。

  除了官方公开榜单的统一评测之外,研究团队还设置了多组针对性的动态干扰测试,进一步验证模型在空间关系发生变化时的实际操作能力。在位置扰动测试场景中,研究人员没有提前采集任何对应干扰场景的示范数据,直接将原本放在固定位置的物体重新扔回桌面,SLA的物体级操作成功率达到82%,比π0.5模型高出三十个百分点。

  在目标持续移动的动态干扰场景下,测试人员在机器人抓取过程中不断移动目标物体的位置,SLA依然保持了76%的物体级成功率,这一数据比π0.5模型高出三十四个百分点。在桌面持续升降的手表抓取测试中,目标物体的高度随桌面不断变化,SLA的物体级成功率达到78%,同样大幅领先基准模型的表现。

  团队还完成了少样本跨本体适配测试,在原有100条Piper机器人的示范数据之外,仅额外加入10条Franka机器人的示范数据完成联合后训练,最终Franka机器人的物体级操作成功率就达到了78%。八类不同的真机部署条件各自评估了50个独立的物体实例,要求机器人完成对应物体的完整操作流程,SLA的平均物体级成功率达到83.8%,较π0.5模型提高24个百分点。

空间表征训练的核心设计思路

  SLA的核心思路是在机器人学习动作的过程中同步培养空间表征能力,打破此前行业内将空间监督仅放在下游任务后训练阶段的常规做法,直接将空间监督扩展到更大规模的持续预训练阶段,并且在下游任务适配的过程中继续保留这一监督机制。此前主流的视觉-语言-动作模型也就是常说的VLA模型,普遍存在“看得懂、动不准”的问题,模型可以准确识别出桌面上的杯子,却很难把机械夹爪精准移动到杯子的正确抓取位置上,一旦物体位置发生偏移,夹爪的接近路径、手腕朝向都需要重新调整,传统模型很难自主完成这类调整。

  过去行业内常见的解决方案是在下游任务后训练阶段引入深度图、点云等几何信息辅助模型学习,但现实场景中的三维数据并不规整,深度传感器采集的数据可能存在噪声甚至缺失,不同机器人的相机位置、传感器类型和标定状态也各不相同,大量公开的机器人示范数据只有RGB图像,无法满足这类方案的输入要求,导致大量已积累的示范数据无法被充分利用,空间学习能力很难随着机器人经验的增加同步扩展。

  SLA采用了完全不同的训练路径,研究团队在训练过程中冻结三维感知模型OmniVGGT充当“空间教师”,由这个模型提取多视角RGB图像的空间特征,引导VLA模型在预测动作的过程中,将自身生成的中间视觉特征与“空间教师”输出的空间特征完成对齐。这套空间对齐的辅助模块仅在训练阶段发挥作用,当模型进入实际部署阶段时,三维感知模型和对齐辅助分支会被完全移除,不需要额外向模型输入深度信息或者完成相机标定操作,完全沿用原有的推理架构,不会增加任何额外的推理计算开销。

大规模异构数据的统一处理方案

  为了支撑大规模持续预训练的空间表征学习,研究团队整合了来自六类不同来源的约171万条轨迹数据,这些数据覆盖了单臂、双臂等不同形态的机器人,同时包含真实场景采集和仿真生成的不同类型示范内容。不同来源的原始数据之间存在坐标系不统一、相机内参不一致、动作空间定义有差异等诸多问题,直接混合训练很容易出现动作逻辑混乱的情况。

  针对这些问题,团队制定了统一的处理标准,全部采用末端执行器位姿来统一描述所有数据中的状态与动作,统一所有机器人的坐标约定规则,还通过SO3复合求相对旋转的方法,彻底解决了不同机器人之间的物理动作一致性问题,让来自不同硬件、不同场景的轨迹数据可以被放在同一个模型中完成训练,不会出现动作定义冲突的情况。

  研究团队还专门设计了对照实验,从171万条轨迹数据中按任务分层抽样,设置了从5%到100%的四档不同数据规模,分别测试持续预训练和后训练两个阶段是否采用空间对齐的四种不同组合方案,在RoboTwin的随机化场景下完成对比测试。最终的实验数据显示,当持续预训练和后训练两个阶段都采用空间对齐机制时,模型的操作成功率会随着数据规模的扩大从49.2%逐步提升至72.3%,每一档数据规模下的表现都优于另外三种未完全启用空间对齐的设置。

  作为对照,两个阶段都不做空间对齐的方案,即便把训练数据从5%扩充到全量,整体成功率也仅提升了4.4个百分点,远低于完全启用空间对齐方案的23.1个百分点提升幅度。这一实验结果直接验证了空间表征可以随着机器人经验的扩展而持续增长,空间能力的提升来自于更广泛的数据覆盖,而不只是单纯延长训练时间带来的效果。

其他公开评测中的表现情况

  除了RoboDojo真机评测之外,SLA模型在RoboTwin 2.0和LIBERO-Plus等多个公开评测基准中也取得了优异的成绩。在RoboTwin 2.0的Clean2Random随机化场景测试中,SLA的操作成功率达到72.3%,即便场景中的物体摆放位置、背景环境都被随机打乱,模型依然可以顺利完成指定操作任务。

  在LIBERO-Plus评测中,面对相机位置偏移、语言指令调整、光照条件变化、背景环境更换四类常见的现实场景扰动,SLA的加权成功率达到87.4%,展现出极强的泛化适应能力。这些不同维度的评测结果共同说明,通过将空间监督前置到大规模持续预训练阶段的技术路径,确实可以让空间理解成为机器人基础模型的可迁移基础能力,而不是仅针对单个特定任务的临时补丁。

  这条技术路径也留下了不少值得进一步探索的开放性问题:当前的空间表征能力是否还能随着数据规模的进一步扩大继续线性提升?在更多复杂的长程操作任务中,空间对齐机制能否持续发挥作用?当机器人面对完全没有见过的全新三维场景时,已经学到的空间表征能不能支撑它自主完成从未示范过的复杂操作?这些尚未得到明确答案的问题,也成为后续相关研究可以继续推进的方向。

(编辑:徐松丽)