SLA登顶RoboDojo真机榜!港科广联合欧拉万象,让机器人更懂三维空间
FIELD
NOTE

ARTICLE DETAIL

资讯中心

从事实、趋势与实践出发,为您梳理文章中的关键信息,帮助读者更高效地理解内容重点。

ORIGINAL REPORT

SLA登顶RoboDojo真机榜!港科广联合欧拉万象,让机器人更懂三维空间

劲爆体育官网-首页赛程与热门赛事编辑部
952 阅读
约 5.5 分钟

把空间理解放进基础模型的持续学习过程,机器人能否更好地应对现实中的变化 机器人伸手抓取果蔬时,有人把目标挪走了。原本放好的物体,又被扔回桌面。另一组实验里,桌面不断升降,夹爪需要跟上目标的高度变化。同样是抓取和放置,空间关系一变,已经学过的技能还能不能继续用? 图 1 SLA 真机操作视频:https://mp.weixin.qq.com/s/F1euPsqRRP1FxAJZ7pPdJA 香港科技大学(广州)与欧拉万象(OLA Dimensions)联合,围绕这个问题提出了 SLA(Spatial-Language-Action Model,空间 — 语言 — 动作模型)。 先看结果:在 RoboDojo-Real 公开真机评测中,SLA-Preview 以平均得分 42.3 分、完整任务成功率 33.9% 位居榜首;相比 π0.5,成功率提高 21.1 个百分点,约为其 2.6 倍。 图 2 RoboDojo-Real 真机榜单截图,SLA-Preview 平均得分排名第一 在研究团队设置的八类真机测试中,SLA 的平均物体级成功率达到 83.8%,较 π0.5 提高 24.0 个百分点。从公开榜单到动态抓取、桌面升降等测试,SLA 展示了应对真实场景变化的能力。 SLA 的核心思路,是在机器人学习动作时,同步培养支撑动作的空间表征 。空间监督从具体任务的后训练阶段,扩展到更大规模的持续预训练,并在下游适配时继续保留。 01 真机榜第一之后再看机器人如何应对变化 RoboDojo-Real 覆盖 ARX X5、Piper 和 Piper X 三种机器人本体,共 18 项任务。SLA 联合使用三种本体的示范进行后训练,再用同一个模型完成测试。 在相同的公开评测中,π0.5 的平均得分与成功率分别为 22.9 分、12.8%,SLA 对应为 42.3 分、33.9%。得分反映部分任务进展,成功率则衡量完整任务是否完成。 榜单成绩给出了统一参照。要直观看到空间能力的作用,还可以看目标移动、桌面升降这些实验。 在果蔬抓取实验中,研究者先用 100 条基础场景示范完成后训练,再将同一个策略用于基础场景、位置扰动和动态干扰三类条件。测试时,物体可能被重新扔回桌面,抓取中的目标也可能被人移动。 位置与动态干扰条件没有额外采集对应的干扰示范用于后训练 图 3 基础果蔬操作、位置扰动、动态干扰与少样本跨本体适配。 位置扰动下,SLA 的物体级成功率为 82%,π0.5 为 52%;目标持续移动时,两者分别为 76% 和 42%。在桌面升降、目标高度不断变化的手表抓取条件下,两者分别为 78% 和 44%。 跨本体实验也有一个明确的数据条件:在原有 100 条 Piper 示范之外,额外加入 10 条 Franka 示范联合后训练,Franka 的物体级成功率达到 78%。这项结果检验的是少量目标本体数据下的适配能力。 八类部署条件各评估 50 个物体实例,成功要求完成该物体的完整操作过程。它们共同指向一个实际问题:当观察到的空间关系发生变化,策略能否据此调整动作。 02 空间理解怎样进入机器人基础模型 视觉 — 语言 — 动作模型(VLA)把图像、指令和动作连接起来,能够利用视觉语言模型预训练获得的知识。但机器人执行操作,还要处理距离、朝向、物体遮挡和夹爪运动之间的关系。 认出一个杯子,与把夹爪准确移动到杯子旁边,需要的能力并不完全相同。物体位置变了,接近路径可能要变;抓取角度变了,手腕朝向也需要随之调整。 一种常见路线是在后训练时引入深度图、点云等几何信息。现实数据却并不总是具备一致的三维标注:深度可能缺失,相机位置和标定状态各不相同,部分公开示范只有 RGB 图像。 如果空间学习只能依赖整齐、完整的几何输入,就很难充分利用已经积累的异构机器人经验。 SLA 选择在训练期间,将空间信息对齐到 VLA 自身的中间视觉表征中。它继承 π0.5 的预训练架构与权重,通过持续预训练学习空间表征,并在后训练适配具体任务时继续使用空间监督。 图 4 SLA 整体框架。统一异构机器人数据,在持续预训练与后训练阶段进行空间对齐。 具体来说,冻结的三维感知模型 OmniVGGT 充当空间教师。它读取多视角 RGB 图像,并利用样本中已有的深度或相机标定信息,提取空间特征。 VLA 在学习预测动作的同时,也让中间视觉特征与教师的空间特征对齐。空间监督由此进入动作生成所依赖的表征,让模型在学习操作时获得几何信息。 面对不同场景、纹理和相机视角,SLA 还会根据输入自适应汇聚多个层次的视觉特征。在 RoboTwin 消融中,多层自适应融合的 Clean2Random 成功率为 72.3%,比最佳固定单层方案高 5.0 个百分点。 另一个设计是训练期的状态丢弃:以一

about image
分享这篇内容

让更多人看到有价值的信息

返回资讯列表

YOU MAY ALSO LIKE

推荐阅读

继续浏览平台精选内容,发现更多行业观察。

TRENDING NOW

热点内容

从正在发生的行业事件到读者关注的热门话题,我们将值得关注的内容集中呈现,方便您快速了解当前讨论焦点。

查看全部资讯
阿莱格里:最近没看到博格巴 迪玛利亚周三不会首发

HOT / 1

阿莱格里:最近没看到博格巴 迪玛利亚周三不会首发

尤文图斯主教练阿莱格里表示,他不知道博格巴的近况,还透露迪玛利亚可以在周三主场对斯佩齐亚的比赛中上场。 法国国脚博格巴最近声称受到其兄弟的威胁和勒索,而他哥哥指控他对姆巴佩下诅咒,这引发了轩然大波。 当被问及博格巴的近况时,尤文图斯主帅阿莱格里表示:“他现在不能参加比赛,但如果一切顺利,下周开始跑步,所以希望他能很快回来,因为他是球队的重要球员。但手上的球员一直都与球队分离,所以我们最近没有看到他

浙江首台重离子591天已治1057例癌症

HOT / 2

浙江首台重离子591天已治1057例癌症

在2026浙江省肿瘤学术大会上,一组重磅临床数据对外公布:落户浙江省肿瘤医院、浙江首台国产化重离子治疗装置,投入临床591天,累计完成1057例癌症患者的治疗,这组数字,标志着这台治癌“国之重器”已经度过磨合爬坡期,稳定服务大量肿瘤病人。 这台重离子设备也是华东地区重要的重离子治疗中心,2025年2月正式启用,填补了浙江本地没有重离子放疗的空白。在此之前,想要接受重离子治疗的浙江患者,往往需要远赴

港媒:大卫-席尔瓦今晚8点抵达香港,随后将出席一系列活动

HOT / 3

港媒:大卫-席尔瓦今晚8点抵达香港,随后将出席一系列活动

据港媒星岛头条消息,西班牙传奇中场、曼城名宿大卫-席尔瓦今晚抵达香港,准备于本周六下午代表港超联升班马至尊沙田,在启德青年运动场对阵标准流浪,迎来一场限定的复出首秀。 这位40岁的前世界杯及欧冠冠军得主,自2023年7月因左膝前十字韧带重伤宣布挂靴后,已阔别职业赛场逾三年。至尊沙田班主兼球员王至尊以七位数酬劳邀请他复出。上周开售的逾4500张门票在短短两小时内售罄,创下本地联赛多年纪录。 消息称,

美国选举落幕,奥巴马高调庆功,特朗普送上祝贺,不忘自己留后路

HOT / 4

美国选举落幕,奥巴马高调庆功,特朗普送上祝贺,不忘自己留后路

民主党赢得国会选举优势,奥巴马公开庆祝,还催促党内尽快拿出成果,特朗普送上祝贺、表示愿意合作,却又强调总统否决权,这份客气里,双方的分歧并没有消失。 奥巴马希望把选票变成推动政策的力量,特朗普则要保住白宫的主动权,一个催着往前走,一个提前摆出条件,美国接下来两年的政治较量,已经有了清楚的轮廓。 国会换了多数,总统为何还有底气向对手提要求,特朗普留下的后路能发挥多大作用,顺着这场庆祝与祝贺往下看,双

铝价下跌背后:海外345万吨产能来袭,全球铝市场要变天?

HOT / 5

铝价下跌背后:海外345万吨产能来袭,全球铝市场要变天?

文 | 万联万象 七个月持续去库,铝价却在一个短期累库信号出现后明显调整。 11月10日,沪铝主力AL2612合约收于22420元/吨,跌3.45%;11日盘中下探至22075元/吨,尾盘收于22480元/吨,较前一交易日结算价跌1.38%,盘中跌幅收窄。 与此同时,伦敦现货市场仍然紧张。11月10日,伦敦金属交易所(LME)近月铝相对三个月期货的升水一度达到94美元/吨,创五个月新高。 国内期货