深度内容阅读

RoboColiseum评测:多模态模型决胜负,Claude OPus领跑

编辑|Clio 如果让 GPT、Claude、Gemini 直接指挥机器人干活,谁更靠谱? 10 月 20 日,具身智能评测平台 RoboColiseum 发布的评测报告给出了一组实测结果:在四款参评的多模态模型中,Claude Opus 5.5 以 76.28 分取得最高综合成绩,GPT-6 Astra 以 75.99 分紧随其后,两者仅相差 0.29 分。GPT-6.1 Sol 和 Gemin

RoboColiseum评测:多模态模型决胜负,Claude OPus领跑

球友会.(QY)官方网站 413 阅读 约 5.5 分钟

在RoboColiseum发布的最新评测中,直播指令执行的四款多模态模型中,Claude Opus 5.5以76.28分获得第一名,而GPT-6 Astra则以75.99分紧随其后,这两者间仅相差0.29分。第三和第四名分别是GPT-6.1 Sol和Gemini 4 Argon,得分为70.91分和66.86分。然而,在官方总榜中,专业策略模型Paimon和HiDream-O1-Embodied以77.54分和76.92分占据前两名,领先其他模型。

尽管Astra、Sol和Opus在指令跟随和空间理解方面的得分超过了专业策略模型,但所有多模态模型在通用操作能力上均不及后者。报告探讨了模型在任务理解与执行之间的障碍,发现即使模型能够理解任务,其某些动作仍然难以完成。RoboColiseum于2026年正式开放,自内测以来,已有超过100支团队在平台上进行模型训练与评测。

以端锅为例,初始指令下,GPT-6 Astra在抓取锅具时姿态不够协调,经过补充指导后才得以成功抓取。这表明模型在明确操作指导下执行得较好,然而在自主推断适宜抓取方式时仍显困难。类似问题在精细操作时也表现突出,面对圆形积木和手机充电,尽管能调整姿态,但最终仍未能完成目标。 球友会官网

评测通过Agent2Act控制框架将模型接入RoboColiseum,使用一致的测试样本和原始评测指令。各模型的推理设置有所不同,导致它们在某些方面表现出差异。评测结果表明,Claude Opus 5.5在空间理解和通用操作上均保持领先,而GPT-6 Astra在指令跟随和扰动适应上表现突出,GPT-6.1 Sol虽得分较低,但它的低推理成本为提高性价比提供了选择。Gemini 4 Argon的得分虽不高,却在特定任务中表现出色。相比之下,四款多模态模型在通用操作的得分明显低于专业策略模型。

觉得有用?分享给朋友

让更多人看到这篇内容

推荐阅读