Keď sa vlajkové modely troch veľkých AI gigantov OpenAI, Anthropic a Google stretnú v priamom súboji, kto lepšie ovláda roboty?
20. októbra zverejnila platforma RoboColiseum, ktorú spoločne iniciovalo takmer 20 univerzít, podnikov a výskumných inštitúcií z celého sveta vrátane Mifen Technology, Hugging Face, NVIDIA a Tsinghua University, výsledky tohto kola hodnotenia: Claude Opus 5.5 sa umiestnil na prvom mieste v celkovom hodnotení spomedzi štyroch vlajkových modelov, tesne za ním nasleduje GPT-6 Astra.
Pri pohľade na jednotlivé kategórie, spomedzi štyroch vlajkových modelov GPT-6 Astra vedie v nasledovaní pokynov a celkovej adaptácii na rušenie, pričom v nasledovaní pokynov dosiahol skóre 99,35; Opus dosahuje lepšie výsledky v priestorovom porozumení a všeobecných operáciách a vďaka najnižšej spotrebe tokenov počas všetkých kôl hodnotenia získal prvé miesto v celkovom hodnotení vlajkovej skupiny. V testoch s rušením kvality obrazu GPT-6.1 Sol výrazne zaostáva za ostatnými tromi modelmi, čo ukazuje rozdiely v stabilite rôznych modelov pri zmenách vizuálnych informácií.
Prvé dve miesta v celkovom poradí tohto kola však stále obsadili modely embodied策略, ktoré si zachovávajú výhodu najmä v dimenzii všeobecných operácií.
Tento spoločný súboj poskytuje odvetviu priamy prehľad o silných stránkach a slabinách všeobecných veľkých modelov a modelov embodied策略.
RoboColiseum sa zameriava na nasledovanie pokynov, priestorové porozumenie, adaptáciu na rušenie a všeobecné operácie a zaviedol štyri podrebíčky schopností a 78 vysoko verných simulačných hodnotiacich úloh, ktoré prezentujú jednak výsledky modelov v jednotlivých kategóriách, jednak zaznamenávajú kroky dokončenia úloh a miesta zlyhania, čím pomáhajú vývojárom rýchlo identifikovať slabiny modelov.
Ako spoluzakladateľ poskytuje Mifen pre RoboColiseum vysoko verné objektové aktíva a simulačné scenáre, podporuje budovanie hodnotiacich prostredí pre komplexné robotické operačné úlohy a poskytuje základné zdroje pre testovanie schopností modelov pri interakcii s rôznymi objektmi, priestorovom usporiadaní a environmentálnych podmienkach.
Či výsledky modelov v simulácii dokážu odrážať skutočný operačný výkon, je tiež kľúčom hodnotenia. Podľa výsledkov reálnych testov zverejnených platformou dosahuje korelácia medzi simulačným hodnotením RoboColiseum a nasadením na reálnom stroji 89,5 %, pričom rozdiel v hodnotení toho istého modelu v simulácii a v reálnom svete je menší ako 10 %, čo môže vývojárom slúžiť ako referencia pri výbere modelov a lokalizácii problémov pred vstupom do testovania na reálnom stroji.
Mifen Technology poskytuje systém dodávky dát „kompletný, kvalitný a rýchly", ktorý pokrýva tri hlavné dátové paradigmy: reálny stroj, simuláciu a bez tela. V oblasti simulácie Mifen poskytuje dva typy zdrojov – objektové aktíva a environmentálne aktíva – pokrývajúce rôzne predmety dennej potreby a interiérové scenáre, a ponúka aj schopnosti rekonštrukcie scenárov, získavania expertných trajektórií a vizualizácie výsledkov hodnotenia, čím pomáha tímom modelov realizovať rozmanité tréningy a hodnotenia.
Coliseum pôvodne označoval starorímsku kruhovú arénu; RoboColiseum tento obraz používa na vybudovanie viacdimenzionálneho systémového hodnotiaceho rámca, aby prostredníctvom simulačného hodnotenia vysoko zhodného s výkonom na reálnom stroji vytvoril pre modely embodied inteligencie verejnú, neutrálnu a reprodukovateľnú „arénu" a „tréningové ihrisko". Akákoľvek univerzita, výskumný ústav alebo podnikový vývojár môže svoj model odovzdať a podrobiť sa štandardizovanej „skúške". Od spustenia v auguste už na platforme viac ako 100 tímov z domova i zo zahraničia realizovalo tréning a hodnotenie modelov.
RoboColiseum je teraz otvorený pre vývojárov z celého sveta; tímy modelov sú vítané zapojiť sa do hodnotenia.
