AnswersPublished17 sources
EchoPolicy-0 van MagicLab eerste op MolmoSpaces met 75,4%
EchoPolicy 0 behaalde volgens MagicLab een gelijk gewogen succespercentage van 75,4% over vier taken en stond eerste op het Combined leaderboard van AI2’s MolmoSpaces.[1] MagicBrains gemiddelde was 72,4%, goed voor de vierde plaats; op de afzonderlijke taak Pick scoorde het systeem 94,4%.[18]
Gepubliceerd doorBewerkt met GPT-6 LunaAfbeeldingen gegenereerd met GPT Image 2
Research answer
Key takeaways
- EchoPolicy 0 behaalde volgens MagicLab een gelijk gewogen succespercentage van 75,4% over vier taken en stond eerste op het Combined leaderboard van AI2’s MolmoSpaces.[1]
- MagicBrains gemiddelde was 72,4%, goed voor de vierde plaats; op de afzonderlijke taak Pick scoorde het systeem 94,4%.[18]
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: As reported on October 14, 2026, how did MagicLab’s EchoPolicy-0 and its in-house 3.4-billion-parameter MagicBrain perform on AI2’s MolmoSpa. Article summary: MagicLab reported EchoPolicy-0 first on AI2’s MolmoSpaces Combined leaderboard at a 75.4% equal-weighted success rate, while its 3.4-billion-parameter MagicBrain reportedly ranked fourth at 72.4%, including 94.4% on Pick. Topic tags: general, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fa
MagicLab meldt dat zijn robotframework EchoPolicy-0 bovenaan staat op het Combined-leaderboard van MolmoSpaces, de benchmark van het Allen Institute for AI (AI2). Het systeem behaalde volgens het bedrijf een gelijk gewogen succespercentage van 75,4% over vier taken. MagicBrain, een framework met 3,4 miljard parameters, eindigde vierde met een gemiddelde van 72,4% en scoorde 94,4% op Pick.1
18
Die percentages zijn benchmarkresultaten. Op zichzelf bewijzen ze niet hoe betrouwbaar de systemen in een echte werkomgeving functioneren.
De scores op een rij
De 75,4% van EchoPolicy-0 is het gerapporteerde gemiddelde over de vier manipulatietaken van MolmoSpaces v1: Pick, Pick and Place, Open en Close. MagicLab zegt dat het framework eerste werd op het Combined-leaderboard.1
Pandaily vergeleek de gepubliceerde leaderboardgegevens van AI2 en berekende een gemiddelde van ongeveer 75,5%. Dat ligt dicht bij de door MagicLab gemelde 75,4%; hier houden we de bedrijfsscore aan.41
MagicBrain werd in dezelfde Combined-groep vierde, met een gemiddelde van 72,4%. De 94,4% voor Pick is een score voor één specifieke taak, niet het totaalgemiddelde.18
| Systeem | Gemeld Combined-resultaat | Opvallend detail |
|---|---|---|
| EchoPolicy-0 | 75,4%, eerste plaats | Gelijk gewogen gemiddelde over Pick, Pick and Place, Open en Close |
| MagicBrain | 72,4%, vierde plaats | 94,4% gemeld voor Pick |
Wat MolmoSpaces test
MolmoSpaces is een zero-shot-benchmark voor embodied AI: systemen worden getest op taken waarbij een robot instructies moet uitvoeren in een omgeving. ‘Zero-shot’ houdt hier in dat de evaluatie draait om prestaties op de testtaken, niet om één specifieke demonstratie. De benchmark omvat meer dan 230.000 binnenomgevingen en ongeveer 130.000 objecten.1
Die aantallen beschrijven de omvang van de benchmark, niet het aantal tests achter deze scores. De leaderboardcijfers vatten de prestaties op de vier manipulatietaken van v1 samen. Zo’n gezamenlijke test maakt systemen onder dezelfde voorwaarden vergelijkbaar, maar laat niet vanzelf zien hoe goed ze presteren in een fysieke werkplaats of een andere praktijksituatie.
EchoPolicy-0 koppelt kijken aan handelen
MagicLab beschrijft EchoPolicy-0 als een framework waarin een vision-language model, geometrische hulpmiddelen voor manipulatie en een algemene actiepolicy samenwerken. Het systeem brengt het waarnemen van een scène en het begrijpen van een instructie samen met het kiezen en uitvoeren van een actie, waarna het resultaat wordt gecontroleerd.18
De aanpak kan meerdere mogelijke acties afwegen. Een actiemodel stelt opties voor; het systeem gebruikt zijn begrip van het doel om een passende optie te selecteren. Volgens de evaluatiedocumentatie kan visuele controle na uitvoering helpen bepalen of het systeem doorgaat, een poging herhaalt of een andere route kiest.18
20 Zo bestaat de aanpak niet alleen uit een eenmalig bewegingscommando, maar ook uit een stap waarin het systeem het resultaat terugkoppelt.
MagicBrain probeert het juiste doel te kiezen
MagicBrain gebruikt een andere aanpak: contextuele visuele begeleiding helpt het systeem bepalen welk object bij een instructie hoort. Die herkenning stuurt vervolgens de beweging aan. Zo worden twee vragen uit elkaar gehaald: wat moet de robot oppakken en hoe moet hij bewegen?19
33
In de onderzochte gevallen waren verkeerde objectkeuzes volgens MagicLabs analyse een veelvoorkomende oorzaak van mislukte grijppogingen; instabiele beweging was dat niet.30 Dat wijst op een probleem met het koppelen van een instructie aan het juiste object: zelfs een goed uitgevoerde greep mislukt als de robot het verkeerde voorwerp kiest. Het is een bevinding over de bestudeerde gevallen, geen algemene verklaring voor alle mislukte robotgrepen.
Wat de resultaten wel en niet aantonen
Beide systemen richten zich op de samenwerking tussen instructies begrijpen, visuele doelen herkennen en fysieke acties uitvoeren. MagicLab Studio heeft aangegeven een gelaagde architectuur te verkiezen en noemt het volgen van instructies een uitdaging bij algemene taken.33
De scores laten zien hoe EchoPolicy-0 en MagicBrain presteerden op de taken van MolmoSpaces. Ze zijn geen bewijs van betrouwbaarheid in de praktijk of commerciële inzetbaarheid: de benchmarkresultaten tonen op zichzelf niet aan hoe goed de systemen overweg kunnen met andere fysieke omstandigheden of toepassingen.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "EchoPolicy-0 van MagicLab eerste op MolmoSpaces met 75,4%"?
EchoPolicy 0 behaalde volgens MagicLab een gelijk gewogen succespercentage van 75,4% over vier taken en stond eerste op het Combined leaderboard van AI2’s MolmoSpaces.[1]
What are the key points to validate first?
EchoPolicy 0 behaalde volgens MagicLab een gelijk gewogen succespercentage van 75,4% over vier taken en stond eerste op het Combined leaderboard van AI2’s MolmoSpaces.[1] MagicBrains gemiddelde was 72,4%, goed voor de vierde plaats; op de afzonderlijke taak Pick scoorde het systeem 94,4%.[18]