Skor RoboDojo Simate-beta Menjanjikan, tetapi Belum Membuktikan Kinerja di Dunia Nyata

Simate-beta adalah “fast system” fisik-AI pertama dari Simate: model kendali robot yang dirancang agar dapat bertindak cepat di dunia nyata. Pada papan peringkat RoboDojo, Simate-beta tercatat dengan skor 33,95 dan tingkat keberhasilan 27,96% untuk kategori simulasi. Simate juga memublikasikan demo terpisah menggunakan robot fisik. Namun, hasil papan peringkat maupun sejumlah demo pilihan belum menunjukkan seberapa andal model ini dalam beragam tugas dan lingkungan sehari-hari.

Apa yang ditunjukkan—dan belum ditunjukkan—oleh skor RoboDojo

RoboDojo merupakan tolok ukur untuk menilai kebijakan manipulasi robot serbaguna dalam simulasi maupun situasi dunia nyata. Hasil Simate-beta yang tercantum di papan peringkat adalah hasil simulasi, dengan Simate sebagai kontributor—bukan skor dari pengujian robot fisik.

Pembedaan ini penting. Skor tersebut merupakan hasil benchmark, sedangkan demo perusahaan menunjukkan sistem beroperasi pada robot sungguhan. Laporan tentang demo itu menyebut kemampuan seperti mengingat informasi, menyesuaikan diri dengan tugas, menjalankan rangkaian tindakan panjang, dan melakukan manipulasi presisi. Demo tersebut memperlihatkan arah pengembangan Simate, tetapi belum membuktikan bahwa kemampuan itu berlaku luas di luar tugas yang diperagakan. 5

Sistem cepat untuk kendali yang responsif

Simate menggambarkan pendekatannya sebagai sistem cepat yang menggabungkan persepsi fisik 4D dengan memori. Perusahaan menargetkan kendali responsif yang berpotensi berjalan langsung di perangkat, lalu ingin memadukan sistem cepat itu dengan penalaran yang lebih lambat untuk menangani tugas rumit. 15

Gagasannya adalah memahami perubahan lingkungan fisik dari waktu ke waktu dan menyimpan informasi penting tentang kemajuan tugas, sambil tetap bereaksi terhadap kondisi baru. Desain ini menjadi benang merah antara hasil RoboDojo dan demo robot fisik: keduanya disajikan sebagai langkah awal menuju sistem yang mampu memahami keadaan, mengingat, lalu bertindak. Namun, keduanya belum membuktikan bahwa kemampuan tersebut akan bertahan dalam situasi yang belum pernah ditemui. 10

AutoResearch: agen AI ikut membantu riset robot

Pendekatan Simate yang lebih luas disebut “Physical RSI”. Tujuannya adalah menghubungkan pengembangan model, pengolahan data, eksperimen, evaluasi, dan penerapan pada robot dalam sebuah siklus riset berulang. AutoResearch dirancang agar agen AI dapat membantu mengusulkan dan menguji gagasan riset, sementara manusia menetapkan tujuan dan batasan serta menilai hasilnya. Simate menyebut beta sebagai salah satu hasil awal dari proses yang dipandu manusia ini. 1112

Perusahaan juga mengatakan bahwa infrastruktur internalnya menghubungkan pelatihan, inferensi, dan evaluasi, sekaligus mendukung beberapa jalur riset secara paralel. Produk Sinfra disebut mencakup simulasi, pelatihan, dan inferensi. Klaim praktisnya: sistem riset yang saling terhubung dapat membantu tim menguji gagasan dan menggunakan hasilnya dengan lebih cepat. Namun, laporan yang tersedia belum secara independen mengukur seberapa besar hal itu meningkatkan kinerja model. 1115

Pengalaman tim dan rencana rilis

Menurut laporan tentang Simate, timnya memadukan pengalaman penerapan teknologi mengemudi otonom dengan latar riset di bidang seperti model dunia dan kendali robot fisik. Pengalaman itu relevan dengan ambisi perusahaan untuk membangun model yang dapat mempelajari dunia fisik sekaligus mengendalikan perangkat keras. Meski begitu, rekam jejak tim bukan pengganti bukti kinerja yang diuji secara independen. 512

Simate berencana merilis hasil bertahap tentang generalisasi zero-shot untuk tugas kompleks pada akhir 2026. Perusahaan juga berencana menerbitkan makalah atau laporan teknis tentang model dan riset otomatisnya, serta membuka hasil tertentu secara bertahap. Semua itu masih berupa rencana, bukan hasil atau rilis yang sudah tersedia. 11

Untuk saat ini, gambaran paling hati-hati adalah bahwa Simate melaporkan kemajuan awal yang menarik, tetapi sebagian besar klaimnya berasal dari perusahaan: ada skor simulasi yang tercantum di papan peringkat, demo robot fisik yang terpisah, dan alur riset yang dirancang untuk mempercepat pengembangan. Bukti berikutnya yang penting adalah laporan teknis terperinci dan hasil yang menunjukkan apakah kinerja model bertahan di luar benchmark serta tugas-tugas yang telah diperagakan.