HOST dan GEN-1.5 menunjukkan robot bisa belajar dari satu demonstrasi manusia

Robot biasanya membutuhkan banyak contoh, teleoperasi, atau fine-tuning khusus setiap kali harus mempelajari tugas baru. HOST dan GEN-1.5 menawarkan pendekatan berbeda: model yang sudah memiliki pengetahuan fisik umum menerima satu demonstrasi singkat sebagai konteks, lalu langsung mencoba menjalankan keterampilan tersebut.

Perubahan ini penting karena pengguna cukup “menunjukkan” tugas kepada robot, alih-alih memprogram gerakan demi gerakan atau mengumpulkan ratusan demonstrasi robot. Namun, istilah “tanpa pelatihan ulang” perlu dipahami secara tepat. Kedua sistem tetap bergantung pada prapelatihan yang mahal dan berskala besar; yang dihilangkan adalah optimasi khusus untuk setiap tugas baru.

Perbandingan HOST dan GEN-1.5

Aspek	HOST	GEN-1.5
Pengembang	Beijing Institute of Technology, X SQUARE ROBOT, dan Tsinghua University	Generalist AI
Mekanisme utama	Kebijakan imitasi visual one-shot yang menyelaraskan eksekusi robot dengan tahap kemajuan dalam video manusia. Sistem kemudian memprediksi hasil dari sudut pandang robot dan menentukan tindakan yang diperlukan.	Model fondasi embodied multimodal yang memperlakukan demonstrasi sensorimotor sebagai konteks atau “physical prompt”, lalu menghasilkan aksi robot.
Masukan dan keluaran	Video manusia, instruksi bahasa, observasi robot terbaru, serta data propriosepsi—informasi tentang posisi dan keadaan tubuh robot. Sistem menghasilkan aksi tanpa memperbarui parameter model.	Memakai konteks multimodal hingga sekitar 30 detik, termasuk video, sensor, bahasa, dan propriosepsi, lalu menghasilkan lintasan aksi pada 100 Hz.
Fondasi pelatihan	Dua tahap: prapelatihan pada 193.462 lintasan robot dari 229 tugas, kemudian adaptasi menggunakan 5.847 pasangan video manusia dan lintasan robot yang dikumpulkan sendiri.	Generalist AI menyatakan model dilatih terus-menerus selama lebih dari delapan bulan menggunakan data interaksi fisik nyata, tanpa data simulasi dalam prapelatihannya.
Durasi satu demonstrasi	Akuisisi keterampilan membutuhkan rata-rata sekitar 29 detik dari satu video manusia.	Satu demonstrasi yang diklaim dibutuhkan berdurasi sekitar 3–12 detik.
Perlu retraining konvensional?	Tidak. Keterampilan diperoleh saat inferensi tanpa pembaruan parameter khusus tugas.	Tidak untuk mode one-shot prompting; perusahaan menyatakan tidak ada gradient update atau fine-tuning.
Cakupan tugas	Diuji pada 50 tugas manipulasi baru dengan objek, alat, dan jenis gerakan yang beragam; setiap tugas menjalani 20 percobaan.	Demonstrasi publik mencakup membuka stoples, membuka ritsleting kantong, menyapu benda ke dalam mangkuk, memasukkan spidol ke cangkir, menuangkan baut, serta penggunaan dan improvisasi alat. Namun, belum ada spesifikasi rangkaian tugas publik yang sebanding dengan HOST.
Tingkat keberhasilan	Rata-rata 62% pada tugas baru.	Generalist AI melaporkan rata-rata 59% pada 10 tugas manipulasi beragam untuk pembelajaran one-shot. Angka ini belum memiliki verifikasi independen yang sebanding.
Perbandingan dengan baseline	Dilaporkan mengungguli baseline zero-shot imitation terkuat sebesar 45% dan melampaui supervised fine-tuning dengan 50 demonstrasi robot per tugas.	Ketika prompting saja belum cukup, perusahaan menyatakan model dapat beradaptasi melalui 1–10 langkah gradient dengan data selama 1–5 menit, atau sekitar 10–50 demonstrasi.
Klaim efisiensi	Akuisisi keterampilan diklaim sekitar 507 kali lebih cepat daripada supervised fine-tuning dengan 50 demonstrasi robot per tugas.	Prompting 3–12 detik diklaim menggantikan pelatihan tugas yang biasanya memerlukan ribuan hingga puluhan ribu langkah gradien. Perbandingan ini merupakan klaim perusahaan, bukan benchmark independen.

Bagaimana HOST bekerja?

HOST—singkatan dari Human-to-robot One-Shot Skill Acquisition—tidak sekadar menyalin lintasan tangan manusia ke robot. Perbedaan bentuk tubuh, sudut kamera, posisi objek, dan kemampuan mekanis membuat penyalinan langsung sering tidak efektif.

Sebagai gantinya, video dipakai sebagai panduan berbasis kemajuan tugas. Robot memperkirakan tahap yang sedang ditunjukkan manusia, menghubungkannya dengan keadaan dirinya sendiri, lalu memprediksi seperti apa hasil tindakan berikutnya dari sudut pandang robot. Dari prediksi tersebut, sistem menyusun aksi yang diperlukan untuk mencapai hasil itu.

Pendekatan ini membuat video berfungsi sebagai konteks aktif, bukan sekadar data pelatihan baru. Selama proses tersebut, bobot model tetap tidak berubah. Karena itu, HOST juga berupaya menghindari masalah catastrophic forgetting, yaitu ketika model mempelajari keterampilan baru tetapi kehilangan kemampuan lama.

Dalam evaluasi pada 50 tugas manipulasi yang belum pernah dilihat saat pelatihan, HOST melaporkan tingkat keberhasilan rata-rata 62% dengan 20 percobaan untuk setiap tugas. Tugas-tugas tersebut mencakup variasi objek, alat, dan gerakan manipulasi. Sistem juga dilaporkan tetap mempertahankan sebagian besar performa ketika kondisi pencahayaan, objek, adegan, atau gangguan manusia diubah, dengan penurunan masing-masing sekitar 1%, 4%, 6%, dan 9%.

Angka 62% tetap berarti robot gagal dalam kira-kira empat dari 10 percobaan. Jadi, hasil ini menunjukkan bahwa metode tersebut bekerja pada rangkaian uji tertentu, bukan bahwa robot sudah dapat diandalkan untuk semua pekerjaan rumah tangga atau industri.

Bagaimana GEN-1.5 menggunakan demonstrasi sebagai “prompt” fisik?

GEN-1.5 menempatkan kemampuan tersebut dalam model fondasi robot yang lebih umum. Demonstrasi manusia berdurasi beberapa detik dimasukkan ke jendela konteks, seperti prompt pada model AI, tetapi prompt itu berisi informasi fisik: gerakan, kontak dengan objek, urutan tindakan, dan perubahan keadaan lingkungan.

Model kemudian mencoba menjalankan tugas tanpa mengubah bobotnya. Generalist AI menyatakan GEN-1.5 dapat mempelajari tugas baru dari demonstrasi 3–12 detik, melakukan transfer dari manusia ke robot, menggabungkan beberapa perilaku, menggunakan alat secara baru, dan dalam beberapa kasus menjalankan tugas di dunia nyata setelah menerima demonstrasi dari simulasi.

Perusahaan melaporkan rata-rata keberhasilan 59% pada 10 tugas manipulasi beragam untuk mode one-shot. Contoh yang ditampilkan antara lain membuka stoples, membuka kantong beritsleting, menyapu balok ke dalam mangkuk, dan menuangkan baut. Namun, informasi publik yang tersedia belum menjelaskan protokol uji, jumlah percobaan per tugas, baseline yang digunakan, atau reproduksi pihak ketiga secara memadai.

GEN-1.5 juga memiliki jalur adaptasi alternatif. Jika satu demonstrasi belum cukup, model dapat disesuaikan melalui 1–10 langkah gradien menggunakan data selama 1–5 menit, sekitar 10–50 demonstrasi. Artinya, GEN-1.5 tidak selalu berarti “tanpa pelatihan” dalam setiap penggunaan; klaim tanpa retraining terutama berlaku untuk mode one-shot prompting.

Mengapa pendekatan ini menyerupai cara manusia mengajar?

Dalam banyak situasi, manusia tidak perlu memprogram orang lain untuk melakukan tugas baru. Cukup tunjukkan cara membuka wadah, memindahkan benda, atau menggunakan alat. HOST dan GEN-1.5 berusaha membawa pola pengajaran intuitif tersebut ke robot.

Model yang telah diprapelatih menyediakan pengetahuan umum tentang objek, gerakan, kontak, dan hubungan sebab-akibat fisik. Video singkat kemudian memberikan konteks baru: apa tujuan tugasnya, urutan tindakan yang relevan, dan bagaimana interaksi dengan objek berlangsung.

Keuntungan utamanya adalah efisiensi di sisi pengguna. Pengguna tidak harus menjalankan pelatihan khusus, merancang fungsi penghargaan, atau mengumpulkan ratusan demonstrasi robot untuk setiap variasi tugas. HOST mengkuantifikasi keuntungan ini melalui waktu akuisisi rata-rata 29 detik dan klaim percepatan 507 kali dibanding fine-tuning dengan 50 demonstrasi per tugas.

Namun, efisiensi tersebut merupakan hasil dari pengetahuan yang telah diamortisasi melalui prapelatihan besar-besaran. Robot bukan belajar dari nol setelah menonton satu video; ia menggunakan fondasi yang sudah dibangun sebelumnya untuk menafsirkan demonstrasi baru.

Keterbatasan bukti yang perlu diperhatikan

• HOST masih diuji dalam lingkungan laboratorium yang terkontrol. Evaluasinya mencakup 50 tugas terpilih dengan tingkat keberhasilan rata-rata 62%. Keandalan pada pekerjaan rumah tangga yang berantakan, tugas industri berdurasi panjang, situasi yang sensitif terhadap keselamatan, dan skenario dunia terbuka masih membutuhkan pengujian lebih lanjut.

• Bukti GEN-1.5 lebih sulit dinilai secara independen. Informasi tentang durasi pelatihan, ketiadaan data simulasi dalam prapelatihan, durasi prompt, kemampuan one-shot, dan jalur adaptasinya terutama berasal dari Generalist AI atau pengumuman yang terkait dengan perusahaan.

• Belum ada benchmark publik yang sebanding. Untuk GEN-1.5, belum tersedia bukti independen yang cukup mengenai jumlah tugas standar, protokol percobaan, tingkat keberhasilan one-shot agregat, perbandingan baseline, rilis model dan data, atau reproduksi pihak ketiga. Karena itu, demonstrasinya lebih tepat dibaca sebagai bukti potensi kemampuan, bukan rekor performa yang telah terverifikasi.

Kesimpulan

HOST memberikan bukti akademik bahwa robot dapat memperoleh keterampilan manipulasi baru dari satu video manusia tanpa pembaruan parameter, setidaknya pada rangkaian uji yang terdefinisi. GEN-1.5 menunjukkan arah serupa melalui model embodied generalis yang menjadikan demonstrasi fisik sebagai konteks dan mengklaim pembelajaran one-shot dalam hitungan detik.

Keduanya memperkuat pergeseran dari robot yang diprogram dan dilatih ulang untuk setiap tugas menuju robot yang dapat diajari dengan cara lebih alami: tunjukkan, lalu biarkan sistem menafsirkan dan mencoba. Meski begitu, pembelajaran observasional belum terbukti sebagai pengganti validasi tugas, rekayasa keselamatan, dan adaptasi tambahan di lingkungan yang tidak terkontrol.