Bagaimana HOST bekerja?

HOST—singkatan dari Human-to-robot One-Shot Skill Acquisition—tidak sekadar menyalin lintasan tangan manusia ke robot. Perbedaan bentuk tubuh, sudut kamera, posisi objek, dan kemampuan mekanis membuat penyalinan langsung sering tidak efektif.

Sebagai gantinya, video dipakai sebagai panduan berbasis kemajuan tugas. Robot memperkirakan tahap yang sedang ditunjukkan manusia, menghubungkannya dengan keadaan dirinya sendiri, lalu memprediksi seperti apa hasil tindakan berikutnya dari sudut pandang robot. Dari prediksi tersebut, sistem menyusun aksi yang diperlukan untuk mencapai hasil itu.

Pendekatan ini membuat video berfungsi sebagai konteks aktif, bukan sekadar data pelatihan baru. Selama proses tersebut, bobot model tetap tidak berubah. Karena itu, HOST juga berupaya menghindari masalah catastrophic forgetting, yaitu ketika model mempelajari keterampilan baru tetapi kehilangan kemampuan lama.

Dalam evaluasi pada 50 tugas manipulasi yang belum pernah dilihat saat pelatihan, HOST melaporkan tingkat keberhasilan rata-rata 62% dengan 20 percobaan untuk setiap tugas. Tugas-tugas tersebut mencakup variasi objek, alat, dan gerakan manipulasi. Sistem juga dilaporkan tetap mempertahankan sebagian besar performa ketika kondisi pencahayaan, objek, adegan, atau gangguan manusia diubah, dengan penurunan masing-masing sekitar 1%, 4%, 6%, dan 9%.

Angka 62% tetap berarti robot gagal dalam kira-kira empat dari 10 percobaan. Jadi, hasil ini menunjukkan bahwa metode tersebut bekerja pada rangkaian uji tertentu, bukan bahwa robot sudah dapat diandalkan untuk semua pekerjaan rumah tangga atau industri.

Bagaimana GEN-1.5 menggunakan demonstrasi sebagai “prompt” fisik?

GEN-1.5 menempatkan kemampuan tersebut dalam model fondasi robot yang lebih umum. Demonstrasi manusia berdurasi beberapa detik dimasukkan ke jendela konteks, seperti prompt pada model AI, tetapi prompt itu berisi informasi fisik: gerakan, kontak dengan objek, urutan tindakan, dan perubahan keadaan lingkungan.

Model kemudian mencoba menjalankan tugas tanpa mengubah bobotnya. Generalist AI menyatakan GEN-1.5 dapat mempelajari tugas baru dari demonstrasi 3–12 detik, melakukan transfer dari manusia ke robot, menggabungkan beberapa perilaku, menggunakan alat secara baru, dan dalam beberapa kasus menjalankan tugas di dunia nyata setelah menerima demonstrasi dari simulasi.

Perusahaan melaporkan rata-rata keberhasilan 59% pada 10 tugas manipulasi beragam untuk mode one-shot. Contoh yang ditampilkan antara lain membuka stoples, membuka kantong beritsleting, menyapu balok ke dalam mangkuk, dan menuangkan baut. Namun, informasi publik yang tersedia belum menjelaskan protokol uji, jumlah percobaan per tugas, baseline yang digunakan, atau reproduksi pihak ketiga secara memadai.

GEN-1.5 juga memiliki jalur adaptasi alternatif. Jika satu demonstrasi belum cukup, model dapat disesuaikan melalui 1–10 langkah gradien menggunakan data selama 1–5 menit, sekitar 10–50 demonstrasi. Artinya, GEN-1.5 tidak selalu berarti “tanpa pelatihan” dalam setiap penggunaan; klaim tanpa retraining terutama berlaku untuk mode one-shot prompting.

Mengapa pendekatan ini menyerupai cara manusia mengajar?

Dalam banyak situasi, manusia tidak perlu memprogram orang lain untuk melakukan tugas baru. Cukup tunjukkan cara membuka wadah, memindahkan benda, atau menggunakan alat. HOST dan GEN-1.5 berusaha membawa pola pengajaran intuitif tersebut ke robot.

Model yang telah diprapelatih menyediakan pengetahuan umum tentang objek, gerakan, kontak, dan hubungan sebab-akibat fisik. Video singkat kemudian memberikan konteks baru: apa tujuan tugasnya, urutan tindakan yang relevan, dan bagaimana interaksi dengan objek berlangsung.

Keuntungan utamanya adalah efisiensi di sisi pengguna. Pengguna tidak harus menjalankan pelatihan khusus, merancang fungsi penghargaan, atau mengumpulkan ratusan demonstrasi robot untuk setiap variasi tugas. HOST mengkuantifikasi keuntungan ini melalui waktu akuisisi rata-rata 29 detik dan klaim percepatan 507 kali dibanding fine-tuning dengan 50 demonstrasi per tugas.

Namun, efisiensi tersebut merupakan hasil dari pengetahuan yang telah diamortisasi melalui prapelatihan besar-besaran. Robot bukan belajar dari nol setelah menonton satu video; ia menggunakan fondasi yang sudah dibangun sebelumnya untuk menafsirkan demonstrasi baru.

Keterbatasan bukti yang perlu diperhatikan

• HOST masih diuji dalam lingkungan laboratorium yang terkontrol. Evaluasinya mencakup 50 tugas terpilih dengan tingkat keberhasilan rata-rata 62%. Keandalan pada pekerjaan rumah tangga yang berantakan, tugas industri berdurasi panjang, situasi yang sensitif terhadap keselamatan, dan skenario dunia terbuka masih membutuhkan pengujian lebih lanjut.

• Bukti GEN-1.5 lebih sulit dinilai secara independen. Informasi tentang durasi pelatihan, ketiadaan data simulasi dalam prapelatihan, durasi prompt, kemampuan one-shot, dan jalur adaptasinya terutama berasal dari Generalist AI atau pengumuman yang terkait dengan perusahaan.

• Belum ada benchmark publik yang sebanding. Untuk GEN-1.5, belum tersedia bukti independen yang cukup mengenai jumlah tugas standar, protokol percobaan, tingkat keberhasilan one-shot agregat, perbandingan baseline, rilis model dan data, atau reproduksi pihak ketiga. Karena itu, demonstrasinya lebih tepat dibaca sebagai bukti potensi kemampuan, bukan rekor performa yang telah terverifikasi.

Kesimpulan

HOST memberikan bukti akademik bahwa robot dapat memperoleh keterampilan manipulasi baru dari satu video manusia tanpa pembaruan parameter, setidaknya pada rangkaian uji yang terdefinisi. GEN-1.5 menunjukkan arah serupa melalui model embodied generalis yang menjadikan demonstrasi fisik sebagai konteks dan mengklaim pembelajaran one-shot dalam hitungan detik.

Keduanya memperkuat pergeseran dari robot yang diprogram dan dilatih ulang untuk setiap tugas menuju robot yang dapat diajari dengan cara lebih alami: tunjukkan, lalu biarkan sistem menafsirkan dan mencoba. Meski begitu, pembelajaran observasional belum terbukti sebagai pengganti validasi tugas, rekayasa keselamatan, dan adaptasi tambahan di lingkungan yang tidak terkontrol.

Bagaimana HOST bekerja?

HOST—singkatan dari Human-to-robot One-Shot Skill Acquisition—tidak sekadar menyalin lintasan tangan manusia ke robot. Perbedaan bentuk tubuh, sudut kamera, posisi objek, dan kemampuan mekanis membuat penyalinan langsung sering tidak efektif.

Sebagai gantinya, video dipakai sebagai panduan berbasis kemajuan tugas. Robot memperkirakan tahap yang sedang ditunjukkan manusia, menghubungkannya dengan keadaan dirinya sendiri, lalu memprediksi seperti apa hasil tindakan berikutnya dari sudut pandang robot. Dari prediksi tersebut, sistem menyusun aksi yang diperlukan untuk mencapai hasil itu.

Pendekatan ini membuat video berfungsi sebagai konteks aktif, bukan sekadar data pelatihan baru. Selama proses tersebut, bobot model tetap tidak berubah. Karena itu, HOST juga berupaya menghindari masalah catastrophic forgetting, yaitu ketika model mempelajari keterampilan baru tetapi kehilangan kemampuan lama.

Dalam evaluasi pada 50 tugas manipulasi yang belum pernah dilihat saat pelatihan, HOST melaporkan tingkat keberhasilan rata-rata 62% dengan 20 percobaan untuk setiap tugas. Tugas-tugas tersebut mencakup variasi objek, alat, dan gerakan manipulasi. Sistem juga dilaporkan tetap mempertahankan sebagian besar performa ketika kondisi pencahayaan, objek, adegan, atau gangguan manusia diubah, dengan penurunan masing-masing sekitar 1%, 4%, 6%, dan 9%.

Angka 62% tetap berarti robot gagal dalam kira-kira empat dari 10 percobaan. Jadi, hasil ini menunjukkan bahwa metode tersebut bekerja pada rangkaian uji tertentu, bukan bahwa robot sudah dapat diandalkan untuk semua pekerjaan rumah tangga atau industri.

Bagaimana GEN-1.5 menggunakan demonstrasi sebagai “prompt” fisik?

GEN-1.5 menempatkan kemampuan tersebut dalam model fondasi robot yang lebih umum. Demonstrasi manusia berdurasi beberapa detik dimasukkan ke jendela konteks, seperti prompt pada model AI, tetapi prompt itu berisi informasi fisik: gerakan, kontak dengan objek, urutan tindakan, dan perubahan keadaan lingkungan.

Model kemudian mencoba menjalankan tugas tanpa mengubah bobotnya. Generalist AI menyatakan GEN-1.5 dapat mempelajari tugas baru dari demonstrasi 3–12 detik, melakukan transfer dari manusia ke robot, menggabungkan beberapa perilaku, menggunakan alat secara baru, dan dalam beberapa kasus menjalankan tugas di dunia nyata setelah menerima demonstrasi dari simulasi.

Perusahaan melaporkan rata-rata keberhasilan 59% pada 10 tugas manipulasi beragam untuk mode one-shot. Contoh yang ditampilkan antara lain membuka stoples, membuka kantong beritsleting, menyapu balok ke dalam mangkuk, dan menuangkan baut. Namun, informasi publik yang tersedia belum menjelaskan protokol uji, jumlah percobaan per tugas, baseline yang digunakan, atau reproduksi pihak ketiga secara memadai.

GEN-1.5 juga memiliki jalur adaptasi alternatif. Jika satu demonstrasi belum cukup, model dapat disesuaikan melalui 1–10 langkah gradien menggunakan data selama 1–5 menit, sekitar 10–50 demonstrasi. Artinya, GEN-1.5 tidak selalu berarti “tanpa pelatihan” dalam setiap penggunaan; klaim tanpa retraining terutama berlaku untuk mode one-shot prompting.

Mengapa pendekatan ini menyerupai cara manusia mengajar?

Dalam banyak situasi, manusia tidak perlu memprogram orang lain untuk melakukan tugas baru. Cukup tunjukkan cara membuka wadah, memindahkan benda, atau menggunakan alat. HOST dan GEN-1.5 berusaha membawa pola pengajaran intuitif tersebut ke robot.

Model yang telah diprapelatih menyediakan pengetahuan umum tentang objek, gerakan, kontak, dan hubungan sebab-akibat fisik. Video singkat kemudian memberikan konteks baru: apa tujuan tugasnya, urutan tindakan yang relevan, dan bagaimana interaksi dengan objek berlangsung.

Keuntungan utamanya adalah efisiensi di sisi pengguna. Pengguna tidak harus menjalankan pelatihan khusus, merancang fungsi penghargaan, atau mengumpulkan ratusan demonstrasi robot untuk setiap variasi tugas. HOST mengkuantifikasi keuntungan ini melalui waktu akuisisi rata-rata 29 detik dan klaim percepatan 507 kali dibanding fine-tuning dengan 50 demonstrasi per tugas.

Namun, efisiensi tersebut merupakan hasil dari pengetahuan yang telah diamortisasi melalui prapelatihan besar-besaran. Robot bukan belajar dari nol setelah menonton satu video; ia menggunakan fondasi yang sudah dibangun sebelumnya untuk menafsirkan demonstrasi baru.

Keterbatasan bukti yang perlu diperhatikan

• HOST masih diuji dalam lingkungan laboratorium yang terkontrol. Evaluasinya mencakup 50 tugas terpilih dengan tingkat keberhasilan rata-rata 62%. Keandalan pada pekerjaan rumah tangga yang berantakan, tugas industri berdurasi panjang, situasi yang sensitif terhadap keselamatan, dan skenario dunia terbuka masih membutuhkan pengujian lebih lanjut.

• Bukti GEN-1.5 lebih sulit dinilai secara independen. Informasi tentang durasi pelatihan, ketiadaan data simulasi dalam prapelatihan, durasi prompt, kemampuan one-shot, dan jalur adaptasinya terutama berasal dari Generalist AI atau pengumuman yang terkait dengan perusahaan.

• Belum ada benchmark publik yang sebanding. Untuk GEN-1.5, belum tersedia bukti independen yang cukup mengenai jumlah tugas standar, protokol percobaan, tingkat keberhasilan one-shot agregat, perbandingan baseline, rilis model dan data, atau reproduksi pihak ketiga. Karena itu, demonstrasinya lebih tepat dibaca sebagai bukti potensi kemampuan, bukan rekor performa yang telah terverifikasi.

Kesimpulan

HOST memberikan bukti akademik bahwa robot dapat memperoleh keterampilan manipulasi baru dari satu video manusia tanpa pembaruan parameter, setidaknya pada rangkaian uji yang terdefinisi. GEN-1.5 menunjukkan arah serupa melalui model embodied generalis yang menjadikan demonstrasi fisik sebagai konteks dan mengklaim pembelajaran one-shot dalam hitungan detik.

Keduanya memperkuat pergeseran dari robot yang diprogram dan dilatih ulang untuk setiap tugas menuju robot yang dapat diajari dengan cara lebih alami: tunjukkan, lalu biarkan sistem menafsirkan dan mencoba. Meski begitu, pembelajaran observasional belum terbukti sebagai pengganti validasi tugas, rekayasa keselamatan, dan adaptasi tambahan di lingkungan yang tidak terkontrol.