Xiaomi-Robotics-U0 Membuka Laluan kepada Data Sintetik Robot yang Lebih Terkawal

Tarikh dalam persoalan asal nampaknya mencampurkan dua kemas kini. Keluaran penuh Xiaomi-Robotics-U0 dilaporkan pada 15 Julai 2026, manakala pada September repositori projek mengumumkan pemberat tambahan 4B dan model urutan, bersama kod latihan FSDP. 79

Xiaomi-Robotics-U0 lebih tepat difahami sebagai sistem generatif terbuka untuk menghasilkan data sintetik yang boleh dikawal bagi robotik. Ia boleh menjana atau mengubah senario visual yang berpusat pada robot, sambil cuba mengekalkan perkara penting untuk latihan seperti pemerhatian robot, konteks manipulasi, sudut kamera dan keseragaman adegan. Ia bukan model yang terus menukar pemerhatian kepada tindakan robot. 16

Apa yang Xiaomi buka sumber

Model utama U0 digambarkan sebagai model asas dunia multimodal dan autoregresif dengan 38 bilion parameter. Keluaran terbuka itu merangkumi pemberat model, kod sumber dan inferens, konfigurasi boleh gubah, titik masuk Gradio, serta tampalan untuk inferens autoregresif dan FlashAR/vLLM. Repositorinya menggunakan lesen Apache-2.0. 249

Xiaomi kemudiannya menyenaraikan tiga keluaran tambahan pada September: Xiaomi-Robotics-U0-4B, Xiaomi-Robotics-U0-Sequence dan Xiaomi-Robotics-U0-4B-Sequence, di samping kod latihan FSDP. Ertinya, nama “U0” kini merujuk kepada keluarga model yang sedang berkembang, bukan hanya satu titik semak berskala penuh. 9

Satu model untuk beberapa tugas data robot terjelma

Nilai utama U0 ialah penyatuan fungsi. Xiaomi menyatakan bahawa satu seni bina menyokong:

• penjanaan teks-ke-imej dan imej-ke-imej;
• penjanaan adegan terjelma;
• pemindahan serta penyuntingan adegan berstruktur; dan
• penjanaan video atau pelancaran urutan pemerhatian robot. 46

Dalam penggunaan praktikal, kes paling menonjol ialah penambahan data. Pasukan boleh bermula dengan trajektori atau pemerhatian robot, kemudian mengubah latar belakang, pencahayaan, bahan atau objek untuk menghasilkan contoh latihan baharu tanpa perlu mengulangi setiap sesi kutipan data fizikal. 37

Kedudukan ini membezakan U0 daripada penjana imej biasa yang terutama dioptimumkan untuk menghasilkan satu imej yang menarik secara tersendiri. Sasaran U0 ialah variasi terkawal sambil mengekalkan geometri dan konteks interaksi yang relevan kepada robot. 37

Seni bina autoregresif dan pendekatan multimodal

U0 ialah model visual autoregresif. Berbanding proses nyahhingar berulang yang lazim dalam sistem imej berasaskan difusi, U0 menjana token visual diskret secara berurutan. Laporan menyatakan asasnya menggabungkan EMU3.5 dengan Qwen-3-32B dan menggunakan pen-token visual diskret yang dikongsi untuk tugasan yang disokongnya. 47

Sifat autoregresif memudahkan imej, pemerhatian dan urutan masa dianggap sebagai aliran token. Namun, penjanaan beresolusi tinggi boleh menjadi mahal dari segi pengiraan kerana token perlu dikeluarkan secara berturutan. Atas sebab itu Xiaomi memasangkan model ini dengan laluan inferens khusus. 15

FlashAR+ dan vLLM: maksud sebenar dakwaan kelajuan

FlashAR+ ialah kaedah pecutan Xiaomi untuk penyahkodan token visual. Ia menggunakan penjanaan antipepenjuru secara selari, bukan mengeluarkan setiap token visual satu demi satu. vLLM pula diintegrasikan untuk mengurus awalan bersyarat, pengelompokan permintaan dan pelaksanaan cache KV berpagin, sambil mengekalkan aturan penyahkodan FlashAR+. 19

Xiaomi melaporkan FlashAR dengan vLLM menjana satu imej dalam 5.44 saat pada satu GPU H20, yang menurutnya adalah 82.86 kali lebih pantas daripada pelaksanaan eager AR asalnya dan 3.04 kali lebih pantas daripada FlashAR eager. 7

Namun, kelayakan perbandingan ini penting. Ia membandingkan dengan asas eager autoregresif Xiaomi sendiri dalam persediaan yang dilaporkan, bukan bukti bahawa U0 adalah 83 kali lebih pantas daripada penjana imej difusi, semua saluran data robot pesaing atau sistem video paling maju. Perkakasan, tetapan imej, pengelompokan, laluan model dan jenis beban kerja boleh mengubah kadar hasil sebenar. 17

Repositori itu menyokong backend eager dan vLLM bagi inferens AR serta FlashAR. Walau bagaimanapun, ini tidak bermaksud semua kebolehan menerima sokongan atau prestasi yang sama dalam setiap enjin. Pasukan yang mahu menjalankan aliran kerja temporal atau multimodal khusus perlu mengesahkan titik semak dan laluan inferens yang dipilih. 9

Perbandingan dengan model robot dan penjana umum

Jenis sistem	Tujuan utama	Kedudukan U0
Dasar robot	Menukar pemerhatian kepada tindakan robot	U0 ialah model huluan untuk penjanaan dan penambahan data, bukan pengganti dasar. Nilai hilir yang dilaporkan ialah latihan dasar yang lebih baik apabila berdepan perubahan taburan data. 67
Model dunia atau data berpusatkan robot	Menghasilkan adegan, pemerhatian, trajektori atau data mirip simulasi robot	Pembeza U0 yang didakwa ialah satu model untuk sintesis adegan, pemindahan, penyuntingan imej dan pelancaran berorientasikan video. 46
Penjana imej umum	Penciptaan dan penyuntingan teks/imej untuk pelbagai kegunaan	U0 menyokong teks-ke-imej dan imej-ke-imej, tetapi Xiaomi menekankan keseragaman terjelma, bukannya mendakwa kepimpinan menyeluruh dalam mutu imej umum. 47
Penjana video umum	Penciptaan video luas, termasuk kandungan sinematik	Keupayaan video U0 berorientasikan robot dan tidak sepatutnya dianggap sebagai bukti bahawa ia mengatasi model video umum terkemuka dalam mutu video terbuka. 46

Dakwaan penanda aras dan robot sebenar

Xiaomi melaporkan U0 menduduki tempat pertama dalam WorldArena, dengan 126 model mengambil bahagian dalam penilaian yang dilaporkan, serta menonjolkan pematuhan arahan, kualiti interaksi dan keseragaman pelbagai pandangan. Halaman projek rasmi Xiaomi pula menyatakan model itu berada di tempat pertama dalam kalangan lebih 100 model. 710

Bagi robotik hiliran, Xiaomi melaporkan penambahan data sintetik yang dijana U0 meningkatkan kejayaan luar taburan (out-of-distribution, OOD) pada robot sebenar daripada 36.9% kepada 63.2%, dalam perubahan seperti pencahayaan dan latar belakang yang tidak dikenali. 67

Hasil ini menyokong hujah paling kukuh untuk U0 sebagai alat penambahan data sintetik. Namun, ia masih merupakan keputusan yang dilaporkan oleh projek. Kedudukan WorldArena semata-mata tidak membuktikan keunggulan merentas setiap jenis robot, dasar, tugas, simulator atau penanda aras imej dan video umum. Penghasilan semula secara bebas memerlukan versi model, arahan, konfigurasi pensampelan, protokol penilaian, tetapan pemarkahan dan versi model perbandingan yang tepat. 710

Keterbukaan, status video dan perkara yang perlu disemak

Lesen Apache-2.0 untuk repositori, pemberat dan alat inferens menjadikan U0 agak mudah dicapai oleh pembangun yang mempunyai sumber pengiraan mencukupi. Namun, pelaksana masih perlu meneliti lesen serta dokumentasi bagi setiap titik semak, dan menyemak asal-usul serta penggunaan yang dibenarkan untuk data sumber dan data latihan yang dijana. 49

Penjanaan video disenaraikan sebagai sebahagian daripada set kebolehan bersatu. Akan tetapi, bahan keluaran yang disediakan tidak membuktikan bahawa titik semak video, laluan pecutan, data latihan dan prosedur penilaian adalah sama lengkap serta boleh dihasilkan semula untuk semua fungsi pada pelancaran Julai awal. Aliran kerja imej dan pemindahan ialah fokus penggunaan yang paling jelas didokumenkan; sahkan aliran kerja video tertentu sebelum menjadikannya asas projek. 46

Kesimpulan

Kepentingan Xiaomi-Robotics-U0 bukan kerana ia menggantikan kawalan robot atau model media serba guna, tetapi kerana ia membuka saluran autoregresif besar dan bersatu untuk menjana data visual sintetik yang terkawal serta relevan kepada robot. Model utama 38B, pemberat susulan yang lebih kecil, alat awam dan laluan FlashAR+/vLLM menyediakan titik permulaan yang praktikal untuk penyelidik dan pasukan robotik menjalankan penambahan data. 79

Dakwaannya yang paling penting — perbandingan inferens dalaman 82.86 kali, penerajuan WorldArena dan lonjakan kejayaan dasar OOD daripada 36.9% kepada 63.2% — kelihatan menjanjikan. Namun, semua itu wajar diuji mengikut robot sasaran, beban kerja, perkakasan dan protokol penilaian sendiri sebelum dibuat kesimpulan umum. 710