Far Labs dan Evolving Edge Ingin Menyewakan PC Menganggur untuk Inferensi AI

PC gaming yang lebih sering menganggur biasanya hanya dipandang sebagai perangkat pribadi. Namun, sejumlah startup AI ingin menjadikannya bagian dari infrastruktur komputasi terdistribusi: pemilik menyediakan kapasitas GPU atau CPU yang sedang tidak dipakai, startup mengatur pekerjaannya, lalu host dibayar berdasarkan komputasi yang terverifikasi.

Far Labs dan Evolving Edge mengembangkan gagasan yang kerap digambarkan sebagai “Airbnb untuk inferensi AI”. Inferensi adalah proses ketika model yang sudah dilatih digunakan untuk menjawab permintaan pengguna. Fokus model ini bukan melatih model AI terbesar di dunia, melainkan menjalankan model open source yang lebih kecil pada banyak komputer di berbagai lokasi. 26

Daya tariknya cukup jelas. Kapasitas hardware yang sudah tersedia dapat dimanfaatkan tanpa harus selalu membangun pusat data baru. Akan tetapi, pertanyaan utamanya bukan sekadar apakah satu GPU rumahan mampu menjalankan model AI. Tantangan sebenarnya adalah apakah ribuan mesin dengan spesifikasi berbeda, koneksi internet yang tidak seragam, dan ketersediaan yang berubah-ubah dapat memberikan layanan yang aman, cepat, dan konsisten—dengan biaya yang tetap masuk akal bagi pelanggan maupun pemilik perangkat.

Cara kerja jaringan inferensi terdistribusi

Secara umum, sistem semacam ini memiliki tiga komponen: permintaan dari pelanggan, lapisan orkestrasi yang menentukan tempat eksekusi, dan perangkat lunak node pada komputer host yang menjalankan pekerjaan.

Operator harus mencocokkan tugas dengan hardware yang tersedia sambil mempertimbangkan ukuran model, kapasitas memori, latensi, waktu aktif, serta batas sumber daya yang ditetapkan pemilik komputer. Jika sebuah node tiba-tiba offline atau terlalu sibuk, sistem juga harus memindahkan, mengulang, atau menggandakan tugas tersebut.

Far Labs: routing dan pembagian model

FAR AI milik Far Labs mendeskripsikan dirinya sebagai lapisan inferensi terdistribusi yang menghubungkan GPU sehari-hari dan mengarahkan permintaan secara real time ke node yang dianggap sesuai. Tujuannya adalah mendukung beban kerja interaktif tanpa sepenuhnya bergantung pada klaster terpusat. 1112

Materi yang tersedia juga menggambarkan scheduler Far Labs sebagai sistem yang dapat membagi pekerjaan model ke beberapa mesin ketika satu host tidak mampu menampung keseluruhan model. Pendekatan ini berpotensi memperluas jenis hardware yang bisa digunakan.

Namun, pembagian model menambah koordinasi dan komunikasi antarnode. Setiap perpindahan data atau “serah terima” dapat memperpanjang waktu respons dan menambah titik kegagalan. Far Labs pernah membahas target latensi di bawah 100 milidetik untuk inferensi interaktif. Itu merupakan target, bukan bukti bahwa kinerja end-to-end tersebut sudah tercapai. Latensi nyata juga mencakup routing permintaan, antrean, pemuatan model, komunikasi antarmesin, pemrosesan, dan pengiriman hasil kembali ke pengguna.

Evolving Edge: runtime berbasis Ray

Evolving Edge disebut menggunakan Ray, framework komputasi terdistribusi, untuk membagi tugas penyajian model di antara komputer yang berpartisipasi. Dalam Ray, beban kerja dapat direpresentasikan sebagai actor yang dikelola sistem, kemudian dijadwalkan pada berbagai node dalam sebuah klaster. 56

Ray menyediakan fondasi penting untuk eksekusi terdistribusi, tetapi penggunaan Ray tidak otomatis menyelesaikan persoalan marketplace. Operator tetap harus menemukan node yang gagal atau kelebihan beban, menempatkan model secara efisien, menangani perbedaan konfigurasi hardware, serta menentukan kapan tugas perlu diulang atau direplikasi.

Evolving Edge disebut masih mengembangkan sistemnya melalui tahap beta terbuka. Artinya, kemampuan produksi, pola permintaan, dan hasil ekonomi bagi host masih perlu diuji dalam penggunaan nyata.

Seberapa aman menjalankan workload pihak ketiga di PC rumah?

Mengizinkan kode atau data milik pihak lain berjalan di komputer konsumen menimbulkan persoalan keamanan yang jauh lebih besar daripada sekadar memasang gim atau aplikasi desktop. Sistem host yang kredibel harus membatasi akses workload sekaligus mengendalikan sumber daya yang boleh digunakannya.

Perlindungan yang dibutuhkan antara lain:

• lingkungan eksekusi yang terisolasi atau menggunakan sandbox;
• enkripsi selama data dikirim;
• batas penggunaan CPU, GPU, memori, penyimpanan, dan jaringan;
• pembatasan durasi pekerjaan serta penghentian otomatis; dan
• aplikasi node yang dapat diperiksa, diperbarui, serta dicabut dengan mudah.

Arsitektur sandbox Ray menggunakan lingkungan ringan yang diisolasi pada level kernel untuk menjalankan kode tidak tepercaya dan workload agen. Implementasi eksperimentalnya menggunakan gVisor serta lingkungan berbasis kontainer OCI. Actor yang dikelola Ray juga dapat menjadwalkan dan mengendalikan sumber daya sandbox. 17182021

Namun, keberadaan mekanisme tersebut di dalam ekosistem software yang lebih luas tidak membuktikan bahwa Far Labs atau Evolving Edge telah menerapkan perlindungan yang sama dalam produksi. Hal itu juga tidak otomatis membuktikan bahwa konfigurasinya aman pada sistem operasi konsumen, atau bahwa node yang aktif benar-benar menjalankan kode yang telah diperiksa pemiliknya.

Perangkat lunak node open source dapat meningkatkan transparansi. Pemilik komputer bisa memeriksa kontrol sumber daya dan perilaku akses data. Meski begitu, open source bukan jaminan keamanan menyeluruh. Operator masih memerlukan build yang dapat direproduksi, pembaruan bertanda tangan, izin yang jelas, respons terhadap kerentanan, dan bukti bahwa versi yang berjalan sama dengan kode yang dipublikasikan.

Dibandingkan dengan Salad, siapa yang lebih siap?

Salad adalah pembanding paling jelas karena telah mengoperasikan marketplace yang menghubungkan GPU konsumen dengan organisasi yang membutuhkan kapasitas komputasi. Model Salad tidak bergantung pada blockchain atau mekanisme koordinasi berbasis token. 13

Far Labs menonjolkan routing real time dan inferensi terdistribusi, termasuk kemungkinan membagi pekerjaan model ke beberapa node. Evolving Edge lebih menekankan runtime terdistribusi berbasis Ray dan pengembangan beta terbuka. Sementara itu, keunggulan Salad terletak pada pengalaman operasionalnya dalam menjalankan marketplace GPU konsumen.

Pendatang baru masih harus menunjukkan bahwa arsitektur mereka mampu menyediakan tingkat ketersediaan, dukungan, permintaan, dan imbal hasil host yang sebanding. Perlu diingat, desentralisasi adalah pilihan arsitektur, bukan hasil kinerja. Jaringan dengan banyak komputer tetap bisa dikelola secara terpusat, tidak andal, atau tidak menguntungkan.

Masalah terbesar: apakah pemilik GPU benar-benar untung?

Pembayaran kotor dari operator hanyalah titik awal perhitungan. Pemilik perangkat juga menanggung biaya listrik, panas, pendinginan, koneksi internet, pemeliharaan, penyusutan hardware, serta berkurangnya kesempatan menggunakan komputer untuk kebutuhan pribadi.

Jumlah komputer yang terdaftar juga tidak sama dengan tingkat pemakaian. GPU yang terhubung ke jaringan tetapi jarang menerima pekerjaan berbayar mungkin hanya menghasilkan sedikit uang, sementara tetap mengonsumsi listrik dan menambah biaya administrasi maupun keausan.

Tanpa informasi terbuka mengenai tarif pembayaran, tingkat utilisasi, durasi workload, serta konsumsi daya, calon host tidak dapat menghitung pengembalian investasi secara realistis. Inferensi yang berjalan terus-menerus juga dapat meningkatkan panas, aktivitas kipas, dan penggunaan memori. Apakah imbalannya sepadan bergantung pada jenis GPU, harga listrik setempat, intensitas workload, waktu aktif, efisiensi kartu, dan nilai jual kembalinya.

Materi yang tersedia belum membuktikan bahwa berpartisipasi dalam jaringan semacam ini merupakan pendapatan pasif atau akan menguntungkan bagi pemilik PC pada umumnya.

Mengapa klaim biaya dan latensi harus diuji dalam produksi?

Hardware konsumen memiliki potensi keunggulan biaya karena perangkatnya sudah ada dan sebagian pemilik mungkin bersedia memonetisasi kapasitas yang menganggur. Namun, jaringan tetap harus membayar orkestrasi, bandwidth, pemantauan, pekerjaan yang gagal, replikasi, dukungan, keamanan, dan kompensasi host.

Hal yang sama berlaku untuk latensi. Startup sandbox di lingkungan Kubernetes tertentu yang berada di bawah 100 milidetik tidak sama dengan inferensi end-to-end di bawah 100 milidetik melalui jaringan internet rumahan. Angka sub-100 milidetik dalam dokumentasi Ray merujuk pada waktu startup sandbox pada konfigurasi tertentu, bukan jaminan latensi jaringan node konsumen berskala internet. 17

Sistem AI terdesentralisasi juga umumnya tetap mengandalkan komputasi off-chain. Blockchain serbaguna kurang cocok untuk menjalankan workload machine learning yang membutuhkan komputasi dan volume data besar. Karena itu, blockchain biasanya berperan sebagai lapisan koordinasi atau pembayaran, bukan tempat model AI dieksekusi langsung. 1

Bisakah jaringan besar bertahan saat banyak node tumbang?

Jaringan terdistribusi dapat lebih tangguh daripada satu mesin jika memiliki kapasitas cadangan yang cukup dan mampu memindahkan pekerjaan dengan cepat ketika node menghilang. Penelitian terkait Ray menggambarkan bagaimana sistem dapat merekonstruksi dependensi tugas yang hilang saat node dikeluarkan dan memulihkan throughput ketika node kembali tersedia. 30

Namun, manfaat tersebut tidak muncul secara otomatis. Jaringan inferensi produksi membutuhkan redundansi yang memadai, replikasi model, penempatan workload yang cerdas, serta deteksi kegagalan yang cepat.

Kegagalan yang saling berkaitan juga dapat menjatuhkan banyak node sekaligus. Contohnya adalah gangguan penyedia internet, pemadaman listrik regional, pembaruan software yang bermasalah, atau menurunnya insentif ekonomi bagi host. Pembagian model ke beberapa komputer menambah pertukaran data dan titik kegagalan, meski di sisi lain dapat membuat hardware yang sebelumnya terlalu lemah menjadi berguna.

Yang perlu diperiksa pemilik GPU sebelum ikut

Sebelum memasang software node, calon host sebaiknya mencari informasi berikut:

1. formula pembayaran dan riwayat pembayaran yang jelas;
2. data utilisasi aktual, bukan hanya jumlah mesin terdaftar;
3. perkiraan biaya listrik dan pendinginan yang realistis;
4. dokumentasi izin akses serta batas penggunaan sumber daya;
5. hasil audit atau pengujian keamanan independen;
6. pengukuran latensi, ketersediaan, dan tingkat kegagalan pekerjaan; serta
7. cara sederhana untuk menjeda atau menghapus node.

Far Labs dan Evolving Edge sedang menguji gagasan yang masuk akal: memanfaatkan hardware konsumen yang tersebar untuk melengkapi kapasitas AI terpusat. Teknologi ini mungkin cocok untuk model dan workload tertentu, terutama yang berukuran lebih kecil.

Tetapi, kelayakan bisnisnya masih terbuka. Sebelum pemilik GPU menganggapnya sebagai sumber pendapatan pasif, kedua perusahaan perlu menunjukkan bahwa jaringan mereka aman, responsif, tahan terhadap kegagalan, dan cukup sering digunakan untuk membayar host setelah seluruh biaya nyata diperhitungkan.