Bolehkah PC Gaming Terbiar Menjadi Rangkaian AI yang Boleh Dipercayai?

PC gaming yang tidak digunakan biasanya hanya dianggap sebagai perkakasan peribadi. Namun, sekumpulan syarikat pemula AI mahu menjadikannya sebahagian daripada infrastruktur teragih: pemilik mendaftarkan komputer mereka, membenarkan kapasiti GPU atau CPU yang tidak digunakan menjalankan tugasan, kemudian menerima bayaran bagi kuasa pengkomputeran yang disahkan.

Far Labs dan Evolving Edge sedang meneroka model ini untuk inferens AI — iaitu proses menggunakan model yang telah dilatih bagi menjawab permintaan — bukannya latihan model AI berskala besar. 26

Idea ini menarik kerana ia menggunakan kapasiti yang sudah tersedia di rumah pengguna dan boleh menyebarkan tugas AI ke banyak lokasi. Tetapi persoalan utamanya bukan sekadar sama ada sebuah GPU rumah boleh menjalankan model sumber terbuka. Cabaran sebenar ialah sama ada ribuan komputer dengan spesifikasi berbeza, sambungan internet yang tidak seragam dan waktu operasi yang tidak menentu boleh menyediakan perkhidmatan yang pantas, selamat dan konsisten pada harga yang berbaloi.

Bagaimana model inferens teragih ini berfungsi

Secara asasnya, sistem seperti ini mempunyai tiga komponen:

1. permintaan daripada pelanggan;
2. lapisan penyelarasan yang memilih komputer untuk menjalankan tugas; dan
3. perisian nod pada komputer pemilik yang melaksanakan tugasan tersebut.

Pengendali perlu memadankan setiap tugasan dengan perkakasan yang tersedia sambil mengambil kira saiz model, kapasiti memori, kependaman, masa aktif dan had sumber komputer berkenaan.

Far Labs: menghala permintaan dan mengagihkan model

FAR AI, produk Far Labs, menggambarkan dirinya sebagai lapisan inferens teragih yang menghubungkan GPU harian dan menghala permintaan kepada nod yang sesuai dalam masa nyata. Matlamatnya adalah menyokong tugasan interaktif tanpa bergantung sepenuhnya kepada kelompok pengkomputeran berpusat. 1112

Menurut bahan pelaporan yang dibekalkan, penjadual Far Labs boleh membahagikan kerja model merentasi beberapa komputer apabila satu hos tidak mampu memuatkan keseluruhan model. Jika benar-benar berkesan, pendekatan ini boleh meluaskan jenis perkakasan yang boleh digunakan.

Namun, pembahagian model turut menambah keperluan penyelarasan dan komunikasi antara nod. Setiap pemindahan tambahan boleh menjejaskan masa tindak balas serta meningkatkan jumlah titik kegagalan.

Far Labs juga pernah membincangkan sasaran kependaman di bawah 100 milisaat untuk inferens interaktif. Itu ialah sasaran, bukannya bukti bahawa prestasi hujung ke hujung tersebut telah dicapai. Dalam penggunaan sebenar, masa yang diambil turut merangkumi penghalaan permintaan, giliran tugasan, pemuatan model, komunikasi antara nod dan penghantaran jawapan kembali kepada pengguna.

Evolving Edge: sistem berasaskan Ray

Evolving Edge pula dilaporkan menggunakan Ray, iaitu rangka kerja pengkomputeran teragih, untuk mengagihkan tugasan penyajian model kepada komputer yang mengambil bahagian. Dalam Ray, beban kerja boleh diwakili sebagai aktor yang diuruskan sistem dan dijadualkan merentasi kelompok komputer. 56

Ray menyediakan asas teknikal yang berguna, tetapi penggunaan Ray sahaja tidak menyelesaikan masalah pasaran yang lebih sukar. Pengendali masih perlu mengesan nod yang gagal atau terlebih beban, meletakkan model secara cekap, mengurus konfigurasi perkakasan yang berbeza dan menentukan bila sesuatu tugasan perlu dicuba semula atau disalin ke nod lain.

Bagaimana tugasan boleh dilindungi pada komputer rumah?

Membenarkan kod atau data pihak ketiga masuk ke komputer milik pengguna membawa risiko keselamatan yang jauh lebih besar berbanding memasang permainan atau aplikasi biasa. Sistem hos yang boleh dipercayai perlu mengehadkan perkara yang boleh diakses oleh sesuatu tugasan dan jumlah sumber komputer yang boleh digunakan.

Antara kawalan yang diperlukan ialah:

• persekitaran pelaksanaan yang diasingkan atau dikotak pasirkan;
• penyulitan data semasa penghantaran;
• had penggunaan CPU, GPU, memori, storan dan rangkaian;
• had tempoh tugasan serta penamatan automatik; dan
• klien hos yang boleh diperiksa dan dikemas kini dengan selamat.

Reka bentuk sandbox Ray yang didokumentasikan menggunakan persekitaran ringan yang diasingkan pada peringkat kernel untuk menjalankan kod tidak dipercayai dan tugasan ejen. Pelaksanaan eksperimentalnya menggunakan gVisor serta persekitaran berasaskan kontena OCI, manakala aktor yang diuruskan Ray boleh menjadual dan mengawal sumber sandbox. 17182021

Keupayaan ini menunjukkan bahawa mekanisme keselamatan yang berkaitan memang wujud dalam himpunan perisian yang lebih luas. Namun, ia tidak membuktikan bahawa Far Labs atau Evolving Edge menggunakan perlindungan yang sama dalam operasi produksi, bahawa konfigurasinya selamat pada sistem operasi pengguna, atau bahawa nod langsung menjalankan kod yang telah diperiksa oleh pemilik.

Perisian nod sumber terbuka boleh meningkatkan ketelusan kerana pemilik berpeluang meneliti kawalan sumber dan tingkah laku akses data. Tetapi sumber terbuka bukan jaminan keselamatan yang lengkap. Pengendali masih memerlukan binaan yang boleh dihasilkan semula, kemas kini bertandatangan, kebenaran yang jelas, tindak balas terhadap kerentanan dan bukti bahawa versi yang digunakan sepadan dengan kod yang diterbitkan.

Perbandingan dengan Salad

Salad ialah perbandingan paling jelas kerana ia sudah mengendalikan pasaran yang menghubungkan GPU pengguna dengan organisasi yang memerlukan kapasiti pengkomputeran. Model Salad tidak bergantung pada blockchain atau lapisan penyelarasan berasaskan token. 13

Far Labs menekankan penghalaan masa nyata dan inferens teragih, termasuk kemungkinan membahagikan kerja model antara beberapa nod. Evolving Edge pula digambarkan memberi tumpuan kepada masa jalan teragih berasaskan Ray serta program beta terbuka.

Kelebihan Salad ialah pengalaman operasi dalam mengurus pasaran GPU pengguna. Peserta baharu perlu menunjukkan bahawa seni bina mereka mampu menyediakan tahap masa aktif, sokongan pelanggan, permintaan kerja dan pulangan kepada hos yang setanding.

Perbezaan ini penting: desentralisasi ialah reka bentuk seni bina, bukan keputusan prestasi. Sesebuah rangkaian boleh mempunyai ribuan komputer yang menyertainya, tetapi masih dikendalikan secara berpusat, tidak stabil atau tidak menguntungkan.

Persoalan terbesar: adakah pemilik GPU benar-benar untung?

Bayaran kasar yang diterima hos hanyalah titik permulaan. Pemilik juga perlu menanggung — atau berkongsi — kos elektrik, haba, penyejukan, internet, penyelenggaraan, susut nilai perkakasan serta kehilangan peluang untuk menggunakan komputer bagi keperluan sendiri.

Pendaftaran juga tidak sama dengan penggunaan berbayar. GPU yang tersambung kepada rangkaian tetapi jarang menerima tugasan mungkin memperoleh sedikit pendapatan, sedangkan ia masih menggunakan elektrik dan menambah keperluan penyelenggaraan serta kehausan perkakasan.

Tanpa kadar bayaran yang telus, anggaran kadar penggunaan, tempoh tugasan dan pengiraan penggunaan tenaga, bakal hos tidak dapat mengira pulangan pelaburan dengan munasabah.

Inferens yang dijalankan secara berterusan juga boleh menghasilkan lebih banyak haba, meningkatkan aktiviti kipas dan menggunakan memori dengan lebih kerap. Sama ada pendapatan itu berbaloi bergantung pada jenis GPU, harga elektrik setempat, masa aktif, intensiti beban kerja dan nilai jualan semula. Bahan yang tersedia tidak membuktikan bahawa penyertaan ini merupakan pendapatan pasif atau pasti menguntungkan pemilik biasa.

Mengapa dakwaan kependaman dan kos memerlukan data produksi

Perkakasan pengguna yang teragih mungkin menawarkan kelebihan kos kerana komputer tersebut sudah pun dimiliki dan sebahagian pemilik sanggup mengewangkan kapasiti yang tidak digunakan. Namun, rangkaian itu masih perlu membayar kos penyelarasan, lebar jalur, pemantauan, tugasan gagal, penduaan kerja, sokongan, keselamatan dan pampasan kepada hos.

Begitu juga dengan kependaman. Permulaan sandbox yang pantas dalam konfigurasi Kubernetes tertentu tidak sama dengan inferens hujung ke hujung di bawah 100 milisaat melalui rangkaian kediaman. Angka di bawah 100 milisaat dalam dokumentasi Ray merujuk kepada masa permulaan sandbox dalam persediaan khusus, bukannya jaminan untuk rangkaian nod pengguna di internet. 17

Sistem AI teragih juga lazimnya bergantung pada pengkomputeran luar rantaian. Blockchain serba guna tidak sesuai untuk mengendalikan jumlah pengiraan dan data yang besar dalam beban kerja pembelajaran mesin. Oleh itu, blockchain biasanya berfungsi sebagai lapisan penyelarasan atau pembayaran, bukannya tempat model AI dijalankan secara langsung. 1

Bolehkah rangkaian besar bertahan apabila banyak nod gagal?

Rangkaian teragih boleh menjadi lebih tahan berbanding satu mesin tunggal jika ia mempunyai kapasiti lebihan yang mencukupi dan mampu memindahkan tugasan dengan pantas apabila nod terputus. Penyelidikan berkaitan Ray menerangkan cara sistem membina semula kebergantungan tugasan yang hilang apabila nod dikeluarkan, lalu memulihkan daya pemprosesan apabila nod kembali. 30

Namun, manfaat ini tidak berlaku secara automatik. Rangkaian inferens produksi memerlukan lebihan kapasiti, replikasi model, penempatan tugasan yang bijak dan pengesanan kegagalan yang pantas.

Kegagalan yang berlaku serentak juga boleh menjejaskan banyak nod pada satu masa — contohnya gangguan penyedia internet, bekalan elektrik di sesuatu wilayah, kemas kini perisian yang bermasalah atau kejatuhan insentif kepada hos.

Pembahagian model pula menghasilkan pertukaran. Mengagihkan model kepada beberapa komputer boleh membolehkan perkakasan yang sebelum ini tidak mencukupi digunakan. Tetapi cara itu juga meningkatkan trafik rangkaian dan bilangan titik kegagalan. Keseimbangan praktikalnya bergantung pada jenis beban kerja dan strategi penjadualan pengendali.

Perkara yang perlu disemak pemilik GPU sebelum menyertai

Selagi syarikat berkenaan belum menerbitkan bukti yang lebih kukuh, bakal hos wajar menganggap penyertaan ini sebagai perkhidmatan eksperimen dengan pulangan yang berubah-ubah — bukan pendapatan pasif yang terjamin.

Sebelum memasang perisian nod, semak perkara berikut:

1. formula bayaran dan rekod pembayaran yang jelas;
2. kadar penggunaan sebenar, bukan sekadar jumlah mesin yang didaftarkan;
3. anggaran realistik kos elektrik dan penyejukan;
4. kebenaran perisian serta had penggunaan sumber yang didokumentasikan;
5. keputusan ujian keselamatan atau audit bebas;
6. ukuran kependaman, masa aktif dan kadar tugasan gagal; dan
7. proses mudah untuk menjeda atau membuang nod.

Far Labs dan Evolving Edge sedang menguji idea yang munasabah: menggunakan perkakasan pengguna yang berselerak untuk melengkapkan kapasiti AI berpusat. Teknologi ini mungkin sesuai untuk model dan tugasan tertentu yang lebih kecil.

Namun, kes perniagaannya masih terbuka. Mereka perlu menunjukkan bahawa rangkaian itu selamat, pantas, tahan gangguan dan cukup banyak digunakan untuk membayar hos selepas semua kos sebenar diambil kira.