Чи здатні бездіяльні ігрові ПК живити децентралізований ШІ

Бездіяльний ігровий комп’ютер зазвичай просто чекає наступного запуску гри. Far Labs та Evolving Edge хочуть перетворити цей резерв потужності на елемент розподіленої інфраструктури для штучного інтелекту: залучати власників ПК, використовувати їхні вільні GPU або CPU й платити за виконані завдання. Йдеться переважно про інференс — запуск уже навченої моделі для формування відповідей, а не про тренування найскладніших моделей. 26

Ідея приваблива: замість будувати лише великі дата-центри можна задіяти обладнання, яке вже є у користувачів. Проте ключове питання полягає не в тому, чи здатна домашня відеокарта запустити відкриту модель. Питання в іншому: чи зможуть тисячі різнорідних комп’ютерів, які час від часу зникають із мережі, забезпечити захищений, швидкий і передбачуваний сервіс за ціною, вигідною і клієнтам, і власникам техніки.

Як працює модель розподіленого інференсу

Типова система складається з трьох частин:

1. запит клієнта;
2. шар оркестрації, який визначає, де його виконати;
3. програма на комп’ютері учасника, що запускає завдання.

Оператору потрібно враховувати розмір моделі, доступну пам’ять, затримку, час роботи вузла та обмеження, які власник встановив для свого ПК.

Far Labs: маршрутизація та розподіл моделей

FAR AI описує себе як розподілений шар інференсу, що підключає повсякденні GPU та в реальному часі спрямовує запити до відповідних вузлів. Компанія позиціонує систему як спосіб підтримати інтерактивні сценарії без повної залежності від централізованих кластерів. 1112

За наданими матеріалами, планувальник Far Labs може розподіляти частини моделі між кількома комп’ютерами, якщо на одному вузлі не вистачає пам’яті для всієї моделі. Це потенційно розширює перелік придатного обладнання. Водночас кожен додатковий обмін даними між вузлами створює новий фактор ризику для швидкодії та стабільності.

Far Labs також говорила про майбутню ціль — затримку менш як 100 мілісекунд для інтерактивного інференсу. Це саме ціль, а не підтверджений результат роботи всієї системи. У реальному сценарії до часу відповіді додаються маршрутизація запиту, черга, завантаження моделі, передавання даних між вузлами та повернення результату користувачу.

Evolving Edge: середовище на базі Ray

Evolving Edge, за описом проєкту, використовує Ray — фреймворк для розподілених обчислень — щоб розподіляти завдання з обслуговування моделей між комп’ютерами учасників. У Ray такі завдання можуть представлятися керованими акторами, яких планувальник розміщує в кластері. 56

Ray дає корисні інструменти для розподіленого виконання, але сам по собі не вирішує складніші проблеми маркетплейсу. Оператору все одно потрібно виявляти несправні або перевантажені вузли, ефективно розміщувати моделі, працювати з різними конфігураціями обладнання та вирішувати, коли завдання повторювати або дублювати.

Чи безпечно запускати такі завдання на домашньому ПК

Допуск стороннього коду або даних до комп’ютера користувача створює значно серйозніший ризик, ніж встановлення звичайної гри чи десктопної програми. Надійна система має обмежувати не лише доступ завдання до файлів, а й обсяг ресурсів, які воно може використати.

Потенційні засоби захисту включають:

• ізольоване або sandbox-середовище для виконання;
• шифрування даних під час передавання;
• ліміти на використання CPU, GPU, оперативної пам’яті, сховища та мережі;
• обмеження тривалості завдання й автоматичне завершення процесу;
• клієнтське програмне забезпечення, код якого можна перевірити та оновлювати.

Документована архітектура Ray Sandboxes використовує легкі середовища з ізоляцією на рівні ядра для запуску ненадійного коду та агентних завдань. Експериментальна реалізація спирається на gVisor і OCI-контейнери, а керовані Ray-актори можуть розподіляти ресурси sandbox-середовищ. 17182021

Однак наявність таких механізмів у ширшій екосистемі не доводить, що Far Labs або Evolving Edge використовують саме їх у робочому середовищі. Так само це не підтверджує безпеку конфігурації на споживчих операційних системах і не гарантує, що активний вузол запускає код, який власник перевірив.

Відкритий код клієнта вузла міг би підвищити прозорість: власники отримали б можливість перевірити обмеження ресурсів і поведінку щодо доступу до даних. Але open source сам по собі не є повною гарантією. Потрібні також відтворювані збірки, підписані оновлення, зрозуміла модель дозволів, швидке реагування на вразливості та докази відповідності встановленої версії опублікованому коду.

Порівняння із Salad

Salad — найближчий очевидний аналог, адже сервіс уже працює як маркетплейс, що з’єднує споживчі GPU з організаціями, яким потрібні обчислювальні потужності. На відміну від частини криптопроєктів, його модель не залежить від блокчейну чи токенів. 13

Far Labs робить акцент на маршрутизації в реальному часі та розподіленому інференсі, включно з можливістю розділяти модель між вузлами. Evolving Edge позиціонує Ray-базоване середовище й відкриту бета-версію. Перевага Salad — операційний досвід роботи з ринком споживчих GPU. Новим учасникам доведеться показати, що їхні архітектури здатні забезпечити порівнянну доступність, попит, підтримку та економіку для власників.

Важливо не плутати поняття: децентралізація — це архітектурний підхід, а не доказ продуктивності. Мережа може складатися з великої кількості комп’ютерів і водночас залишатися централізовано керованою, нестабільною або збитковою.

Головна невизначеність — прибутковість для власників

Розмір виплати від оператора — лише перший рядок у розрахунку доходу. Власник також оплачує або частково бере на себе витрати на електроенергію, тепло, охолодження, інтернет, обслуговування, амортизацію обладнання та втрату доступності ПК для власних потреб.

Реєстрація вузла не означає його завантаження. Відеокарта може бути підключена до мережі, але отримувати мало оплачуваних завдань. При цьому вона споживатиме електроенергію, а комп’ютер — потребуватиме обслуговування та зношуватиметься. Без прозорих тарифів, даних про фактичне завантаження, тривалість завдань і споживання електроенергії потенційний учасник не може достовірно порахувати окупність.

Тривалий інференс означає більше тепла, роботи вентиляторів і навантаження на пам’ять GPU. Чи виправданий такий знос економічно, залежить від конкретної відеокарти, місцевих тарифів, часу доступності вузла, інтенсивності завдань і майбутньої ціни перепродажу. Наявні матеріали не доводять, що участь у таких мережах є пасивним доходом або буде прибутковою для типового власника ПК.

Чому заяви про швидкість і низьку ціну потребують даних із продакшену

Перевага споживчого обладнання може полягати в тому, що воно вже існує, а власники готові монетизувати невикористану потужність. Але мережа все одно має оплачувати оркестрацію, пропускну здатність, моніторинг, невдалі завдання, дублювання, підтримку, безпеку та винагороди операторам.

Те саме стосується затримки. Швидкий запуск sandbox у конкретному розгортанні Kubernetes — не те саме, що наскрізна затримка менш як 100 мс під час інференсу через домашні мережі. Наведений у документації Ray показник стосується запуску sandbox у певній конфігурації, а не гарантує такої швидкості для мережі споживчих вузлів у масштабі інтернету. 17

Децентралізовані системи ШІ також зазвичай залежать від обчислень поза блокчейном. Загальнопридатні блокчейни погано пристосовані до обсягів даних і обчислювального навантаження машинного навчання, тому найчастіше виконують роль координаційного або платіжного шару, а не безпосередньо запускають моделі. 1

Чи переживе мережа масовий вихід вузлів із ладу

Розподілена мережа може бути стійкішою за один сервер, якщо має достатній резерв потужності та здатна швидко перенаправляти завдання після зникнення вузлів. Дослідження, пов’язані з Ray, описують відновлення втрачених залежностей завдань після видалення вузлів і повернення пропускної здатності після їхнього повторного підключення. 30

Але така стійкість не виникає автоматично. Для робочої мережі інференсу потрібні резервування, реплікація моделей, продумане розміщення та швидке виявлення відмов. Крім того, можливі корельовані збої: аварія інтернет-провайдера, регіональне відключення електроенергії, невдале оновлення програмного забезпечення або падіння винагород можуть одночасно вивести з мережі багато комп’ютерів.

Розподіл однієї моделі між кількома ПК створює окремий компроміс. Такий підхід може зробити придатним обладнання, якому не вистачає пам’яті для всієї моделі, але водночас збільшує мережевий трафік і кількість потенційних точок відмови.

Що перевірити перед підключенням GPU

Поки платформи не оприлюднили більше перевірених даних, потенційним операторам варто розглядати участь як експериментальний сервіс зі змінною винагородою. Перед встановленням клієнта слід перевірити:

1. зрозумілу формулу виплат і історію платежів;
2. фактичне завантаження, а не лише кількість зареєстрованих машин;
3. реалістичні оцінки витрат на електроенергію та охолодження;
4. задокументовані дозволи й обмеження ресурсів;
5. результати незалежного аудиту або тестування безпеки;
6. виміряні показники затримки, доступності та кількості невдалих завдань;
7. просту можливість призупинити роботу або повністю видалити вузол.

Far Labs та Evolving Edge перевіряють ідею, яка має технічний сенс: використати розпорошене споживче обладнання як доповнення до централізованих потужностей ШІ. Для окремих невеликих моделей і сценаріїв це може спрацювати. Але ширша бізнес-модель залишатиметься непідтвердженою, доки компанії не продемонструють, що мережа достатньо безпечна, швидка, стійка та завантажена, аби після всіх реальних витрат винагороджувати власників GPU.