Как Far Labs и Evolving Edge превращают простаивающие ПК в инфраструктуру для ИИ

Игровой компьютер, который большую часть дня простаивает, обычно воспринимают как личное устройство. Но новая группа ИИ-стартапов предлагает смотреть на него иначе: подключать владельцев к распределенной сети, использовать свободные мощности их видеокарт и процессоров, а затем платить за подтвержденные вычисления. Far Labs и Evolving Edge развивают эту модель прежде всего для инференса — запуска уже обученной модели, которая отвечает на запросы, — а не для обучения передовых ИИ-моделей. 26

Идея привлекательна: необходимая вычислительная техника уже существует, а нагрузку можно распределить между множеством площадок. Но ключевой вопрос заключается не в том, способен ли домашний GPU запустить открытую модель. Нужно понять, смогут ли тысячи разных, периодически отключающихся компьютеров обеспечивать безопасный, быстрый и предсказуемый сервис по цене, выгодной и заказчикам, и владельцам оборудования.

Как должна работать распределенная сеть инференса

В типичной системе есть три элемента: запрос клиента, оркестратор, выбирающий место для его выполнения, и программа на компьютере владельца, которая запускает задачу. Оператору необходимо сопоставить запрос с доступным оборудованием, учитывая размер модели, объем видеопамяти и оперативной памяти, задержку, стабильность подключения и ограничения самого хоста.

Far Labs: маршрутизация и разделение моделей

FAR AI описывает себя как распределенный слой инференса, который подключает обычные пользовательские GPU и в реальном времени направляет запросы к подходящим узлам. Заявленная цель — поддерживать интерактивные сценарии, не полагаясь исключительно на централизованные дата-центры. 1112

Согласно предоставленным материалам, планировщик Far Labs может распределять части модели между несколькими компьютерами, если один узел не способен вместить ее целиком. Это потенциально расширяет список подходящего оборудования, но одновременно добавляет обмен данными и координацию между узлами. Каждый дополнительный этап передачи может ухудшать время ответа и надежность.

Far Labs также говорила о будущем показателе задержки менее 100 миллисекунд для интерактивного инференса. Однако это заявленная цель, а не доказанный результат работы всей системы. В реальной сети в задержку войдут маршрутизация запроса, ожидание в очереди, загрузка модели, обмен данными между узлами и отправка готового ответа пользователю.

Evolving Edge: среда выполнения на базе Ray

Evolving Edge, по описанию компании, использует Ray — фреймворк для распределенных вычислений, — чтобы распределять задачи обслуживания моделей между подключенными компьютерами. В Ray отдельные процессы могут работать как управляемые акторы, а планировщик размещает их на узлах кластера. 56

Ray предоставляет полезные строительные блоки для распределенного исполнения, но сам по себе не решает более сложные задачи рынка. Оператору все равно нужно обнаруживать перегруженные и отказавшие узлы, эффективно размещать модели, учитывать разные конфигурации оборудования и решать, когда задачу следует повторить или запустить параллельно на другом компьютере.

Как защитить домашний компьютер от чужих задач

Запуск стороннего кода или работа с чужими данными на пользовательском ПК создает гораздо более серьезную проблему безопасности, чем установка игры или обычного приложения. Надежная система должна ограничивать доступ выполняемых задач и не позволять им забрать все ресурсы компьютера.

Потенциальные меры защиты включают:

• изолированные или песочницы для выполнения задач;
• шифрование данных при передаче;
• ограничения на использование CPU, GPU, памяти, диска и сети;
• лимиты продолжительности задания и автоматическое завершение процесса;
• проверяемый и регулярно обновляемый клиент для хоста.

Документированная архитектура Ray Sandbox использует легковесные среды с изоляцией на уровне ядра для запуска недоверенного кода и задач ИИ-агентов. Экспериментальная реализация основана на gVisor и OCI-контейнерах, а управляемые Ray-акторы могут назначать ресурсы песочницам и контролировать их жизненный цикл. 17182021

Это показывает, что необходимые механизмы защиты уже существуют в современном программном стеке. Но из этого не следует, что Far Labs или Evolving Edge применяют именно такие меры в рабочей версии продукта, что их настройки безопасны в пользовательских операционных системах или что подключенный узел действительно запускает тот код, который проверил его владелец.

Открытый исходный код клиентского ПО мог бы повысить прозрачность: владельцы получили бы возможность изучить ограничения ресурсов и поведение системы при работе с данными. Но open source сам по себе не является полной гарантией безопасности. Нужны воспроизводимые сборки, подписанные обновления, понятная модель разрешений, процедура устранения уязвимостей и доказательства того, что опубликованный код совпадает с версией, установленной на работающих узлах.

Чем новые проекты отличаются от Salad

Ближайший пример для сравнения — Salad. Этот сервис уже работает как рынок, связывающий пользовательские GPU с организациями, которым нужны вычислительные мощности. При этом Salad не зависит от блокчейна или токенов для координации. 13

Far Labs делает акцент на маршрутизации в реальном времени и распределенном инференсе, включая возможность разделять модель между несколькими узлами. Evolving Edge подчеркивает использование распределенной среды Ray и открытого бета-тестирования. Преимущество Salad — опыт эксплуатации рынка потребительских видеокарт; новым проектам еще предстоит доказать, что их архитектуры обеспечат сопоставимые доступность, поддержку, спрос и доходность для владельцев.

Это важное различие: децентрализация — архитектурный принцип, а не доказательство высокой производительности. Сеть может состоять из множества компьютеров, но при этом оставаться централизованно управляемой, нестабильной или экономически невыгодной.

Главная интрига — заработок владельцев GPU

Валовая выплата за вычисления — лишь отправная точка. Владелец компьютера также несет расходы на электричество, отвод тепла и охлаждение, интернет, обслуживание, обесценивание оборудования и снижение доступности ПК для личных задач.

Сам факт подключения к сети не означает высокой загрузки. Видеокарта может быть онлайн, но получать мало оплачиваемых заданий. В таком случае доход окажется небольшим, тогда как потребление энергии, административные затраты и износ никуда не исчезнут. Без прозрачных тарифов, данных об использовании, средней продолжительности задач и оценок энергопотребления потенциальный хост не сможет реалистично посчитать окупаемость.

Постоянный инференс означает больше тепла, работы вентиляторов и активности видеопамяти. Насколько это оправданно экономически, зависит от конкретной модели GPU, местных тарифов на электричество, времени работы, интенсивности задач и будущей цены перепродажи. Доступные материалы не подтверждают, что участие станет пассивным доходом или будет выгодно типичному владельцу игрового ПК.

Почему заявления о задержке и низкой цене требуют данных из продакшена

У распределенного потребительского оборудования действительно может быть преимущество по стоимости: компьютеры уже куплены, а некоторые владельцы готовы монетизировать простаивающие мощности. Но самой сети все равно придется оплачивать оркестрацию, пропускную способность, мониторинг, повторный запуск неудачных задач, резервирование, поддержку, безопасность и вознаграждение хостов.

То же относится к задержке. Быстрый запуск песочницы в конкретной конфигурации Kubernetes не равен сквозному инференсу быстрее 100 миллисекунд через домашние интернет-соединения. Указанное в документации Ray значение менее 100 миллисекунд относится к запуску песочницы в определенной среде, а не гарантирует такую задержку для сети пользовательских узлов в интернете. 17

Распределенные ИИ-системы также обычно используют вычисления вне блокчейна. Универсальные блокчейны плохо подходят для объемов данных и вычислительной нагрузки машинного обучения, поэтому чаще выполняют роль слоя координации и платежей, а не непосредственно запускают модели. 1

Переживет ли сеть массовый отказ узлов

Распределенная система может оказаться устойчивее одного сервера, если у нее достаточно резервных мощностей и она умеет быстро переносить задачи при исчезновении узлов. Исследования, связанные с Ray, описывают восстановление потерянных зависимостей задач после удаления узлов и возврат к прежней пропускной способности после их возвращения. 30

Но эта устойчивость не возникает автоматически. Рабочей сети инференса понадобятся резервирование, репликация моделей, грамотное размещение задач и быстрое обнаружение отказов. Кроме того, возможны связанные сбои: отключение интернет-провайдера, региональные перебои с электричеством, неудачное обновление ПО или падение финансовой мотивации хостов могут вывести из строя сразу большое количество компьютеров.

Разделение модели между несколькими машинами создает дополнительный компромисс. Такой подход позволяет задействовать оборудование, которое не способно вместить модель целиком, но увеличивает сетевой трафик и количество потенциальных точек отказа. Оптимальный баланс будет зависеть от конкретной задачи и стратегии планировщика.

Что владельцам GPU проверить перед подключением

Пока проекты не опубликовали более убедительные доказательства, участие разумно рассматривать как экспериментальный сервис с переменным доходом. Перед установкой клиентского ПО стоит проверить:

1. понятную формулу выплат и историю платежей;
2. фактическую загрузку, а не только число зарегистрированных компьютеров;
3. реалистичные оценки расходов на электричество и охлаждение;
4. документированные разрешения и лимиты ресурсов;
5. результаты независимого аудита или тестирования безопасности;
6. измеренные задержку, доступность и долю неудачных задач;
7. простой способ поставить узел на паузу или полностью удалить его.

Far Labs и Evolving Edge проверяют жизнеспособную идею: использовать разрозненное пользовательское оборудование как дополнение к централизованным ИИ-мощностям. Такой подход может подойти для отдельных небольших моделей и сценариев. Но более широкий технологический и бизнес-кейс остается открытым до тех пор, пока компании не покажут, что сеть одновременно безопасна, достаточно быстра, устойчива к сбоям и загружена настолько, чтобы компенсировать владельцам реальные расходы.