Far Labs e Evolving Edge querem transformar PCs ociosos em infraestrutura de IA

Um PC gamer parado costuma ser visto apenas como um equipamento pessoal. Far Labs e Evolving Edge querem tratá-lo como parte de uma infraestrutura distribuída: a empresa recruta proprietários, usa a GPU ou a CPU disponível e paga pelo processamento verificado. O foco é a inferência — o momento em que um modelo já treinado responde a uma solicitação — e não o treinamento de modelos de fronteira. 26

A ideia é aproveitar uma capacidade que já existe e distribuir as tarefas de IA por várias localidades. O desafio, porém, vai muito além de saber se uma placa de vídeo doméstica consegue executar um modelo de código aberto. A questão central é saber se milhares de máquinas diferentes, conectadas de forma intermitente, podem oferecer um serviço seguro, rápido e previsível por um preço que faça sentido para clientes e operadores.

Como funciona a inferência descentralizada

Em geral, o sistema tem três componentes: a solicitação do cliente, uma camada de orquestração que escolhe onde executá-la e um programa instalado no computador participante para processar a tarefa.

O operador precisa relacionar cada trabalho ao hardware disponível, levando em conta o tamanho do modelo, a memória necessária, a latência, o tempo de atividade e os limites de uso definidos pelo proprietário.

Far Labs: roteamento e distribuição de modelos

A FAR AI, da Far Labs, se apresenta como uma camada distribuída de inferência que conecta GPUs comuns e encaminha solicitações, em tempo real, para os nós mais adequados. A empresa diz querer atender a aplicações interativas sem depender exclusivamente de clusters centralizados. 1112

O material disponibilizado descreve um agendador capaz de dividir o trabalho de um modelo entre várias máquinas quando um único computador não consegue armazená-lo por completo. Isso poderia ampliar o conjunto de equipamentos utilizáveis, mas também acrescenta coordenação e comunicação entre os nós. Cada transferência extra pode prejudicar o tempo de resposta e a confiabilidade.

A Far Labs já discutiu uma meta futura de latência inferior a 100 milissegundos para inferência interativa. Trata-se de uma meta, não de uma comprovação de desempenho ponta a ponta. Na prática, o tempo total também incluiria roteamento, filas, carregamento do modelo, comunicação entre máquinas e devolução do resultado.

Evolving Edge: um sistema baseado em Ray

A Evolving Edge é descrita como usuária do Ray, um framework de computação distribuída, para alocar tarefas de atendimento de modelos entre os computadores participantes. No Ray, os trabalhos podem ser representados como atores gerenciados e agendados em diferentes pontos de um cluster. 56

O Ray oferece ferramentas importantes para a execução distribuída, mas sua adoção não resolve sozinha os problemas mais difíceis de um marketplace. O operador ainda precisa identificar nós sobrecarregados ou indisponíveis, distribuir os modelos com eficiência, lidar com configurações de hardware diferentes e decidir quando uma tarefa deve ser repetida ou replicada.

Como proteger os dados e os PCs domésticos?

Permitir que código ou dados de terceiros sejam executados em uma máquina de uso pessoal cria um problema de segurança maior do que simplesmente instalar um jogo ou um aplicativo. Um sistema confiável precisa limitar o que cada tarefa pode acessar e quanto do computador pode consumir.

Entre os controles possíveis estão:

• ambientes isolados ou contêineres com sandbox;
• criptografia dos dados durante o transporte;
• limites para uso de CPU, GPU, memória, armazenamento e rede;
• restrições de duração e encerramento automático das tarefas; e
• um cliente para o computador do operador que possa ser inspecionado e atualizado.

A arquitetura de sandbox documentada pelo Ray usa ambientes leves e isolados no nível do kernel para executar código não confiável e tarefas de agentes. A implementação experimental utiliza gVisor e ambientes baseados em contêineres OCI, enquanto os atores gerenciados pelo Ray podem agendar e controlar os recursos da sandbox. 17182021

Esses recursos mostram que existem mecanismos de segurança relevantes no ecossistema de software. Eles não provam, contudo, que Far Labs ou Evolving Edge utilizam exatamente essas proteções em produção, que a configuração seja segura em sistemas operacionais de consumidores ou que um nó ativo esteja executando o mesmo código que o proprietário examinou.

O código aberto do software instalado nos nós poderia aumentar a transparência. Os participantes teriam condições de verificar controles de recursos e acesso a dados. Ainda assim, código aberto não é uma garantia completa: também são necessários builds reproduzíveis, atualizações assinadas, permissões claras, resposta a vulnerabilidades e evidências de que a versão publicada é a mesma implantada na máquina.

Comparação com a Salad

A Salad é a comparação mais direta porque já opera um marketplace que conecta GPUs de consumidores a organizações que precisam de capacidade computacional. Seu modelo não depende de blockchain nem de uma camada de coordenação baseada em tokens. 13

A Far Labs enfatiza o roteamento em tempo real e a inferência distribuída, incluindo a possibilidade de dividir o trabalho de um modelo entre diferentes nós. A Evolving Edge é descrita como focada em um runtime distribuído baseado em Ray e em uma versão beta aberta.

A vantagem da Salad é a experiência operacional com um marketplace de GPUs de consumidores. As empresas mais novas ainda precisam mostrar que suas arquiteturas conseguem entregar disponibilidade, suporte, demanda e remuneração comparáveis.

A distinção é importante: descentralização é uma escolha de arquitetura, não um resultado de desempenho. Uma rede pode reunir milhares de computadores e, ainda assim, ser centralmente administrada, instável ou economicamente inviável.

O maior ponto em aberto é a rentabilidade para o proprietário

O pagamento bruto é apenas o começo da conta. O dono do PC também arca — total ou parcialmente — com energia elétrica, calor, refrigeração, internet, manutenção, depreciação do hardware e a menor disponibilidade da máquina para uso pessoal.

Além disso, cadastro não é sinônimo de utilização. Uma GPU conectada à rede, mas que recebe poucas tarefas pagas, pode render pouco enquanto continua consumindo energia ou gerando custos de desgaste e administração. Sem taxas de pagamento transparentes, estimativas de uso, duração das tarefas e projeções de consumo, não é possível calcular um retorno sobre o investimento com credibilidade.

A inferência contínua também pode significar mais calor, atividade das ventoinhas e uso da memória. Se a remuneração compensa esse desgaste depende da placa, do preço local da eletricidade, do tempo de atividade, da intensidade da carga e do valor de revenda. O material disponível não comprova que a participação seja uma fonte de renda passiva ou lucrativa para o proprietário típico.

Por que as promessas de latência e custo precisam de dados reais

O hardware doméstico pode oferecer uma vantagem potencial de custo: as máquinas já existem, e alguns proprietários podem aceitar monetizar uma capacidade que ficaria ociosa. Mas a rede ainda precisa pagar por orquestração, banda, monitoramento, tarefas que falham, replicação, suporte, segurança e remuneração dos operadores.

O mesmo vale para a latência. Uma inicialização rápida de sandbox em uma implantação específica do Kubernetes não equivale a uma inferência ponta a ponta abaixo de 100 milissegundos em uma rede de computadores domésticos conectados pela internet. O número documentado pelo Ray se refere à inicialização de uma sandbox em uma configuração específica, não a uma garantia para uma rede de nós de consumidores em escala global. 17

Sistemas descentralizados de IA também costumam depender de computação fora da blockchain. Blockchains de uso geral não são adequadas ao volume de dados e à intensidade computacional do aprendizado de máquina. Por isso, normalmente funcionam como camadas de coordenação ou pagamento, enquanto os modelos são executados fora da cadeia. 1

Uma rede grande conseguiria sobreviver à perda de muitos nós?

Uma rede distribuída pode ser mais resiliente do que uma única máquina se tiver capacidade de sobra e conseguir transferir rapidamente as tarefas quando os nós desaparecem. Pesquisas relacionadas ao Ray descrevem a reconstrução de dependências de tarefas perdidas quando máquinas são removidas e a recuperação do throughput quando elas retornam. 30

Esse benefício é condicional. Uma rede de inferência em produção precisaria de redundância suficiente, replicação de modelos, posicionamento inteligente e detecção rápida de falhas. Problemas correlacionados — como uma interrupção de provedor de internet, uma queda de energia regional, uma atualização defeituosa ou a redução dos incentivos aos operadores — poderiam derrubar muitos nós ao mesmo tempo.

A divisão de modelos também envolve uma troca. Distribuir um modelo por vários computadores pode tornar útil um hardware que, sozinho, não teria memória suficiente. Por outro lado, isso aumenta o tráfego de rede e cria mais pontos de falha. O equilíbrio dependerá da carga e da estratégia de agendamento usada pelo operador.

O que o dono da GPU deve verificar antes de participar

Até que essas redes publiquem evidências mais fortes, o ideal é tratá-las como serviços experimentais e de retorno variável. Antes de instalar o software, o participante deve procurar:

1. uma fórmula clara de pagamento e histórico de repasses;
2. dados de utilização efetiva, e não apenas o número de máquinas cadastradas;
3. estimativas realistas de consumo de energia e refrigeração;
4. permissões e limites de recursos documentados;
5. testes ou auditorias independentes de segurança;
6. métricas de latência, disponibilidade e tarefas malsucedidas; e
7. um processo simples para pausar ou remover o nó.

Far Labs e Evolving Edge estão testando uma ideia plausível: usar hardware de consumidores espalhado por diferentes locais para complementar a capacidade centralizada de IA. A tecnologia pode funcionar para determinados modelos menores e cargas de trabalho específicas. O caso de negócio mais amplo, porém, continua em aberto até que as empresas demonstrem que a rede é segura, responsiva, resiliente e utilizada o suficiente para remunerar os operadores depois de descontados os custos reais.