Multiverse Computing e Qualcomm: modelos de IA rodam até 93% mais rápido em aceleradores Dragonfly

Relatório médico de emergência em tempo real (LLM comprimido):

• Até 93% mais rápido no tempo de resposta
• Até 44% maior throughput
• Até 45% de redução no uso de memória
• Até 21% de redução no consumo de energia
• Sem perda de precisão

Chatbot RAG para documentos financeiros confidenciais:

• Até 35% mais rápido no tempo de resposta
• Até 54% maior throughput
• Até 45% de redução no uso de memória
• Até 14% de redução no consumo de energia
• Sem perda de precisão

No caso médico, os resultados foram corroborados de forma independente por vários veículos, confirmando os 93% de ganho em tempo de resposta, 45% de economia de memória e 21% de redução de energia . A Multiverse Computing destacou que a execução diretamente nos novos aceleradores Dragonfly AI200/AI250 deve gerar resultados ainda melhores .

Como funciona

A Multiverse Computing otimiza os modelos de IA antes da implantação, reduzindo a carga computacional e de memória que cada modelo exige. Isso libera capacidade no hardware existente, permitindo que operadores de data center atendam a mais requisições de inferência ou executem mais modelos simultaneamente, sem adicionar novos aceleradores ou expandir a infraestrutura .

A virada do setor para a eficiência

Esta colaboração reflete uma guinada fundamental no setor de data centers rumo a uma infraestrutura de IA com foco em eficiência. Alguns sinais dessa mudança:

• O DNA de eficiência da Qualcomm: A Qualcomm construiu sua liderança em dispositivos móveis e IoT, onde maximizar o desempenho dentro de limites rígidos de energia e térmica é essencial — princípios agora aplicados diretamente aos data centers de IA .
• Inovação em hardware: O acelerador Dragonfly AI250 da Qualcomm apresenta a arquitetura High Bandwidth Compute (HBC) Gen 1, que oferece 133 TB/s de largura de banda de memória efetiva por placa (18x mais que o AI200), atacando diretamente o gargalo de memória que é o principal responsável pelo custo e desperdício de energia na inferência de IA .
• Escalar sem custo proporcional: Com a aceleração da adoção de IA, os operadores precisam escalar suas implantações sem um aumento proporcional em hardware, energia e custo. A combinação de hardware eficiente com modelos otimizados oferece um caminho prático para isso .
• Validação do setor: Ambas as empresas enquadraram a colaboração em torno de "melhorias revolucionárias em desempenho, custo e eficiência energética em escala", com Dino Flore, da Qualcomm, afirmando que "os clientes precisam de soluções que ofereçam alto desempenho com maior eficiência" à medida que a adoção de IA acelera na infraestrutura empresarial e em nuvem .

A parceria é um exemplo concreto do movimento do setor para longe da mentalidade de "mais GPUs" e em direção a um foco em desempenho por watt e custo total de propriedade, onde a co-otimização de software e hardware é a principal alavanca para a escalabilidade sustentável da IA.