RespostasPublicado16 fontes
Kimi K3 aposta em dois eixos para escalar IA: modelo maior e mais computação na inferência
A tese da Moonshot AI é que a capacidade de ponta depende de dois fatores: ampliar o modelo no treinamento e disponibilizar mais computação na inferência para raciocinar, navegar, programar e usar ferramentas. O Kimi K3 combina uma arquitetura MoE de 2,8 trilhões de parâmetros com 104 bilhões ativados por token, ate...
Publicado porEditado com GPT-5.6 TerraImagens geradas com GPT Image 2
Resposta de pesquisa
Principais conclusões
- A tese da Moonshot AI é que a capacidade de ponta depende de dois fatores: ampliar o modelo no treinamento e disponibilizar mais computação na inferência para raciocinar, navegar, programar e usar ferramentas.
- O Kimi K3 combina uma arquitetura MoE de 2,8 trilhões de parâmetros com 104 bilhões ativados por token, atenção híbrida para contexto longo e infraestrutura para treinar agentes em tarefas extensas.
- As comparações de custo exigem cautela: uma estimativa publicada aponta cerca de US$ 0,94 por tarefa concluída para o K3, ante US$ 1,04 para o GPT 5.6 Sol — não metade do custo.
Prompt de IA
openai.comCreate a landscape editorial hero image for this Studio Global article: How does Moonshot AI’s 47-page Kimi K3 technical report argue that AI progress depends on scaling both pre-deployment model size and post-de. Article summary: K3’s core argument is that frontier progress requires scaling two complementary resources: model capacity before deployment, and the compute spent after deployment on long reasoning, tool use, and agentic rollouts. Its a. Topic tags: general, academic, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, char
A Moonshot AI apresenta o Kimi K3 como uma aposta em dois eixos de escala: construir um modelo muito maior antes de colocá-lo em produção e, depois, dar a ele computação suficiente para raciocinar, usar ferramentas, navegar na web, programar e corrigir erros durante a execução. O desafio central é econômico. Não basta aumentar densidade e profundidade se o custo de atender contextos longos tornar essas capacidades impraticáveis. O desenho do K3 busca elevar a capacidade total sem cobrar, em cada token gerado, o preço computacional e de memória de uma rede densa inteira. 1
Capacidade total não é o mesmo que computação ativa
O Kimi K3 é descrito como um modelo multimodal nativo do tipo mixture of experts (MoE, ou mistura de especialistas), com 2,8 trilhões de parâmetros totais, cerca de 104 bilhões de parâmetros ativados por token e janela de contexto de até 1 milhão de tokens. 1
17
Esses dois números medem coisas diferentes:
- Parâmetros totais representam a capacidade existente no conjunto completo de especialistas.
- Parâmetros ativados por token representam a parcela realmente acionada para processar um token, após o roteamento.
Essa é a vantagem prática de uma MoE: o K3 pode ser muito maior em capacidade agregada do que um modelo denso com custo semelhante por token. Isso não torna a operação barata — 104 bilhões de parâmetros ativos ainda são um volume enorme —, mas evita pagar o custo de inferência de uma rede densa de 2,8 trilhões de parâmetros a cada token. 1
Portanto, o argumento da Moonshot não é apenas que “mais parâmetros são melhores”. A proposta é que a computação condicional pode tornar utilizável uma nova escala de capacidade para tarefas prolongadas.
Por que contexto longo exige outra pilha de atenção
Uma janela de 1 milhão de tokens é difícil não só no treinamento. Na atenção convencional, memória e computação podem se tornar muito caras à medida que a sequência cresce. O K3 usa uma arquitetura híbrida que combina Kimi Delta Attention (KDA) e Gated Multi-head Latent Attention (Gated MLA). A composição informada é de 69 camadas KDA e 24 camadas Gated MLA, predominantemente em um padrão de três camadas KDA para uma MLA. 1
12
KDA para processar sequências de forma persistente
A KDA é o componente de atenção linear do modelo. Em vez de manter, em cada uma dessas camadas, um cache convencional de chaves e valores que cresce ao longo de todo o histórico, ela usa um estado recorrente de tamanho fixo. A intenção é que o estado de memória e o trabalho de decodificação não aumentem com o contexto anterior da mesma forma que na atenção plena. 1
O relatório também descreve um limite inferior para a taxa de decaimento da KDA. Não se trata apenas de uma escolha de modelagem: o mecanismo evita valores de decaimento extremamente pequenos, problemáticos para cálculos numéricos eficientes, e permite uma implementação em blocos adequada à execução em tensor cores. 1
Gated MLA para recuperar informação global
Uma recorrência linear, sozinha, pode não oferecer a mesma capacidade de buscar seletivamente informação em qualquer ponto de um contexto completo. Por isso, o K3 mantém camadas Gated MLA em toda a rede. No híbrido descrito, a KDA oferece processamento persistente de menor custo, enquanto a MLA fornece recuperação global periódica. 1
O ponto relevante é que a janela de contexto longa é tratada como um problema de sistemas, não apenas de arquitetura. Um contexto anunciado de 1 milhão de tokens só tem valor prático se o modelo ainda conseguir recuperar o que importa e responder a um custo utilizável.
AttnRes tenta preservar informação ao longo de 93 camadas
O segundo componente arquitetural é o Attention Residuals (AttnRes). O modelo tem 93 camadas, e o relatório usa o AttnRes para permitir que camadas posteriores recuperem representações comprimidas de blocos anteriores de profundidade, sem obrigar toda informação a seguir estritamente de uma camada para a próxima. 1
Em termos conceituais, a KDA cuida do fluxo de informação ao longo da sequência, enquanto o AttnRes atua no fluxo ao longo da profundidade da rede. Essa combinação é importante em um modelo profundo que utiliza atenção linear em grande parte da pilha: substituir atenção global cara só funciona se informações úteis não se perderem ou ficarem isoladas conforme as ativações atravessam o modelo. 1
Stable LatentMoE entrega capacidade condicional
A camada MoE do K3 usa, segundo o relatório, 896 especialistas roteados, selecionando 16 especialistas por token. 1
6 É esse mecanismo que explica a grande distância entre o número total de parâmetros e o número ativo por token.
A abordagem chamada Stable LatentMoE busca manter esse roteamento estável e equilibrado. O relatório formula a distribuição de especialistas em nível de lote como um problema de otimização e introduz um balanceamento baseado em quantis. Há uma derivação de ótimo exato sob as hipóteses declaradas; na implantação, porém, o roteamento usa vieses fixos dos especialistas e seleção top-k convencional, em vez de resolver novamente o problema de balanceamento para cada lote de inferência. 1
Essa diferença importa. Um equilíbrio ótimo alegado é um resultado da formulação de roteamento do relatório, não uma garantia de que toda carga real de produção distribuirá tokens perfeitamente entre os especialistas.
MoonEP tenta tornar o roteamento esparso viável na prática
Modelos MoE muito grandes também criam um problema de rede: tokens selecionados frequentemente precisam ser enviados entre dispositivos para chegar aos especialistas designados. Se alguns especialistas recebem demanda desproporcional, o caminho de comunicação mais lento pode determinar a latência.
A Moonshot posiciona o MoonEP como a camada de sistemas complementar para comunicação paralela entre especialistas. Sua função é reduzir o desequilíbrio nas trocas all-to-all criadas pelo roteamento esparso, ajudando a tornar o grande conjunto de especialistas treinável e utilizável em inferência. 1
Essa é uma parte essencial da proposta do K3. Arquitetura, roteamento e comunicação não devem ser avaliados como explicações isoladas de desempenho: o sistema precisa dos três para transformar capacidade esparsa teórica em vazão real.
A outra metade da estratégia: computação para trabalho de agentes
O segundo eixo da tese do K3 entra em cena após o pré-treinamento. A Moonshot descreve infraestrutura para trajetórias de aprendizado por reforço em tarefas de longa duração, com ferramentas, programação, navegação e solução iterativa de problemas. O relatório também descreve a destilação de múltiplos modelos professores especializados em domínios e raciocínio em um único sistema. 1
O ambiente de apoio é um sistema de sandboxes baseado em máquinas virtuais leves, projetado para criar, capturar instantâneos e retomar ambientes de tarefas em escala. Os números informados incluem 51,2 milhões de instâncias de sandbox, 133 ms para snapshots e 49 ms para restaurações. 1
O objetivo estratégico é direto: se o modelo deve gastar mais computação em tempo de uso para planejar, chamar ferramentas, conferir o próprio trabalho ou continuar uma tarefa longa, o treinamento precisa expô-lo a esse tipo de trajetória. Pausar, ramificar e restaurar ambientes a baixo custo torna viável gerar mais episódios de treinamento desse tipo.
Isso não significa que toda resposta do modelo use automaticamente computação ilimitada. A tese é que o sistema deve conseguir converter etapas adicionais e mais contexto em melhor desempenho, em vez de depender apenas de um modelo pré-treinado maior.
O que o resultado no BrowseComp mostra — e o que ele não separa
O Kimi K3 registra 91,2% no BrowseComp, segundo o divulgado, um benchmark voltado à busca de informações em tarefas de longo horizonte. Um placar de terceiros também lista o K3 com 91,2%, embora rankings e configurações de avaliação possam mudar com o tempo. 18
O resultado é compatível com o objetivo do produto: um modelo desenhado para contexto longo, pós-treinamento voltado a agentes e raciocínio em tempo de inferência deveria ser avaliado em tarefas complexas de busca de informação. Mas não se trata de uma ablação limpa dos componentes individuais.
Uma única nota em benchmark não permite dizer quanto vem de KDA, AttnRes, roteamento de especialistas, infraestrutura de comunicação, ambientes de aprendizado por reforço, destilação, prompting ou configurações de inferência. A leitura mais sólida é que o sistema relatado teve bom desempenho como uma pilha integrada — não que uma única inovação arquitetural explique sozinha a pontuação. 1
18
A comparação com DeepSeek é, principalmente, arquitetural
O K3 costuma ser apresentado como um desafio a outros grandes modelos abertos, inclusive sistemas da DeepSeek. A conclusão defensável a partir do relatório não é uma tabela definitiva do progresso dos modelos abertos, e sim uma ênfase diferente de projeto: a Moonshot defende uma pilha que une capacidade esparsa muito grande, processamento eficiente de contexto longo e infraestrutura de pós-treinamento para agentes. 1
17
O artigo técnico sustenta as especificações e escolhas de design do K3. Por si só, ele não demonstra que outros modelos abertos estejam “estagnados”, nem isola uma vantagem arquitetural decisiva sobre um concorrente específico. Essas são alegações de mercado mais amplas, que exigem comparações consistentes e reproduzidas de forma independente.
Comparações de custo dependem da configuração
Comparações de preço por token e custo por tarefa são fáceis de interpretar além do que os dados permitem. Elas variam com prompt, esforço de raciocínio, tamanho de contexto, uso de cache, ferramentas, pressupostos de vazão, data de preço e o ambiente de avaliação.
Uma comparação publicada, citada no material disponível, estima o custo por tarefa concluída em aproximadamente US$ 0,94 para o K3 e US$ 1,04 para o GPT-5.6 Sol. Isso pode sugerir uma pequena vantagem naquela configuração, mas não sustenta uma alegação universal de que o K3 custa metade do Sol. 20
A conclusão mais útil é menos chamativa e mais durável: o K3 é uma tentativa de tornar economicamente crível a capacidade de agentes com contexto longo em uma escala total de modelo muito maior. Se essa vantagem se confirma na prática dependerá de avaliações reproduzíveis e de contas de custo específicas de cada implantação.
Em resumo
O relatório técnico do Kimi K3 faz um argumento de escala de ponta a ponta. A escala antes da implantação vem de uma MoE de 2,8 trilhões de parâmetros, com cerca de 104 bilhões ativados por token. A escala depois da implantação vem de treinar e servir um modelo capaz de usar contexto longo, ferramentas, etapas de raciocínio e trajetórias de agentes. 1
17
KDA, Gated MLA, AttnRes, Stable LatentMoE, MoonEP e a infraestrutura de sandboxes para aprendizado por reforço são partes da mesma proposta: comportamento de agentes em nível de fronteira exige não apenas um modelo maior, mas um design que torne aproveitáveis mais contexto e mais trabalho de inferência. Os resultados de benchmark são evidências promissoras dessa abordagem integrada, mas devem ser lidos como resultados relatados do sistema completo — e não como prova final da contribuição de cada componente. 1
18
Studio Global AI
Continue sua pesquisa
Esta página inclui uma resposta baseada na fonte que você pode continuar em Studio Global.
As pessoas também perguntam
Qual é a resposta curta para "Kimi K3 aposta em dois eixos para escalar IA: modelo maior e mais computação na inferência"?
A tese da Moonshot AI é que a capacidade de ponta depende de dois fatores: ampliar o modelo no treinamento e disponibilizar mais computação na inferência para raciocinar, navegar, programar e usar ferramentas.
Quais são os pontos-chave para validar primeiro?
A tese da Moonshot AI é que a capacidade de ponta depende de dois fatores: ampliar o modelo no treinamento e disponibilizar mais computação na inferência para raciocinar, navegar, programar e usar ferramentas. O Kimi K3 combina uma arquitetura MoE de 2,8 trilhões de parâmetros com 104 bilhões ativados por token, atenção híbrida para contexto longo e infraestrutura para treinar agentes em tarefas extensas.
O que devo fazer a seguir na prática?
As comparações de custo exigem cautela: uma estimativa publicada aponta cerca de US$ 0,94 por tarefa concluída para o K3, ante US$ 1,04 para o GPT 5.6 Sol — não metade do custo.