Principais descobertas

• A teoria do Muon é útil para decidir onde ele deve ser aplicado: pesos com valor matricial são o alvo natural, porque os relatos teóricos descrevem o Muon por meio de normas matriciais, atualizações polares e geometria de norma espectral/nuclear .

• A interpretação de norma espectral implica que o Muon realiza uma forma de descida mais íngreme sob uma restrição de norma espectral, o que explica por que sua atualização tem tamanho de norma de operador controlado .

• A interpretação de norma nuclear / Lion-K fornece uma estrutura formal de otimização para o Muon e ajuda a conectá-lo a famílias conhecidas de otimizadores, em vez de tratá-lo como uma heurística isolada .

• A teoria de estabilidade sugere que as atualizações polares ao estilo Muon podem ser úteis em cenários onde o controle da pior atualização matricial é importante, incluindo o treinamento adversarial .

• As análises de convergência e feedback de erros podem ser usadas para projetar variantes do Muon com melhores garantias teóricas ou melhor comportamento sob atualizações transformadas, comprimidas ou aproximadas .

Fatos confirmados

• O Muon é analisado como um otimizador cuja geometria de atualização distinta está ligada a parâmetros com valor matricial e estrutura de norma espectral/nuclear .

• Trabalhos teóricos recentes caracterizam o Muon como descida mais íngreme sob restrições de norma espectral .

• Outra linha de trabalho mostra que o Muon pode ser visto como uma instância do Lion-K equipado com a norma nuclear .

• O trabalho de feedback de erros analisa o Muon e métodos relacionados sob escolhas de norma adequadas e estende a análise para configurações de suavidade generalizada por camada .

• A teoria de treinamento adversarial argumenta que a atualização polar do Muon induz um teto de estabilidade de norma espectral, o que significa que cada atualização com valor matricial tem uma norma espectral controlada .

• Novos trabalhos já usaram a interpretação teórica para generalizar o Muon além de matrizes, como o Tensorion, que é apresentado como uma generalização do Muon consciente de tensores .

O que permanece como inferência

As seguintes são aplicações razoáveis da teoria, mas nem sempre totalmente comprovadas em todos os cenários de treinamento em larga escala:

• Escolha de quais parâmetros usar o Muon: A teoria sugere usar o Muon em pesos matriciais, como camadas lineares, projeções MLP e projeções de atenção, enquanto usa outro otimizador para vieses, embeddings, parâmetros de normalização ou parâmetros escalares/vetoriais.

• Design da taxa de aprendizado: Como a atualização polar do Muon controla a norma espectral de cada atualização matricial, pode-se pensar na taxa de aprendizado como o controle do tamanho máximo do passo da norma do operador .

• Diagnósticos: A teoria sugere monitorar as normas espectrais das atualizações, o espectro de valores singulares e a estrutura de posto para entender se o Muon está produzindo atualizações matriciais equilibradas .

• Otimização consciente da arquitetura: Como o Muon é consciente de matrizes, a teoria sugere estender ideias semelhantes ao Muon para tensores, camadas estruturadas, atualizações conscientes da informação de Fisher ou modelos de suavidade por camada .

O que as evidências sugerem

1. Melhor design de otimizadores

A interpretação teórica ajuda os pesquisadores a projetar novos otimizadores, em vez de apenas ajustar o Muon empiricamente. Se o Muon é entendido como descida mais íngreme com restrição de norma espectral, o próximo passo natural é perguntar qual deveria ser a atualização análoga para tensores, matrizes estruturadas ou geometrias conscientes de curvatura .

Por exemplo, o Tensorion explora explicitamente a visão de que o Muon realiza descida mais íngreme sob uma restrição de norma espectral e generaliza a ideia para otimização consciente de tensores . O FISMO também se baseia na afirmação de que o Muon implementa descida mais íngreme sob uma restrição de norma espectral e, em seguida, incorpora informações estruturadas de Fisher em um otimizador com momento ortogonalizado .

2. Melhor escolha de camadas-alvo

A teoria explica por que o Muon é especialmente natural para camadas com valor matricial. Um peso matricial não é apenas uma lista de coordenadas independentes; ele representa um mapa linear. Portanto, uma atualização baseada em norma matricial pode explorar estruturas que o raciocínio coordenada por coordenada não expressa diretamente .

Implicação prática:

• Use o Muon para pesos matriciais grandes.
• Seja cauteloso ao aplicá-lo diretamente a vetores, vieses, parâmetros de normalização e embeddings.
• Use uma receita híbrida: Muon para pesos matriciais e outro otimizador para o restante.

Isso é consistente com as apresentações do Muon que o motivam por meio da geometria de atualização consciente de matrizes e discutem a extensão do método para novos tipos de camada .

3. Raciocínio sobre taxa de aprendizado e estabilidade

A visão de norma espectral fornece uma maneira útil de interpretar a taxa de aprendizado. Se a direção da atualização do Muon tem norma espectral controlada, então a taxa de aprendizado controla aproximadamente o tamanho máximo da norma do operador da atualização matricial .

Isso é importante porque a norma do operador mede a maior amplificação que uma matriz pode aplicar a uma direção de entrada. Portanto, controlar a norma do operador das atualizações pode tornar o treinamento mais estável do que permitir que uma atualização seja dominada por algumas direções singulares muito grandes .

Essa interpretação é especialmente explícita na teoria de treinamento adversarial, onde se argumenta que a atualização polar do Muon cria um teto de estabilidade de norma espectral para cada atualização matricial .

4. Explicando o treinamento rápido

A interpretação teórica do Muon pode explicar o treinamento rápido por meio do balanceamento de valores singulares. Se uma matriz de gradiente tem decomposição em valores singulares

G = U Σ Vᵀ,

então a direção ideal do Muon é aproximadamente

Polar(G) = U Vᵀ.

Isso remove os valores singulares da direção do gradiente bruto. Grandes direções singulares são atenuadas em relação ao SGD, e pequenas direções singulares são amplificadas em relação ao SGD. Portanto, a interpretação prática é que o Muon pode progredir em muitas direções matriciais, em vez de deixar apenas os maiores modos singulares dominarem .

Isso decorre naturalmente da interpretação de norma espectral/nuclear do Muon .

5. Projetando variantes do Muon com garantias

O trabalho teórico também é útil para criar variantes com garantias de convergência. A análise de feedback de erros estuda o Muon e otimizadores relacionados sob escolhas de norma apropriadas e regimes de suavidade generalizada por camada . As análises de tamanho de lote crítico e convergência também tentam explicar o comportamento do Muon em configurações práticas de treinamento .

Implicação prática:

• Se a atualização do Muon descarta ou transforma algumas informações do gradiente, o feedback de erro pode ajudar a acumular a parte perdida .
• Se o tamanho do lote afeta o Muon de maneira diferente de outros otimizadores, a teoria de convergência e tamanho de lote crítico pode orientar as regras de escalonamento .
• Se a ortogonalização aproximada for usada, a teoria pode indicar quanto erro de aproximação é aceitável .

6. Treinamento robusto e adversarial

Uma aplicação direta é o treinamento adversarial. A teoria de que a atualização polar do Muon impõe um teto de estabilidade de norma espectral sugere que o Muon pode ser útil quando a sensibilidade à pior direção é importante .

Isso não prova que o Muon é sempre melhor para robustez adversarial, mas fornece um mecanismo: atualizações com norma de operador limitada podem limitar mudanças instáveis nas transformações lineares do modelo .

7. Estendendo o Muon além de matrizes

A interpretação do Muon como descida mais íngreme consciente de geometria também sugere generalizações além dos pesos matriciais comuns. O Tensorion é explicitamente motivado como uma generalização do Muon consciente de tensores .

Este é um dos exemplos mais claros de aplicação da teoria: uma vez que o Muon é entendido geometricamente, os pesquisadores podem perguntar qual é a norma correta, norma dual e atualização polar para parâmetros tensoriais de ordem superior .

Evidências conflitantes ou incertezas

• O consenso mais forte é em torno da interpretação de norma espectral/nuclear: múltiplas fontes descrevem o Muon como descida mais íngreme com restrição de norma espectral ou como uma instância do Lion-K com norma nuclear .

• Há menos certeza sobre se essa teoria explica totalmente o desempenho do treinamento de transformers em larga escala. Os resultados existentes fornecem mecanismos e garantias parciais, mas o treinamento em larga escala inclui gradientes estocásticos, camadas de normalização, precisão mista, decaimento de peso, embeddings e receitas de otimizadores mistos.

• As alegações de estabilidade são promissoras, mas específicas para cada tarefa. A teoria de treinamento adversarial fornece um mecanismo claro para a estabilidade da norma espectral, mas isso não implica automaticamente melhor desempenho em todos os cenários de treinamento não adversarial .

• As análises de convergência são úteis, mas podem depender de suposições mais limpas do que o treinamento real de redes neurais .

Perguntas em aberto

• Quais camadas devem usar o Muon em transformers muito grandes: todas as camadas matriciais, apenas camadas ocultas ou apenas projeções de atenção/MLP selecionadas?
• Como as taxas de aprendizado do Muon devem ser escaladas com largura, profundidade, tamanho do lote e formato da matriz?
• Quanto erro de ortogonalização aproximada pode ser tolerado antes que o Muon perca sua vantagem de norma espectral?
• A teoria do Muon pode ser unificada com a adaptabilidade do AdamW, decaimento de peso, normalização e momentum em uma única teoria de treinamento em larga escala?
• O mecanismo de estabilidade da norma espectral melhora consistentemente a robustez, ou apenas em regimes específicos de treinamento adversarial?

Fontes mais confiáveis

• Os artigos sobre norma espectral e norma nuclear são os mais importantes para entender a interpretação teórica central do Muon .
• O Tensorion é útil para ver como a teoria motiva o design de novos otimizadores além de matrizes .
• O artigo sobre treinamento adversarial é útil para entender as aplicações de estabilidade da atualização polar do Muon .
• A análise de feedback de erros é útil para entender como preservar a convergência ao usar atualizações transformadas ao estilo Muon .
• As derivações do Muon são úteis para contexto prático e para entender por que os pesquisadores veem o método como extensível a novos tipos de camada .

Resumo

A interpretação teórica do Muon tem aplicações práticas no design de otimizadores, seleção de camadas, raciocínio sobre taxa de aprendizado, análise de estabilidade, robustez, teoria de convergência e extensões para tensores ou parâmetros estruturados. A interpretação mais útil é que o Muon realiza uma descida mais íngreme consciente de matrizes sob a geometria de norma espectral/nuclear, o que explica por que ele é especialmente adequado para camadas de redes neurais com valor matricial . Sua teoria já está sendo usada para projetar novos otimizadores, analisar estabilidade e construir garantias de convergência, mas uma teoria completa para treinamento de transformers em larga escala permanece em aberto .

Principais descobertas

• A teoria do Muon é útil para decidir onde ele deve ser aplicado: pesos com valor matricial são o alvo natural, porque os relatos teóricos descrevem o Muon por meio de normas matriciais, atualizações polares e geometria de norma espectral/nuclear .

• A interpretação de norma espectral implica que o Muon realiza uma forma de descida mais íngreme sob uma restrição de norma espectral, o que explica por que sua atualização tem tamanho de norma de operador controlado .

• A interpretação de norma nuclear / Lion-K fornece uma estrutura formal de otimização para o Muon e ajuda a conectá-lo a famílias conhecidas de otimizadores, em vez de tratá-lo como uma heurística isolada .

• A teoria de estabilidade sugere que as atualizações polares ao estilo Muon podem ser úteis em cenários onde o controle da pior atualização matricial é importante, incluindo o treinamento adversarial .

• As análises de convergência e feedback de erros podem ser usadas para projetar variantes do Muon com melhores garantias teóricas ou melhor comportamento sob atualizações transformadas, comprimidas ou aproximadas .

Fatos confirmados

• O Muon é analisado como um otimizador cuja geometria de atualização distinta está ligada a parâmetros com valor matricial e estrutura de norma espectral/nuclear .

• Trabalhos teóricos recentes caracterizam o Muon como descida mais íngreme sob restrições de norma espectral .

• Outra linha de trabalho mostra que o Muon pode ser visto como uma instância do Lion-K equipado com a norma nuclear .

• O trabalho de feedback de erros analisa o Muon e métodos relacionados sob escolhas de norma adequadas e estende a análise para configurações de suavidade generalizada por camada .

• A teoria de treinamento adversarial argumenta que a atualização polar do Muon induz um teto de estabilidade de norma espectral, o que significa que cada atualização com valor matricial tem uma norma espectral controlada .

• Novos trabalhos já usaram a interpretação teórica para generalizar o Muon além de matrizes, como o Tensorion, que é apresentado como uma generalização do Muon consciente de tensores .

O que permanece como inferência

As seguintes são aplicações razoáveis da teoria, mas nem sempre totalmente comprovadas em todos os cenários de treinamento em larga escala:

• Escolha de quais parâmetros usar o Muon: A teoria sugere usar o Muon em pesos matriciais, como camadas lineares, projeções MLP e projeções de atenção, enquanto usa outro otimizador para vieses, embeddings, parâmetros de normalização ou parâmetros escalares/vetoriais.

• Design da taxa de aprendizado: Como a atualização polar do Muon controla a norma espectral de cada atualização matricial, pode-se pensar na taxa de aprendizado como o controle do tamanho máximo do passo da norma do operador .

• Diagnósticos: A teoria sugere monitorar as normas espectrais das atualizações, o espectro de valores singulares e a estrutura de posto para entender se o Muon está produzindo atualizações matriciais equilibradas .

• Otimização consciente da arquitetura: Como o Muon é consciente de matrizes, a teoria sugere estender ideias semelhantes ao Muon para tensores, camadas estruturadas, atualizações conscientes da informação de Fisher ou modelos de suavidade por camada .

O que as evidências sugerem

1. Melhor design de otimizadores

A interpretação teórica ajuda os pesquisadores a projetar novos otimizadores, em vez de apenas ajustar o Muon empiricamente. Se o Muon é entendido como descida mais íngreme com restrição de norma espectral, o próximo passo natural é perguntar qual deveria ser a atualização análoga para tensores, matrizes estruturadas ou geometrias conscientes de curvatura .

Por exemplo, o Tensorion explora explicitamente a visão de que o Muon realiza descida mais íngreme sob uma restrição de norma espectral e generaliza a ideia para otimização consciente de tensores . O FISMO também se baseia na afirmação de que o Muon implementa descida mais íngreme sob uma restrição de norma espectral e, em seguida, incorpora informações estruturadas de Fisher em um otimizador com momento ortogonalizado .

2. Melhor escolha de camadas-alvo

A teoria explica por que o Muon é especialmente natural para camadas com valor matricial. Um peso matricial não é apenas uma lista de coordenadas independentes; ele representa um mapa linear. Portanto, uma atualização baseada em norma matricial pode explorar estruturas que o raciocínio coordenada por coordenada não expressa diretamente .

Implicação prática:

• Use o Muon para pesos matriciais grandes.
• Seja cauteloso ao aplicá-lo diretamente a vetores, vieses, parâmetros de normalização e embeddings.
• Use uma receita híbrida: Muon para pesos matriciais e outro otimizador para o restante.

Isso é consistente com as apresentações do Muon que o motivam por meio da geometria de atualização consciente de matrizes e discutem a extensão do método para novos tipos de camada .

3. Raciocínio sobre taxa de aprendizado e estabilidade

A visão de norma espectral fornece uma maneira útil de interpretar a taxa de aprendizado. Se a direção da atualização do Muon tem norma espectral controlada, então a taxa de aprendizado controla aproximadamente o tamanho máximo da norma do operador da atualização matricial .

Isso é importante porque a norma do operador mede a maior amplificação que uma matriz pode aplicar a uma direção de entrada. Portanto, controlar a norma do operador das atualizações pode tornar o treinamento mais estável do que permitir que uma atualização seja dominada por algumas direções singulares muito grandes .

Essa interpretação é especialmente explícita na teoria de treinamento adversarial, onde se argumenta que a atualização polar do Muon cria um teto de estabilidade de norma espectral para cada atualização matricial .

4. Explicando o treinamento rápido

A interpretação teórica do Muon pode explicar o treinamento rápido por meio do balanceamento de valores singulares. Se uma matriz de gradiente tem decomposição em valores singulares

G = U Σ Vᵀ,

então a direção ideal do Muon é aproximadamente

Polar(G) = U Vᵀ.

Isso remove os valores singulares da direção do gradiente bruto. Grandes direções singulares são atenuadas em relação ao SGD, e pequenas direções singulares são amplificadas em relação ao SGD. Portanto, a interpretação prática é que o Muon pode progredir em muitas direções matriciais, em vez de deixar apenas os maiores modos singulares dominarem .

Isso decorre naturalmente da interpretação de norma espectral/nuclear do Muon .

5. Projetando variantes do Muon com garantias

O trabalho teórico também é útil para criar variantes com garantias de convergência. A análise de feedback de erros estuda o Muon e otimizadores relacionados sob escolhas de norma apropriadas e regimes de suavidade generalizada por camada . As análises de tamanho de lote crítico e convergência também tentam explicar o comportamento do Muon em configurações práticas de treinamento .

Implicação prática:

• Se a atualização do Muon descarta ou transforma algumas informações do gradiente, o feedback de erro pode ajudar a acumular a parte perdida .
• Se o tamanho do lote afeta o Muon de maneira diferente de outros otimizadores, a teoria de convergência e tamanho de lote crítico pode orientar as regras de escalonamento .
• Se a ortogonalização aproximada for usada, a teoria pode indicar quanto erro de aproximação é aceitável .

6. Treinamento robusto e adversarial

Uma aplicação direta é o treinamento adversarial. A teoria de que a atualização polar do Muon impõe um teto de estabilidade de norma espectral sugere que o Muon pode ser útil quando a sensibilidade à pior direção é importante .

Isso não prova que o Muon é sempre melhor para robustez adversarial, mas fornece um mecanismo: atualizações com norma de operador limitada podem limitar mudanças instáveis nas transformações lineares do modelo .

7. Estendendo o Muon além de matrizes

A interpretação do Muon como descida mais íngreme consciente de geometria também sugere generalizações além dos pesos matriciais comuns. O Tensorion é explicitamente motivado como uma generalização do Muon consciente de tensores .

Este é um dos exemplos mais claros de aplicação da teoria: uma vez que o Muon é entendido geometricamente, os pesquisadores podem perguntar qual é a norma correta, norma dual e atualização polar para parâmetros tensoriais de ordem superior .

Evidências conflitantes ou incertezas

• O consenso mais forte é em torno da interpretação de norma espectral/nuclear: múltiplas fontes descrevem o Muon como descida mais íngreme com restrição de norma espectral ou como uma instância do Lion-K com norma nuclear .

• Há menos certeza sobre se essa teoria explica totalmente o desempenho do treinamento de transformers em larga escala. Os resultados existentes fornecem mecanismos e garantias parciais, mas o treinamento em larga escala inclui gradientes estocásticos, camadas de normalização, precisão mista, decaimento de peso, embeddings e receitas de otimizadores mistos.

• As alegações de estabilidade são promissoras, mas específicas para cada tarefa. A teoria de treinamento adversarial fornece um mecanismo claro para a estabilidade da norma espectral, mas isso não implica automaticamente melhor desempenho em todos os cenários de treinamento não adversarial .

• As análises de convergência são úteis, mas podem depender de suposições mais limpas do que o treinamento real de redes neurais .

Perguntas em aberto

• Quais camadas devem usar o Muon em transformers muito grandes: todas as camadas matriciais, apenas camadas ocultas ou apenas projeções de atenção/MLP selecionadas?
• Como as taxas de aprendizado do Muon devem ser escaladas com largura, profundidade, tamanho do lote e formato da matriz?
• Quanto erro de ortogonalização aproximada pode ser tolerado antes que o Muon perca sua vantagem de norma espectral?
• A teoria do Muon pode ser unificada com a adaptabilidade do AdamW, decaimento de peso, normalização e momentum em uma única teoria de treinamento em larga escala?
• O mecanismo de estabilidade da norma espectral melhora consistentemente a robustez, ou apenas em regimes específicos de treinamento adversarial?

Fontes mais confiáveis

• Os artigos sobre norma espectral e norma nuclear são os mais importantes para entender a interpretação teórica central do Muon .
• O Tensorion é útil para ver como a teoria motiva o design de novos otimizadores além de matrizes .
• O artigo sobre treinamento adversarial é útil para entender as aplicações de estabilidade da atualização polar do Muon .
• A análise de feedback de erros é útil para entender como preservar a convergência ao usar atualizações transformadas ao estilo Muon .
• As derivações do Muon são úteis para contexto prático e para entender por que os pesquisadores veem o método como extensível a novos tipos de camada .

Resumo

A interpretação teórica do Muon tem aplicações práticas no design de otimizadores, seleção de camadas, raciocínio sobre taxa de aprendizado, análise de estabilidade, robustez, teoria de convergência e extensões para tensores ou parâmetros estruturados. A interpretação mais útil é que o Muon realiza uma descida mais íngreme consciente de matrizes sob a geometria de norma espectral/nuclear, o que explica por que ele é especialmente adequado para camadas de redes neurais com valor matricial . Sua teoria já está sendo usada para projetar novos otimizadores, analisar estabilidade e construir garantias de convergência, mas uma teoria completa para treinamento de transformers em larga escala permanece em aberto .