Meituans LongCat-2.0: 1,6 billioner parametre – og ikke én Nvidia-brikke involvert

Tekniske spesifikasjoner

• Arkitektur: Mixture-of-Experts (MoE) med totalt 1,6 billioner parametre, men kun ~48 milliarder aktiveres per token (sparsomhet ~97 %) .
• Kontekstvindu: 1 million tokens, muliggjort av en egenutviklet LongCat Sparse Attention (LSA)-mekanisme som er en videreutvikling av DeepSeek sin sparsomme oppmerksomhetsmekanisme .
• Aktive parametre: 33–56 milliarder per token via dynamisk 'Zero-Compute Expert'-ruting, som sikrer at ingen beregning går til spille .
• N-gram-embedding: Ytterligere ~135 milliarder parametre i innbyggingslaget, som bruker 2-5 tegns n-gram for å forbedre representasjonen av lokal kontekst uten å stable flere MoE-lag .
• Formål: Spesialbygd for agentisk koding – kodeforståelse, kodegenerering og kjøring i virkelige verktøyscenarier .
• Treningsinfrastruktur: Trent fra bunnen av på 50.000–60.000 kinesiskproduserte AI-brikker (ASIC-er) (ikke Nvidia GPU-er), med over 35 billioner tokens kinesisk, engelsk, flerspråklig tekst og kildekode .
• Lisens: Offentliggjort under MIT-lisensen .
• Tilgjengelighet: Vekter og kode er publisert på GitHub, Hugging Face og den offisielle LongCat-nettsiden; også tilgjengelig via API og en nettbasert demo .

Ytelse og benchmarks

Meituan hevder LongCat-2.0 oppnår ytelse sammenlignbar med Googles Gemini 3.1 Pro . Før den offisielle lanseringen opererte modellen anonymt som 'Owl Alpha' på OpenRouter, hvor den angivelig toppet utviklerrangeringene for kodebenchmarks .

LongCat-teamet publiserte følgende benchmark-resultater på X: Terminal-Bench 2.1: 70,8, SWE-bench Pro: 59,5 (GPT-5.5: 58,6), SWE-bench Multilingual: 77,3 og FORTE: 73,2 .

Strategisk betydning

LongCat-2.0 har konsekvenser langt utover benchmark-tallene:

• Første trillion-parametermodell trent fra ende til annen på kinesiske brikker, fra opplæring til sluttevaluering og distribusjon – en milepæl som ikke engang DeepSeek-V4-pro oppnådde, da den kun benyttet kinesisk maskinvare til sluttevaluering .
• Viser Kinas evne til å oppnå nesten frontlinje-KI uten tilgang til Nvidias avanserte GPU-er, som er underlagt amerikanske eksportrestriksjoner .
• Signaliserer en mulig frakopling av kinesisk KI-utvikling fra amerikanske maskinvareleverandører, med konsekvenser for det globale KI-brikkemarkedet og geopolitisk teknologikonkurranse .
• For Meituan selv posisjonerer det et matleverings- og lokaltjenestekonsern som en seriøs bidragsyter til åpne KI-grunnmodeller, i likhet med grep fra Alibaba (Qwen) og ByteDance .

Viktige arkitektoniske nyvinninger

LongCat-2.0 introduserer to vesentlige forbedringer i forhold til forgjengeren LongCat-Flash:

1. LongCat Sparse Attention (LSA): En videreutvikling av DeepSeek sin sparsomme oppmerksomhetsmekanisme (DSA). LSA adresserer flaskehalser i indekseringsprosessen gjennom tre uavhengige optimaliseringer for effektivitet: flytbevisst indeksering, krysslag-indeksering og hierarkisk indeksering – designet for å akselerere behandling av lange kontekster uten å ofre modellkvalitet .

2. MOPD (Multi-Objective Process Decoding): Modellen organiserer ekspertene i tre spesialiserte grupper – Agent, Resonnering og Interaksjon – med en port-ruter som dirigerer hvert token til riktig gruppe basert på oppgavetype .

Tilgjengelighet

Utviklere og forskere kan få tilgang til LongCat-2.0 under den tillatende MIT-lisensen. Modellvekter, kode for sluttevaluering og dokumentasjon er tilgjengelig på GitHub, Hugging Face og den offisielle LongCat-nettsiden. Et API-endepunkt og en interaktiv online demo er også tilgjengelig .