LimiX-2: Én AI-model til klassifikation, regression og manglende tabeldata

LimiX-2 er en foundation-model med 400 mio. parametre til strukturerede data og tabeldata, udviklet af Stable AI sammen med Tsinghua-professor Peng Cuis forskningsgruppe. Hovedpåstanden er markant: Ét prætrænet checkpoint kan lave klassifikation og regression samt imputere manglende featureværdier uden opgavespecifik finjustering af parametrene. Det officielle repository angiver en åben udgivelse den 16. september 2026. 15

Her henter du LimiX-2

Det officielle Hugging Face-repository indeholder vægtene i LimiX-2.ckpt og kode til inferens. Den tekniske rapport, LimiX-2: A Contextual Mechanism Network Towards General Structured-Data Intelligence, kan læses på arXiv og er også henvist til fra repository'et. 15

Hvorfor samme checkpoint kan løse tre opgaver

Traditionelle modeller til tabeldata er som regel bygget til at forudsige et mål: Ud fra features og eksempler skal modellen estimere en klasse eller en numerisk værdi. LimiX-2 forsøger i stedet at lære tabellens kontekstafhængige fælles struktur, som forfatterne beskriver som (p(x,y\mid D_{context})), frem for kun (p(y\mid x,D_{context})).

I den optik er klassifikation, regression og udfyldning af en maskeret celle tre varianter af samme opgave: at udlede en ukendt værdi ud fra de observerede celler og de øvrige rækker i konteksten. 1

Modellen trænes med Context-Conditional Masked Modeling (CCMM). I hver træningsepisode deles rækkerne i en kontekstmængde og en forespørgselsmængde. Udvalgte features i forespørgselsrækkerne maskeres, mens de øvrige observerede værdier og konteksttabellen bevares. Træningen belønner både rekonstruktion af features og forudsigelse af målvariablen.

Ifølge rapporten kan forespørgselsrækkerne rette opmærksomhed mod kontekstrækkerne, men ikke mod hinanden. Det er tænkt som en beskyttelse mod informationsflow mellem forespørgselseksempler og mod, at resultatet afhænger for meget af sammensætningen af den konkrete batch. 1

LimiX-2 har separate outputveje, som allerede indgår i den prætrænede arkitektur, i stedet for nye opgavehoveder, der skal læres under tilpasning. Klassifikation og regression afkodes fra målrepræsentationer, mens rekonstruktion af features bruger en mere overfladisk repræsentation. Ved regression forudsiger modellen en sandsynlighedsfordeling over 5.000 ordnede målintervaller og omregner den til et talestimat. 1

Contextual Mechanism Networks og syntetisk prætræning

Forfatterne kalder tilgangen Contextual Mechanism Networks (CMN). Idéen er, at in-context learning for tabeller bør genfinde mønstre i, hvordan variable skabes og hænger sammen – ikke blot lære en feature-til-mål-sammenhæng for ét bestemt skema. 1

For at opbygge den egenskab prætrænes LimiX-2 på syntetiske tabeller, der er samplet fra strukturelle kausale modeller. Datagenereringen varierer blandt andet grafstrukturer, mekanismer med én eller flere forældrevariable, valg af observerbare variable samt transformationer og observationsprocesser. Rapporten beskriver også skalering og ikke-lineære transformationer samt tilfælde, hvor kontinuerte mål omdannes til klassifikationsmål. 1

Den syntetiske variation skal eksponere modellen for mange tabelstrukturer, featuretyper, mønstre af manglende data og betingede relationer uden at basere sig på udenadslære af navngivne datasæt fra den virkelige verden. Det er dog ikke det samme som en garanti for, at en konkret virksomheds dataskema ligger tæt på modellens prætræningsfordeling.

Videreførelse af den tidligere LimiX-serie

LimiX-2 bygger videre på den tidligere LimiX-forskning, der introducerede en generel tilgang til modellering af strukturerede data og BCCO-benchmarken. LimiX-2-rapporten beskriver både en væsentligt større model og en udvidet generering af syntetiske strukturelle kausale modeller, med afsæt i skaleringsarbejde fra det tidligere projekt. 12

I praksis er forskellen først og fremmest skala og ambition: LimiX-2 er positioneret som en større prætrænet model, der skal overføre til forskellige tabeller ved at bruge kontekst under inferens – frem for at blive genoplært til hvert enkelt workflow for klassifikation, regression eller imputering. 1

Rapporterede benchmarkresultater

Tallene nedenfor er forfatternes egne rapporterede samlede Elo-scorer fra LimiX-2-artiklen og det officielle repository:

Benchmark	Rapporteret samlet Elo	Rapporteret placering blandt sammenlignede metoder
TabArena	1.935	Førsteplads; 117,4 point over TabFM+ før afrunding
TALENT	1.506	Førsteplads; 35 point over den næste rapporterede model
BCCO	1.432	Førsteplads blandt de sammenlignede metoder

På den fulde TabArena-benchmark rapporterer repository'et desuden førsteplads på tværs af fire prædiktive metrikker, 3,3 % improvability, en gennemsnitlig rang på 5,5 og 18,9 aggregerede sejre. 145

Artiklen rapporterer stærke resultater for både regression og klassifikation; totalresultatet tilskrives altså ikke kun én opgavetype. Det er positiv evidens for den fælles modelleringsidé, men stadig benchmarkevidens under netop artiklens datasæt, præprocessering, splits, metrikker og sammenligningsopsætning. 1

Forfatterne rapporterer også, at modellens feature-opmærksomhed kan bruges til at genskabe kausale skeletter i deres evalueringer. Det bør tolkes snævert: Resultatet handler om genfinding af urettede relationer under kontrollerede testprotokoller. Det fastslår hverken kausal retning, udelukker confounding eller dokumenterer, at feature-opmærksomhed afslører kausale effekter i en vilkårlig virksomhedsdatabase. 1

Hvor modellen kan være relevant

For teams med blandede numeriske og kategoriske data kan LimiX-2 være værd at afprøve som en hurtig baseline eller et ekstra element i et ensemble. Ét checkpoint er især interessant, når samme dataunivers rummer flere beslægtede behov:

• klassifikation, regression og rekonstruktion af manglende data i samme tabelmiljø;
• små, ukendte eller hyppigt ændrede skemaer;
• poster med delvist observerede værdier;
• tidlige eksperimenter, før der investeres i separate, specialbyggede pipelines.

Den syntetiske prætræning er specifikt udviklet til variation i mekanismer, grafstrukturer, transformationer og observerede variable. Overførsel mellem skemaer er derfor en central hypotese i udgivelsen – ikke en garanti. 1

Tjek dette, før en AutoML-pipeline erstattes

Et stærkt benchmarkresultat bør være starten på evalueringen, ikke dens afslutning.

Brug et holdout-sæt, der ligner produktion. Tilfældige train/test-splits kan give et misvisende billede. Brug tidsbaserede, entitetsbaserede, geografiske, gruppebaserede eller implementeringsperiode-baserede holdout-sæt, hvis det er de forhold, modellen møder i drift.

Sammenlign med optimerede baselines. Test LimiX-2 mod de etablerede modeller og processer, der faktisk er relevante for use casen, herunder optimerede gradient-boosting- eller AutoML-systemer og domænespecifikke modeller. Benchmark-Elo afhænger af den præcise opgavesamling, præprocessering, scoring, compute-budgetter og modelversioner.

Test det reelle skema. Identifikatorer, sjældne kategorier eller kategorier med mange unikke værdier, teksttunge kolonner, tidsafhængighed, joins på tværs af tabeller, skiftende betydning af felter og ikke-tilfældige manglende værdier kan kræve præprocessering eller en anden modeltilgang. Syntetisk dækning fjerner ikke de risici.

Gennemgå datalækage. Hold felter efter udfaldet, fremtidige poster, dublerede entiteter, målproxies fra joins og information på tværs af folds ude af evalueringen. Isoleringen mellem forespørgselsrækker adresserer kun én mulig lækagevej; den kan ikke rette op på lækage, der allerede ligger i kolonnerne eller datasplittet. 1

Kontrollér produktionskravene. Mål latenstid, hukommelsesforbrug, omkostning, kalibrering, behov for overvågning, strategi for genoptræning og de gældende vilkår i repository'et, før modellen tages i brug.

LimiX-2 er et bemærkelsesværdigt forsøg på at gøre in-context learning anvendelig gennem hele livscyklussen for tabeldata – og ikke kun til målforudsigelse. De rapporterede resultater gør modellen til en troværdig kandidat til praktisk afprøvning. Om den slår en omhyggeligt optimeret, specialiseret pipeline, kan dog kun afgøres med en realistisk test uden datalækage på de konkrete data.