Tether TurboQuant: Din bærbare kan nu køre avanceret AI med 5 gange mindre hukommelse

Problemet er, at denne KV-cache er en veritabel hukommelsessluger. Den vokser eksplosivt med hvert eneste nye ord og sluger i stilhed gigabyte af RAM eller VRAM. Ifølge T ether sluger KV-cachen alene omkring 8 GB hukommelse for en model med 4 milliarder parametre, der arbejder med omkring 262.000 tokens – hvilket kan være timers chat eller en hel kodebase. Kører du fire sådanne sessioner samtidig, står du over for et hukommelsesforbrug på over 32 GB, før du overhovedet har indlæst selve modellen .

Denne eksplosive hukommelsesvækst er hovedårsagen til, at AI-opgaver med lang kontekst – som at analysere et juridisk dokument, opsummere en podcast eller kode med en kontekstbevidst assistent – i høj grad har været fanger i centraliseret cloud-infrastruktur med rækkevis af højtydende grafikkort .

Sådan opnår TurboQuant næsten tabsfri 5× komprimering

TurboQuant tackler dette problem direkte med en teknik kaldet aggressiv KV-cache-kvantisering. Konceptet ligner komprimering af et billede: du bytter en smule teoretisk numerisk præcision for enorme praktiske gevinster i hukommelseseffektivitet .

Her er, hvordan det fungerer:

1. Angrib det rigtige mål: I stedet for at komprimere de statiske modelvægte – en almindelig teknik, der kan kræve genoptræning – fokuserer TurboQuant udelukkende på de volatile KV-cache-værdier, der genereres under inferens.
2. Reducer numerisk præcision: Det sænker præcisionen af tallene i KV-cachen, typisk fra 16-bit eller endda 32-bit flydende komma-formater ned til kun 4-bit eller 2-bit repræsentationer .
3. Udnyt naturlig redundans: Teknikken virker, fordi de gemte nøgle-værdi-par indeholder betydelig statistisk redundans. TurboQuants kvantiseringsmetode er smart nok til at bevare den information, der betyder noget for næste forudsigelse, så den endelige outputkvalitet er næsten umulig at skelne fra en ukomprimeret model .

T ethers open source-udgivelse er ikke bare en teoretisk afhandling. Det er en praktisk pakke, der inkluderer en fuld kvantiseringspipeline, adaptere til almindelige inferens-frameworks og implementeringsprofiler, der er tunet til forskellige arbejdsbyrder. Det gør den klar til, at udviklere kan sætte den i projektet med det samme .

Strategien: Lokal AI som et magtskifte

TurboQuants virkelige betydning træder tydeligt frem, når man ser på, hvor det hører hjemme: inde i QVAC Fabric, som er kerneruntimen for LLM'er i T ethers QVAC SDK . QVAC, der står for "Sovereign Mind"-initiativet, er T ethers open source, platformsuafhængige SDK til at bygge lokalt forankret, decentral AI . Det samler funktioner som LLM-tekstgenerering, talegenkendelse, oversættelse, OCR, billedgenerering og on-device finjustering bag en samlet API, der er designet til at køre identisk på enhver enhed eller operativsystem .

Ved at fjerne KV-cachens hukommelsesmur er TurboQuant mere end en ydelsesjustering. Det er en strategisk muliggører for T ethers vision om AI, der kører på personlige enheder, lokale netværk og peer-to-peer-infrastruktur, hvilket reducerer verdens afhængighed af en håndfuld centraliserede, hyper-skala cloud-udbydere .

Det politiske i dette er eksplicit. T ethers administrerende direktør, Paolo Ardoino, formulerede udgivelsen i skarpe vendinger: "Hvis AI med lang kontekst kun virker i de største datacentre, så vil AI blive formet af dem, der ejer mest hardware" . TurboQuant er designet til at være et praktisk svar på den magtkoncentration.

Hvad er der ellers nyt i QVAC SDK 0.12.0

TurboQuant var stjernen i 0.12.0-udgivelsen, men den rejste ikke alene. Opdateringen udvidede også SDK'ens multimodale evner på markante måder, baseret på den officielle udgivelse og den understøttende dækning :

• Tekst-til-video-generering: En helt ny funktion til at skabe videoindhold ud fra tekstbeskrivelser, hvilket udvider SDK'ens generative AI-værktøjskasse .
• Robotstyring: Nye inferens-primitiver og runtime-komponenter, der specifikt er inkluderet til robotteknologi, signalerer en ambitiøs ekspansion ind i den fysiske verden .
• En komplet AI-stack: 0.12.0-opdateringen bygger videre på QVACs løfte om at være en enkelt indgang til et dusin AI-opgaver, herunder transskription, oversættelse, tekst-til-tale og on-device LoRA-finjustering, alt sammen tilgængeligt via @qvac/sdk-pakken .

Ved at udgive TurboQuant som open source-software og integrere det direkte i QVAC SDK, satser T ether på, at fremtidens AI i lige så høj grad vil blive defineret af, hvor den kører – på din enhed, i dine hænder – som af, hvad den kan gøre.