Tether öppnar upp TurboQuant: Kör avancerad AI på din laptop med 5× mindre minne

Problemet är att denna KV-cache är en omättlig minnesslukare. Den växer explosionsartat med varje ny token och slukar tyst gigabyte av RAM eller VRAM. Enligt Tether, för en modell med 4 miljarder parametrar som arbetar med ungefär 262 000 tokens – vilket kan motsvara timmar av chatt eller en hel kodbas – slukar KV-cachen ensam cirka 8 GB minne. Kör fyra sådana sessioner samtidigt, och du ser på över 32 GB minnesanvändning, innan du ens har laddat själva modellen .

Denna explosiva minnestillväxt är huvudorsaken till att långkontextuella AI-uppgifter – som att analysera ett juridiskt dokument, sammanfatta en podd eller koda med en verkligt kontextmedveten assistent – till stor del har varit fångar hos centraliserad molninfrastruktur med sina rader av högpresterande grafikprocessorer .

Så uppnår TurboQuant en nästintill förlustfri 5× komprimering

TurboQuant tacklar detta problem direkt med en teknik som kallas aggressiv KV-cache-kvantisering. Konceptet liknar att komprimera en bild: det byter ut en liten, teoretisk, numerisk precision mot enorma praktiska vinster i minneseffektivitet .

Så här fungerar det:

1. Attackera rätt mål: Istället för att komprimera de statiska modellvikterna – en vanlig teknik som kan kräva omträning – fokuserar TurboQuant uteslutande på de flyktiga KV-cache-värden som genereras vid inferenstillfället.
2. Minska numerisk precision: Det minskar precisionen på talen i KV-cachen, vanligtvis från 16-bitars eller till och med 32-bitars flyttalsformat ner till bara 4-bitars eller 2-bitars representationer .
3. Utnyttja naturlig redundans: Tekniken fungerar eftersom de cachade key-value-paren innehåller betydande statistisk redundans. TurboQuants kvantiseringsmetod är smart nog att bevara den information som är viktig för modellens nästa förutsägelse, vilket håller den slutliga utdatakvaliteten nästintill omöjlig att skilja från en okomprimerad modell .

T ethers open source-släpp är inte bara en teoretisk artikel. Det är ett praktiskt paket som inkluderar en fullständig kvantiseringspipeline, adaptrar för vanliga inferensramverk och driftsättningsprofiler anpassade för olika arbetsbelastningar, vilket gör det redo för utvecklare att koppla in i sina projekt .

Strategin: Lokal AI som en maktförskjutning

TurboQuants verkliga betydelse blir tydlig när man ser var den hör hemma: inuti QVAC Fabric, den centrala LLM-körtidsmiljön i T ethers QVAC SDK . QVAC, som står för initiativet ”Sovereign Mind”, är T ethers öppen källkod, plattformsoberoende SDK för att bygga lokalt först, decentraliserad AI . Den paketerar funktioner som LLM-textkomplettering, taligenkänning, översättning, OCR, bildgenerering och finjustering direkt på enheten bakom ett enhetligt API som är tänkt att köra identiskt på vilken enhet eller operativsystem som helst .

Genom att riva KV-cachens minnesvägg är TurboQuant mer än en prestandajustering. Det är en strategisk möjliggörare för T ethers vision om AI som körs på personliga enheter, lokala nätverk och peer-to-peer-infrastruktur, vilket minskar världens beroende av en handfull centraliserade hyperscale-moln .

Politiken i detta är tydlig. T ethers VD Paolo Ardoino formulerade lanseringen i skarpa ordalag: "Om långkontextuell AI bara fungerar i de största datacentren, då kommer AI att formas av den som äger mest hårdvara" . TurboQuant är designat för att vara ett praktiskt svar på den maktkoncentrationen.

Vad mer är nytt i QVAC SDK 0.12.0

TurboQuant var stjärnan i 0.12.0-släppet, men den reste inte ensam. Uppdateringen utökade också SDK:ns multimodala förmågor på betydande sätt, baserat på den officiella lanseringen och stödjande rapportering :

• Text-till-video-generering: En helt ny förmåga att skapa videoinnehåll från textbeskrivningar, vilket breddar SDK:ns verktygslåda för generativ AI .
• Robotstyrning: Nya inferensprimitiver och körtidskomponenter som specifikt inkluderats för robotikapplikationer, vilket signalerar en ambitiös expansion in i den fysiska världen .
• En komplett AI-stack: 0.12.0-uppdateringen fortsätter att bygga på QVAC:s löfte som en enda import för ett dussin AI-uppgifter, inklusive transkribering, översättning, text-till-tal och LoRA-finjustering på enheten, allt tillgängligt via paketet @qvac/sdk .

Genom att släppa TurboQuant som öppen källkod och integrera det direkt i QVAC SDK, satsar Tether på att AI:ns framtid kommer att definieras lika mycket av var den körs – på din enhet, i dina händer – som av vad den kan göra.