Tether uvolnil TurboQuant: 5× menší paměť pro AI. Velké jazykové modely konečně rozjedete i na notebooku

Problém je v tom, že tato KV cache je nenasytný paměťový žrout. S každým novým tokenem bobtná a tiše spotřebovává gigabajty RAM nebo VRAM. Podle Tetheru si pro model se 4 miliardami parametrů pracující s přibližně 262 000 tokeny – což může být hodinový chat nebo celý zdrojový kód – samotná KV cache ukousne zhruba 8 GB paměti. Spusťte čtyři takové seance najednou a rázem se díváte na více než 32 GB paměti, ještě předtím, než vůbec nahrajete samotný model .

Tento explozivní nárůst paměti je hlavním důvodem, proč úlohy s dlouhým kontextem – jako je analýza právního dokumentu, shrnutí podcastu nebo programování se skutečně kontextově uvědomělým asistentem – byly dosud převážně vězněm centralizované cloudové infrastruktury s řadami vysoko-paměťových GPU .

Jak TurboQuant dosahuje 5× komprese s téměř bezztrátovou kvalitou

TurboQuant se s tímto problémem vypořádává pomocí techniky zvané agresivní kvantizace KV cache. Princip je podobný kompresi obrázku: vymění trochu teoretické numerické přesnosti za obrovské praktické zisky v paměťové efektivitě .

Funguje to následovně:

1. Útok na správný cíl: Místo komprese statických vah modelu – běžné techniky, která může vyžadovat přetrénování – se TurboQuant zaměřuje výhradně na nestálé hodnoty KV cache generované během inference.
2. Snížení numerické přesnosti: Snižuje přesnost čísel v KV cache, typicky ze 16bitového nebo dokonce 32bitového formátu s plovoucí desetinnou čárkou na pouhé 4bitové nebo 2bitové reprezentace .
3. Využití přirozené redundance: Technika funguje, protože uložené páry klíč-hodnota obsahují značnou statistickou redundanci. Kvantizační metoda TurboQuantu je natolik chytrá, že zachovává informace důležité pro další predikci modelu, takže kvalita finálního výstupu je téměř nerozeznatelná od nekomprimovaného modelu .

Open-source vydání od Tetheru není jen teoretický článek. Je to praktický balíček, který obsahuje kompletní kvantizační pipeline, adaptéry pro běžné inferenční frameworky a profily nasazení vyladěné pro různé pracovní zátěže, takže je připraven k zapojení do projektů vývojářů .

Strategie: Lokální AI jako posun moci

Skutečný význam TurboQuantu se vyjasní, když se podíváte, kde sídlí: uvnitř QVAC Fabric, základního LLM běhového prostředí Tether QVAC SDK . QVAC, což je zkratka pro iniciativu „Suverénní mysl“ (Sovereign Mind), je open-source, multiplatformní SDK od Tetheru pro budování lokální, decentralizované AI . Spojuje schopnosti jako LLM dokončování, rozpoznávání řeči, překlad, OCR, generování obrázků a dolaďování na zařízení za jednotné, unifikované API, které je navrženo tak, aby fungovalo identicky na jakémkoli zařízení nebo operačním systému .

Odstraněním paměťové zdi KV cache je TurboQuant víc než jen vylepšení výkonu. Je to strategický nástroj pro vizi Tetheru o AI, která běží na osobních zařízeních, lokálních sítích a peer-to-peer infrastruktuře, čímž snižuje závislost světa na hrstce centralizovaných hyperscale cloudů .

Politický rozměr je zde explicitní. Generální ředitel Tetheru Paolo Ardoino zasadil vydání do ostrého kontextu: „Pokud AI s dlouhým kontextem funguje jen uvnitř největších datových center, pak bude AI utvářena tím, kdo vlastní nejvíce hardwaru“ . TurboQuant má být praktickou odpovědí na tuto koncentraci moci.

Co dalšího je nového v QVAC SDK 0.12.0

TurboQuant byl hvězdou vydání 0.12.0, ale nepřišel sám. Aktualizace také významně rozšířila multimodální schopnosti SDK, jak vyplývá z oficiálního oznámení a souvisejícího zpravodajství :

• Generování videa z textu: Zcela nová schopnost vytvářet videoobsah z textových pokynů, čímž rozšiřuje sadu generativních AI nástrojů SDK .
• Ovládání robotů: Nové inferenční primitivy a běhové komponenty zahrnuté speciálně pro robotické aplikace, což signalizuje ambiciózní expanzi do fyzického světa .
• Kompletní AI stack: Aktualizace 0.12.0 pokračuje v naplňování příslibu QVAC jako jediného importu pro tucet AI úloh, včetně transkripce, překladu, převodu textu na řeč a dolaďování LoRA na zařízení, vše dostupné přes balíček @qvac/sdk .

Tím, že Tether vydal TurboQuant jako open-source software a přímo jej integroval do QVAC SDK, sází na to, že budoucnost AI bude definována stejně tak místem, kde běží – na vašem zařízení, ve vašich rukou – jako tím, co dokáže.