Koniec z centrami danych? Tether wypuszcza TurboQuant, by zaawansowana AI działała na Twoim komputerze

Problem polega na tym, że ta pamięć KV cache jest nienasyconym pożeraczem zasobów. Pęcznieje z każdym nowym tokenem, po cichu pochłaniając gigabajty RAM-u lub VRAM-u. Według Tethera, dla modelu o 4 miliardach parametrów pracującego z około 262 000 tokenów – co może oznaczać godziny czatu lub analizę całej bazy kodu – sama pamięć KV cache pożera około 8 GB pamięci. Uruchom cztery takie sesje jednocześnie, a zużycie pamięci przekroczy 32 GB, zanim jeszcze załadujesz sam model .

Ten gwałtowny wzrost zapotrzebowania na pamięć jest głównym powodem, dla którego zadania AI z długim kontekstem – takie jak analiza dokumentu prawnego, streszczanie podcastu czy kodowanie z naprawdę kontekstowym asystentem – były w dużej mierze więźniami scentralizowanej infrastruktury chmurowej z jej rzędami GPU o dużej pamięci .

Jak TurboQuant osiąga niemal bezstratną kompresję 5×

TurboQuant podchodzi do tego problemu bezpośrednio, wykorzystując technikę zwaną agresywną kwantyzacją pamięci KV cache. Koncepcja jest podobna do kompresji obrazu: poświęca odrobinę teoretycznej precyzji numerycznej na rzecz ogromnych, praktycznych zysków w wydajności pamięciowej .

Oto jak to działa:

1. Atak na właściwy cel: Zamiast kompresować statyczne wagi modelu – co jest powszechną techniką, która może wymagać ponownego trenowania – TurboQuant skupia się wyłącznie na zmiennych wartościach pamięci KV cache generowanych w czasie wnioskowania.
2. Redukcja precyzji numerycznej: Zmniejsza precyzję liczb w pamięci KV cache, zazwyczaj z formatów zmiennoprzecinkowych 16-bitowych, a nawet 32-bitowych, do zaledwie 4-bitowych lub 2-bitowych reprezentacji .
3. Wykorzystanie naturalnej nadmiarowości: Technika działa, ponieważ pary klucz-wartość w pamięci podręcznej zawierają znaczną redundancję statystyczną. Metoda kwantyzacji TurboQuant jest wystarczająco inteligentna, aby zachować informacje istotne dla kolejnej predykcji modelu, utrzymując jakość końcowego wyniku na poziomie niemal nie do odróżnienia od modelu nieskompresowanego .

Open-source'owe wydanie Tethera to nie tylko teoretyczny artykuł. To praktyczny pakiet, który zawiera pełny potok kwantyzacji, adaptery dla powszechnych frameworków inferencyjnych oraz profile wdrożeniowe dostrojone do różnych obciążeń, co czyni go gotowym do podłączenia przez deweloperów do ich projektów .

Strategia: Lokalna AI jako przesunięcie władzy

Prawdziwe znaczenie TurboQuant staje się jasne, gdy spojrzymy, gdzie on rezyduje: wewnątrz QVAC Fabric, głównego środowiska uruchomieniowego LLM w SDK QVAC od Tethera . QVAC, co jest skrótem od inicjatywy „Suwerenny Umysł” (Sovereign Mind), to open-source'owy, wieloplatformowy zestaw narzędzi Tethera do budowania lokalnej, zdecentralizowanej AI . Łączy on takie możliwości, jak uzupełnianie tekstu przez LLM, rozpoznawanie mowy, tłumaczenie, OCR, generowanie obrazów i dostrajanie na urządzeniu za pomocą jednego, ujednoliconego API, które działa identycznie na każdym urządzeniu i systemie operacyjnym .

Usuwając ścianę pamięci KV cache, TurboQuant jest czymś więcej niż tylko poprawką wydajności. To strategiczny czynnik umożliwiający realizację wizji Tethera, w której AI działa na urządzeniach osobistych, w sieciach lokalnych i infrastrukturze peer-to-peer, zmniejszając zależność świata od garstki scentralizowanych, hiperskalowych chmur .

Polityczny wymiar tego posunięcia jest wyraźny. Dyrektor generalny Tether, Paolo Ardoino, ujął to w stanowczych słowach: „Jeśli AI z długim kontekstem działa tylko w największych centrach danych, to AI będzie kształtowana przez tych, którzy posiadają najwięcej sprzętu” . TurboQuant ma być praktyczną odpowiedzią na tę koncentrację władzy.

Co jeszcze nowego w QVAC SDK 0.12.0

TurboQuant był gwiazdą wydania 0.12.0, ale nie podróżował sam. Aktualizacja rozszerzyła również multimodalne możliwości SDK w znaczący sposób, zgodnie z oficjalną informacją o wydaniu i powiązanymi doniesieniami :

• Generowanie wideo z tekstu: Zupełnie nowa funkcja tworzenia treści wideo na podstawie poleceń tekstowych, rozszerzająca zestaw narzędzi generatywnej AI SDK .
• Sterowanie robotami: Nowe prymitywy inferencyjne i komponenty środowiska uruchomieniowego dołączone specjalnie z myślą o zastosowaniach w robotyce, sygnalizujące ambitną ekspansję w świat fizyczny .
• Kompletny stos AI: Aktualizacja 0.12.0 kontynuuje budowanie obietnicy QVAC jako pojedynczego importu dla kilkunastu zadań AI, w tym transkrypcji, tłumaczenia, zamiany tekstu na mowę i dostrajania LoRA na urządzeniu, a wszystko to dostępne za pośrednictwem pakietu @qvac/sdk .

Wypuszczając TurboQuant jako oprogramowanie open-source i integrując je bezpośrednio z QVAC SDK, Tether stawia na to, że przyszłość AI będzie definiowana w równym stopniu przez to, gdzie działa – na Twoim urządzeniu, w Twoich rękach – jak i przez to, co potrafi robić.