Tether відкриває код TurboQuant: як складна нейромережа поміститься у ваш кишені

Проблема в тому, що цей KV-кеш — ненажерливий «пожирач» пам'яті. Він роздувається з кожним новим токеном (умовною одиницею тексту), непомітно споживаючи гігабайти оперативної або відеопам'яті. За даними Tether, для 4-мільярдної моделі, що працює з приблизно 262 000 токенів (а це можуть бути години чату або ціла кодова база), лише один KV-кеш з'їдає близько 8 ГБ пам'яті. Запустіть чотири такі сесії одночасно, і ви отримаєте понад 32 ГБ використаної пам'яті, ще до того, як ви взагалі завантажите саму модель .

Це вибухове зростання споживання пам'яті і є головною причиною, чому довготривалі ШІ-завдання — як-от аналіз юридичних документів, розшифрування багатогодинних подкастів чи написання коду з дійсно контекстно-залежним помічником — здебільшого залишалися в'язнями централізованої хмарної інфраструктури з її рядами потужних GPU .

Як TurboQuant досягає майже безвтратного стиснення в 5 разів

TurboQuant атакує цю проблему в лоб за допомогою техніки, що називається агресивне квантування KV-кешу. Концепція схожа на стиснення зображення: ви жертвуєте крихітною часткою теоретичної числової точності заради величезного практичного виграшу в ефективності використання пам'яті .

Ось як це працює:

1. Влучити в правильну ціль: Замість стискати статичні ваги моделі (поширений метод, який часто вимагає перенавчання), TurboQuant фокусується виключно на мінливих значеннях KV-кешу, що генеруються під час роботи моделі.
2. Зменшити числову точність: Він знижує точність чисел у KV-кеші, зазвичай перетворюючи їх із 16-бітного або навіть 32-бітного формату з рухомою комою до всього лише 4-бітного або 2-бітного представлення .
3. Використати природну надлишковість: Техніка працює, тому що кешовані пари «ключ-значення» містять значну статистичну надлишковість. Метод квантування TurboQuant достатньо розумний, щоб зберегти інформацію, яка справді важлива для наступного передбачення моделі, роблячи кінцеву якість виводу майже невідмінною від нестисненої моделі .

Реліз Tether з відкритим кодом — це не просто теоретична стаття. Це практичний пакет, який містить повний конвеєр квантування, адаптери для популярних фреймворків і профілі розгортання, налаштовані під різні робочі навантаження. Усе готове для того, щоб розробники могли під'єднати це до своїх проєктів «з коробки» .

Стратегія: Локальний ШІ як зміна балансу сил

Справжнє значення TurboQuant стає очевидним, коли дивишся, де він «живе»: всередині QVAC Fabric, основного середовища виконання LLM у складі QVAC SDK від Tether . QVAC, що розшифровується як ініціатива «Суверенний розум» (Sovereign Mind), — це кросплатформний SDK з відкритим кодом для створення локального, децентралізованого ШІ . Він об'єднує такі можливості, як генерація тексту, розпізнавання мови, переклад, оптичне розпізнавання символів (OCR), генерація зображень і тонке налаштування моделей на пристрої за єдиним уніфікованим API, який працює однаково на будь-якому пристрої чи операційній системі .

Усуваючи «стіну пам'яті» KV-кешу, TurboQuant стає чимось більшим, ніж просто покращення продуктивності. Це стратегічний інструмент для втілення бачення Tether про ШІ, що працює на персональних пристроях, у локальних мережах і пірінговій (peer-to-peer) інфраструктурі, зменшуючи залежність світу від жменьки централізованих гіпермасштабованих хмар .

Політичний підтекст цього є відвертим. Генеральний директор Tether Паоло Ардоіно сформулював це жорстко: «Якщо довгоконтекстний ШІ працює лише в найбільших дата-центрах, то ШІ формуватиметься тим, хто володіє найбільшою кількістю обладнання» . TurboQuant задуманий як практична відповідь на цю концентрацію влади.

Що ще нового в QVAC SDK 0.12.0

TurboQuant став зіркою версії 0.12.0, але прийшов не один. Оновлення також суттєво розширило мультимодальні можливості SDK, згідно з офіційним релізом та супутніми публікаціями :

• Генерація тексту у відео: Абсолютно нова функція для створення відеоконтенту з текстових підказок, що розширює набір генеративних інструментів SDK .
• Керування роботами: Включені нові примітиви для логічного висновування та компоненти виконання, спеціально призначені для застосувань у робототехніці. Це сигналізує про амбіції вийти у фізичний світ .
• Повний стек ШІ: Оновлення 0.12.0 продовжує розвивати обіцянку QVAC бути єдиним імпортом (import) для десятка ШІ-завдань, включаючи транскрибування, переклад, синтез мовлення та локальне доналаштування за методом LoRA. Усе це доступно через пакет @qvac/sdk .

Випускаючи TurboQuant як відкрите програмне забезпечення та інтегруючи його безпосередньо в QVAC SDK, Tether робить ставку на те, що майбутнє штучного інтелекту визначатиметься не лише тим, що він може робити, а й тим, де він працює — на вашому пристрої, у ваших руках.