Tether Lancar TurboQuant: Jimat Memori AI Sehingga 5 Kali Ganda, Buka Jalan untuk AI Tempatan yang Berkuasa

Masalahnya, cache KV ini adalah pemakan memori yang sangat rakus. Ia mengembang dengan setiap token baharu, secara senyap memakan gigabait RAM atau VRAM. Menurut Tether, untuk model berparameter 4 bilion yang berfungsi dengan kira-kira 262,000 token—mungkin perbualan berjam-jam atau keseluruhan pangkalan kod—cache KV sahaja menelan kira-kira 8 GB memori. Jalankan empat sesi sedemikian serentak, dan penggunaan memori mencecah lebih 32 GB, sebelum model itu sendiri dimuatkan .

Pertumbuhan memori yang mendadak ini adalah sebab utama tugas AI berkonteks panjang—seperti menganalisis dokumen undang-undang, meringkaskan podcast, atau mengekod dengan pembantu yang benar-benar sedar konteks—sebahagian besarnya terkurung dalam infrastruktur awan terpusat dengan deretan GPU bermemori tinggi .

Bagaimana TurboQuant Mencapai Mampatan 5× Hampir Tanpa Kehilangan Kualiti

TurboQuant menangani masalah ini secara langsung dengan teknik yang dipanggil kuantisasi cache KV agresif. Konsepnya serupa dengan memampatkan imej: ia menukar sedikit ketepatan berangka teori untuk keuntungan praktikal yang besar dalam kecekapan memori .

Begini cara ia berfungsi:

1. Serang Sasaran yang Tepat: Daripada memampatkan pemberat model statik—teknik lazim yang mungkin memerlukan latihan semula—TurboQuant memberi tumpuan secara eksklusif kepada nilai cache KV yang tidak menentu yang dijana pada masa inferens.
2. Kurangkan Ketepatan Berangka: Ia mengurangkan ketepatan nombor dalam cache KV, lazimnya daripada format titik terapung 16-bit atau 32-bit kepada hanya perwakilan 4-bit atau 2-bit .
3. Manfaatkan Lebihan Semula Jadi: Teknik ini berfungsi kerana pasangan nilai-kunci yang dicache mengandungi lebihan statistik yang ketara. Kaedah kuantisasi TurboQuant cukup pintar untuk mengekalkan maklumat yang penting untuk ramalan seterusnya model, menjadikan kualiti output akhir hampir tidak dapat dibezakan daripada model tanpa mampatan .

Lancaran sumber terbuka Tether bukan sekadar kertas teori. Ia adalah pakej praktikal yang merangkumi saluran paip kuantisasi penuh, penyesuai untuk rangka kerja inferens biasa, dan profil penggunaan yang ditala untuk beban kerja yang berbeza, menjadikannya sedia untuk dipasang oleh pembangun ke dalam projek mereka .

Strategi: AI Setempat Sebagai Anjakan Kuasa

Kepentingan sebenar TurboQuant menjadi jelas apabila melihat di mana ia berada: di dalam QVAC Fabric, masa jalan LLM teras bagi QVAC SDK Tether . QVAC, singkatan bagi inisiatif "Minda Berdaulat", ialah SDK sumber terbuka dan rentas platform Tether untuk membina AI terdesentralisasi yang mengutamakan peranti setempat . Ia menggabungkan keupayaan seperti penyelesaian LLM, pengecaman pertuturan, terjemahan, OCR, penjanaan imej, dan penalaan halus pada peranti di sebalik satu API bersatu yang direka untuk berjalan secara identik pada mana-mana peranti atau sistem operasi .

Dengan menyingkirkan tembok memori cache KV, TurboQuant adalah lebih daripada sekadar tweak prestasi. Ia adalah pemboleh strategik untuk visi Tether tentang AI yang berjalan pada peranti peribadi, rangkaian tempatan, dan infrastruktur rakan-ke-rakan, mengurangkan kebergantungan dunia kepada segelintir awan hiperskala terpusat .

Politik di sebalik ini adalah eksplisit. CEO Tether, Paolo Ardoino, merangka pelancaran ini dalam istilah yang jelas: “Jika AI berkonteks panjang hanya berfungsi di dalam pusat data terbesar, maka AI akan dibentuk oleh sesiapa yang memiliki paling banyak perkakasan” . TurboQuant direka sebagai jawapan praktikal kepada penumpuan kuasa itu.

Apa Lagi yang Baharu dalam QVAC SDK 0.12.0

TurboQuant adalah bintang bagi keluaran 0.12.0, tetapi ia tidak datang bersendirian. Kemas kini ini turut memperluaskan keupayaan multimodal SDK dengan cara yang ketara, berdasarkan siaran rasmi dan liputan sokongan :

• Penjanaan Teks-ke-Video: Keupayaan serba baharu untuk mencipta kandungan video daripada arahan teks, memperluaskan kit alat AI generatif SDK .
• Kawalan Robot: Primitif inferens dan komponen masa jalan baharu yang disertakan khusus untuk aplikasi robotik, menandakan pengembangan bercita-cita tinggi ke dunia fizikal .
• Timbunan AI Lengkap: Kemas kini 0.12.0 terus membina janji QVAC sebagai satu import tunggal untuk sedozen tugas AI, termasuk transkripsi, terjemahan, teks-ke-pertuturan, dan penalaan halus LoRA pada peranti, semuanya boleh diakses melalui pakej @qvac/sdk .

Dengan melancarkan TurboQuant sebagai perisian sumber terbuka dan mengintegrasikannya terus ke dalam QVAC SDK, Tether membuat pertaruhan bahawa masa depan AI akan ditentukan oleh tempat ia berjalan—pada peranti anda, di tangan anda—sama seperti apa yang boleh dilakukannya.