AI Lokal Ternyata Bisa Tangani Hampir 90% Pertanyaan Sehari-hari, Efisiensinya Melesat 5,3 Kali Lipat

• Model lokal dapat menjawab 88,7% pertanyaan secara akurat: Model dengan 20 miliar parameter atau kurang, yang berjalan di perangkat keras konsumen, berhasil menangani sebagian besar permintaan satu putaran. Akurasi bervariasi menurut domain — melampaui 90% untuk tugas kreatif, tetapi turun hingga sekitar 68% untuk bidang teknis .
• IPW meningkat 5,3× antara 2023 dan 2025: Ini adalah keuntungan gabungan, didorong oleh peningkatan 3,1× dalam akurasi model per watt dan peningkatan 1,7× dari kemajuan perangkat keras .
• Cakupan pertanyaan lokal meroket: Proporsi pertanyaan yang dapat ditangani secara kompeten oleh model lokal naik dari hanya 23,2% pada tahun 2023 menjadi 71,3% pada tahun 2025 .
• Akselerator lokal masih memiliki ruang untuk ditingkatkan: Studi ini menemukan bahwa akselerator lokal mencapai IPW setidaknya 1,4× lebih rendah daripada akselerator cloud kelas enterprise yang menjalankan model yang sama, yang menunjukkan masih ada ruang signifikan untuk optimalisasi lebih lanjut .

Metrik 'Intelligence Per Watt' Dijelaskan

IPW sederhana secara elegan: metrik ini membagi akurasi yang dicapai model pada tugas tertentu dengan daya yang dikonsumsi selama inferensi . Ini kontras dengan praktik umum mengevaluasi model AI secara terisolasi, mengabaikan biaya energi dan persyaratan perangkat keras.

Metrik ini menangkap wawasan kunci: model yang paling mumpuni belum tentu yang paling efisien atau praktis. Model kecil yang berjalan di laptop bisa memberikan 95% akurasi model cloud raksasa sambil menggunakan energi yang jauh lebih sedikit .

Routing Hybrid: Pemotongan Biaya 60%

Salah satu temuan studi yang paling signifikan secara finansial menyangkut apa yang terjadi ketika Anda tidak memilih antara lokal dan cloud — tetapi menggunakan keduanya secara cerdas.

Oracle routing, sebuah sistem sempurna hipotetis yang menetapkan setiap pertanyaan ke model terkecil yang mampu, secara teoretis dapat mengurangi konsumsi energi sebesar 80,4%, komputasi sebesar 77,3%, dan biaya sebesar 73,8% dibandingkan dengan penerapan yang hanya mengandalkan cloud .

Router realistis dan praktis yang diuji dalam penelitian terkait mencapai hasil serupa: router ini mengurangi energi sebesar 77,1%, komputasi sebesar 67,1%, dan biaya sebesar 60,2% pada distribusi lalu lintas dunia nyata, sambil mempertahankan akurasi tugas yang sebanding .

Ini bukan kemungkinan futuristik. Penelitian menunjukkan bahwa arsitektur hybrid lokal-cloud sudah layak dan dapat secara dramatis menurunkan biaya penyajian inferensi AI.

Apa Artinya Ini bagi OpenAI, Anthropic, dan xAI

Studi Stanford tidak membuat prediksi finansial eksplisit untuk perusahaan mana pun. Namun, lintasan yang didokumentasikannya memiliki implikasi struktural yang jelas bagi perusahaan AI yang bergantung pada API cloud .

Model lokal sudah mencakup sekitar 89% pertanyaan satu putaran dengan biaya yang jauh lebih rendah . IPW telah meningkat 5,3× hanya dalam dua tahun dan terus berakselerasi . Routing cerdas dapat memangkas biaya inferensi cloud hingga 60% atau lebih untuk pertanyaan-pertanyaan yang tersisa yang dikirim ke cloud .

Jika tren ini dioperasionalkan dalam skala besar, pelanggan dapat mengganti mayoritas kueri API cloud mereka dengan inferensi lokal yang hampir tanpa biaya, hanya menggunakan panggilan cloud untuk ~11% tugas tersulit yang belum bisa ditangani model lokal .

Komentar yang menafsirkan studi ini mencatat bahwa masa depan AI mungkin menampilkan model yang 'kecil, murah, dan tidak menguntungkan' bagi perusahaan AI terdepan . Insentif ekonomi bergeser ke arah alternatif lokal dengan bobot terbuka yang bisa memotong harga API cloud — sebuah dinamika yang bisa membentuk ulang model bisnis perusahaan seperti OpenAI, Anthropic, dan xAI.

Tren yang Lebih Luas: AI Semakin Murah dan Cepat

Studi ini adalah satu titik data dalam tren yang lebih besar. Laporan Indeks AI 2025 dari Stanford HAI menemukan bahwa biaya inferensi untuk sistem yang berkinerja setingkat GPT-3.5 turun lebih dari 280 kali lipat antara November 2022 dan Oktober 2024 . Di tingkat perangkat keras, biaya telah menurun sebesar 30% setiap tahun sementara efisiensi energi telah meningkat sebesar 40% setiap tahun .

Model dengan bobot terbuka juga menutup kesenjangan dengan model tertutup, mengurangi perbedaan kinerja dari 8% menjadi hanya 1,7% pada beberapa tolok ukur dalam satu tahun .

Catatan: Studi Ini Punya Keterbatasan

Meskipun hasilnya mengesankan, penting untuk dicatat ruang lingkupnya. Studi ini hanya menguji kueri satu putaran — respons obrolan sederhana dan tugas penalaran mandiri. Studi ini tidak mengevaluasi model lokal pada percakapan multi-putaran, penalaran konteks panjang, atau alur kerja agen yang kompleks, semua area di mana model cloud masih memiliki keunggulan signifikan .

Model lokal yang diuji (≤20 miliar parameter) juga tidak dapat menandingi model cloud terbaik pada masalah-masalah tersulit. Para penulis studi jelas tentang hal ini: akurasi sangat bervariasi menurut domain, dan angka 88,7% menutupi kinerja yang lebih lemah di bidang teknis dan ilmiah .

Intinya

Studi 'Intelligence Per Watt' dari Stanford menyediakan bukti empiris yang kuat bahwa AI lokal telah melewati ambang kritis. Untuk sebagian besar pertanyaan sehari-hari — tugas kreatif, manajemen, penjualan, hiburan — model kecil di laptop sudah memadai . Laju peningkatan yang pesat menunjukkan cakupan ini hanya akan meluas.

Bagi bisnis, implikasinya jelas: infrastruktur AI yang paling hemat biaya semakin bersifat hybrid, mengarahkan pertanyaan sederhana ke model lokal dan mencadangkan kapasitas cloud untuk tugas-tugas tersulit. Era di mana setiap pertanyaan dikirim ke model cloud besar dengan biaya per token mungkin akan segera berakhir.