Paradoks Inferensi Gartner: Mengapa AI Agent Justru Bisa Makin Mahal

Perkiraan Gartner tersebut mengacu pada biaya inferensi per alur kerja, bukan sekadar harga token yang tercantum di halaman penyedia model. Biaya inferensi mencakup komputasi yang diperlukan untuk menghasilkan hasil akhir, termasuk aktivitas model berulang yang dipicu oleh alur kerja.

Mengapa AI agent lebih boros daripada chatbot?

AI agent menambah pekerjaan di beberapa lapisan sekaligus:

• Perencanaan dan penalaran: Sistem memecah tujuan menjadi beberapa tahap, menimbang pilihan, dan dapat mengulang rencana jika diperlukan.
• Penggunaan tool: Panggilan ke mesin pencari, basis data, API, perangkat lunak, atau tool lain menghasilkan input dan output tambahan.
• Verifikasi: Agent dapat mengkritik, menguji, atau memvalidasi hasil sementara maupun hasil akhir.
• Alur pembelajaran: Pengambilan memori, umpan balik, evaluasi, dan adaptasi menambah aktivitas model.
• Koordinasi multi-agent: Delegasi menimbulkan pesan, serah-terima tugas, konteks yang berulang, dan pemeriksaan oleh agent pengawas.
• Pemulihan dari kegagalan: Panggilan tool yang gagal atau hasil dengan tingkat keyakinan rendah dapat memicu percobaan ulang dan penyusunan rencana baru.

Seiring konteks menumpuk, panggilan-panggilan berikutnya juga dapat membawa lebih banyak informasi dari langkah sebelumnya. Model penalaran yang lebih canggih pun bisa menggunakan lebih banyak token dan komputasi ketika mengambil banyak keputusan. Laporan mengenai analisis Gartner menyebut AI agent dapat membutuhkan 5 hingga 30 kali lebih banyak token dibandingkan chatbot untuk tugas yang setara, meski angka pastinya bergantung pada alur kerja dan konfigurasi model.

Dampaknya bersifat kumulatif: satu alur kerja bisa menggunakan lebih banyak panggilan, konteks yang lebih panjang, dan model yang lebih mahal secara bersamaan. Jadi, persoalannya bukan hanya tarif token. Biaya total dipengaruhi oleh gabungan harga token, volume token, pilihan model, dan struktur alur kerja.

Apa yang ditunjukkan Model Tokenomics Gartner?

Model Tokenomics Gartner memandang pekerjaan AI sebagai tingkatan skenario dengan kebutuhan komputasi yang berbeda, bukan sebagai satu jenis “permintaan” yang seragam. Pelaporan publik menggambarkan urutan besarnya sebagai berikut:

1. Eksekusi agent dasar membutuhkan biaya lebih tinggi daripada interaksi chatbot dasar.
2. Perencanaan menambah penalaran dan orkestrasi.
3. Pembelajaran serta peningkatan berulang menambah memori, umpan balik, evaluasi, dan adaptasi.
4. Penalaran tingkat lanjut menjadi kelas dengan biaya tertinggi karena membutuhkan komputasi model yang lebih canggih dan berkelanjutan.

Materi publik mendukung arah tangga biaya tersebut serta ambang utamanya: mengarahkan pekerjaan ke model penalaran agent dapat meningkatkan biaya inferensi setidaknya lima kali lipat dibandingkan chatbot dasar, dan biayanya dapat terus bertambah ketika tugas makin rumit. Namun, laporan yang tersedia tidak memberikan angka pengali kategori per kategori yang cukup andal untuk eksekusi dasar, perencanaan, pembelajaran, dan penalaran tingkat lanjut. Angka-angka tersebut tidak semestinya disajikan sebagai tolok ukur Gartner yang sudah ditetapkan secara publik.

Apakah ini bertentangan dengan biaya model frontier yang makin turun?

Tidak. Paradoks ini bukan berarti efisiensi perangkat keras, arsitektur model, atau ekonomi token berhenti membaik. Intinya, peningkatan efisiensi dapat mendorong permintaan terhadap sistem yang lebih canggih.

Ketika model lanjutan menjadi lebih murah untuk digunakan, perusahaan dapat membenarkan penerapan yang sebelumnya terlalu mahal. Mereka juga mungkin memberikan lebih banyak otonomi, tool, konteks, dan kesempatan bagi agent untuk melakukan penalaran. Semua itu meningkatkan jumlah inferensi yang dibutuhkan untuk menyelesaikan setiap tugas. Dalam kerangka Gartner, kemampuan dan penggunaan dapat tumbuh lebih cepat daripada penurunan biaya per unit.

Perbedaan ini penting dalam perencanaan produk AI. Harga token yang lebih rendah dapat memperbaiki ekonomi beban kerja yang tetap. Namun, hal itu tidak menjamin biaya per hasil bisnis ikut turun jika beban kerja tersebut terus berkembang.

Cara perusahaan mengendalikan biaya AI agent

1. Terapkan pembagian tingkat inferensi

Sesuaikan kemampuan model dengan tingkat kesulitan tugas. Arahkan pekerjaan yang deterministik, pengambilan informasi, klasifikasi, dan tugas berisiko rendah ke model yang lebih kecil atau murah. Gunakan model penalaran frontier hanya pada tahap yang terbukti membutuhkan kemampuan tambahannya dan memberikan hasil yang sepadan dengan biaya. Rekomendasi Gartner yang dilaporkan mencakup pembagian tingkat inferensi, pembatasan token, dan pemantauan.

2. Batasi kompleksitas alur kerja

Kendalikan variabel yang dapat membuat agent melampaui anggaran, termasuk:

• jumlah giliran dan token maksimum;
• batas percobaan ulang dan penyusunan rencana ulang;
• kuota panggilan tool;
• batas ukuran konteks;
• batas jumlah agent yang dijalankan secara paralel; serta
• kondisi penghentian untuk perilaku berulang atau tingkat keyakinan rendah.

Menyimpan hasil yang stabil dalam cache, memangkas atau merangkum riwayat, menggunakan output tool yang terstruktur, serta mengalihkan kasus pengecualian kepada manusia dapat mengurangi panggilan yang tidak perlu tanpa menghilangkan otonomi pada bagian alur kerja yang memang menghasilkan nilai.

3. Ukur biaya per hasil yang selesai

Biaya per token dan biaya per pemanggilan agent merupakan metrik yang belum lengkap. Tim juga perlu melacak biaya untuk menghasilkan hasil bisnis yang selesai—misalnya kasus yang terselesaikan, klaim yang disetujui, prospek yang memenuhi kualifikasi, atau tugas rekayasa yang dituntaskan—bersama dengan kualitas, latensi, tingkat kegagalan, dan intervensi manusia.

Uji coba yang kredibel sebaiknya menetapkan proses pembanding dan ambang kualitas sebelum mengukur apakah agent memberikan nilai yang cukup untuk diperluas. Jika agent hanya menghemat token tetapi tidak menghasilkan hasil yang lebih baik atau lebih cepat, efisiensi yang tampak tersebut mungkin tidak berarti.

4. Buat penagihan berbasis penggunaan tetap terkendali

Penagihan berdasarkan pemakaian dapat memicu biaya tak terduga ketika alur kerja menjadi rekursif, panjang, atau sangat otonom. Batas anggaran, kuota per alur kerja, telemetri biaya secara waktu nyata, peringatan, serta mekanisme pembebanan atau pelaporan biaya internal membuat konsumsi terlihat sebelum sistem diperluas ke skala produksi.

5. Evaluasi ulang model secara berkala

Ekonomi model tidak bersifat tetap. Alur kerja yang saat ini menggunakan model frontier premium mungkin kelak dapat dijalankan dengan model yang lebih murah namun memadai, model yang disesuaikan atau didistilasi, atau otomatisasi deterministik. Evaluasi kembali kombinasi model dan alur kerja tersebut, alih-alih menganggap arsitektur hari ini akan selalu menjadi pilihan terbaik.

6. Pastikan otonomi menghasilkan nilai yang terukur

Gartner memprediksi lebih dari 40% inisiatif AI agent akan dibatalkan pada akhir 2027 karena biaya yang meningkat, nilai bisnis yang tidak jelas, atau pengendalian risiko yang tidak memadai. Perkiraan ini menjadi peringatan agar perusahaan tidak memperluas otonomi sebelum ekonomi dan tata kelolanya dipahami—bukan klaim bahwa setiap penerapan agent akan gagal.

Implementasi yang dioptimalkan dengan baik tetap dapat menghasilkan laba atas investasi jika mampu mempercepat atau menggantikan proses yang bernilai dan berulang. Ujian utamanya adalah apakah nilai tambahan dari penalaran, koordinasi, dan otonomi lebih besar daripada tambahan biaya inferensi dan operasional.

Intinya

Anggapan paling aman adalah harga token dan total biaya AI agent dapat bergerak berlawanan arah. Jadikan token hanya salah satu komponen anggaran. Petakan seluruh alur kerja, gunakan konfigurasi model paling sederhana yang memenuhi target kualitas, terapkan batas operasional, dan perluas otonomi hanya setelah bukti produksi menunjukkan bahwa sistem tersebut benar-benar memperbaiki hasil bisnis yang telah ditentukan.