Bukan Lagi Soal Jumlah Pengguna: OpenAI Kenalkan Metrik “Useful Intelligence per Dollar”

“Selama bertahun-tahun, perangkat lunak diukur melalui adopsi: jumlah lisensi, pengguna aktif, dan pembaruan kontrak. AI berbeda—AI perlu diukur dari pekerjaan yang diselesaikan,” kata Friar dalam unggahan LinkedIn-nya .

Menurut kerangka tersebut, harga per token yang paling murah belum tentu menghasilkan biaya terendah untuk sebuah pekerjaan. Model yang murah tetapi sering keliru dapat membutuhkan lebih banyak percobaan ulang, pemeriksaan manusia, dan perbaikan. Karena itu, perusahaan sebaiknya mengoptimalkan nilai total yang tercipta, bukan hanya harga unit .

Empat pertanyaan untuk mengukur ROI AI

Friar mengganti metrik adopsi yang masih umum digunakan dengan empat pertanyaan konkret yang dapat menjadi scorecard ROI AI .

1. Apakah AI menyelesaikan pekerjaan yang penting?

Perusahaan perlu mengukur tugas nyata yang menghasilkan dampak—misalnya jumlah masalah pelanggan yang terselesaikan, perubahan kode yang berhasil dikirim, atau kontrak yang telah ditinjau. Ukurannya bukan sekadar jumlah prompt, percakapan, atau kueri yang dibuat .

“Token menciptakan nilai ketika berubah menjadi pekerjaan yang dapat digunakan orang,” tulis Friar . Dengan pendekatan ini, perhatian berpindah dari metrik aktivitas—berapa banyak AI dipakai—ke metrik hasil—apa yang benar-benar selesai.

2. Berapa biaya setiap tugas yang berhasil?

Hitung seluruh biaya untuk menyelesaikan tugas yang memenuhi standar kualitas. Perhitungannya mencakup biaya inferensi AI, percobaan ulang, pemeriksaan manusia, serta pengerjaan ulang .

Model berbiaya rendah bisa saja lebih mahal untuk setiap hasil akhir yang berhasil dibandingkan model premium yang mampu menyelesaikan pekerjaan dengan benar sejak percobaan pertama . Pertanyaan ini memaksa perusahaan memperhitungkan “biaya tersembunyi” akibat kesalahan dan koreksi, bukan hanya tarif per token.

3. Seberapa sering AI menghasilkan pekerjaan yang benar?

Keandalan perlu diukur dari seberapa sering keluaran AI benar-benar siap digunakan tanpa koreksi atau eskalasi . Semakin sedikit campur tangan manusia yang dibutuhkan, semakin rendah biaya total dan semakin tinggi tingkat kepercayaan terhadap sistem.

Dengan kata lain, kemampuan AI tidak cukup dinilai dari kecanggihannya. Konsistensi dan kualitas hasil juga harus menjadi bagian dari evaluasi.

4. Apakah setiap dolar yang dikeluarkan menghasilkan nilai lebih besar ketika penggunaan meningkat?

Perusahaan perlu memantau apakah AI dapat menyelesaikan lebih banyak pekerjaan berkualitas tinggi tanpa membuat biaya meningkat secara eksponensial . Konsep ini juga disebut return on compute (ROC), istilah yang dipinjam dari pembahasan keuangan semikonduktor dan pusat data.

Pertanyaan tersebut membantu perusahaan melihat apakah investasi AI menghasilkan keuntungan yang terus bertambah atau justru mengalami penurunan nilai tambahan. Hal ini penting ketika perusahaan hendak memperluas penggunaan AI ke lebih banyak tim dan alur kerja.

Bagaimana cara menerapkannya?

Kerangka ini dirancang agar dapat diaudit menggunakan perangkat dan data yang sudah dimiliki perusahaan . Langkah dasarnya meliputi:

1. Menentukan definisi “selesai” untuk alur kerja tertentu.
2. Menghitung jumlah tugas yang berhasil diselesaikan.
3. Menjumlahkan biaya penuh, termasuk waktu dan tenaga manusia.
4. Mencatat tingkat keberhasilan, kualitas, serta trennya dari waktu ke waktu .

Pendekatan tersebut memperlakukan AI sebagai aset produktif, bukan sekadar lisensi perangkat lunak. Bagi CFO dan pemimpin teknologi, kerangka ini menawarkan cara yang lebih terstruktur untuk menjawab pertanyaan yang sering muncul: bagaimana perusahaan mendapatkan nilai lebih besar dari belanja AI-nya?

Mengapa metrik ini penting?

Usulan tersebut muncul ketika belanja perusahaan untuk AI meningkat, sementara banyak organisasi masih kesulitan menunjukkan hasil investasinya secara terukur. OpenAI sendiri melaporkan pendapatan bulanan sebesar 1 miliar dolar AS dan lebih dari 500 juta lisensi perusahaan terjual .

Sarah Friar sebelumnya menyebut adanya “capability overhang”, yakni kesenjangan antara kemampuan AI yang tersedia dan nilai bisnis yang benar-benar berhasil dimanfaatkan organisasi .

Dengan menghubungkan pekerjaan yang selesai, biaya total, kualitas, dan kemampuan untuk berkembang, konsep “useful intelligence per dollar” berupaya membawa evaluasi AI dari sekadar keyakinan menuju pengambilan keputusan berbasis bukti. Namun, konsep ini tetap merupakan kerangka yang diusulkan OpenAI—bukan standar industri yang sudah berlaku secara universal.