Dua Peringatan Sam Altman soal AI: Kehilangan Kendali dan Kuasa yang Terpusat

AI yang sangat kuat dapat membawa kegagalan bagi masyarakat lewat dua jalur berbeda, menurut CEO OpenAI Sam Altman. Pertama, manusia bisa kehilangan kendali atas sistem yang kian canggih. Kedua, kendali atas sistem itu justru dapat terkonsentrasi di tangan segelintir pihak. Peringatan ini menempatkan keselamatan teknis AI dan tata kelola politik dalam satu kerangka: AI yang aman bukan semata soal apa yang dapat dilakukan model, tetapi juga siapa yang berwenang mengarahkannya. 1316

Dua skenario yang harus dihindari

Pertama: manusia kehilangan kendali. Altman memperingatkan kemungkinan manusia “kehilangan kendali atas masa depan kepada AI”, sebuah hasil yang ia sebut tidak dapat diterima. Prinsipnya, AI harus melayani manusia—bukan membuat manusia bergantung atau tunduk pada sistem yang tak bisa diawasi secara memadai. 216

Kedua: kekuasaan AI terkonsentrasi. Ia juga memperingatkan dunia ketika AI yang luar biasa kuat dikuasai satu orang, perusahaan, atau negara, lalu dipakai untuk memaksakan pandangan dunianya kepada semua orang. Menurut Altman, hasilnya bisa menjadi “sangat distopia”. 113

Kedua risiko ini saling berkaitan, tetapi berbeda. Risiko pertama menyangkut kemampuan manusia memahami, membatasi, dan mengambil alih kendali dari sistem kuat. Risiko kedua menyangkut penggunaan sistem yang secara nominal masih dapat dikendalikan, tetapi berada di bawah otoritas pihak yang terlalu besar dan tanpa pengawasan memadai.

Pengaman apa yang didukung Altman?

Sikap Altman bukan sekadar menyerukan penghentian pengembangan AI. Ia berpendapat bahwa peningkatan kemampuan tidak boleh melampaui kemajuan dalam alignment—upaya menyelaraskan perilaku AI dengan tujuan manusia—serta pemantauan. Tekanan persaingan, menurutnya, tidak boleh menjadi alasan untuk menerapkan teknologi secara ceroboh. 213

Sejumlah pengaman yang ia soroti meliputi:

• Alignment dan pemantauan yang sejalan dengan kemajuan kemampuan. Pengembang harus dapat menilai dan mengendalikan secara bermakna apa yang dilakukan sistem yang semakin kuat. 213
• AI tetap melayani manusia. Ini menjadi tujuan utama di balik peringatannya soal hilangnya kendali. 216
• Aturan federal yang konsisten untuk AI terdepan. Altman menyambut kerangka aturan tingkat federal di Amerika Serikat untuk mengelola risiko AI terdepan, alih-alih hanya mengandalkan komitmen sukarela yang terpisah-pisah. 1316
• Pemeriksaan independen. Ia menyebut auditor independen sebagai salah satu cara yang menjanjikan untuk membangun kepercayaan publik terhadap perusahaan yang mengembangkan model kian canggih. 16

Implikasinya, sistem paling canggih perlu menghadapi standar pembuktian keselamatan yang lebih tinggi: langkah pengamanan harus diuji dan kredibel sebelum keputusan penerapan diambil, bukan diperlakukan sebagai tambahan setelah kemampuan model telanjur melaju.

Peringatan dari Anthropic mempertegas perdebatan

Pada pekan yang sama, mantan peneliti Anthropic Jacob Coxon memperingatkan bahwa laboratorium AI terkemuka sedang berpacu menuju AI yang mampu memperbaiki dirinya sendiri sambil “mempertaruhkan nyawa kita”. Laporan mengenai pengunduran dirinya menyebut ia percaya para peneliti yang membangun sistem tersebut benar-benar khawatir AI dapat menjadi terlalu kuat untuk dikendalikan manusia. 17

Nada Coxon lebih lugas ketimbang perumusan Altman, tetapi kegelisahan dasarnya bertemu: kemajuan kemampuan AI dapat melampaui kemampuan manusia untuk mengawasinya secara andal. Dalam pertukaran publik yang dilaporkan melibatkan pemimpin riset alignment Anthropic, Evan Hubinger, terdapat perkiraan pribadi bahwa peluang AI menyebabkan kepunahan manusia dalam satu dekade melebihi 10%, serta pengakuan bahwa solusi lengkap untuk alignment AI supercerdas belum tersedia. Itu adalah penilaian risiko individu, bukan proyeksi yang telah terbukti maupun probabilitas ilmiah yang sudah disepakati. 17

Pokok persoalannya bukan bahwa garis waktu kepunahan tertentu telah terbukti—hal itu belum terbukti. Yang penting, peneliti yang dekat dengan pengembangan AI terdepan secara terbuka memperdebatkan apakah praktik keselamatan saat ini bergerak cukup cepat untuk mengimbangi sistem yang sedang dibuat.

Perbedaan utama di industri: kemampuan dulu atau keselamatan dulu?

Perpecahan yang muncul kerap digambarkan sebagai pertarungan antara percepatan AI dan perlambatan AI. Namun, gambaran itu tidak lengkap. Sebagian besar pihak mengakui AI berpotensi membawa manfaat besar. Perselisihannya terletak pada urutan langkah dan kekuatan penerapan aturan.

Satu pandangan menyatakan pengembangan AI terdepan harus diatur temponya agar riset keselamatan, evaluasi, tata kelola, dan respons terhadap penyalahgunaan memiliki waktu untuk matang. CEO Anthropic Dario Amodei menyerukan perlambatan laju peningkatan kemampuan AI dan mengusulkan langkah seperti evaluator independen yang tertanam di perusahaan, koordinasi antarlaboratorium AI terdepan, serta kerja sama internasional.

Tekanan dari arah sebaliknya memang nyata: perusahaan dan pemerintah khawatir bergerak lebih lambat daripada pesaing akan berarti kehilangan keunggulan ekonomi atau geopolitik. Namun, argumen Altman adalah persaingan tidak dapat membenarkan kemampuan AI melampaui alignment dan pemantauan. 13

Reuters melaporkan bahwa sebagian peneliti menilai kemampuan model datang lebih cepat daripada perkiraan, sementara kemampuan manusia untuk melihat ke dalam dan berpotensi mengendalikan sistem tersebut justru menurun. Kekhawatiran ini membuat pertanyaan kebijakan menjadi mendesak: apakah laboratorium AI boleh terus menerapkan model yang semakin otonom sambil pengaman menyusul, atau mereka harus lebih dulu menunjukkan bahwa pengamannya memadai?

Arti pentingnya bagi tata kelola AI

Dua peringatan Altman menunjukkan bahwa tata kelola AI terdepan perlu menjawab dua persoalan sekaligus: kendali teknis dan distribusi kekuasaan. Evaluasi model yang lebih baik, riset alignment, pemantauan, serta pengawasan independen menyasar persoalan pertama. Sementara itu, aturan yang konsisten, transparansi, dan pembatasan kendali sepihak menyasar persoalan kedua.

Prediksi bencana maupun garis waktu yang sangat spesifik tidak sepatutnya dianggap sebagai fakta yang sudah mapan. Namun, besarnya dampak bila kegagalan benar-benar terjadi membuat tuntutan atas evaluasi lebih ketat, pemeriksaan pihak luar, dan persyaratan keselamatan kini menjadi isu utama industri AI, bukan lagi kekhawatiran pinggiran. 13