Sam Altman Peringatkan Bahaya Menyerahkan Penilaian Manusia kepada AI

Sam Altman mengatakan ia “sangat tidak nyaman” dengan upaya memberi model AI “daya religius” atau menyerahkan penilaian manusia kepada model. Ia menyebut hal itu “masalah keselamatan yang nyata”. Altman tidak menyebut Anthropic dalam unggahannya, tetapi waktunya—beberapa hari setelah laporan tentang pertemuan perusahaan itu dengan para pemikir agama—membuat banyak pemberitaan membacanya sebagai sindiran terselubung. 71

Perbedaan penting dalam perdebatan ini: membahas bagaimana AI seharusnya berperilaku, atau apakah AI mungkin memiliki kesadaran, tidak sama dengan meminta orang memperlakukannya sebagai otoritas spiritual. Laporan yang tersedia menyebut Anthropic menjajaki pertanyaan-pertanyaan tersebut. Salah satu pendirinya, Christopher Olah, mengatakan ia sungguh belum yakin apakah model AI memiliki kesadaran. 1

Peringatan Altman: jangan serahkan penilaian kepada model

Dalam unggahannya, Altman mengaitkan dua hal: memperlakukan AI seolah memiliki kuasa religius dan menyerahkan penilaian manusia kepadanya. Ia menyebut kombinasi itu sebagai masalah keselamatan. Karena unggahan tersebut tidak secara eksplisit menyebut perusahaan atau proyek tertentu, kaitannya dengan Anthropic merupakan tafsiran berdasarkan berita yang beredar saat itu, bukan tuduhan langsung dalam unggahan Altman. 7

Peringatan itu juga menyentuh persoalan yang lebih luas daripada agama. Ketika jawaban model yang terdengar yakin dan menyerupai manusia dianggap berwibawa, orang bisa saja memberi pengaruh lebih besar kepada AI dalam mengambil keputusan daripada yang layak berdasarkan pemahamannya. Namun, pemberitaan yang dikutip mencatat peringatan Altman—bukan seberapa luas fenomena itu terjadi atau apa dampaknya. 67

Mengapa pertemuan Anthropic menarik perhatian

Anthropic berkonsultasi dengan para pemikir agama tentang cara membentuk perilaku moral Claude dan kemungkinan bahwa model AI memiliki kesadaran. Topik-topik itu beririsan dengan peringatan Altman, sehingga komentarnya dibaca sebagai tanggapan terhadap pekerjaan perusahaan tersebut. 17

Namun, penting untuk tidak mencampuradukkan pembahasan kemungkinan dengan kepastian. Olah mengatakan, “kita tidak tahu apakah model AI memiliki kesadaran,” dan menambahkan bahwa ia sendiri sungguh belum yakin. Membicarakan kemungkinan kesadaran bukan bukti bahwa model mengalami sesuatu secara subjektif. Demikian pula, berkonsultasi dengan pemikir agama tentang perilaku moral tidak dengan sendirinya memberi model status religius. 1

Kesadaran dan perilaku moral adalah dua pertanyaan berbeda

Sebuah model dapat dirancang agar mengikuti panduan tentang cara merespons tanpa berarti panduan itu membuktikan model memiliki kehidupan batin. Laporan tentang Anthropic membahas perilaku Claude sekaligus kemungkinan kesadaran; kedua pertanyaan tersebut tidak seharusnya dilebur menjadi satu kesimpulan. 1

Pemberitaan yang sama juga mencatat keberatan terhadap upaya memperlakukan model sebagai sesuatu yang sadar dalam proses pelatihan: seorang eksekutif AI Microsoft memperingatkan bahwa pendekatan tersebut bisa berbahaya. Itu adalah kekhawatiran yang dilaporkan, bukan jawaban tuntas atas pertanyaan tentang kesadaran mesin. Posisi Olah sendiri, sebagaimana diberitakan, adalah ketidakpastian. 91

Martabat manusia tetap menjadi pusat perdebatan

Ensiklik Paus Leo XIV tentang AI menempatkan martabat manusia sebagai perhatian utama. Laporan mengenai dokumen itu menyebut seruan untuk memperkuat pengawasan terhadap perusahaan AI, melindungi pekerja yang menghadapi perubahan, serta menangkal informasi palsu yang dihasilkan AI. Isu-isu tersebut menggarisbawahi pentingnya menjaga kepentingan manusia dan pertanggungjawaban tetap menjadi pusat pengembangan serta penggunaan AI. 152

OpenAI juga menghadapi sorotan

Perdebatan ini berlangsung di tengah laporan terpisah mengenai OpenAI. Business Insider melaporkan bahwa David Robinson, pemimpin keselamatan di perusahaan itu, mengundurkan diri dan mengkritik rekam jejak keselamatannya. BBC melaporkan OpenAI memecat tiga peneliti terkait dugaan penanganan informasi yang tidak semestinya. Laporan-laporan itu tidak menjawab apakah model AI bisa memiliki kesadaran, tetapi menjadi konteks saat klaim dan tata kelola kedua perusahaan diperiksa. 1226

Kesimpulan yang paling hati-hati bukanlah vonis terhadap Anthropic ataupun OpenAI. Altman memperingatkan agar model AI tidak diperlakukan sebagai otoritas religius dan agar manusia tidak menyerahkan penilaiannya kepada AI. Konsultasi Anthropic yang dilaporkan mengangkat pertanyaan terkait perilaku moral Claude dan kemungkinan kesadarannya, tetapi informasi yang tersedia tidak membuktikan bahwa diskusi tersebut menjadikan Claude otoritas religius—atau bahwa persoalan kesadaran AI sudah terjawab. 71