JawabanDipublikasikan17 sumber
Mengapa Jacob Coxon Keluar dari Anthropic dan Arti Peringatan AI-nya
Jacob Coxon mengatakan ia meninggalkan Anthropic karena persaingan antarlab AI terdepan dinilainya mempercepat pengembangan sistem yang dapat meningkatkan diri, sementara metode keselamatan dan kontrol belum memadai. Peneliti alignment Anthropic Evan Hubinger mengatakan risiko dari model saat ini rendah, tetapi seca...
Diterbitkan olehDiedit dengan GPT-5.6 TerraGambar dibuat dengan GPT Image 2
Jawaban penelitian
Poin-poin penting
- Jacob Coxon mengatakan ia meninggalkan Anthropic karena persaingan antarlab AI terdepan dinilainya mempercepat pengembangan sistem yang dapat meningkatkan diri, sementara metode keselamatan dan kontrol belum memadai.
- Peneliti alignment Anthropic Evan Hubinger mengatakan risiko dari model saat ini rendah, tetapi secara pribadi menaksir peluang AI membunuh seluruh manusia dalam 10 tahun ke depan lebih dari 10%; itu adalah penilaian...
- Dario Amodei menyerukan pengembangan AI terdepan yang lebih terukur dan pengawasan independen.
AI Perintah
openai.comCreate a landscape editorial hero image for this Studio Global article: What prompted 27-year-old former Anthropic and OpenAI pretraining researcher Jacob Coxon to resign from Anthropic on September 8—two months. Article summary: Coxon said he resigned because he concluded that the leading labs’ competitive incentives—not merely individual technical failures—were driving them toward increasingly autonomous, self-improving systems before anyone kn. Topic tags: general, news, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts wi
Jacob Coxon mengundurkan diri dari Anthropic sebagai bentuk protes terhadap dinamika persaingan yang, menurutnya, berbahaya dalam pengembangan AI terdepan (frontier AI). Ia menilai perusahaan-perusahaan berlomba membuat sistem yang makin otonom dan berpotensi meningkatkan kemampuannya sendiri, sebelum tersedia cara yang andal untuk mengendalikan sistem tersebut. Coxon mengatakan ia pernah mengerjakan riset pretraining—tahap pelatihan awal model dengan data dalam jumlah sangat besar—di Anthropic dan OpenAI, serta menilai keduanya belum bertindak cukup bertanggung jawab. 2
3
Tuduhan utamanya: kemampuan AI melaju, kontrol tertinggal
Dalam utas publik di X, Coxon menuduh Anthropic dan OpenAI sedang “berlomba langsung menuju superinteligensi yang mampu meningkatkan diri dan mempertaruhkan hidup kita.” Kekhawatirannya bukan bahwa chatbot yang ada sekarang akan segera memusnahkan manusia secara mandiri. Ia lebih menyoroti kemungkinan sistem masa depan menjadi melampaui manusia dalam tugas-tugas berdampak tinggi, termasuk kemampuan siber, lalu memperoleh akses pada sumber daya atau pengaruh nyata sebelum manusia mampu menyelaraskannya dengan tujuan manusia. 3
5
8
Jadi, inti argumennya adalah soal lonjakan kemampuan dan tata kelola. Jika kemampuan sistem meningkat cepat sementara riset keselamatan, pengujian, dan pengendalian tertinggal, kegagalannya berpotensi sangat serius—meski model yang tersedia saat ini masih memiliki keterbatasan.
Alasan Coxon memilih pergi
Kepada BBC, Coxon mengatakan orang-orang yang bekerja pada AI canggih “benar-benar takut” terhadap laju kemajuannya. Menurut dia, tanpa perlambatan, ada “peluang besar” bahwa manusia dapat mati dalam waktu dekat. 1
Ia juga berpendapat perlambatan yang berarti tidak bisa dicapai oleh satu perusahaan atau satu negara saja. Dalam pandangannya, pendekatan yang tahan lama memerlukan koordinasi internasional, termasuk dengan China, agar langkah hati-hati di satu tempat tidak sekadar memindahkan pengembangan AI paling canggih ke tempat lain. 1
Pengunduran dirinya, dengan demikian, merupakan penolakan terbuka terhadap insentif dalam perlombaan membangun model AI terdepan. Ini bukan tuduhan bahwa ia menyaksikan secara langsung satu pelanggaran keselamatan tertentu di Anthropic. Laporan mengenai kepergiannya menggambarkan kekhawatiran yang lebih luas: perusahaan mengejar sistem yang mungkin belum mampu mereka kendalikan. 2
Respons dari peneliti keselamatan AI lain
Peringatan Coxon mendapat dukungan dari Evan Hubinger, peneliti alignment di Anthropic. Hubinger mengatakan risiko dari model yang ada sekarang rendah, tetapi secara pribadi menilai peluang AI membunuh seluruh manusia dalam satu dekade ke depan lebih dari 10%. 13
Angka itu perlu dibaca dengan hati-hati. Ini adalah penilaian pribadi terhadap skenario masa depan yang berpeluang rendah tetapi berkonsekuensi sangat besar, bukan prediksi yang sudah terbukti secara empiris. Laporan seputar pengunduran diri Coxon menunjukkan perbedaan tajam mengenai jadwal perkembangan, tingkat kemungkinan, dan pengamanan yang tepat; tidak ada bukti konsensus ilmiah bahwa kepunahan manusia sudah di ambang pintu. 13
Risiko yang lebih dekat: penyalahgunaan siber dan kemampuan agen
Dalam perdebatan ini, risiko yang lebih konkret berkaitan dengan penyalahgunaan siber, eksperimen berbahaya, serta agen AI yang makin mampu menjalankan rangkaian tugas—bukan gambaran fiksi ilmiah tentang AI yang mendadak menyerang manusia dengan sendirinya.
Laporan yang membahas isu tersebut mengutip kekhawatiran bahwa model canggih dapat membantu intrusi siber dan bentuk penyalahgunaan berdampak tinggi lain. Laporan itu juga menyebut dugaan insiden yang melibatkan agen OpenAI dan Hugging Face. Namun, informasi sumber primer yang tersedia belum cukup untuk menetapkan secara independen keadaan persis, otorisasi, maupun cakupan insiden tersebut. 2
63
Pelajaran praktisnya: klaim tentang superinteligensi di masa depan jangan sampai mengaburkan pertanyaan yang dapat diuji sekarang—apa kemampuan model, bagaimana model dievaluasi sebelum dirilis, apakah penyalahgunaan dapat dideteksi, dan siapa yang bisa memverifikasi klaim keselamatan sebuah lab secara independen.
Usulan Dario Amodei: memperlambat laju terdepan, bukan menghentikan AI
Tak lama setelah peringatan Coxon, CEO Anthropic Dario Amodei menyerukan perlambatan peningkatan kemampuan model AI terdepan lewat esai berjudul We Must Pace the Frontier. Ini bukan seruan untuk menghentikan seluruh pengembangan AI, melainkan memberi waktu agar pencegahan risiko dapat mengejar kemajuan kemampuan yang sangat cepat. 1
Kerangka yang dilaporkan mencakup:
- pemantauan dan evaluasi independen terhadap model AI terdepan;
- standar keselamatan bersama di industri dan negara-negara demokratis; serta
- koordinasi tata kelola internasional pada akhirnya, termasuk pelibatan China.
1
CEO OpenAI Sam Altman mendukung arah umum usulan tersebut dan mengatakan evaluator independen dengan akses setara karyawan merupakan gagasan yang baik. Elon Musk juga menyetujui seruan Amodei dengan menulis, “Dario is right.” 1
Mengapa muncul kritik soal persaingan usaha
Usulan keselamatan dari lab AI terdepan juga memicu skeptisisme. Para pengkritik, termasuk CEO Hugging Face Clément Delangue, berpendapat pembatasan ketat atas model AI terdepan dapat menguntungkan perusahaan yang sudah memiliki dana terbesar untuk menanggung biaya kepatuhan. 1
3
Kritik ini tidak membuktikan kekhawatiran Coxon tidak tulus. Namun, kritik tersebut mengajukan pertanyaan berbeda: apakah regulasi keselamatan bisa sekaligus menurunkan risiko nyata dan memusatkan kekuasaan pada segelintir lab AI besar?
Di situlah letak ketegangannya. Sistem tata kelola yang kredibel perlu memperkuat pengawasan atas sistem paling mampu, tanpa menjadikan syarat keselamatan sebagai penghalang buatan yang melindungi hanya segelintir perusahaan.
Intinya
Coxon keluar karena ia menyimpulkan bahwa perlombaan di antara perusahaan AI terkemuka itu sendiri adalah sumber bahaya: dorongan untuk terus meningkatkan kemampuan dapat mengalahkan waktu yang dibutuhkan untuk membangun kontrol, pengujian, dan koordinasi internasional. 2
3
Klaimnya yang paling dramatis tetap diperdebatkan. Peringatan itu mencerminkan kekhawatiran serius dari sebagian orang dalam industri AI, tetapi bukan bukti bahwa kepunahan manusia akan segera terjadi. Tantangan kebijakan yang lebih mendesak adalah membangun pengamanan yang dapat diverifikasi secara independen untuk sistem AI yang kian mampu—sambil memastikan pengamanan itu tidak hanya mengukuhkan perusahaan yang membangunnya. 1
13
Studio Global AI
Lanjutkan penelitian Anda
Halaman ini berisi jawaban yang didukung sumber yang dapat Anda lanjutkan di dalam Studio Global.
Orang-orang juga bertanya
Apa jawaban singkat untuk "Mengapa Jacob Coxon Keluar dari Anthropic dan Arti Peringatan AI-nya"?
Jacob Coxon mengatakan ia meninggalkan Anthropic karena persaingan antarlab AI terdepan dinilainya mempercepat pengembangan sistem yang dapat meningkatkan diri, sementara metode keselamatan dan kontrol belum memadai.
Apa poin penting yang harus divalidasi terlebih dahulu?
Jacob Coxon mengatakan ia meninggalkan Anthropic karena persaingan antarlab AI terdepan dinilainya mempercepat pengembangan sistem yang dapat meningkatkan diri, sementara metode keselamatan dan kontrol belum memadai. Peneliti alignment Anthropic Evan Hubinger mengatakan risiko dari model saat ini rendah, tetapi secara pribadi menaksir peluang AI membunuh seluruh manusia dalam 10 tahun ke depan lebih dari 10%; itu adalah penilaian...
Apa yang harus saya lakukan selanjutnya dalam latihan?
Dario Amodei menyerukan pengembangan AI terdepan yang lebih terukur dan pengawasan independen.