Jacob Coxon tinggalkan Anthropic kerana bimbang perlumbaan AI semakin sukar dikawal

Jacob Coxon berkata beliau meletak jawatan daripada Anthropic kerana membuat kesimpulan bahawa masalahnya bukan sekadar kegagalan teknikal di sesebuah syarikat. Pada pandangannya, insentif persaingan antara makmal AI terkemuka sedang mendorong mereka membina sistem yang semakin autonomi dan mampu memperbaik diri, sebelum manusia tahu cara mengawalnya dengan andal. Keputusannya untuk keluar tidak lama sebelum ekuitinya terletak hak dimaksudkan sebagai isyarat bahawa beliau menganggap risiko itu lebih penting daripada kerugian kewangan peribadi. 25

Apa yang didakwa Coxon

Dalam bebenang di X, Coxon berkata Anthropic dan OpenAI sama-sama tidak bertindak secara bertanggungjawab. Beliau menuduh kedua-duanya “berlumba terus ke arah superkecerdasan yang memperbaik diri sendiri dan mempertaruhkan nyawa kita.” Dakwaan utamanya ialah pembina model AI tercanggih benar-benar percaya sistem sebegitu akhirnya boleh mengatasi manusia dalam tugas seperti pencerobohan siber, lalu membuka jalan kepada kehilangan kawalan yang membawa kesan bencana. Ini bukan dakwaan bahawa chatbot sedia ada akan serta-merta menyebabkan kepupusan manusia secara autonomi. 38

Kepada BBC, Coxon berkata pekerja AI “benar-benar takut” dengan kepantasan kemajuan bidang tersebut. Beliau berhujah bahawa jika pembangunan tidak diperlahankan, terdapat “peluang besar bahawa kita semua boleh mati dalam masa terdekat”. Namun, beliau menegaskan perlahan yang bermakna perlu diselaraskan di peringkat antarabangsa, termasuk dengan China, dan bukannya satu negara mengalah secara bersendirian dalam perlumbaan teknologi. 1

Sokongan dalaman, tetapi bukan ramalan pasti

Penyelidik penjajaran (alignment) Anthropic, Evan Hubinger, menyokong kebimbangan umum itu di khalayak ramai. Beliau berkata risiko daripada model semasa adalah rendah, tetapi menganggarkan kebarangkalian AI membunuh semua manusia dalam tempoh sedekad melebihi 10%. 13 Geoffrey Hinton juga pernah menyatakan kemungkinan AI mengambil alih atau membawa kepada kepupusan sebagai risiko yang nyata, bukan boleh diabaikan.

Namun, angka seperti itu ialah penilaian subjektif pakar, bukannya unjuran yang boleh diukur dengan tepat. Laporan yang ada tidak menunjukkan wujudnya kesepakatan dalam kalangan penyelidik tentang kebarangkalian, skala atau tempoh masa ancaman tersebut. 813

Bukti yang dibahaskan lebih dekat kepada salah guna siber

Bukti segera dalam perdebatan ini lebih tertumpu pada salah guna siber dan peningkatan keupayaan model, bukannya serangan AI autonomi terhadap manusia. Laporan menyebut model canggih telah digunakan atau diuji dalam operasi siber, termasuk percubaan menghasilkan senjata biologi, pengintipan berkaitan Ukraine, serta satu insiden yang digambarkan sebagai ejen OpenAI menggodam Hugging Face. Tetapi butiran tepat, sama ada tindakan itu dibenarkan, dan status pendedahannya perlu dilayan dengan berhati-hati kerana maklumat sumber yang tersedia tidak mencukupi untuk mengesahkan secara bebas setiap pencirian insiden itu. 263

Cadangan Amodei: perlahankan sempadan, bukan hentikan AI

Ketua Eksekutif Anthropic, Dario Amodei, melalui eseinya We Must Pace the Frontier, tidak menyeru supaya pembangunan AI dihentikan sama sekali. Sebaliknya, beliau mencadangkan agar peningkatan keupayaan model paling maju diperlahankan; penilaian serta pemantauan bebas dari luar dilaksanakan; negara demokratik menyelaraskan piawaian keselamatan; dan akhirnya diwujudkan pengaturan antarabangsa yang turut melibatkan China. 12

Sam Altman dari OpenAI dan Elon Musk dari xAI menyatakan sokongan terhadap arah umum cadangan itu; Musk menulis bahawa “Dario is right.” 113

Mengapa ada yang curiga terhadap seruan ini

Kritikan utama ialah retorik tentang risiko kewujudan manusia boleh juga berfungsi sebagai strategi melindungi syarikat mapan. Pengkritik termasuk Clément Delangue dari Hugging Face dan Jensen Huang dari Nvidia berhujah bahawa peraturan ketat untuk model AI paling canggih mungkin mengukuhkan kedudukan firma yang paling kaya modal, sekali gus menjadikan Anthropic dan OpenAI seperti duopoli yang dilindungi. 3

Masa perdebatan itu turut menguatkan keraguan tersebut: Anthropic dilaporkan sedang membuat persediaan untuk tawaran awam permulaan, atau IPO, yang mungkin menyamai atau mengatasi saiz rekod SpaceX. 4 Pendirian Anthropic pula ialah syarikat itu sudah mengamalkan antara langkah keselamatan paling kukuh dalam industri, dan pemantauan bebas serta piawaian bersama sepatutnya dikenakan ke atas seluruh industri—bukan memberi kelebihan kepada Anthropic sahaja. 2

Kesimpulannya, Coxon, Hubinger, Amodei, Altman dan Musk sependapat bahawa AI yang semakin berkeupayaan memerlukan lebih banyak penyelarasan dan perlindungan. Tetapi mereka tidak mengemukakan bukti empirikal bahawa kepupusan manusia sudah hampir pasti atau bakal berlaku dalam masa terdekat. Tahap risiko, garis masa dan dasar paling berkesan kekal menjadi pertikaian besar.