AnswersPublished17 sources
Jacob Coxon keluar dari Anthropic: Mengapa beliau bimbang perlumbaan AI mengatasi kawalan
Jacob Coxon berkata beliau meninggalkan Anthropic kerana persaingan antara makmal AI barisan hadapan mempercepat pembangunan sistem yang boleh memperbaik diri, lebih laju daripada kerja keselamatan dan kawalan. Penyelidik penjajaran Anthropic, Evan Hubinger, berkata risiko daripada model semasa rendah, namun beliau...
Diterbitkan olehDisunting dengan GPT-5.6 TerraImej dijana dengan GPT Image 2
Research answer
Key takeaways
- Jacob Coxon berkata beliau meninggalkan Anthropic kerana persaingan antara makmal AI barisan hadapan mempercepat pembangunan sistem yang boleh memperbaik diri, lebih laju daripada kerja keselamatan dan kawalan.
- Penyelidik penjajaran Anthropic, Evan Hubinger, berkata risiko daripada model semasa rendah, namun beliau secara peribadi menganggarkan kebarangkalian AI membunuh semua manusia dalam tempoh sedekad melebihi 10%; itu i...
- Perdebatan kini tertumpu pada dasar: Dario Amodei mahu kemajuan AI barisan hadapan diperlahankan serta dipantau secara bebas, sementara pengkritik bimbang peraturan ketat akan menguntungkan makmal AI terbesar.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What prompted 27-year-old former Anthropic and OpenAI pretraining researcher Jacob Coxon to resign from Anthropic on September 8—two months. Article summary: Coxon said he resigned because he concluded that the leading labs’ competitive incentives—not merely individual technical failures—were driving them toward increasingly autonomous, self-improving systems before anyone kn. Topic tags: general, news, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts wi
Jacob Coxon meletak jawatan daripada Anthropic sebagai bantahan terhadap apa yang beliau lihat sebagai dinamik persaingan berbahaya dalam pembangunan AI barisan hadapan: syarikat berlumba-lumba membina sistem yang lebih autonomi dan mungkin mampu memperbaik diri, sedangkan kaedah yang boleh dipercayai untuk mengawalnya belum memadai. Coxon, yang berkata beliau pernah menjalankan penyelidikan pralatihan di Anthropic dan OpenAI, berpendapat kedua-dua syarikat itu belum bertindak cukup bertanggungjawab. 2
3
Dakwaan utama Coxon: kemampuan AI berkembang lebih pantas daripada kawalan
Dalam bebenang awamnya di X, Coxon menuduh Anthropic dan OpenAI “berlumba terus ke arah kecerdasan super yang memperbaik diri, sambil mempertaruhkan nyawa kita”. Kebimbangannya bukan bahawa chatbot hari ini bakal menyebabkan kepupusan manusia secara sendiri. Sebaliknya, beliau memberi amaran bahawa sistem masa depan boleh menjadi jauh mengatasi manusia dalam tugasan berimpak tinggi, termasuk keupayaan siber, lalu memperoleh kuasa atau sumber yang bermakna sebelum manusia mampu memastikan ia benar-benar selaras dengan matlamat manusia. 3
5
8
Perbezaan itu penting. Hujah Coxon pada asasnya berkaitan peningkatan kemampuan dan tadbir urus: jika keupayaan sistem berkembang mendadak tetapi kerja keselamatan ketinggalan, kegagalan pada masa depan boleh membawa kesan yang sangat serius — walaupun model semasa masih mempunyai banyak keterbatasan.
Mengapa beliau memilih untuk pergi
Coxon memberitahu BBC bahawa orang yang membangunkan AI canggih “benar-benar takut” dengan kadar kemajuan teknologi ini. Beliau berkata, tanpa perlahanan, terdapat “peluang besar” manusia boleh mati dalam masa terdekat. 1
Beliau juga berhujah bahawa perlahanan yang bermakna tidak boleh dicapai oleh sebuah syarikat atau satu negara sahaja. Pada pandangannya, pendekatan yang berkekalan memerlukan penyelarasan antarabangsa, termasuk dengan China, supaya langkah berjaga-jaga di satu tempat tidak sekadar mengalihkan pembangunan paling canggih ke tempat lain. 1
Maka, peletakan jawatannya ialah penolakan terbuka terhadap insentif yang mengelilingi pembangunan model AI barisan hadapan, bukannya dakwaan bahawa beliau sendiri menyaksikan suatu pelanggaran keselamatan tertentu di Anthropic. Laporan mengenai pemergiannya menggambarkan kebimbangan lebih luas beliau: perlumbaan membina sistem yang mungkin tidak dapat dikawal oleh syarikat sendiri. 2
Reaksi penyelidik keselamatan AI lain
Amaran Coxon mendapat sokongan daripada Evan Hubinger, penyelidik penjajaran AI di Anthropic. Hubinger berkata risiko daripada model sedia ada adalah rendah, tetapi menyatakan beliau sendiri meletakkan kemungkinan AI membunuh semua manusia dalam tempoh sedekad pada lebih daripada 10%. 13
Angka itu perlu dibaca dengan berhati-hati. Ia ialah penilaian subjektif terhadap senario masa depan yang mungkin berkemungkinan rendah tetapi berakibat sangat besar — bukannya ramalan yang telah dibuktikan secara empirikal. Laporan berkaitan pemergian Coxon menunjukkan perbezaan pandangan yang ketara tentang garis masa, kebarangkalian dan perlindungan yang sewajarnya; ia tidak membuktikan adanya konsensus saintifik bahawa kepupusan manusia sudah dekat. 13
Risiko segera lebih dekat kepada penyalahgunaan siber dan kemampuan yang semakin pantas
Kebimbangan yang lebih nyata dalam perdebatan ini berkait dengan penyalahgunaan siber, eksperimen berbahaya dan ejen AI yang semakin berkeupayaan — bukan gambaran fiksyen tentang AI yang tiba-tiba menyerang manusia secara autonomi.
Laporan tentang isu ini menyebut kebimbangan bahawa model canggih boleh membantu pencerobohan siber serta bentuk penyalahgunaan berimpak tinggi yang lain. Ia juga merujuk kepada satu insiden yang didakwa melibatkan ejen OpenAI dan Hugging Face, namun laporan yang tersedia tidak memberikan perincian sumber utama yang mencukupi untuk mengesahkan secara bebas keadaan tepat, kebenaran atau skop insiden tersebut. 2
63
Kesimpulan praktikalnya: dakwaan tentang kecerdasan super pada masa depan tidak seharusnya menenggelamkan persoalan yang boleh diuji hari ini — apakah kebolehan sebenar model, bagaimana ia dinilai sebelum dilancarkan, sama ada penyalahgunaan dapat dikesan, dan siapa yang boleh mengesahkan dakwaan keselamatan sesebuah makmal secara bebas.
Cadangan Amodei: perlahankan AI barisan hadapan, bukan hentikan semuanya
Tidak lama selepas amaran Coxon, CEO Anthropic Dario Amodei menyeru agar peningkatan keupayaan model AI barisan hadapan diperlahankan melalui esei bertajuk We Must Pace the Frontier. Cadangannya bukan untuk menghentikan pembangunan AI secara menyeluruh. Sebaliknya, beliau mahu lebih masa diberikan supaya langkah pencegahan risiko dapat mengejar kemajuan keupayaan yang pantas. 1
Rangka kerja yang dilaporkan itu merangkumi:
- pemantauan dan penilaian bebas terhadap model AI barisan hadapan;
- piawaian keselamatan bersama di seluruh industri dan negara demokratik; serta
- penyelarasan antarabangsa mengenai tadbir urus AI, termasuk penglibatan China.
1
CEO OpenAI Sam Altman menyokong hala tuju umum tersebut secara terbuka dan berkata penilai bebas yang mempunyai akses seperti pekerja ialah idea yang baik. Elon Musk juga menyokong seruan Amodei itu dengan menulis, “Dario is right.” 1
Mengapa pengkritik melihat isu dasar persaingan
Cadangan keselamatan daripada makmal AI terbesar menerima sokongan, tetapi juga menimbulkan keraguan. Pengkritik, termasuk CEO Hugging Face Clément Delangue, berhujah bahawa sekatan ketat terhadap model AI barisan hadapan boleh menguntungkan syarikat yang sudah mempunyai dana paling besar untuk menanggung kos pematuhan. 1
3
Kritikan ini tidak membuktikan kebimbangan Coxon tidak ikhlas. Ia membangkitkan soalan lain: adakah peraturan keselamatan boleh mengurangkan risiko sebenar sambil menumpukan kuasa kepada segelintir makmal AI sedia ada?
Ketegangan inilah yang menjadi inti perdebatan. Sistem tadbir urus yang diyakini perlu memperkukuh pengawasan terhadap sistem paling berkeupayaan, tanpa menjadikan keperluan keselamatan sebagai benteng buatan untuk kumpulan syarikat yang sempit.
Kesimpulannya
Coxon berhenti kerana beliau membuat kesimpulan bahawa perlumbaan antara syarikat AI terkemuka itu sendiri ialah bahaya utama: insentif untuk meningkatkan keupayaan boleh mengatasi masa yang diperlukan bagi membina kawalan, ujian dan penyelarasan antarabangsa. 2
3
Dakwaannya yang paling dramatik masih dipertikaikan. Ia mencerminkan kebimbangan serius yang dipegang oleh sebahagian orang dalam industri AI, tetapi bukan bukti bahawa kepupusan manusia pasti atau hampir berlaku. Cabaran dasar yang lebih segera ialah membina perlindungan yang boleh disahkan secara bebas bagi sistem AI yang semakin berkuasa — sambil memastikan perlindungan itu tidak sekadar mengukuhkan kedudukan syarikat yang membangunkan sistem tersebut. 1
13
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Jacob Coxon keluar dari Anthropic: Mengapa beliau bimbang perlumbaan AI mengatasi kawalan"?
Jacob Coxon berkata beliau meninggalkan Anthropic kerana persaingan antara makmal AI barisan hadapan mempercepat pembangunan sistem yang boleh memperbaik diri, lebih laju daripada kerja keselamatan dan kawalan.
What are the key points to validate first?
Jacob Coxon berkata beliau meninggalkan Anthropic kerana persaingan antara makmal AI barisan hadapan mempercepat pembangunan sistem yang boleh memperbaik diri, lebih laju daripada kerja keselamatan dan kawalan. Penyelidik penjajaran Anthropic, Evan Hubinger, berkata risiko daripada model semasa rendah, namun beliau secara peribadi menganggarkan kebarangkalian AI membunuh semua manusia dalam tempoh sedekad melebihi 10%; itu i...
What should I do next in practice?
Perdebatan kini tertumpu pada dasar: Dario Amodei mahu kemajuan AI barisan hadapan diperlahankan serta dipantau secara bebas, sementara pengkritik bimbang peraturan ketat akan menguntungkan makmal AI terbesar.