Versi sederhananya: Clark memperingatkan bahwa AI dapat bergeser dari alat bantu manusia dalam membuat AI yang lebih baik menjadi aktor yang mengambil alih sebagian besar proses pembuatan model berikutnya .
“Penerus” di sini berarti sistem AI generasi berikutnya yang lebih mampu dalam rangkaian pengembangan model. Kekhawatiran Clark adalah bahwa sistem AI yang cukup kuat dapat ikut menjalankan, atau bahkan mengotomatisasi, pekerjaan penting untuk menciptakan sistem berikutnya .
Ini berbeda dari gambaran yang sudah akrab saat ini: AI sebagai asisten coding. Menulis kode hanyalah satu bagian dari proses riset yang lebih luas. Skenario Clark menyangkut otomatisasi jalur R&D itu sendiri—mulai dari merancang, melatih, menguji, hingga meningkatkan model frontier .
Nuansanya penting: Clark tidak mengatakan bahwa kondisi ini sudah terjadi. Ia membuat prediksi probabilistik tentang apa yang menurutnya mungkin terjadi sampai akhir 2028 .
Skenario ini sering disebut recursive self-improvement: AI membantu menciptakan AI yang lebih mampu, lalu AI yang lebih mampu itu membantu menciptakan generasi berikutnya yang lebih kuat lagi .
Bagian yang berisiko bukan sekadar “AI memperbaiki perangkat lunak”. Yang dikhawatirkan adalah efek berantai: sistem yang memperbaiki AI ikut menjadi lebih canggih dari generasi ke generasi. Dalam pembahasan tentang peringatan Clark, kemungkinan ini dikaitkan dengan risiko “intelligence explosion”, yaitu percepatan kemampuan AI ketika sistem AI mulai dapat meningkatkan sistem yang datang setelahnya .
Jika hambatan utama kemajuan AI bergeser dari peneliti manusia ke AI yang memperbaiki AI, tempo perkembangannya bisa menjadi jauh lebih sulit dipantau dan diatur manusia .
Risiko utamanya adalah melemahnya pengawasan manusia atas jalur produksi AI. Dalam proses R&D yang terotomatisasi dari awal sampai akhir, manusia bisa memiliki lebih sedikit titik pemeriksaan yang benar-benar bermakna sebelum sistem penerus yang lebih kuat sudah terbentuk .
Ada tiga kekhawatiran besar:
Jadi, ini bukan cerita fiksi ilmiah tentang robot yang merakit robot lain. Risikonya lebih dekat dengan dunia nyata: siklus produksi AI frontier yang makin cepat dan makin otomatis, sampai-sampai evaluasi keamanan, regulasi, dan pemahaman publik bisa tertinggal .
Angka 60%+ dari Clark adalah penilaian probabilitas, bukan fakta yang sudah terbukti . Garis waktunya juga diperdebatkan.
Salah satu kritik terhadap prediksi tersebut menyebut bahwa recursive self-improvement yang benar-benar bebas manusia dan berjalan dari ujung ke ujung pada 2028 kecil kemungkinan terjadi; penulis kritik itu memperkirakan peluangnya di bawah 10%, meski tetap membuka kemungkinan bahwa hal serupa bisa menjadi mungkin dalam periode lebih panjang hingga 2036 .
Ada pula perdebatan teknis: apakah kemampuan AI untuk memperbaiki atau menghasilkan perangkat lunak otomatis benar-benar akan menghasilkan keuntungan yang makin besar dari waktu ke waktu. Sebuah laporan yang mengutip ilmuwan komputer Pedro Domingos mencatat bahwa isu kuncinya bukan sekadar apakah AI bisa membuat atau memodifikasi software, melainkan apakah itu menghasilkan increasing returns yang andal; menurut Domingos, hal tersebut belum jelas terbukti .
Perbedaan ini penting. “AI membantu riset AI”, “AI mengotomatisasi sebagian besar R&D AI”, dan “AI memperbaiki dirinya secara rekursif hingga memicu ledakan kecerdasan” adalah klaim yang berkaitan, tetapi tidak sama . Peringatan Clark berada pada versi yang paling konsekuensial dari rangkaian itu
.
Clark memperkirakan bahwa pada akhir 2028, lebih mungkin daripada tidak bahwa akan ada sistem AI yang dapat menjalankan R&D AI tanpa manusia dan secara masuk akal membangun penerusnya sendiri .
Jika ia benar, bahaya utamanya bukan hanya inovasi yang lebih cepat. Bahayanya adalah proses penciptaan AI yang lebih kuat dapat bergerak lebih cepat daripada kemampuan manusia untuk mengawasi, menguji keamanan, dan membangun aturan main yang memadai . Namun, catatan terpenting tetap sama: ini adalah prediksi yang masih diperdebatkan, dan sejumlah kritik menilai tenggat 2028 terlalu agresif
.
Comments
0 comments