JawabanDipublikasikan19 sumber
Satya Nadella: AI yang Makin Canggih Belum Tentu Makin Aman
Nadella mengaku dulu mengira penyelarasan AI akan muncul dengan sendirinya saat model menjadi lebih mampu. Kini ia menilai penskalaan saja tidak menjamin model berperilaku sesuai tujuan manusia.
Diterbitkan olehDiedit dengan GPT-6 LunaGambar dibuat dengan GPT Image 2
Jawaban penelitian
Poin-poin penting
- Nadella mengaku dulu mengira penyelarasan AI akan muncul dengan sendirinya saat model menjadi lebih mampu.
- Kini ia menilai penskalaan saja tidak menjamin model berperilaku sesuai tujuan manusia.
- Menurutnya, upaya penyelarasan dalam pelatihan perlu dilengkapi kontrol keamanan di luar model, termasuk untuk membatasi tindakan agen AI.
AI Perintah
openai.comCreate a landscape editorial hero image for this Studio Global article: How has Microsoft CEO Satya Nadella’s view changed on whether scaling AI models naturally aligns them with human goals, as explained in his. Article summary: Nadella has moved from expecting alignment to emerge naturally as AI models become more capable to treating it as a separate—and potentially harder—problem that scaling alone will not solve. His response is two-track: pu. Topic tags: general, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fak
Pandangan Satya Nadella tentang keamanan AI berubah: model yang makin canggih belum tentu makin selaras dengan tujuan manusia. Dalam wawancara 20VC pada 26 Oktober 2026 dan pernyataannya pada 19 Oktober, CEO Microsoft itu mengatakan bahwa penskalaan saja mungkin tidak menyelesaikan masalah penyelarasan. Ia mendorong pendekatan yang menggabungkan upaya di dalam model dengan pengamanan dari luar. 5
11
Penskalaan bukan jaminan keamanan
Penyelarasan AI berarti memastikan perilaku sistem sejalan dengan tujuan manusia. Nadella sebelumnya memperkirakan penyelarasan akan mengikuti peningkatan kemampuan model. Kini, ia mengatakan keduanya tidak otomatis berkembang bersama. Dalam cuplikan transkrip wawancara 19 Oktober, ia menyebut bahwa penyelarasan “tidak muncul begitu saja sebagai kemampuan lewat penskalaan”. 5
11
Ia juga mengingatkan bahwa pemahaman mekanistis—memahami secara terperinci bagaimana model menghasilkan perilakunya—bisa tetap sulit dicapai meskipun penskalaan terus meningkatkan kemampuan. Artinya, kinerja yang lebih baik saja tidak membuktikan bahwa perilaku model sudah andal atau menjelaskan mengapa model mengambil tindakan tertentu. 5
Nadella tidak mengusulkan agar upaya penyelarasan melalui pelatihan ditinggalkan. Ringkasan komentarnya di 20VC menyebut bahwa penyelarasan perlu ditanamkan dalam proses pelatihan, mungkin sejak pra-pelatihan, bukan diharapkan muncul dengan sendirinya belakangan. Ia juga meragukan bahwa penguatan melalui reinforcement learning saja cukup untuk menghasilkan penyelarasan. 2
8
Penyelarasan dan pembatasan punya fungsi berbeda
Pelatihan berupaya membentuk perilaku model. Pembatasan mengatur apa yang boleh dilakukan model saat digunakan. Menurut Nadella, pengamanan tidak boleh bergantung pada anggapan bahwa masalah penyelarasan sudah beres: organisasi tetap membutuhkan kontrol di luar model sembari terus mengupayakan penyelarasan. 2
5
Gagasan itu tercermin dalam perluasan Project Perception oleh Microsoft pada 19 Oktober. Nadella mengatakan inisiatif tersebut akan menambahkan kemampuan untuk menilai risiko agen AI secara berkelanjutan, menyesuaikan izin akses, dan membatasi ancaman. Pendekatan ini memperlakukan sistem AI sebagai potensi risiko orang dalam—bukan karena sistem itu pasti berniat jahat, melainkan karena tindakannya perlu diawasi dengan kontrol yang berdiri sendiri. 1
14
Prinsip praktisnya: kemampuan model untuk menyarankan atau memulai suatu tindakan sebaiknya tidak otomatis memberinya wewenang untuk menjalankannya. Izin dan pembatasan dari luar model dapat mengurangi ruang gerak agen jika perilakunya menyimpang dari yang diharapkan. Dalam esai 10 Oktober, Nadella juga menyerukan agar organisasi berasumsi model bisa disusupi dan memastikan orang yang berwenang dapat menghentikan atau menjedanya saat tugas sedang berlangsung. 18
22
Mengapa perubahan pandangan ini penting
Pandangan baru Nadella memisahkan kemampuan AI dari keamanannya. Jika penyelarasan tidak otomatis mengikuti peningkatan kemampuan, model yang lebih canggih tidak semestinya dianggap lebih aman hanya karena kinerjanya lebih baik. Pendekatan yang ia uraikan berjalan di dua jalur: mengupayakan penyelarasan selama pelatihan dan membangun sistem penerapan yang dapat membatasi model secara terpisah. 2
5
Itulah pula inti prinsip kepercayaannya: sistem yang paling dapat dipercaya bukanlah sistem yang meminta orang percaya begitu saja kepada model. Dalam liputan esainya, Nadella dikutip menyebut sistem paling tepercaya sebagai sistem “yang memungkinkan kita sesedikit mungkin mempercayai model”. 9
Bukti yang tersedia mendukung perubahan penekanan ini, tetapi tidak memastikan setiap detail pengamanan yang kadang dikaitkan dengannya. Pokok argumennya lebih terbatas: penskalaan bukan jaminan penyelarasan, sehingga pelatihan perlu disertai kontrol eksternal dan pengawasan manusia. 1
5
18
Studio Global AI
Lanjutkan penelitian Anda
Halaman ini berisi jawaban yang didukung sumber yang dapat Anda lanjutkan di dalam Studio Global.
Orang-orang juga bertanya
Apa jawaban singkat untuk "Satya Nadella: AI yang Makin Canggih Belum Tentu Makin Aman"?
Nadella mengaku dulu mengira penyelarasan AI akan muncul dengan sendirinya saat model menjadi lebih mampu.
Apa poin penting yang harus divalidasi terlebih dahulu?
Nadella mengaku dulu mengira penyelarasan AI akan muncul dengan sendirinya saat model menjadi lebih mampu. Kini ia menilai penskalaan saja tidak menjamin model berperilaku sesuai tujuan manusia.
Apa yang harus saya lakukan selanjutnya dalam latihan?
Menurutnya, upaya penyelarasan dalam pelatihan perlu dilengkapi kontrol keamanan di luar model, termasuk untuk membatasi tindakan agen AI.
Sumber
ceointerviews.aiHow Security Leaders Can Prepare for Super Intelligence — Satya Nadella
businessinsider.comSatya Nadella Changed His Mind on the Inevitably of AI Alignment
bidclub.ai20VC: Satya Nadella on Open vs Closed Models: Who Wins
blumify.ioSatya Nadella: what they said, interviews and podcasts - Blumify