AnswersPublished19 sources
Nadella’nın yapay zekâ güvenliği görüşü değişti: Ölçek büyüdükçe uyum kendiliğinden gelmiyor
Nadella, daha yetenekli yapay zekânın otomatik olarak daha uyumlu ya da güvenli hâle gelmediğini söylüyor. Uyumun eğitim sırasında, belki de ön eğitim aşamasından itibaren ele alınması gerektiğini savunuyor.
YayımlayanGPT-6 Luna ile düzenlendiGörseller GPT Image 2 ile oluşturuldu
Research answer
Key takeaways
- Nadella, daha yetenekli yapay zekânın otomatik olarak daha uyumlu ya da güvenli hâle gelmediğini söylüyor.
- Uyumun eğitim sırasında, belki de ön eğitim aşamasından itibaren ele alınması gerektiğini savunuyor.
- Project Perception gibi model dışı kontrollerin, yapay zekâ ajanlarının riskini değerlendirmeye, izinlerini ayarlamaya ve tehditleri sınırlamaya yardımcı olmasını istiyor.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How has Microsoft CEO Satya Nadella’s view changed on whether scaling AI models naturally aligns them with human goals, as explained in his. Article summary: Nadella has moved from expecting alignment to emerge naturally as AI models become more capable to treating it as a separate—and potentially harder—problem that scaling alone will not solve. His response is two-track: pu. Topic tags: general, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fak
Microsoft CEO’su Satya Nadella’nın yapay zekâ güvenliği konusundaki yaklaşımı değişti: Modeller güçlendikçe insan hedefleriyle uyumun da kendiliğinden artacağını artık varsaymıyor. 26 Ekim’de 20VC podcast’inde ve 19 Ekim’deki açıklamalarında, ölçek büyütmenin tek başına bu sorunu çözmeyebileceğini söyledi. Ona göre hem modelin eğitiminde uyum üzerinde çalışmak hem de modelin dışında güvenlik önlemleri kurmak gerekiyor. 5
11
Daha yetenekli olmak, daha uyumlu olmak demek değil
Yapay zekâ uyumu, bir sistemin davranışlarının insan hedefleri ve değerleriyle örtüşmesini ifade ediyor. Nadella daha önce, modellerin yetenekleri arttıkça bu uyumun da doğal biçimde gelişeceğini düşündüğünü anlattı. Şimdi ise bu iki gelişmenin otomatik olarak el ele gitmediğini söylüyor. 19 Ekim tarihli röportaj dökümünde bu görüşünü, uyumun “ölçek büyütmeyle birlikte bir yetenek olarak ortaya çıkmadığını” belirterek özetliyor. 5
11
Nadella, modelleri nasıl karar verdiğini açıklayacak biçimde anlama çabasının da kolay olmayabileceğine dikkat çekiyor. Ölçek büyütme işe yarasa bile, bu durum modelin davranışlarının güvenilir biçimde uyumlu olduğunu göstermiyor; modelin belirli bir eylemi neden seçtiğini açıklamayı da garanti etmiyor. 5
Bu nedenle çözüm, eğitim yoluyla uyum çalışmalarını bırakmak değil. 20VC açıklamalarına ilişkin özetlerde Nadella’nın, uyumun modelin eğitimine, belki de ön eğitim aşamasından itibaren yerleştirilmesi gerektiğini savunduğu aktarılıyor. Ayrıca yalnızca pekiştirmeli öğrenmenin uyumu sağlayacağı fikrine kuşkuyla yaklaşıyor. 2
8
Modeli eğitmek başka, eylemlerini sınırlamak başka
Eğitim, modelin nasıl davranacağını şekillendirmeyi hedefler. Sınırlama ve denetim ise model kullanıma alındığında neler yapabileceğiyle ilgilidir. Nadella’nın yaklaşımında ikinci mesele, ilkinin tamamen çözülmesini bekleyemez: Uyum araştırmaları sürerken de kuruluşların modelin dışında çalışan kontroller kurması gerekir. 2
5
Bu ayrım, Microsoft’un 19 Ekim’de Project Perception’ı genişletme duyurusunda da görülüyor. Nadella, girişime yapay zekâ ajanlarının riskini değerlendirme, izinlerini uyarlama ve tehditleri sınırlama yetenekleri ekleneceğini söyledi. Buradaki yaklaşım, ajanları potansiyel bir iç risk olarak ele alıyor. Bu, modellerin mutlaka kötü niyetli olduğu anlamına gelmiyor; güvenlik önlemleri olmadan davranışlarına bel bağlanmaması gerektiği anlamına geliyor. 1
14
Pratikte amaç, modelin bir eylem önerebilmesi ya da başlatabilmesiyle o eylemi gerçekleştirme yetkisini birbirinden ayırmak. Model beklenmedik davranırsa dışarıdan belirlenen izinler ve sınırlamalar erişebileceği alanı daraltabilir. Nadella, 10 Ekim tarihli yazısında da bir modelin ele geçirilmiş olabileceğinin varsayılmasını ve yetkili bir kişinin görev sürerken sistemi duraklatabilmesini ya da kapatabilmesini istedi. 18
22
Güvenlik için körü körüne güvenmemek
Nadella’nın görüş değişikliği, yetenek ile güvenliği ayrı değerlendirmek gerektiğini vurguluyor. Uyum ölçek büyütmeyle güvenilir biçimde gelmiyorsa, daha iyi performans gösteren bir model sırf bu nedenle daha güvenli sayılmamalı. Onun tarif ettiği yaklaşım iki koldan ilerliyor: Eğitim sırasında uyum üzerinde çalışmak ve kullanıma alındığında modeli bağımsız olarak sınırlayabilecek sistemler kurmak. 2
5
Bu yaklaşım, Nadella’nın güven ilkesiyle de örtüşüyor. Ona atfedilen ifadeyle en güvenilir sistem, “modele en az güvenmemizi sağlayan” sistemdir. Başka bir deyişle güvenlik, modelin her koşulda doğru davranacağına inanmak yerine, beklenmedik bir durumda devreye girecek kontroller tasarlamaya dayanmalı. 9
Kaynakların desteklediği temel sonuç şu: Ölçek büyütmek uyum garantisi değil. Bu nedenle eğitim sürecindeki çalışmaların, model dışı güvenlik önlemleri ve insan denetimiyle desteklenmesi gerekiyor. 1
5
18
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Nadella’nın yapay zekâ güvenliği görüşü değişti: Ölçek büyüdükçe uyum kendiliğinden gelmiyor"?
Nadella, daha yetenekli yapay zekânın otomatik olarak daha uyumlu ya da güvenli hâle gelmediğini söylüyor.
What are the key points to validate first?
Nadella, daha yetenekli yapay zekânın otomatik olarak daha uyumlu ya da güvenli hâle gelmediğini söylüyor. Uyumun eğitim sırasında, belki de ön eğitim aşamasından itibaren ele alınması gerektiğini savunuyor.
What should I do next in practice?
Project Perception gibi model dışı kontrollerin, yapay zekâ ajanlarının riskini değerlendirmeye, izinlerini ayarlamaya ve tehditleri sınırlamaya yardımcı olmasını istiyor.
Sources
ceointerviews.aiHow Security Leaders Can Prepare for Super Intelligence — Satya Nadella
businessinsider.comSatya Nadella Changed His Mind on the Inevitably of AI Alignment
bidclub.ai20VC: Satya Nadella on Open vs Closed Models: Who Wins
blumify.ioSatya Nadella: what they said, interviews and podcasts - Blumify