Yapay zekâ nasıl evrildi: Tahminden üretime, üretimden eyleme

Bu durum kredi, işe alım, sigorta ve sağlık gibi alanlarda önemli etik sorunlar doğurur. Tarihsel veriler toplumsal önyargıları yeniden üretebilir; şeffaf olmayan puanlama sistemlerinde kararları sorgulamak zorlaşabilir. Bu nedenle yönetişim; amacın açıkça tanımlanmasını, ilgili gruplar arasında doğruluk ve adalet testleri yapılmasını, mahremiyetin korunmasını, kararların açıklanabilmesini ve yüksek etkili durumlarda insan incelemesini kapsamalıdır. Önyargı, yanlış bilgi ve kötüye kullanım endişeleri yalnızca sohbet robotlarına özgü değildir; bunlar daha geniş yapay zekâ politikası sorunlarıdır.

2. Üretken yapay zekâ: Etiket tahmininden içerik üretimine

Üretken yapay zekâ, kullanıcı deneyimini “Bu hangi kategoriye ait?” sorusundan “Bu talimata yanıt olarak bir şey oluştur veya dönüştür” yaklaşımına taşıdı. Büyük modeller; metin, görsel, ses ve kod üretebiliyor. Bu sayede müşteri hizmetleri yanıtlarının taslağını hazırlama, çeviri, özel ders, hukuki materyalleri özetleme, yazılım desteği ve yaratıcı çalışmalar gibi alanlarda kullanılabiliyor.

Üretken sistemler ilk taslağın hazırlanması için gereken süreyi ve maliyeti azaltabilir, karmaşık bilgilere konuşma arayüzü üzerinden erişim sağlayabilir ve profesyonellerin işini destekleyebilir. Yani yalnızca sabit bir kararı otomatikleştirmekle kalmayıp insanların içerikle çalışma biçimini de değiştirebilir.

Temel zayıflık: İkna edici olmak, doğru olmak demek değil

Üretken bir model; kendinden emin bir üslupla uydurma veya hatalı bir bilgi, kaynak, hukuki dayanak, tıbbi iddia ya da kod üretebilir. ABD Ulusal Standartlar ve Teknoloji Enstitüsü (NIST), “kendinden emin biçimde ifade edilen ancak hatalı veya yanlış içeriğin üretilmesi” durumunu konfabulasyon olarak adlandırıyor. Gündelik kullanımda bu olgu genellikle “halüsinasyon” diye anılıyor.

Bu nedenle olgusal doğruluğun önemli olduğu her yerde doğrulama şarttır. Güvenilir kaynaklardan erişim, atıflar, yapılandırılmış değerlendirmeler, alana özgü testler ve yetkin insan incelemesi yararlı güvenlik önlemleridir. Akıcı bir yanıt, doğru olduğunun kanıtı değil; en fazla kontrol edilmesi gereken bir taslak veya tahmin olarak görülmelidir.

Üretken sistemlerin daha geniş riskleri

Üretken yapay zekâ veri koruma, fikri mülkiyet, yanlış bilgi ve çıktıların kaynağının belirlenmesi gibi soruları da gündeme getiriyor. Avrupa Komisyonu’nun araştırmalarda sorumlu kullanım rehberi, bu risklere dikkat çekiyor ve yapay zekâdan destek alınmış olsa bile yayımlanan çalışmadan insanların sorumlu olmaya devam ettiğini vurguluyor.

Eğitim alanında da benzer bir sorun var. Öğrenciler yazma, akıl yürütme ve problem çözme işlerini sürekli olarak yapay zekâya devrederse, ortaya daha cilalı bir sonuç çıkabilir; ancak bu becerileri geliştirme pratiği azalabilir. Eğitim rehberleri; hatalı veya önyargılı içerik, zararlı materyal, veri ihlalleri, fikri mülkiyet ihlalleri ve akademik dürüstlük sorunlarını kurumların yönetmesi gereken başlıca riskler arasında sayıyor.

Güvenlik hataları hassas konuşmalarda daha ciddi sonuçlar doğurabilir. Sistemler nefret söylemi içeren, şiddet teşvik eden, cinsel veya manipülatif içerikler üretebilir; kendine zarar verme niyeti ifade eden bir kişiye de uygun olmayan yanıt verebilir. NIST, tehlikeli ya da şiddet içeren öneriler, mahremiyet ve zararlı önyargıyı dikkate alınması gereken riskler arasında gösteriyor. Yüksek riskli ortamlarda yapay zekâ, yetkin bakımın veya insan gözetiminin yerini almamalıdır. Sistemlerin güçlü reddetme ve gerektiğinde insana yönlendirme davranışlarına, mahremiyet kontrollerine ve hızlı insan desteğine ulaşılabilecek net bir kanala ihtiyacı vardır.

3. Yapay zekâ ajanları: Planlama, araç kullanımı ve eylem

Ajan tabanlı yapay zekâ, bir modelin etrafına eylem döngüsü ekler. Ajan yalnızca bir isteme tek seferlik yanıt vermek yerine hedefi yorumlayabilir, işi adımlara bölebilir, tarayıcı, kod çalıştırıcı, e-posta hizmeti veya API gibi araçları çağırabilir, sonuçları inceleyebilir, planını değiştirebilir ve göreve devam edebilir.

Stanford, ajan tabanlı yapay zekâyı; hedefleri yorumlayabilen, eylemleri sıralayabilen, araçları kullanabilen, geri bildirimlere yanıt verebilen ve belirlenmiş sınırlar içinde görevi tamamlamak üzere uyum sağlayabilen otonom veya yarı otonom sistemler olarak tanımlıyor.

Pratik farkı şöyle düşünebiliriz:

• Tahmine dayalı sistem bir işlemi puanlar.
• Üretken sistem bu işlem hakkında bir yanıt taslağı hazırlar.
• Bir ajan ise gerekli erişim yetkileri verilmişse işlemi araştırabilir, dosyayı güncelleyebilir ve mesaj gönderebilir.

Google’ın Jules ürünü, yazılım geliştirme alanındaki kullanım biçimine örnek oluşturuyor. Google, Jules’ı depolarla entegre olabilen, bir kod tabanını bulut sanal makinesine kopyalayan ve kodlama görevleri üzerinde kullanıcı daha sonra inceleyebilsin diye çalışan asenkron bir kodlama ajanı olarak tanımlıyor. Açık kaynaklı, araç kullanabilen ajanlar başka bir yaklaşımı temsil ederken LinkedIn’in Hiring Assistant ürünü, ajan tabanlı iş akışlarının aday bulma ve işe alım süreçlerine uzandığını gösteriyor.

Ajanların cazibesi, yalnızca bir sonraki adımı önermek yerine çok aşamalı işleri tamamlayabilmelerinden kaynaklanıyor. Bir kodlama ajanı hatayı inceleyebilir, birden fazla dosyayı değiştirebilir, testleri çalıştırabilir ve incelenmek üzere bir pull request hazırlayabilir. Bir iş akışı ajanı ise bilgi toplayabilir, düzenleyebilir ve onaya sunulacak iletişimleri hazırlayabilir.

Otonomi neden riski artırıyor?

Planlama, güvenilir bir anlayışa sahip olmakla aynı şey değildir. Ajan bir web sayfasını yanlış yorumlayabilir, kötü bir plan seçebilir, kötü niyetli bir talimatı takip edebilir veya küçük bir hatayı birçok adım boyunca büyütebilir. Stanford’un 2026 AI Index raporuna göre ajanlar, gerçek bilgisayar görevlerini ölçen OSWorld karşılaştırmasında görev başarısını yüzde 12’den yaklaşık yüzde 66’ya çıkardı; ancak yine de denemelerin kabaca üçte birinde başarısız oluyor.

Bir sohbet robotunun halüsinasyonu çoğu zaman iletişim sorunu olarak kalabilir. Buna karşılık kimlik bilgilerine, tarayıcıya veya ödeme yetkisine sahip bir ajan, aynı türden hatayı dış dünyada gerçekleşen bir eyleme dönüştürebilir. Bu nedenle ajan tabanlı sistemlerin yönetişimi yalnızca çıktı kalitesini değil; izinleri, işlemlerin geri alınabilirliğini ve hesap verebilirliği de kapsamalıdır.

Yapay zekâ ajanlarının başlıca güvenlik riskleri

En önemli riskler, ajanın sistemleri, parayı, verileri veya başka insanları etkileyebildiği durumlarda ortaya çıkar:

• Yetkisiz ödemeler: Ajan yanlış ürünü seçebilir, bütçeyi aşabilir veya kötü niyetli bir web sayfası tarafından manipüle edilebilir.
• Mahremiyet ihlali ve veri hırsızlığı: E-posta, dosyalar, müşteri kayıtları, kaynak kodu veya API anahtarlarına erişim; özellikle istem enjeksiyonu yoluyla bilgilerin açığa çıkmasına yol açabilir.
• Güvenlik ve yazılım hasarı: Ajan güvenli olmayan kod ekleyebilir, yapılandırmaları değiştirebilir, kaynakları silebilir veya gizli bilgileri günlükler ve dış araçlar üzerinden sızdırabilir.
• Hesap verebilirlik boşlukları: Sorumluluğun model sağlayıcısı, uygulama geliştiricisi, sistemi kullanan kuruluş, araç sağlayıcısı ve kullanıcı arasında nasıl paylaşılacağı belirsizleşebilir.
• Manipülasyon: Sürekli ve konuşmaya dayalı çalışan ajanlar, özellikle kırılgan durumdaki kullanıcılar üzerinde gereksiz etki kurabilir. Sistem kendisini gerçekte olduğundan daha yetkin ve güvenilir gösterebilir.

Sorumlu yapay zekâ yönetişimi nasıl olmalı?

Kontroller, sistemin yetenekleriyle başarısızlığın doğuracağı sonuçlara uygun olmalıdır.

Tahmine dayalı yapay zekâ için kuruluşlar kullanım amacını tanımlamalı, doğruluk ve adaleti ölçmeli, kişisel verileri korumalı; yüksek etkili sonuçların açıklanabilmesi ve itiraz edilebilmesi için mekanizmalar sağlamalıdır.

Üretken yapay zekâda önemli iddialar doğrulanmalı, halüsinasyonlar ve zararlı çıktılar test edilmeli, hassas veriler kontrol altında tutulmalı, içeriklerin kaynağı ve fikri mülkiyetle ilgili sorular ele alınmalıdır. Hukuki, tıbbi, finansal ve güvenlik açısından hassas kararlarda sorumluluk yetkin insanlarda kalmalıdır.

Ajanlar söz konusu olduğunda teknik ve kurumsal kontroller daha ileri gitmelidir:

1. Kullanım alanını sınırlandırın. Ajanın devreye alınmadan önce neleri yapabileceğini ve yapamayacağını belirleyin.
2. Erişimi kısıtlayın. En az ayrıcalık ilkesine uygun kimlik bilgileri, sınırlı araçlar, işlem limitleri ve izole çalışma ortamları kullanın.
3. Önemli kontrol noktalarında onay isteyin. Finansal, hukuki, mahremiyetle ilgili ve güvenlik açısından hassas eylemler uygun insan onayı olmadan gerçekleşmemelidir.
4. Faaliyetleri denetlenebilir kılın. Günlükleri tutun, davranışları izleyin ve olaylarda sorumluluğun kimde olduğunu açıkça belirleyin.
5. Saldırgan senaryolarla test edin. İstem enjeksiyonu, veri dışa aktarma, zararlı davranış ve hata sonrası toparlanma süreçlerini dağıtımdan önce ve kullanım sırasında değerlendirin.
6. İnsan kontrolünü koruyun. İnsanlar sonuç doğuran eylemleri durdurabilmeli, geçersiz kılabilmeli ve sorgulayabilmelidir.

Singapur Bilgi ve İletişim Medyası Geliştirme Kurumu’nun (IMDA) Ajan Tabanlı Yapay Zekâ için Model Yapay Zekâ Yönetişim Çerçevesi, bu risk temelli yaklaşımı ortaya koyuyor. Çerçeve, kendi ajanlarını geliştiren veya üçüncü taraf çözümler kullanan kuruluşlara yönelik. Temel mesajı, otonomiyi kademeli biçimde artırmak: Önce yalnızca okuma ve destek sunan kullanım biçimleriyle başlamak, ardından düşük riskli eylemlere geçmek ve geri döndürülemez ya da yüksek etkili işlemleri açık insan onayına bırakmak.

Yapay zekânın yönü nereye gidiyor?

Yapay zekânın evrimi, birbirinden tamamen ayrı üç dönemden çok, genişleyen bir yetenek katmanı olarak anlaşılmalı. Geleneksel sistemler tahmin eder ve sınıflandırır. Üretken sistemler oluşturur ve dönüştürür. Ajan tabanlı sistemler bunlara planlama, araç kullanımı ve eylemi ekler.

Yönetişimin de aynı hızla genişlemesi gerekiyor. Doğruluk ve adalet kontrolleri hâlâ gerekli; ancak artık tek başına yeterli değil. Üretken sistemler için güçlü doğrulama, kaynak takibi ve içerik güvenliği uygulamaları gerekiyor. Ajanlar içinse bunlara ek olarak izin sınırları, eylem öncesi kontrol noktaları, güvenlik izleme mekanizmaları ve net sorumluluk tanımları şart.

Bir yapay zekâ sistemi kendi başına ne kadar çok iş yapabiliyorsa, kuruluşların onun neleri yapmasına izin vereceğini o kadar dikkatli belirlemesi gerekiyor.