KPMG’nin geri çektiği yapay zekâ raporunda sahte vaka çalışmaları ve uydurma kaynaklar

45 atıftan yalnızca 5’i doğruydu

GPTZero’nun rapordaki 45 atıf üzerinde yaptığı incelemeye göre :

• Yalnızca 5 atıf, gerçek ve konuyla ilgili kaynaklara doğru biçimde yönlendiriyordu.
• 28 atıfta, gerçek yayınların başlıkları değiştirilmiş veya gerçek kaynaklara sahte unsurlar eklenmişti.
• 12 atıf, herhangi bir gerçek kaynağa bağlanamayacak kadar belirsiz ya da tutarsızdı.
• Bu atıflara dayanan temel iddiaların yaklaşık yarısı, sahte veya yanlış kuruma atfedilmiş görünüyordu.

Sonuç olarak bibliyografyanın %89’u hatalı olarak işaretlendi. GPTZero’nun yapay zekâ tespit taramasında belgeye %56 “karma” puanı verilmesi de içeriğin muhtemelen yapay zekâ tarafından üretildiğine veya yoğun biçimde yapay zekâ desteğiyle hazırlandığına, ancak yeterli insan incelemesinden geçmediğine işaret etti .

Hangi kuruluşlar yanlış biçimde örnek gösterildi?

İnceleme, raporda dört tanınmış kuruluşun “agentic AI” kullanımına ilişkin doğrulanamayan vaka çalışmalarıyla anıldığını belirledi .

UBS

Rapora göre banka, müşterilerine kişiselleştirilmiş servet yönetimi içgörüleri sunmak için agentic AI kullanıyordu. Ancak bu iddiayı destekleyen doğrulanabilir bir kaynak bulunamadı .

NHS Greater Manchester

NHS bünyesindeki bu kuruluşun, hasta yolculuklarını yapay zekâyla yönlendirdiği öne sürüldü. GPTZero, iddianın gerçek belgelerle desteklenemediğini belirtti .

Transport for London

Londra’nın toplu ulaşım kurumu TfL, gerçek zamanlı yapay zekâ destekli müşteri deneyimi optimizasyonuna örnek gösterildi. Ancak rapordaki iddia bağımsız olarak doğrulanamadı .

Swiss Federal Railways (SBB)

İsviçre Federal Demiryolları’nın farklı müşteri temas noktalarını agentic AI ile bütünleştirdiğine ilişkin bir vaka çalışmasına yer verildi. Fakat atıf yapılan materyallerde böyle bir girişim doğrulanamadı .

Bu örneklerde kaynaklar ya var olmayan raporlara yönlendiriyor, ya gerçek ancak ilgisiz yayınların değiştirilmiş başlıklarını kullanıyor ya da doğrulama yapmayı fiilen imkânsız kılacak kadar belirsiz kalıyordu .

Sorun nasıl ortaya çıktı?

GPTZero’nun değerlendirmesine göre hataların olası nedeni, “gerçek dünyada agentic AI kullanan örnekler bulma” talimatına aşırı uyum sağlayan bir yapay zekâ araştırma aracının, kulağa makul gelen ancak gerçekte var olmayan vaka çalışmaları ve atıflar üretmesiydi .

Asıl kritik nokta ise bu çıktılar yayımlanmadan önce kaynakların yeterince kontrol edilmemiş olması. Yapay zekâ, güven veren bir üslupla yanlış bilgi üretebildiği için yalnızca metnin akıcı olması veya kaynak listesinin profesyonel görünmesi doğruluk garantisi sunmuyor .

KPMG vakası yalnız değil

KPMG’nin geri çekilen raporu, profesyonel hizmetler sektöründe yapay zekâ kaynaklı atıf sorunlarının büyüyen bir örüntüsünün parçası .

• Deloitte Australia, akademik literatürde bulunmayan kaynaklar ve bir federal mahkeme kararından uydurulmuş bir alıntı içeren 440.000 dolarlık hükümet raporunu yeniden yayımlamak zorunda kaldı. Şirket kısmi geri ödeme yaptı ve rapor, “atıf hatalarıyla dolu” olduğu yönündeki eleştirilerle kamuoyunun gündemine geldi .
• Ernst & Young (EY) tarafından hazırlanan sadakat sahtekârlığı konulu bir raporda, GPTZero’nun incelemesine göre bağlantıların neredeyse tamamı bozuk veya sahteydi; başlıkların yarısından fazlası da gerçek kaynaklarla örtüşmüyordu .
• Benzer sorunlar Sullivan & Cromwell gibi büyük hukuk firmalarının mahkeme başvurularında da görüldü .

Bu vakalar, kurumsal yapay zekâ kullanımındaki temel riski ortaya koyuyor: İnsan denetimi olmadan çalışan araştırma araçları, ilk bakışta güvenilir görünen ancak incelendiğinde doğrulanamayan kanıtlar üretebiliyor. Uzmanlık ve güven satan danışmanlık sektörü için bunun bedeli yalnızca düzeltme maliyeti değil; itibar kaybı, müşteri güveninin zedelenmesi ve düzenleyici kurumların dikkatinin çekilmesi anlamına da gelebilir.

KPMG olayı, yapay zekâ destekli iş akışlarında “kontrol” adımının kâğıt üzerinde kalmaması gerektiğini gösteriyor. Son sözü hâlâ doğrulanabilir kaynakları tek tek inceleyen insan denetimi söylemeli.