Qwen’ın yanıtlarında siyasi önyargı iddiası: Testler ne gösteriyor?

Alibaba’nın Qwen modeli, Airbnb ve Uber gibi Batılı şirketlerin kullandığı yapay zekâ ürünleri arasında yer alıyor. Bu nedenle modelin hangi soruları yanıtladığı, hangilerini geçiştirdiği ve olayları nasıl çerçevelediği yalnızca sohbet robotunun doğruluğuyla ilgili bir mesele değil: Bu yanıtlar, Qwen’ın kullanıldığı ürünlere de yansıyabilir.10

Hirundo’nun testleri ve CBS News’in yaptığı kontroller, siyasi açıdan hassas başlıklarda olası önyargı ve sansür işaretlerine dikkat çekiyor. Ancak eldeki bulgular, Qwen’ın her sürümünün aynı şekilde davrandığını ya da modeli kullanan şirketlerin verilerinin Alibaba’ya veya Çin hükümetine açıldığını göstermiyor.10

Hirundo neyi test etti?

Siber güvenlik girişimi Hirundo, Qwen’a 15 farklı konuda 500 istem yönelttiğini söylüyor. Şirketin CEO’su Ben Luria’nın aktardığı sonuçlara göre model, siyasi açıdan hassas soruların yüzde 89,8’inde sansür, propaganda çizgisiyle uyumlu çerçeveleme veya siyasi önyargı içeren yanıtlar verdi.11

Bu oran, Hirundo’nun bildirdiği test sonucudur; Qwen’ın bütün sürümleri, istemleri ve kullanım ortamları için bağımsız biçimde doğrulanmış genel bir oran değildir. Üstelik ölçüm yalnızca doğrudan yanıt vermeyi reddetmeyi değil, konuyu geçiştirme ve belirli bir siyasi çerçeve sunma gibi farklı yanıt türlerini de kapsıyor.11

Hirundo’nun aktarılan örnekleri arasında 1989 Tiananmen Meydanı olayları ve 2019 Hong Kong protestoları hakkındaki sorular bulunuyor. Şirketin bulgularına ilişkin haberlerde, Qwen’ın bu olayları doğrulamayan ya da kabul etmeyen yanıtları öne çıktı. CBS News’in haberinde de Hong Kong ve diğer tartışmalı konulara verilen yanıtlar yer aldı.1115

CBS News’in kontrolleri ne ekliyor?

CBS News, Qwen’a hassas konularda ayrıca sorular yöneltti ve kaygı verici bulduğu yanıtları haberleştirdi. Bu kontroller, Hirundo’nun tarif ettiği davranışa başka örnekler sunuyor; ancak modelin her sürümünün veya şirketlerin kendi sistemlerine entegre ettiği her kurulumun aynı yanıtları vereceğini kanıtlayan kapsamlı bir test değil.1015

Ayrıca bir modelin soruyu açıkça reddetmesi, siyasi önyargının tek göstergesi değil. Model konuyu geçiştirebilir, belirli bir siyasi çerçeveyi tekrarlayabilir ya da yanlış bilgi verebilir. Bu nedenle yalnızca “Yanıt veremem” türü açık retleri saymak, eksik veya önyargılı yanıtları gözden kaçırabilir.11

Şirketler neden önemsemeli?

CBS News, Qwen’ın 3 milyardan fazla kez indirildiğini ve Airbnb ile Uber dahil şirketlerce kullanıldığını bildirdi.10 Bir şirket modeli müşterilere dönük bir özelliğe ya da kurum içi araca eklediğinde, modelin yanıtları kullanıcıların gördüklerini etkileyebilir. Bu, kullanım amacına göre test yapılmasını gerektirir; ancak Hirundo’nun bildirdiği siyasi önyargının Qwen kullanan her üründe bulunduğunu kanıtlamaz.

Siyasi önyargı iddialarıyla veri güvenliği endişelerini de birbirinden ayırmak gerekir. ABD Temsilciler Meclisi’ndeki komiteler, Çin’de geliştirilen yapay zekâ modellerinin ulusal güvenlik ve siber güvenlik riskleri hakkında, Airbnb’nin Qwen’ı kullandığına ilişkin haberler dahil olmak üzere bir soruşturma başlattı. Bir soruşturmanın yürütülmesi, Qwen’ın veri sızıntısına yol açtığının kanıtı değildir.

Açık ağırlıklı modeller bir şirketin kendi altyapısında çalıştırılabilir. Bu tercih, hassas veriler üzerinde dışarıdan bir hizmet sağlayıcıya göre daha fazla kontrol sağlayabilir; fakat modelin yanıtlarındaki önyargıyı kendiliğinden ortadan kaldırmaz. Her şirketin veriyi nasıl işlediği ve sistemi nasıl kurduğu ayrıca değerlendirilmelidir.

Hirundo’nun çözüm iddiası henüz ayrı bir değerlendirme gerektiriyor

Hirundo, Qwen’ın iç ağırlıklarını düzenleyerek modeldeki önyargıyı kaldırabildiğini söylüyor. CBS News, şirketin “Batılılaştırılmış” olarak tanımladığı bir sürümü yayımlama planını da aktardı.10 Bu, önerilen bir teknik çözüm hakkındaki şirket iddiasıdır; değişikliğin farklı konularda, model sürümlerinde, dillerde ve iş görevlerinde tutarlı sonuç verdiğini gösteren bağımsız kanıt değildir.

Qwen’ı değerlendiren kurumlar için pratik adım, kullanmayı planladıkları belirli sürümü ve kurulum biçimini sınamak. Hem hassas hem gündelik sorulara verilen yanıtları kontrol etmek, önemli bilgilerin atlanıp atlanmadığına ve çarpıtılıp çarpıtılmadığına bakmak; veri akışlarını ve güvenlik önlemlerini ise ayrı olarak incelemek gerekir. Bildirilen bulgular dikkatle değerlendirilmelidir, ancak modelin her kullanımına dair tüm soruları yanıtlamaz.