OpenAI, ChatGPT’yi Yapay Zekâyla Değerlendiren Taşeronları Neden İşten Çıkardı?

404 Media’nın haberine göre Project Lily, ChatGPT’nin ilerideki davranışını iyileştirmeye yardımcı olmak üzere taşeronların yanıtları değerlendirdiği bir insan inceleme operasyonu. Bu nedenle, değerlendirme işini üretken yapay zekâya yaptıran taşeronların projeden çıkarıldığı bildirildi: Sistemin değeri, bağımsız insan muhakemesinden gelen veride yatıyor. Kararı bir model veriyorsa süreç artık insanların hangi yanıtı tercih ettiğini temiz biçimde ölçemez. 1920

Project Lily’de değerlendiriciler ne yapıyor?

Bildirilen iş akışında değerlendiricilere gerçek ChatGPT istemleri ve bazı durumlarda tüm konuşmalar veriliyor. Değerlendiriciler kullanıcının niyetini özetliyor, aday yanıtları karşılaştırıyor ve 1’den 7’ye kadar puanlıyor. Her görevde en fazla dört aday yanıt bulunabildiği; puanlamanın yalnızca olgusal doğruluktan çok üslup, aşırı onaylayıcılık (sycophancy) ve gereğinden fazla insanmış gibi konuşma gibi davranışsal niteliklere odaklandığı aktarılıyor. 819

Bu puanlar, belirli bir bağlamda bir insanın hangi yanıtı daha iyi bulduğunu gösteren yapılandırılmış tercih verisine dönüşebilir. Böyle bir veri, ancak yargılar yeterince tutarlı, bilgili ve bağımsız olduğunda modeli istenen davranışlara yöneltmekte işe yarar.

Project Lily’de yüzlerce dış değerlendiricinin çalıştığı bildiriliyor. Bu kişilerin Crossing Hurdles üzerinden işe alındığı, ödemelerinin Mercor aracılığıyla yapıldığı ve bir değerlendiricinin saatlik ücretinin 50 doların üzerinde olduğunu söylediği aktarılıyor. OpenAI’nin daha geniş değerlendirme operasyonu için ise 10 binden fazla taşerondan söz ediliyor; bu sayı yalnızca Project Lily’nin büyüklüğü olarak okunmamalı. 196

Yapay zekâ tarafından yazılmış puanlar neden insan geri bildiriminin yerini tutmuyor?

Bir yapay zekâ değerlendiricisi hızlı olabilir ve şirket içi testlerde fayda sağlayabilir. Ancak insan tercihi incelemesinden farklı bir soruya yanıt verir. Model, eğitiminde öğrendiği kalıpları yeniden üretmeye; kendisine tanıdık gelen ifade biçimlerini, üslubu ve varsayımları kayırmaya eğilimli olabilir.

Bir modelin ya da onunla yakından ilişkili bir modelin çıktıları, sonraki model çıktılarının puanlanmasında tekrar tekrar kullanılırsa geri besleme döngüsü oluşabilir:

1. Değerlendirici, mevcut tercihlerini andıran yanıtları daha yüksek puanlar.
2. Eğitim süreci bu yanıtları ödüllendirir.
3. Sonraki model aynı kalıpları üretmeye daha yatkın hâle gelir.
4. Alternatif anlatım tarzları, azınlıkta kalan tercihler veya değerlendiricinin sağlıklı biçimde yargılayamadığı yanıtlar daha az yararlı geri bildirim alır.

Bu, yapay zekâyla yapılan her değerlendirmenin mutlaka modeli kötüleştirdiği anlamına gelmez. Otomatik değerlendirme, insan yargısıyla doğrulandığında ve sınırları açıkça belirlendiğinde yararlı olabilir. Fakat özellikle insan tercih verisi üretmek için kurulmuş bir süreçte insanın yerine geçirilmesi, eğitim sinyalinin bağımsızlığını zayıflatır. Haberlere göre yasağın temel gerekçesi de bu.

Şüpheli yapay zekâ kullanımı nasıl tespit ediliyor?

Haberlere göre yöneticilere, GPTZero gibi yapay zekâ metni tespit araçlarına güvenmemeleri söylendi. Bunun yerine insan incelemesiyle iş örüntülerine ve yazılı çıktıya bakılması; olağandışı derecede tekdüze ifadeler, noktalama veya biçimlendirme kalıpları ve gerçekçi görünmeyen hızda tamamlama gibi işaretlerin değerlendirilmesi istendi. 6

Bunun açık bir sınırı var: Bu işaretlerin hiçbiri tek başına bir çalışanın yapay zekâ kullandığını kanıtlamaz. Hızlı çalışan biri deneyimli olabilir; benzer dil ise ortak değerlendirme yönergesinden kaynaklanabilir. Bu yüzden bu göstergeler ancak inceleme başlatmak için bir neden sayılmalı; projeden çıkarma kararının ise daha güçlü kanıtlara ve adil bir sürece dayanması gerekir.

Ayrıntılı tespit ölçütleri neden açıklanmıyor?

Kurumlar, anti-hile yöntemlerinin ayrıntılarını genellikle yayımlamaz. Kesin bir kontrol listesi, kuralları aşmak isteyenler için yol haritasına dönüşebilir: Çalışanlar ifadeleri değiştirebilir, kasıtlı gecikmeler ekleyebilir veya biçimi çeşitlendirebilir; buna rağmen yargıyı bir modele devretmeyi sürdürebilir.

Ancak gizlilik de ayrı bir risk yaratır. Çalışanlar kalite kararının hangi temelde verildiğini bilmiyorsa hatalı kararları itiraz etmek zorlaşır. Sağlam bir dürüstlük sistemi; gizli tespit yöntemlerini açık kurallar, belgelenmiş kararlar ve anlamlı itiraz ya da düzeltme mekanizmalarıyla birlikte yürütmelidir.

Mercor’un bildirilen politikası

Mercor’un, bu değerlendirme işini yapmak için yapay zekâ kullanmanın politika ihlali olduğunu ve doğrulanmış vakalarda ilgili projeden derhâl çıkarma uygulandığını söylediği bildirildi. Haberlere göre kurallar, geri bildirim veya yorum yazmak için kullanılan araçlar dâhil olmak üzere yapay zekâ desteğini daha geniş biçimde yasaklıyordu. 640

Sorun yalnızca yapay zekâ kullanımı değil

Kasıtlı olarak kötü puan verildiği bildirilen vaka, daha büyük bir gerçeğe işaret ediyor: Bir puanın bir insan tarafından girilmiş olması, o puanın otomatik olarak dikkatli veya bağımsız olduğu anlamına gelmez.

Değerlendirici acele edebilir, yönergeyi yanlış anlayabilir, iş hacmini artırmaya çalışabilir, kötü niyetli davranabilir ya da şeffaf olmayan kalite sistemlerini aşmaya uğraşabilir. Bu, teknik olduğu kadar teşviklerle ilgili bir mesele. Model geliştiricisi, gerçek dünyadaki davranışı iyileştirecek dengeli ve iyi niyetli yargılar ister. Taşeronun ödülü ise daha çok hız, görev tamamlama veya reddedilmemek olabilir. Bu teşvikler birbirinden ayrıştığında veri gürültülü hâle gelebilir veya sistematik biçimde bozulabilir.

Daha güçlü değerlendirme güvenceleri nasıl olur?

İnsan incelemesi; bağlama bağlı, öznel veya otomatik doğrulaması zor yargılarda önemini koruyor. Ancak tek tek puanların aktığı basit bir süreçten ziyade, birbirini denetleyen bir sistem olarak tasarlandığında daha güvenilir çalışır. Uygulanabilecek önlemler şunlar:

• Bağımsız çakışan inceleme: Görevlerin bir bölümünü birden çok değerlendiriciye verip görüş ayrılıklarını incelemek.
• Kalibrasyon görevleri: Değerlendiricilerin yönergeyi anladığını, bilinen örneklerle doğrulamak.
• Kalite denetimleri: Şüpheli örüntüleri araştırmak; ancak tek bir üslup işaretini kesin kanıt kabul etmemek.
• Rol ayrımı: Üretim değerlendirmesi, kalite güvencesi ve itiraz süreçlerini birbirinden ayırmak.
• Sonuç doğrulaması: Yüksek puan alan verinin, kullanıcılar açısından model davranışını gerçekten iyileştirip iyileştirmediğini test etmek.
• Gizlilik kontrolleri: Değerlendiricilerin görebileceği bilgiyi en aza indirmek ve filtrelerin hassas bilgileri kaçırıp kaçırmadığını sürekli sınamak. Project Lily hakkındaki haberde, anonimleştirme çabalarına rağmen konuşmaların kişisel bilgi içerebileceği belirtiliyor. 19

Temel sonuç basit: Tercih eğitimi, o tercihleri üreten süreç kadar güvenilirdir. İnsan değerlendiriciler tek başına kalite garantisi değildir; amaç insanların gerçekten neye değer verdiğini öğrenmekse, yapay zekâ üretimi yargılar da bağımsız insan geri bildiriminin doğrudan yerine geçemez.