Sampura Research’ın yapay zekâ için insanlı “hakem” planı

Sampura Research, giderek daha yetenekli hâle gelen yapay zekâ sistemlerinin doğru ve güvenli davranıp davranmadığına kimin karar vermesi gerektiği sorusuna odaklanan, Londra merkezli bir yapay zekâ güvenliği kuruluşu. Kuruluşun yaklaşımı, insanları denetim sürecinden çıkarmak değil; insanlarla yapay zekânın gözetim sorumluluklarını paylaşacağı sistemler tasarlamak.

Sampura, Coefficient Giving’den ilk etapta 11 milyon dolarlık hibe aldığını açıkladı. Bu tutarın 7 milyon doları ilk yıl için ayrılırken, 4 milyon dolar daha taahhüt edildi. 1

Kamuya açık kuruluş duyurusu 25 Ağustos 2026 tarihli; önceki bazı paylaşımlarda geçen 24 Ağustos tarihi doğru görünmüyor. Duyuru, kurucular olarak Rishub Jain ve Josh Jacob’ın adını veriyor. Daha önceki sosyal medya paylaşımlarında Alex Adams’la yürütülen çalışmalardan söz edilmiş olsa da bu belgeler, Adams’ın resmî olarak kurucu olduğunu kesin biçimde ortaya koymuyor. 112

Sampura’nın “hakem” dediği sistem ne yapacak?

Sampura’nın terminolojisinde hakem, bir yapay zekâ sisteminin davranışının doğru ve uyumlu olup olmadığını değerlendiren insan, yapay zekâ modeli veya hibrit sistem anlamına geliyor. İncelenen davranış tek bir yanıt, bir sohbet ya da bir yapay zekâ aracısının çok adımlı görev süreci olabilir. 1

Buradaki temel sorun, bir modelin akıcı yanıtlar vermesinin veya karmaşık görevleri tamamlamasının güvenli olduğu anlamına gelmemesi. Bir sistem, kendisini değerlendiren kişiyi yanıltabilir, ödül fonksiyonundaki açıkları kullanabilir ya da uzun bir görev akışı sırasında güvenli olmayan bir eylem gerçekleştirebilir. Sampura’nın araştırma gündemi, tam da bu tür başarısızlıkları yakalayabilecek değerlendirme mekanizmaları geliştirmeyi amaçlıyor.

Kuruluş bu yaklaşımı, ölçeklenebilir denetim için insan–AI tamamlayıcılığı olarak tanımlıyor: Otomasyonun güvenilir olduğu yerde yapay zekâdan yararlanmak; yorum, muhakeme veya değer yargısı gerektiren durumlarda ise insan katkısını korumak. 1

Neden yalnızca yapay zekâya güvenmiyor?

Yapay zekâ denetçileri hızlı ve büyük ölçekte çalışabildikleri için cazip. Ancak Sampura’ya göre hız, tek başına güvenilirlik anlamına gelmiyor. Kuruluşun duyurusunda dört temel risk öne çıkıyor:

• Dengesiz yetenekler: Yapay zekâ performansı “pürüzlü” olabilir; sistem bazı görevlerde çok başarılıyken benzer görünen başka bir görevde beklenmedik biçimde zayıf kalabilir.
• Ortak hata noktaları: İnsan ve yapay zekâ değerlendiricileri, özellikle model değerlendirme sürecine göre optimize edildiğinde, aynı tür hatalara düşebilir.
• Manipülasyon ve iş birliği riski: Denetlenen sistem, otomatik denetçiyi kandırmaya, etkilemeye veya değerlendirme sürecindeki açıkları kullanmaya çalışabilir.
• Yeni ve belirsiz durumlar: Daha önce görülmemiş vakalarda, öğrenilmiş tercihleri mekanik biçimde uygulamak yerine insanların değerler üzerine değerlendirme yapması gerekebilir.

Bu noktalar, insan hakemlerin her zaman yapay zekâdan daha iyi olduğunu kanıtlamıyor. Sampura’nın asıl iddiası, baskı ve manipülasyon altında hangi insan–makine kombinasyonunun daha iyi çalıştığının ölçülmesi gerektiği. 1

Araştırma nasıl sınanacak?

Sampura’nın ilk altı aylık programı, 20’den fazla alt veri kümesi içeren çeşitli bir hakem sıralaması oluşturmayı hedefliyor. Planlanan değerlendirme alanları arasında aldatma tespiti, kültürel önyargı ve yapay zekâ aracılarının güvenli olmayan eylemleri bulunuyor. 1

Testler yalnızca sabit soru-cevap örnekleriyle sınırlı kalmayacak. Sampura, denetlenen modelin pekiştirmeli öğrenme sırasında doğrudan hakeme karşı optimize olduğu senaryolar da tasarlamayı planlıyor. Böylece modelin değerlendirme sistemindeki zayıflıkları bulup kullanma motivasyonu varken hakemin çalışmaya devam edip etmediği görülebilecek. 1

Karşılaştırılacak üç ana yaklaşım şöyle:

1. İnsan hakemler: Değerlendirmeyi doğrudan insanlar yapar.
2. Yalnızca AI hakemleri: Daha hızlı ve ölçeklenebilir sonuçlar sunar.
3. Hibrit hakemler: Değerlendirme görevleri insanlar ve yapay zekâ arasında bölünür veya birlikte yürütülür.

Amaç, tek bir dar testte yüksek puan almak değil. Sampura, modeller değerlendirme sürecini istismar etme konusunda daha yetenekli hâle geldikçe de dayanıklılığını koruyan hakemler geliştirmek istiyor. 1

İnsan ve yapay zekâ birlikte nasıl çalışabilir?

Kuruluşun gündemindeki olası tasarımlar arasında şunlar var:

• Yapay zekânın kendi güven düzeyini tahmin ederek emin olmadığı vakaları bir insana aktarması,
• Bir yönlendirme sisteminin tüm denetim görevini insana veya yapay zekâya vermesi,
• Karmaşık bir görevin alt görevlere ayrılarak her parçanın uygun değerlendiriciye gönderilmesi,
• İnsan değerlendiricilere zor kararları daha hızlı ve tutarlı vermelerini sağlayacak arayüz araçları sunulması.

Bu model, insan katkısını “var ya da yok” şeklinde ele almıyor. Bazı vakalar otomatik inceleme için ucuz ve güvenilir olabilir; başka vakalar ise daha yavaş ama dikkatli bir insan değerlendirmesini gerektirebilir. Dolayısıyla asıl denge, “insan mı, AI mı?” sorusundan çok doğruluk, maliyet, hız ve kasıtlı olarak kandırılmaya karşı dayanıklılık arasında kuruluyor. 1

Daha uzun vadede ne planlanıyor?

Sampura, daha iyi hakemler geliştirdikten sonra bu sistemlerin model eğitimi sırasında ödül hilesini azaltıp azaltamayacağını test etmek istiyor. Ayrıca ne kadar insan katkısının gerekli olduğunu, temel modeller denetim mekanizmalarını istismar etmeyi öğrendiğinde hakemlerin nasıl uyarlanacağını ve değerlendirmelerin yalnızca çıktı sınıflandırmakla sınırlı kalıp kalmaması gerektiğini araştıracak. 1

Bu kapsam, yapay zekâ sistemlerini eğitmek ve değerlendirmek için kullanılan teknik özelliklerin, talimatların, puanlama ölçütlerinin ve test senaryolarının hazırlanmasını veya incelenmesini de içerebilir. Kuruluş, çalışmalarını makaleler, kod, veri kümeleri ve sıralama tabloları üzerinden yayımlamayı planlıyor. 1

Buna karşılık, “geleceğe dönük zarar” adı verilen belirli bir veri kümesinin veya açık kaynaklı bir insan değerlendirme platformunun kesinleşmiş ürünler olduğu mevcut duyuruyla doğrulanmıyor. Resmî açıklama; veri kümeleri, kıyaslama testleri, görev yönlendirme ve insanlara yardımcı olan araçlardan oluşan daha genel bir programı destekliyor.

Neden işe alım önemli?

Sampura, Londra’da kurucu teknik ekipte görev alacak çalışanları işe aldığını söylüyor. Program; makine öğrenmesi, değerlendirme tasarımı, insan-bilgisayar etkileşimi, veri operasyonları ve uygulamaya alma konularında uzmanlık gerektiriyor. 1 Önceki sosyal medya paylaşımlarında en az altı araştırmacının daha işe alınacağı ve maaşların 100.000 ila 290.000 sterlin arasında olacağı yazılmıştı; ancak bu rakamlar kuruluşun duyurusunda doğrulanmıyor. 1213

Bu işe alım yarışı, yapay zekâ güvenliği alanındaki yetenek kıtlığını da gösteriyor. METR’nin bir teknik kadro ilanında değerlendirme yürütme rolü için yıllık 285.548 ila 503.116 dolar temel maaş aralığı veriliyor; çok deneyimli ve istisnai adaylar için daha yüksek ödeme ihtimali de belirtiliyor. 18

Sampura’nın karşı karşıya olduğu zorluk yalnızca finansman bulmak değil. Güvenilir denetim için teknik araştırma ile dikkatli saha değerlendirmesinin birlikte yürütülmesi gerekiyor ve bu becerilere sahip sınırlı sayıdaki uzman, aynı alanda çalışan kuruluşların ortak hedefi.

Daha geniş AI güvenliği tartışmasının bir parçası

Sampura’nın kuruluşu, yapay zekâ geliştirme hızının onu izlemek için tasarlanan sistemlerin önüne geçebileceği yönündeki kaygıların arttığı bir döneme denk geliyor. Temmuz 2026’da büyük yapay zekâ şirketlerinde çalışan 1.100’den fazla kişi, güvenlik ve yönetişim mekanizmalarının geride kalması hâlinde sınırdaki AI geliştirmelerinin gerektiğinde yavaşlatılmasını sağlayacak uluslararası teknik ve yönetişim araçları için ABD hükümetine çağrı yapan açık mektubu imzaladı. Mektup, yapay zekâ çalışmalarının hemen durdurulmasını istemiyordu. 40

Reuters ayrıca Google’ın AI bölümündeki liderlik değişikliklerini ve bazı kıdemli mühendislerle araştırmacıların başka şirketlere ve girişimlere geçişini haberleştirdi. Bu gelişmeler Sampura’nın ortaya çıktığı ortamı anlamaya yardımcı olsa da kuruluşun temel güvenlik sorununu çözdüğünü göstermiyor. 49

Sampura bugün ne vadediyor, neyi henüz kanıtlamıyor?

Mevcut kanıtlar Sampura’yı, yapay zekâ denetimi için ölçüm ve karar altyapısı geliştiren erken aşamadaki bir araştırma kuruluşu olarak gösteriyor. Geliştireceği kıyaslama testleri ve hibrit değerlendirme yöntemleri ileride AI laboratuvarları, bağımsız değerlendiriciler veya model davranışını inceleyen diğer kuruluşlar için kullanılabilir. 1

Ancak bu, Sampura’nın sınırdaki yapay zekâ sistemlerini kontrol altına alabildiğini kanıtlamıyor. Kuruluşun yakın vadeli katkısı, güçlü, uyarlanabilir ve değerlendirmeleri geçmek için teşviklere sahip modeller karşısında denetimin nasıl tasarlanması ve sınanması gerektiğini araştırmak olacak.

Sampura’nın temel bahsi şu: Yapay zekâ güvenliği ölçeklenebilir olmak için otomasyona ihtiyaç duyabilir; fakat bu otomasyon, en önemli kararlarda insanları denklemden çıkarmamalı.