Claude’un yapay zekâ filigranı saatler içinde aşıldı: Metinlerin kökeni nasıl doğrulanacak?

Filigranı aşmaya çalışan yöntemler nasıl çalışıyor?

Claude’un metin filigranı, metinden silinebilecek görünmez karakterlerden oluşan ayrı bir katman değil. Anthropic, sistemi modelin kelime ya da belirteç seçimlerinde ortaya çıkan istatistiksel bir örüntü olarak tanımlıyor. İlgili tespit yöntemi, bir metin dizisinin Claude’un üretim süreciyle istatistiksel açıdan uyumlu olup olmadığını değerlendiriyor.

Meyer’in aktarılan yaklaşımında, filigran içermeyen bir dil modeli birden fazla yeniden yazım üretiyor. Eş anlamlı kelimeler değiştiriliyor, cümlelerin kuruluşu yeniden düzenleniyor ve temel anlam korunmaya çalışılıyor. Böylece filigranın dayandığı kelime seçimi örüntüsü bozuluyor.

Haberlerde yer verilen bazı tarayıcı tabanlı araçlar ise farklı katmanları hedefliyor. Bunlardan biri görünmez veya birbirine benzeyen Unicode karakterlerini kaldırıyor, cümlelerin sırasını değiştiriyor ve eş anlamlı kelimeler kullanıyor. Metni kısaltmak ya da başka bir dile çevirip yeniden çevirmek de istatistiksel örüntüyü bozabilecek yöntemler arasında sayılıyor.

Burada önemli bir ayrım var: Bu yöntemler, Claude’un temel metin filigranını gizli karakterleri silerek kaldırmıyor. Anthropic, metin filigranının saklı karakterlerden veya sonradan eklenen metin metaverilerinden oluşmadığını açıkça belirtiyor.

Claude filigranı neyi gösterebilir, neyi gösteremez?

Anthropic, kullandığı yaklaşımın Google DeepMind’ın SynthID-Text yönteminin bir versiyonuna dayandığını söylüyor. Claude, düşük riskli sonraki kelime seçimlerinde, kendinden önceki kelimelerle ilişkili ve gizli anahtarla yönlendirilen bir rastgelelik kullanıyor. Daha sonra doğrulama sistemi, ortaya çıkan metnin bu seçimlerle istatistiksel olarak uyumlu olup olmadığını tahmin ediyor.

Sistem okuyucu tarafından fark edilmeyecek şekilde tasarlanmış. Yeni karakter eklememesi, ek belirteç kullanmaması ve anlam, kalite, yaratıcılık, okunabilirlik veya maliyet üzerinde pratik bir etki yaratmaması amaçlanıyor. Anthropic ayrıca filigranın belirli bir kişiyi, kurumu veya sohbeti tanımlayacak bilgiler taşımadığını belirtiyor.

Bu nedenle sonuç, kişisel bir parmak izinden çok bir katkı olasılığı sinyali. Anthropic’in tanımına göre tespit, Claude’un bir metnin yazımına dahil olmuş olma ihtimalini gösteriyor. Tek başına şu sorulara yanıt veremiyor:

• Metni kimin yazdığı,
• Bir insanın metni yazmadığının kanıtlanması,
• Metnin başka bir yapay zekâ modeli tarafından üretilip üretilmediği,
• Kısa bir metnin güvenilir biçimde değerlendirilmesi.

Claude’un düzeltme, hafif editörlük, özetleme veya çeviri amacıyla kullanıldığı durumlarda ayrım daha da zorlaşıyor. Anthropic, hafifçe düzenlenmiş bir metinde filigranın yalnızca Claude’un seçtiği birkaç kelimede kalabileceğini ve bu nedenle güvenilir tespit için yetersiz hale gelebileceğini söylüyor.

Geliştiriciler neden tespitin yazarlık kanıtı sayılmasına itiraz ediyor?

Meyer’in haberlerde aktarılan eleştirisi, içerik kaynağının belirlenmesine bütünüyle karşı çıkmıyor. Onun itirazı, bir kişinin aleyhine kanıt gibi kullanılabilecek görünmez bir işaretin sonuçlarına odaklanıyor. Meyer’e göre olasılığa dayalı bir sinyal, kapsamlı yapay zekâ yazarlığı ile yalnızca düzeltme veya editörlük desteğini birbirinden ayırmayabilir.

Bu kaygı, daha geniş bir köken doğrulama sorununa işaret ediyor. Bir tespit sistemi, metnin Claude’un katkısıyla istatistiksel olarak uyumlu olduğunu gösterebilir; ancak son metnin ne kadarını Claude’un yazdığını, ne kadarının insan tarafından değiştirildiğini veya temel fikirlerin kime ait olduğunu açıklayamaz.

Metin kapsamlı biçimde yeniden yazıldığında, çevrildiğinde, kısaltıldığında ya da yeniden kurulduğunda “yapay zekâ tarafından üretildi” ile “yapay zekâ desteğiyle insan tarafından yazıldı” arasındaki çizgi daha da belirsizleşiyor.

Mevcut kanıtlar, filigranlamanın Claude çıktılarının mülkiyetini veya kullanıcıların temel haklarını değiştirdiğini göstermiyor. Anthropic sistemi bir mülkiyet iddiası olarak değil, Claude’un olası katkısını tahmin etmeye yarayan bir yöntem olarak sunuyor.

Yeniden yazım istatistiksel filigranı neden zayıflatıyor?

İstatistiksel bir filigran, çok sayıda kelime seçiminde dağılan bir örüntüye dayanıyor. Metin büyük ölçüde değiştirilmeden kopyalanıp yapıştırıldığında bu örüntü taşınabilir ve bazı düzenlemelerden sonra da varlığını sürdürebilir. Ancak kapsamlı parafraz, çeviri veya yeniden yazım, kelime kullanımını yeterince değiştirdiğinde sinyal tespit edilemez hale gelebilir.

Nature’ın görüştüğü araştırmacılar da motive olmuş bir kişinin, başka bir dil modeli kullanarak bile yapay zekâ çıktısını yeniden yazıp metin filigranını etkisizleştirebileceği konusunda şüpheci. Temel endişe, anlam büyük ölçüde korunurken sinyalin ortadan kaldırılabilmesi.

Bu, filigranlamanın tamamen işe yaramaz olduğu anlamına gelmiyor. Metin yeterince uzunsa ve üretildiği biçime yakın kalıyorsa, rutin kontroller için makine tarafından okunabilir bir ipucu sağlayabilir. Ancak insanın metni kapsamlı biçimde yeniden düzenlediği durumlarda, değişmemiş bir kökenin kalıcı kanıtı olarak gücü azalıyor.

AB Yapay Zekâ Yasası ne istiyor, kanıtlar neyi göstermiyor?

İlgili AB düzenlemesi, temel yükümlülüğü yapay zekâ sistemi sağlayıcılarına getiriyor. Sağlayıcıların, yapay zekâ tarafından oluşturulan veya değiştirilen çıktıların makine tarafından okunabilir biçimde işaretlenmesini ve tespit edilmesini destekleyen teknik çözümler kullanması gerekiyor. Bunun kapsamı, teknik olarak mümkün olan yöntemlerle sınırlı. Yasa, filigranları ve diğer teknikleri olası yaklaşımlar arasında sayıyor; tek bir yöntemin her koşulda kusursuz çalışacağını garanti etmiyor.

Buradaki kaynaklar, üçüncü tarafların filigran kaldırma araçları geliştirmesini veya kullanmasını genel olarak yasaklayan bir AB hükmü bulunduğunu göstermiyor. Aynı şekilde, Anthropic’in özelliği başlangıçta yalnızca AB kullanıcılarıyla sınırlandıramamasının teknik nedenleri de mevcut kaynaklarda açıklanmıyor. Şirket bunun yerine, desteklenen Claude modellerinin sunulduğu her yerde işaretlemeyi dünya genelinde uyguluyor.

Sonuç: Şeffaflık aracı, değişmez bir köken zinciri değil

Claude’un filigran uygulaması, yapay zekâ metinlerinin kökenini doğrulama çabalarının hem değerini hem de kırılganlığını ortaya koydu. Filigran, Claude’un bir metne katkıda bulunmuş olabileceğine dair olasılıksal bir sinyal sağlayabilir. Ancak gizli metaveri, kişisel tanımlayıcı veya Claude’un son metnin yazarı olduğuna dair kesin bir kanıt değil.

Meyer’in projesinin yalnızca dört saat içinde ortaya çıkması da bu ayrımı görünür kılıyor. AB’nin makine tarafından okunabilir işaretleme şartı, bu nedenle kusursuz bir içerik geçmişi ya da değişmez bir “yazarlık zinciri” olarak değil, şeffaflığı artırmaya yönelik bir düzenleme olarak anlaşılmalı. Filigran, metin büyük ölçüde korunuyorsa işe yarayan bir kontrol sinyali olabilir; fakat kasıtlı yeniden yazımlara karşı kalıcı köken ve yazarlık kanıtı sunmuyor.