Değişimin Arkasındaki Neden: 'Onay Yorgunluğu'

Anthropic'in kendi iç telemetri verileri, kullanıcıların komutun ne kadar tehlikeli olduğuna bakılmaksızın izin istemlerinin %97'sini onayladığını gösterdi . Bu neredeyse evrensel onay oranı, dikkatli bir değerlendirmeden ziyade, özellikle uzun oturumlarda hızla ortaya çıkan alışkanlık haline gelmiş tıklama davranışını yansıtıyor . Kontrollü çalışmada, insanların reddetme oranı zaten düşük olan %13,6'dan, 50'den fazla istemden sonra yaklaşık %5'e kadar geriledi ve bu da komut bazlı onay modelinin zamanla ne kadar zayıfladığını doğruladı .

1.053 Kişilik Çalışmada %89'luk Oto-Engelleme Oranı ve İnsan Karşılaştırması

• İnsan Yakalama Oranı: 1.053 ücretli profesyonel testçiyle yapılan çift kör bir testte, bir tehlikeli komut kullanıcılara fark ettirilmeden iletildiğinde, katılımcıların yalnızca %13,6'sı (1.053 kişiden 143'ü) bu komutu engelledi . 50 istemden sonra bu oran ~%5'e düştü .
• Auto Mod Yakalama Oranı: Aynı tehlikeli komutlar karşısında sınıflandırıcı, komutların %89'unu engelledi .
• Anthropic'in verilerine göre, üretim ortamında manuel olarak onaylanan oturumlarda, auto mod oturumlarına kıyasla iki kat daha fazla istenmeyen zarar meydana geldi .

Kalan Riskler: %11'lik Kaçırma Oranı ve Prompt Enjeksiyon Zaafları

• %11'lik kaçırma oranı: Sınıflandırıcı, tehlikeli komutların yaklaşık %11'ini engellemeyi başaramıyor .
• Sentetik düşmanca değerlendirmeler: Üçüncü taraf sızma testleri (red-teaming), sınıflandırıcının kaçırma oranını daha da düşürdü ancak tamamen ortadan kaldıramadı . Sistem, testlerde sıfır prompt enjeksiyon saldırısı yakalasa da, bu durum genel bir bağışıklıktan ziyade test tasarımından kaynaklanıyor olabilir .
• Uç durumlar: Sınıflandırıcının eğitim verilerinin dışında kalan, son derece yeni veya gizlenmiş kötü niyetli komutlar hala bir risk faktörü oluşturuyor .

Güvenlik Önlemleri ve Geçersiz Kılma Mekanizmaları

• Sınıflandırıcı her araç çağrısını bağımsız olarak değerlendirir; auto mod genel bir izin anahtarı değildir .
• Kullanıcılar bir oturum içinde istedikleri zaman manuel onay moduna geri dönebilirler .
• Ekip ve Kurumsal yöneticiler, kuruluşlarının tamamı için varsayılan bir mod (manuel veya auto) belirleyerek kullanıcı düzeyindeki varsayılanı geçersiz kılabilir .
• Anthropic'in harici sızma testi programı, sınıflandırıcıyı sürekli olarak test etmeye ve güçlendirmeye devam ediyor .
• Kurumsal hesaplar için auto mod şimdilik isteğe bağlı olarak kalacak ve ilk dağıtımdan yaklaşık bir ay sonra varsayılan hale getirilmesi planlanıyor .

Dağıtım ve Fiyatlandırma Etkileri

Önemli fiyatlandırma notu: Anthropic, söz konusu planlardaki kullanıcılardan auto modun tükettiği ek sınıflandırıcı tokenları için ücret almayı durdurduğunu ve bu maliyetlerin mevcut aboneliğe dahil edildiğini doğruladı .

Değişimin Arkasındaki Neden: 'Onay Yorgunluğu'

Anthropic'in kendi iç telemetri verileri, kullanıcıların komutun ne kadar tehlikeli olduğuna bakılmaksızın izin istemlerinin %97'sini onayladığını gösterdi . Bu neredeyse evrensel onay oranı, dikkatli bir değerlendirmeden ziyade, özellikle uzun oturumlarda hızla ortaya çıkan alışkanlık haline gelmiş tıklama davranışını yansıtıyor . Kontrollü çalışmada, insanların reddetme oranı zaten düşük olan %13,6'dan, 50'den fazla istemden sonra yaklaşık %5'e kadar geriledi ve bu da komut bazlı onay modelinin zamanla ne kadar zayıfladığını doğruladı .

1.053 Kişilik Çalışmada %89'luk Oto-Engelleme Oranı ve İnsan Karşılaştırması

• İnsan Yakalama Oranı: 1.053 ücretli profesyonel testçiyle yapılan çift kör bir testte, bir tehlikeli komut kullanıcılara fark ettirilmeden iletildiğinde, katılımcıların yalnızca %13,6'sı (1.053 kişiden 143'ü) bu komutu engelledi . 50 istemden sonra bu oran ~%5'e düştü .
• Auto Mod Yakalama Oranı: Aynı tehlikeli komutlar karşısında sınıflandırıcı, komutların %89'unu engelledi .
• Anthropic'in verilerine göre, üretim ortamında manuel olarak onaylanan oturumlarda, auto mod oturumlarına kıyasla iki kat daha fazla istenmeyen zarar meydana geldi .

Kalan Riskler: %11'lik Kaçırma Oranı ve Prompt Enjeksiyon Zaafları

• %11'lik kaçırma oranı: Sınıflandırıcı, tehlikeli komutların yaklaşık %11'ini engellemeyi başaramıyor .
• Sentetik düşmanca değerlendirmeler: Üçüncü taraf sızma testleri (red-teaming), sınıflandırıcının kaçırma oranını daha da düşürdü ancak tamamen ortadan kaldıramadı . Sistem, testlerde sıfır prompt enjeksiyon saldırısı yakalasa da, bu durum genel bir bağışıklıktan ziyade test tasarımından kaynaklanıyor olabilir .
• Uç durumlar: Sınıflandırıcının eğitim verilerinin dışında kalan, son derece yeni veya gizlenmiş kötü niyetli komutlar hala bir risk faktörü oluşturuyor .

Güvenlik Önlemleri ve Geçersiz Kılma Mekanizmaları

• Sınıflandırıcı her araç çağrısını bağımsız olarak değerlendirir; auto mod genel bir izin anahtarı değildir .
• Kullanıcılar bir oturum içinde istedikleri zaman manuel onay moduna geri dönebilirler .
• Ekip ve Kurumsal yöneticiler, kuruluşlarının tamamı için varsayılan bir mod (manuel veya auto) belirleyerek kullanıcı düzeyindeki varsayılanı geçersiz kılabilir .
• Anthropic'in harici sızma testi programı, sınıflandırıcıyı sürekli olarak test etmeye ve güçlendirmeye devam ediyor .
• Kurumsal hesaplar için auto mod şimdilik isteğe bağlı olarak kalacak ve ilk dağıtımdan yaklaşık bir ay sonra varsayılan hale getirilmesi planlanıyor .

Dağıtım ve Fiyatlandırma Etkileri

Önemli fiyatlandırma notu: Anthropic, söz konusu planlardaki kullanıcılardan auto modun tükettiği ek sınıflandırıcı tokenları için ücret almayı durdurduğunu ve bu maliyetlerin mevcut aboneliğe dahil edildiğini doğruladı .