Cloudflare'un 15 Eylül 2026 Son Tarihi: AI Tarayıcıları İçin Yeni Dönem

15 Eylül 2026'dan itibaren Cloudflare, arama indeksleme ile AI eğitimi veya ajan görevlerini tek bir kullanıcı-aracısı (user-agent) altında birleştiren herhangi bir AI tarayıcısını, yayıncı açıkça izin vermedikçe varsayılan olarak engelleyecek .

Bu sıradan bir ayar değişikliği değil. Dünya genelindeki web trafiğinin yaklaşık %20'sini yöneten Cloudflare, internetin varsayılanını AI tarayıcıları için "izin verilmez" (opt-out) konumundan "izin verilir" (opt-in) konumuna getiriyor . Yayıncılar artık kutudan çıktığı gibi kurumsal düzeyde bot korumasına sahip olurken, AI şirketleri için Cloudflare üzerinden yayın yapan sitelerden ücretsiz ve büyük ölçekli veri kazıma dönemi sona eriyor.

Temel Değişiklik: 15 Eylül 2026 Son Tarihi

Cloudflare, AI şirketlerine web tarayıcılarını, taranan içeriğin nasıl kullanılacağına göre 15 Eylül 2026'ya kadar ayrı ve tanımlanmış kategorilere ayırmaları için süre verdi. Amacını net olarak beyan etmeyen veya arama indeksleme ile AI eğitimini tek bir kullanıcı-aracısı altında birleştiren herhangi bir tarayıcı, Cloudflare kaynaklı trafikte, özellikle de reklam gösteren sayfalarda varsayılan olarak engellenecek .

Bu tarihten sonra, yeni Cloudflare müşterileri ve yeni oluşturulan web siteleri için varsayılan ayarlar yalnızca açıkça tanımlanmış arama tarayıcılarına izin verecek; AI eğitimi ve AI ajan tarayıcıları ise yayıncı açıkça izin vermedikçe engellenecek . Mevcut ücretsiz kullanıcılar, tercihlerini manuel olarak güncellemezlerse, yeni varsayılan ayarlara geçirilecek .

1. Yeni Varsayılan Ayarlar: İzin Verilmez'den İzin Verilir'e

Daha önce web, "izin verilmez" normuyla işliyordu: Bir web sitesi robots.txt ile açıkça engellemediği sürece tarayıcılara izin veriliyordu. Cloudflare, AI tarayıcıları için bunu "izin verilir" paradigmasına çevirdi .

• Yeni müşteriler ve yeni siteler için: Eğitim veya ajan eylemleri için kullanılan AI tarayıcıları varsayılan olarak engellenir. Yayıncıların bunları aktif olarak etkinleştirmesi gerekir .
• Mevcut müşteriler için: Ayarlar otomatik olarak değişmez, ancak site sahipleri Cloudflare kontrol paneli aracılığıyla yeni üç kategorili kontrollere geçiş yapabilir (ve yapmaları şiddetle önerilir) .
• Reklam destekli sayfalarda: Karma kullanımlı tarayıcılar (hem arama için indeksleyen hem de AI eğitimi için veri kazıyan) varsayılan olarak engellenir, çünkü varsayılan politika etiketlenmemiş veya "karma" trafiği eğitim/ajan trafiği olarak ele alır .

2. Üç Kategorili Tarayıcı Sistemi: Arama, Ajan, Eğitim

Cloudflare, yayıncıların üç bot davranışı için bağımsız kurallar belirlemesine olanak tanıyan yeni bir sınıflandırma getirdi. Bu sistem, ücretsiz kullanıcılar da dahil olmak üzere tüm müşterilere sunuldu :

Kategori	Tanım	Varsayılan Ayar (15 Eylül)
Arama (Search)	İçeriği arama sonuçlarında görünecek şekilde indeksleyen ve yayıncıya yönlendirme trafiği (referral traffic) gönderen tarayıcılar.	Varsayılan olarak izin verilir — bu botlar okuyucu ve reklam geliri getirir.
Ajan (Agent)	Kullanıcı adına hareket eden botlar (örneğin, görev yapan, alışveriş yapan veya rezervasyon yapan AI asistanları).	Varsayılan olarak engellenir — yayıncı izin vermelidir.
Eğitim (Training)	Yalnızca AI modellerini eğitmek için içerik kazıyan, kullanıcı veya atıf göndermeyen botlar.	Varsayılan olarak engellenir — yayıncı izin vermelidir.

Yayıncılar artık tek bir panelden "Arama'ya İzin Ver, Eğitim'i Engelle, Ajan'ı Engelle" gibi bir politika belirleyebilir. Bu, yalnızca kullanıcı-aracısı başına toplu bir izin verme/reddetme imkanı sunan geleneksel robots.txt'den çok daha ayrıntılıdır. Cloudflare'ın kendi dokümantasyonu, Arama'yı site sahiplerinin "yönlendirme trafiği veya adil bir tazminat beklemeleri gereken" bir etkinlik olarak tanımlar .

3. Öde-Tara'dan (Pay Per Crawl) Öde-Kullan'a (Pay Per Use) Geçiş

Cloudflare, ilk olarak Temmuz 2025'te Öde-Tara (Pay Per Crawl) sistemini özel beta olarak başlatmıştı. Bu sistem, yayıncıların AI şirketlerinden istek başına ücret almasını sağlayan, HTTP 402 ("Ödeme Gerekli") durum kodlarını kullanarak erişimi müzakere eden bir pazar yeriydi . Bu sistem, yayıncıların onaylanmamış bir tarayıcı içerik talep ettiğinde fiyatlandırma bilgisi içeren bir 402 yanıtı döndürmesine olanak tanıyordu .

Nisan 2026'da, Cloudflare'ın Ajanlar Haftası (Agents Week, 13-17 Nisan) olarak adlandırdığı dönemde şirket, bu sistemi daha kapsamlı bir Öde-Kullan (Pay Per Use) modeline dönüştürdü ve tüm plan seviyelerinde kullanılabilen tek bir operatör konsolunda birleştirdi . Temel fark şudur:

• Öde-Tara (2025 beta): İstek başına mikro işlem modeli — her tarama isteği, HTTP 402 yanıtları aracılığıyla bir ödeme müzakaresini tetikliyordu .
• Öde-Kullan (2026 GA): Yayıncıların sabit lisans ücretleri, tarama başına ücretler veya abonelik tarzı erişim gibi koşullar belirleyebildiği ve AI şirketlerinin Cloudflare'ın bot yönetimi ve WAF kuralları aracılığıyla erişimi programatik olarak yönetebildiği daha esnek bir sistem .

Stack Overflow'un Şubat 2026'daki uygulaması, bu sistemin üretim versiyonunu gösterdi: Veri lisanslama programları, Cloudflare'ın bot kategorizasyonunu kullanarak yetkisiz tarayıcılara 402 yanıtı gönderiyor ve özel sözleşmelere gerek kalmadan büyük ölçekte para kazanıyor .

Bu Değişiklik Ortamı Nasıl Değiştiriyor?

Yayıncılar İçin

• Yeni gelir akışı: AI şirketleri, Cloudflare korumalı sitelerden eğitim verisi almak için artık ödeme yapmak zorunda .
• Ayrıntılı kontrol: Yayıncılar, reklam trafiği getiren arama tarayıcılarına izin verirken eğitim/ajan botlarını engelleyerek hem reklam gelirini hem de içerik değerini koruyabilir .
• Varsayılan koruma: Özel bot yönetimine gücü yetmeyen küçük yayıncılar, artık kutudan çıktığı gibi kurumsal düzeyde AI tarayıcı engelleme özelliğine sahip oluyor .

AI Şirketleri İçin

• Eğitim verisi maliyeti artıyor: Cloudflare ağındaki (~web'in %20'si) siteler için "ücretsiz öğle yemeği" dönemi sona eriyor . AI şirketleri ya yayıncılara ödeme yapmalı ya da lisans anlaşmaları müzakere etmelidir.
• Tarayıcı kimlik krizi: AI şirketlerinin, 15 Eylül'e kadar arama, eğitim ve ajan trafiğini ayrı, tanımlanabilir kullanıcı-aracılarına ayırmak için tarayıcı altyapılarını elden geçirmeleri gerekiyor, aksi takdirde tamamen engellenme riskiyle karşı karşıya kalıyorlar .
• Google en çok etkilenen şirket: Google'ın tarayıcısı (Googlebot) tarihsel olarak iki amaca hizmet etti (arama indeksleme ve Gemini/SGE için AI eğitimi). Cloudflare politikası, Google'ı ya tarayıcısını bölmeye ya da reklam destekli Cloudflare sayfalarında Googlebot'unun engellenmesine razı olmaya zorluyor .

Daha Geniş Sektörel Etki

• Standart belirleyici hamle: Cloudflare, AI tarayıcı görgü kuralları için yeni bir protokol tanımlıyor. Diğer CDN ve barındırma sağlayıcıları da aynı yolu izleyebilir .
• İçerik Sinyalleri Politikası: Cloudflare, robots.txt'nin ötesine geçen, sayfa düzeyinde erişimin yanı sıra içeriğin arama indeksleme, AI eğitimi veya AI ajanları için kullanılıp kullanılamayacağını belirten yeni bir dizi makine tarafından okunabilir yönerge (Content Signals Policy) başlattı . Bu, geleneksel robots.txt'yi yalnızca tarama iznini değil, erişim sonrası kullanımı da kapsayacak şekilde genişletiyor.