Cloudflare’ın yapay zekâ tarayıcı varsayılanları: Arama açık, eğitim ve ajan trafiği reklamlı sayfalarda engelli

Cloudflare, 15 Eylül 2026 itibarıyla yapay zekâ tarayıcılarına ilişkin varsayılanlarını değiştirdi. Yeni eklenen alan adlarında, reklam gösteren sayfalarda model eğitimi için içerik toplayan Training tarayıcıları ile kullanıcı adına gerçek zamanlı işlem yapan Agent tarayıcıları varsayılan olarak engelleniyor. Buna karşılık Search kategorisindeki tarama ve dizinleme faaliyeti açık kalıyor. 215

Bu ayrım, içerik üreticileri ve yayıncılar için önemli: Amaç, sitenin arama motorlarında bulunabilirliğini ve olası yönlendirme trafiğini korurken, içeriğin yapay zekâ modeli eğitimi veya anlık yapay zekâ yanıtları için alınmasını daha sıkı denetlemek.

Varsayılan kural: Reklamlı sayfalarda Training ve Agent engeli

Yeni varsayılan, Cloudflare ağına yeni alınan alan adları için geçerli. Cloudflare bir sayfada reklam tespit ettiğinde iki otomatik trafik türünü engelliyor:

• Training (Eğitim): Bir modeli eğitmek veya ince ayar yapmak için içerik toplayan tarayıcılar.
• Agent (Ajan): Sohbet botlarının sayfa çekmesi ya da tarayıcı kullanan ajanların işlemleri gibi, bir kişi adına gerçek zamanlı hareket eden otomasyonlar. 13

Search (Arama) ise varsayılan olarak izinli. Cloudflare bu kategoriyi, içeriğin daha sonra soruları yanıtlamak üzere taranması veya dizine eklenmesi olarak tanımlıyor; şirkete göre bu kullanımın yayıncıya yönlendirme trafiği ya da başka bir adil karşılık sağlaması beklenir. 13

Dolayısıyla düzenleme, yapay zekâya yönelik toptan bir yasak değil. Kural yalnızca Training ve Agent davranışlarını kapsıyor ve yalnızca reklam bulunan sayfalarda varsayılan olarak uygulanıyor. 215

Hangi Cloudflare müşterileri etkileniyor?

Cloudflare’ın resmi belgelerine göre yeni varsayılanlar, ağa yeni katılan alan adlarında geçerli. 215 Uygulamayla ilgili haberlerde, mevcut müşterilerin hesaplarına eklediği yeni siteler ile ayarlarını elle değiştirmemiş Ücretsiz plan hesaplarının da kapsamda olduğu belirtiliyor. 23

Mevcut müşteriler, eski alan adlarının tamamının otomatik olarak aynı kurala geçtiğini varsaymamalı. Sonuç; alan adının sisteme alınma durumu, planı ve mevcut yapılandırmasına göre değişebilir. Etkin politikanın doğrulanması için ilgili alan adındaki yapay zekâ tarayıcı denetimlerinin incelenmesi en güvenli yol. 23

Site sahiplerinin yönetebildiği üç trafik kategorisi

Cloudflare, yapay zekâyla ilişkili tüm tarayıcıları tek grupta değerlendirmek yerine otomatik trafiği davranışına göre üçe ayırıyor. Bu kategoriler birbirinden bağımsız yapılandırılabiliyor: 13

Kategori	Kapsadığı faaliyet	Reklamlı sayfalarda yeni alan adları için varsayılan
Search	İçeriği ileride yanıt vermek üzere tarama veya dizine ekleme	İzinli
Training	Model eğitimi ya da ince ayar için içerik toplama	Engelli
Agent	Kullanıcı adına gerçek zamanlı otomasyon	Engelli

Her kategori için üç seçenek bulunuyor:

1. Trafiğe izin vermek.
2. Trafiği yalnızca reklam gösteren sayfalarda engellemek.
3. Trafiği tüm sayfalarda engellemek. 23

Bu ayrıntı düzeyi, örneğin arama taramasını açık tutarken eğitim amaçlı tarayıcıları sitenin tamamında engellemeye veya daha sınırlı reklamlı sayfa kuralını kullanmaya imkân tanıyor.

SEO açısından kritik nokta: Çok amaçlı tarayıcılar

Bir tarayıcının etiketi tek bir davranışla sınırlı olmayabilir. Cloudflare, Search ve Training işlevlerini birleştiren tarayıcıların tüm davranışlarına göre değerlendirileceğini; erişimde en kısıtlayıcı geçerli kuralın uygulanacağını söylüyor. 2615

Bunun önemli bir sonucu var: Bir site Training trafiğini engelliyorsa, Cloudflare’ın hem Search hem Training olarak sınıflandırdığı bir tarayıcı normal arama taraması erişimini de kaybedebilir. Cloudflare belgeleri ve uygulamaya ilişkin haberler, bu kuralla bağlantılı çok amaçlı tarayıcı örnekleri arasında Googlebot, Applebot ve BingBot adlarını veriyor. 26

Başka bir deyişle, “Search’e izin ver” ayarı, bir bot aynı zamanda Training faaliyeti de yürütüyorsa erişimi otomatik olarak korumuyor. Site genelinde Training engeli düşünenlerin, önce bunun arama görünürlüğü üzerindeki olası etkisini değerlendirmesi gerekiyor. 24

Eski “Block AI bots” ayarına ne oluyor?

Cloudflare, eski “Block AI bots” seçeneği dâhil olmak üzere yapay zekâ eğitimi engeli içeren yapılandırmaların, Search ve Training işlevlerini birleştiren tarayıcılara da uygulandığını belirtiyor. 2 Bu nedenle eski geniş kapsamlı ayarı, yalnızca arama dışı yapay zekâ faaliyetlerini etkileyeceği düşüncesiyle açan sitelerin politikalarını yeniden gözden geçirmesi önemli.

Eylül ayındaki uygulamayı ele alan sonraki haberlerde, “Disallow AI Training” adlı daha yeni yaklaşımın; bir tarayıcı “Accountable” olarak tanımlandığında Googlebot, Applebot ve BingBot’un arama amacıyla erişimini korurken eğitim kullanımına karşı tercih belirtmeyi hedeflediği aktarıldı. Davranış ve geçiş süreci seçilen ayara bağlı olabileceğinden, yöneticilerin eski bir anahtarın adına güvenmek yerine Cloudflare panosunda görünen güncel denetimi kontrol etmesi gerekir. 4

Cloudflare neden arama ile yapay zekâ tüketimini ayırıyor?

Bu politikanın arkasında yayıncıların temel kaygısı bulunuyor. Geleneksel modelde arama motoru sayfaları tarar, dizine ekler ve kullanıcıları kaynağa yönlendirebilir. Üretken yapay zekâ hizmetleri ise içeriği model eğitimi için kullanabilir veya aldığı bilgiyi kendi arayüzünde yanıt olarak sunabilir; bu durumda kaynak siteye doğrudan yönlendirme değeri daha sınırlı kalabilir.

Cloudflare, Search trafiğini yayıncıların yönlendirme veya eşdeğer bir karşılık beklemesi gereken kullanım olarak çerçeveliyor. Training ve Agent kategorileri ise içeriği farklı biçimlerde alan veya içerik üzerinde gerçek zamanlı işlem yapan kullanımları tanımlıyor. 13 Şirketin denetimleri, site sahiplerinin değer gördüğünü düşündüğü otomasyonu açık tutup istemediği otomasyonu sınırlamasına yönelik tasarlanmış durumda.

Buradaki temel soru, bir botun yalnızca “yapay zekâ” olup olmadığı değil. Tarayıcının davranışı içerik keşfini destekleyip siteye değer döndürüyor mu, yoksa öncelikle sitenin materyalini model eğitimi ya da anlık yapay zekâ görevleri için mi tüketiyor? 13

Site sahipleri ne yapmalı?

Ayar değiştirmeden önce etkileri davranış bazında değerlendirmek gerekiyor:

• Dizine eklenmeyi ve potansiyel yönlendirme trafiğini korumak öncelikse Search erişimini açık bırakın.
• Amaç gelir getiren sayfaları korumak, fakat sitenin tamamında kısıtlama uygulamamaksa reklamlı sayfalarda engelleme seçeneğini kullanın.
• Tüm sayfalarda engelleme seçeneğini ancak tarayıcının Search ve Training’i birlikte yürütme ihtimalini değerlendirdikten sonra tercih edin.
• Google, Apple veya Bing arama görünürlüğü önemliyse eski Block AI bots yapılandırmasını yeniden inceleyin. 236

Cloudflare’ın eylül varsayılanları yayıncılara daha fazla denetim sağlıyor. Ancak çok amaçlı tarayıcıların sınıflandırılması nedeniyle bu ayarlar yalnızca yapay zekâ politikası tercihi değil, aynı zamanda bir SEO kararı niteliği taşıyor.