Cloudflare dan OpenAI Uji Sinyal Jaringan Real-Time untuk Membuat Pencarian AI Lebih Cerdas

Pada 8 Juli 2026, Cloudflare dan OpenAI mengumumkan pilot riset bersama untuk menguji apakah sinyal real-time dari jaringan global Cloudflare dapat membantu mesin pencari AI menemukan dan mengindeks konten web dengan lebih efektif. Fokusnya adalah meningkatkan ketepatan dan ketepatan waktu jawaban AI .

Kerja sama ini bukan kebijakan pemblokiran baru yang berdiri sendiri. Pilot tersebut merupakan bagian dari strategi Cloudflare yang lebih luas untuk mengatur cara crawler AI mengakses konten, mengurangi perayapan yang tidak perlu, dan mulai menghubungkan penggunaan konten dengan kompensasi bagi penerbit ^TBB.

Bagaimana pilot Cloudflare–OpenAI bekerja?

Pilot ini menggabungkan data jaringan Cloudflare di sisi infrastruktur dengan kemampuan pencarian OpenAI. Menurut CEO Cloudflare Matthew Prince, tujuannya adalah memanfaatkan “sinyal jaringan yang lebih terperinci” agar pencarian AI menjadi lebih efisien dan pengguna bisa memperoleh jawaban berkualitas lebih cepat .

Cloudflare menyebut jaringan globalnya membawa lebih dari 20% trafik web dunia. Dalam pilot ini, data yang digunakan berbentuk sinyal agregat dan dianonimkan dari situs-situs yang berpartisipasi . Sinyal tersebut antara lain:

• Kesegaran konten, yaitu seberapa baru sebuah halaman dibuat atau diperbarui.
• Kualitas trafik, termasuk pola yang dapat menunjukkan apakah sebuah halaman benar-benar digunakan dan dipercaya oleh pengunjung.
• Perubahan aktual pada halaman, yakni apakah dan seberapa sering isi halaman berubah di server—bukan hanya mengandalkan cap waktu pada sitemap.

Informasi ini dapat membantu mesin pencari AI menentukan halaman apa yang perlu dirayapi, kapan halaman perlu dirayapi ulang, dan konten mana yang kemungkinan sudah usang atau kurang relevan. Dengan begitu, sistem tidak perlu mengambil ulang setiap halaman hanya untuk memeriksa apakah ada perubahan .

Secara teori, pendekatan ini dapat membuat proses indeksasi lebih hemat sumber daya sekaligus membantu menghasilkan jawaban yang lebih baru dan akurat. Penerbit dapat mengurangi perayapan yang tidak perlu, sementara perusahaan AI berpotensi menekan biaya infrastruktur.

Bagian dari perubahan kebijakan Cloudflare

Pilot bersama OpenAI ini mengikuti serangkaian perubahan kebijakan dan produk yang diumumkan Cloudflare pada 1 Juli 2026, yang dijuluki perusahaan sebagai “Content Independence Day” ^TBB.

Tiga kategori crawler AI

Cloudflare tidak lagi hanya membedakan crawler berdasarkan label “bot AI” atau bukan. Sebaliknya, crawler diklasifikasikan berdasarkan tujuan dan perilakunya ke dalam tiga kategori ^TB:

Kategori	Fungsi	Contoh umum
Search	Mengindeks konten untuk menjawab pertanyaan di kemudian hari.	Crawler mesin pencari tradisional
Agent	Mengambil atau menggunakan informasi secara langsung untuk menjalankan tindakan atas nama pengguna.	Agen penjelajah web atau pengambil data dalam layanan AI
Training	Mengumpulkan konten untuk melatih atau menyempurnakan model AI.	Crawler pelatihan dalam skala besar

Cloudflare sangat menganjurkan perusahaan yang menjalankan ketiga fungsi tersebut untuk memakai crawler yang terpisah dan mudah dikenali. Dengan demikian, pemilik situs dapat memberikan izin untuk pencarian tanpa otomatis mengizinkan pelatihan model atau aktivitas agen ^T.

Pengaturan bawaan mulai 15 September 2026

Mulai 15 September 2026, Cloudflare akan menerapkan pengaturan bawaan baru untuk pelanggan baru, situs baru milik pelanggan lama, dan akun paket gratis ^TBB. Pada halaman yang menampilkan iklan, pengaturannya akan mencakup:

• Crawler Training diblokir secara default.
• Crawler Agent diblokir secara default.
• Crawler campuran—yang menggabungkan fungsi Search, Agent, dan/atau Training—diblokir secara default pada halaman yang menampilkan iklan ^TB.
• Crawler Search-only tetap diizinkan secara default agar situs tetap dapat ditemukan melalui pencarian tradisional.

Situs dapat mengubah pengaturan tersebut melalui konfigurasi Cloudflare. Artinya, perubahan ini merupakan pengaturan bawaan, bukan pungutan universal atau larangan permanen bagi seluruh crawler AI.

Target utama kebijakan ini adalah crawler campuran. Bot semacam itu dapat mengumpulkan konten untuk keperluan pencarian sekaligus pelatihan model dalam satu kali kunjungan. Akibatnya, pemilik situs sulit mengetahui untuk tujuan apa data mereka digunakan. Dengan memblokir crawler campuran secara default, Cloudflare mendorong perusahaan AI memisahkan identitas dan fungsi crawler mereka ^TB.

Dari Pay Per Crawl ke Pay Per Use

Cloudflare juga mengubah arah eksperimen kompensasinya. Pada 2025, perusahaan menguji Pay Per Crawl, yaitu mekanisme yang memungkinkan perusahaan AI membayar setiap kali crawler meminta konten. Sistem tersebut menggunakan infrastruktur web yang sudah ada, termasuk header permintaan, autentikasi, dan kode HTTP seperti 402 Payment Required ^B.

Dalam model Pay Per Use yang diumumkan pada Juli 2026, penerbit diharapkan menerima pembayaran ketika konten mereka benar-benar membantu menghasilkan jawaban AI—bukan sekadar ketika halaman mereka diakses crawler ^B. Cloudflare menggambarkannya sebagai model utilitas terukur untuk pencarian AI: pembayaran dikaitkan dengan nilai penggunaan konten, bukan hanya akses mentah ke halaman.

Namun, Pay Per Use masih berada pada tahap awal dan disebut sebagai eksperimen atau program riset. Cloudflare belum mengumumkan rincian harga, pembagian pendapatan, maupun jadwal peluncuran untuk ketersediaan umum ^B.

Apa arti strategi ini bagi web?

Keempat inisiatif tersebut—pilot bersama OpenAI, klasifikasi tiga jenis crawler, pemblokiran crawler campuran, dan eksperimen Pay Per Use—mengarah pada satu perubahan besar dalam hubungan antara platform AI dan penerbit ^TBB.

1. Mendorong transparansi: crawler harus lebih jelas menunjukkan apakah mereka digunakan untuk pencarian, aktivitas agen, atau pelatihan model.
2. Memperkuat kendali pemilik situs: pengaturan bawaan membatasi aktivitas pelatihan dan agen pada halaman beriklan, tetapi tetap mempertahankan akses pencarian secara default.
3. Membuka jalur kompensasi: Pay Per Use mencoba mengganti pola lama “konten dirayapi gratis, lalu penerbit berharap mendapat rujukan” dengan pembayaran yang dikaitkan pada penggunaan aktual dalam jawaban AI.
4. Membuat pencarian AI lebih efisien: pilot Cloudflare–OpenAI memanfaatkan sinyal perubahan dan kualitas konten untuk mengurangi perayapan berulang serta membantu mesin AI menyajikan informasi yang lebih relevan dan terkini.

Jika eksperimen ini berhasil, indeksasi pencarian AI tidak lagi hanya bergantung pada seberapa sering bot mengunjungi halaman. Sistem juga dapat mempertimbangkan apakah halaman tersebut benar-benar berubah, digunakan, dan layak ditampilkan—sementara pemilik konten mendapat kontrol yang lebih jelas atas cara karya mereka dimanfaatkan.