Cloudflare dan OpenAI Uji Isyarat Rangkaian Masa Nyata untuk Menjadikan Carian AI Lebih Tepat

Projek ini menggunakan isyarat yang telah dinyahkenal pasti dan diagregatkan. Antara isyarat yang dikaji termasuk:

• Kesegaran kandungan — bila sesuatu halaman dicipta atau dikemas kini.
• Kualiti trafik — corak trafik yang boleh menunjukkan sama ada halaman itu aktif digunakan dan menerima kunjungan yang berkualiti.
• Perubahan sebenar pada halaman — sama ada kandungan benar-benar berubah di pelayan, serta kekerapan perubahan itu berlaku, dan bukannya bergantung semata-mata pada cap masa dalam peta laman.

Maklumat ini boleh membantu enjin carian AI membuat keputusan yang lebih baik tentang kandungan yang perlu dirangkak, masa untuk merangkak semula, dan halaman yang mungkin sudah lapuk atau kurang berkualiti .

Secara praktikal, pendekatan ini boleh mengurangkan keperluan untuk mengambil setiap halaman secara rambang. Jika sistem mengetahui bahawa halaman tertentu jarang berubah, ia tidak perlu merangkaknya semula dengan kerap. Sebaliknya, kandungan yang baru berubah atau lebih relevan boleh diberi keutamaan. Hasil yang diharapkan ialah pengindeksan yang lebih cekap serta jawapan AI yang lebih terkini dan tepat.

Dasar baharu Cloudflare untuk crawler AI

Projek bersama OpenAI itu sebahagian daripada perubahan dasar dan produk Cloudflare yang diumumkan pada 1 Julai 2026, yang digelar syarikat sebagai “Content Independence Day” ^TBB.

Tiga kategori crawler

Cloudflare beralih daripada pendekatan mudah “bot AI atau bukan bot AI”. Kini, crawler dikategorikan mengikut tujuan penggunaannya ^TB:

Cloudflare sangat menggalakkan syarikat yang menggunakan ketiga-tiga fungsi ini supaya menjalankan crawler yang berasingan dan boleh dikenal pasti bagi setiap tujuan ^T.

Apa yang berubah pada 15 September 2026?

Mulai 15 September 2026, tetapan lalai baharu akan dikenakan kepada pelanggan baharu, laman baharu pelanggan sedia ada dan akaun peringkat percuma ^TBB:

• Crawler Training akan disekat secara lalai pada halaman yang memaparkan iklan.
• Crawler Agent akan disekat secara lalai pada halaman yang memaparkan iklan.
• Crawler bercampur, iaitu bot yang menggabungkan fungsi Search, Training dan/atau Agent dalam satu laluan, akan disekat secara lalai pada halaman yang mempunyai iklan ^TB.
• Crawler Search sahaja akan dibenarkan secara lalai supaya laman web kekal boleh ditemui melalui carian tradisional.

Perubahan paling ketara menyasarkan crawler bercampur. Bot seperti ini boleh mengambil kandungan untuk tujuan carian dan latihan AI dalam satu sesi, sekali gus menyukarkan pemilik laman mengetahui bagaimana kandungan mereka digunakan. Dengan sekatan lalai tersebut, syarikat AI perlu memisahkan identiti crawler mengikut fungsi atau berdepan kehilangan akses kepada halaman yang disokong iklan ^TB.

Namun, ini ialah tetapan lalai, bukannya caj automatik atau tol sejagat untuk setiap laman. Pemilik laman masih boleh mengubah tetapan tersebut mengikut keperluan mereka.

Pay Per Use: bayaran apabila kandungan benar-benar digunakan

Cloudflare turut mengalihkan tumpuan daripada model terdahulu, Pay Per Crawl, kepada model Pay Per Use ^BB.

• Pay Per Crawl — diuji dalam beta tertutup pada 2025 dan mengenakan bayaran kepada syarikat AI setiap kali crawler meminta kandungan. Sistem itu menggunakan mekanisme web sedia ada seperti kod status HTTP dan pengesahan ^B.
• Pay Per Use — diumumkan pada Julai 2026 dan direka untuk membayar penerbit apabila kandungan mereka benar-benar membantu menjana jawapan AI, bukan hanya apabila halaman mereka diambil oleh crawler ^B.

Cloudflare menggambarkan pendekatan ini sebagai sejenis utiliti bermeter untuk carian AI: syarikat AI membayar berdasarkan nilai yang diberikan oleh kandungan, bukannya sekadar akses mentah kepada halaman ^B.

Buat masa ini, Pay Per Use masih merupakan “eksperimen awal” dan program penyelidikan ^B. Cloudflare belum menerbitkan butiran tentang harga, pembahagian hasil atau jadual pelancaran untuk ketersediaan umum.

Apa maknanya untuk web?

Keempat-empat inisiatif ini—projek rintis bersama OpenAI, tiga kategori crawler, sekatan lalai terhadap crawler bercampur dan eksperimen Pay Per Use—bergerak ke arah strategi yang sama ^TBB:

1. Meningkatkan ketelusan — pemilik laman boleh membezakan sama ada bot datang untuk carian, penggunaan oleh ejen atau latihan model.
2. Memberikan lebih banyak kawalan — tetapan lalai mengehadkan penggunaan yang lebih sukar dikawal, sambil mengekalkan kebolehlihatan melalui carian tradisional.
3. Mewujudkan mekanisme pampasan — bayaran berpotensi dikaitkan dengan nilai kandungan dalam jawapan AI, bukan semata-mata jumlah permintaan crawler.
4. Menjadikan carian AI lebih cekap — isyarat rangkaian Cloudflare boleh mengurangkan rangkakan berulang yang tidak perlu dan membantu sistem mengutamakan kandungan yang segar serta relevan.

Bagi penerbit, perubahan ini berpotensi memberi lebih banyak kawalan terhadap penggunaan kandungan dan membuka ruang kepada model pendapatan baharu. Bagi syarikat AI, pengindeksan berasaskan isyarat pula boleh mengurangkan kos infrastruktur serta membantu menghasilkan jawapan yang lebih tepat pada masanya.