Cloudflare, salah satu penyedia infrastruktur internet terbesar di dunia, mengumumkan bahwa mereka akan mulai memblokir AI crawler secara default untuk mencegah bot mengambil konten dari situs web tanpa izin atau kompensasi.

Langkah baru ini membuat pemilik domain baru akan ditanya apakah mereka ingin mengizinkan bot AI mengakses konten mereka. Selain itu, Cloudflare juga memperkenalkan fitur baru bernama “Pay Per Crawl”, di mana publisher dapat menentukan tarif bagi crawler AI yang ingin mengakses konten mereka.

Dengan Pay Per Crawl, AI companies bisa:

• Melihat harga yang ditentukan publisher

• Memutuskan apakah ingin membayar untuk mengakses konten

• Atau menolak dan tidak melanjutkan crawl

Program ini baru tersedia untuk sekelompok publisher dan kreator konten besar, namun Cloudflare menegaskan bahwa tujuannya adalah memastikan konten berkualitas digunakan secara etis — dengan izin dan bayaran yang layak.