Gaming

|

in this topic.

Cloudflare Kini Blokir AI Crawler Secara Default, Lindungi Konten Web dari Scraping Sembarangan

Josias

Rabu, 02 Juli 2025 pukul 08.58

Ringkasan

Dibuat oleh AI

Cloudflare akan secara default memblokir web crawler milik AI yang mengambil konten tanpa izin dari situs web. Domain baru akan diberi opsi untuk mengizinkan atau menolak AI scraper, sementara beberapa publisher terpilih bisa mengenakan biaya “Pay Per Crawl.” Fitur ini jadi bagian dari upaya Cloudflare untuk melindungi konten orisinal dari eksploitasi AI tanpa kompensasi yang adil.

Cloudflare, salah satu penyedia infrastruktur internet terbesar di dunia, mengumumkan bahwa mereka akan mulai memblokir AI crawler secara default untuk mencegah bot mengambil konten dari situs web tanpa izin atau kompensasi.

Langkah baru ini membuat pemilik domain baru akan ditanya apakah mereka ingin mengizinkan bot AI mengakses konten mereka. Selain itu, Cloudflare juga memperkenalkan fitur baru bernama “Pay Per Crawl”, di mana publisher dapat menentukan tarif bagi crawler AI yang ingin mengakses konten mereka.

Dengan Pay Per Crawl, AI companies bisa:

  • Melihat harga yang ditentukan publisher

  • Memutuskan apakah ingin membayar untuk mengakses konten

  • Atau menolak dan tidak melanjutkan crawl

Program ini baru tersedia untuk sekelompok publisher dan kreator konten besar, namun Cloudflare menegaskan bahwa tujuannya adalah memastikan konten berkualitas digunakan secara etis — dengan izin dan bayaran yang layak.

Perang Lama, Strategi Baru

Sebenarnya, Cloudflare sudah membantu pemilik domain melawan AI bot sejak 2023. Namun, kala itu pemblokiran hanya berlaku pada crawler yang patuh pada robots.txt — file petunjuk yang sebenarnya tidak bisa dipaksakan secara hukum.

Seiring makin maraknya scraping ilegal, Cloudflare kini memblokir semua crawler AI, baik yang patuh atau tidak terhadap robots.txt. Mulai tahun ini, fitur tersebut aktif secara default untuk pengguna baru. Bot-bot ini diidentifikasi dan diblokir berdasarkan daftar crawler AI yang diketahui.

Pada bulan Maret lalu, Cloudflare juga memperkenalkan fitur menarik: “AI Labyrinth,” sistem yang mengarahkan bot ke labirin digital agar gagal mengambil data dari situs yang tidak mengizinkan.

Publisher Besar Ikut Gabung

Beberapa perusahaan media dan platform besar seperti:

  • The Associated Press

  • The Atlantic

  • Fortune

  • Stack Overflow

  • Quora

…sudah bergabung dengan inisiatif ini. Mereka menyadari bahwa pengguna kini lebih sering mencari info lewat chatbot AI daripada mesin pencari, yang artinya lalu lintas ke konten asli makin menurun.

“Selama enam bulan terakhir, orang-orang lebih percaya pada AI. Itu berarti mereka tak lagi membaca konten asli,” kata CEO Cloudflare, Matthew Prince, di acara Axios Live.

Kolaborasi dengan Perusahaan AI

Cloudflare juga bekerja sama dengan perusahaan AI untuk:

  • Verifikasi crawler mereka

  • Menyatakan tujuan penggunaan konten (untuk pelatihan, pencarian, atau inferensi)

Dengan informasi ini, pemilik situs web bisa memilih bot mana yang boleh masuk, dan untuk tujuan apa.

“Konten orisinal adalah hal yang membuat internet luar biasa. Kita harus bersatu untuk melindunginya,” ujar Prince.
“Crawler AI telah mengambil konten tanpa batas. Tujuan kami adalah mengembalikan kekuatan ke tangan para kreator, sambil tetap mendukung inovasi AI.”

Cloudflare Kini Blokir AI Crawler Secara Default, Lindungi Konten Web dari Scraping Sembarangan

Josias

Rabu, 02 Juli 2025 pukul 08.58

Gaming

|

in this topic.

Ringkasan

Dibuat oleh AI

Cloudflare akan secara default memblokir web crawler milik AI yang mengambil konten tanpa izin dari situs web. Domain baru akan diberi opsi untuk mengizinkan atau menolak AI scraper, sementara beberapa publisher terpilih bisa mengenakan biaya “Pay Per Crawl.” Fitur ini jadi bagian dari upaya Cloudflare untuk melindungi konten orisinal dari eksploitasi AI tanpa kompensasi yang adil.

Cloudflare, salah satu penyedia infrastruktur internet terbesar di dunia, mengumumkan bahwa mereka akan mulai memblokir AI crawler secara default untuk mencegah bot mengambil konten dari situs web tanpa izin atau kompensasi.

Langkah baru ini membuat pemilik domain baru akan ditanya apakah mereka ingin mengizinkan bot AI mengakses konten mereka. Selain itu, Cloudflare juga memperkenalkan fitur baru bernama “Pay Per Crawl”, di mana publisher dapat menentukan tarif bagi crawler AI yang ingin mengakses konten mereka.

Dengan Pay Per Crawl, AI companies bisa:

  • Melihat harga yang ditentukan publisher

  • Memutuskan apakah ingin membayar untuk mengakses konten

  • Atau menolak dan tidak melanjutkan crawl

Program ini baru tersedia untuk sekelompok publisher dan kreator konten besar, namun Cloudflare menegaskan bahwa tujuannya adalah memastikan konten berkualitas digunakan secara etis — dengan izin dan bayaran yang layak.

Perang Lama, Strategi Baru

Sebenarnya, Cloudflare sudah membantu pemilik domain melawan AI bot sejak 2023. Namun, kala itu pemblokiran hanya berlaku pada crawler yang patuh pada robots.txt — file petunjuk yang sebenarnya tidak bisa dipaksakan secara hukum.

Seiring makin maraknya scraping ilegal, Cloudflare kini memblokir semua crawler AI, baik yang patuh atau tidak terhadap robots.txt. Mulai tahun ini, fitur tersebut aktif secara default untuk pengguna baru. Bot-bot ini diidentifikasi dan diblokir berdasarkan daftar crawler AI yang diketahui.

Pada bulan Maret lalu, Cloudflare juga memperkenalkan fitur menarik: “AI Labyrinth,” sistem yang mengarahkan bot ke labirin digital agar gagal mengambil data dari situs yang tidak mengizinkan.

Publisher Besar Ikut Gabung

Beberapa perusahaan media dan platform besar seperti:

  • The Associated Press

  • The Atlantic

  • Fortune

  • Stack Overflow

  • Quora

…sudah bergabung dengan inisiatif ini. Mereka menyadari bahwa pengguna kini lebih sering mencari info lewat chatbot AI daripada mesin pencari, yang artinya lalu lintas ke konten asli makin menurun.

“Selama enam bulan terakhir, orang-orang lebih percaya pada AI. Itu berarti mereka tak lagi membaca konten asli,” kata CEO Cloudflare, Matthew Prince, di acara Axios Live.

Kolaborasi dengan Perusahaan AI

Cloudflare juga bekerja sama dengan perusahaan AI untuk:

  • Verifikasi crawler mereka

  • Menyatakan tujuan penggunaan konten (untuk pelatihan, pencarian, atau inferensi)

Dengan informasi ini, pemilik situs web bisa memilih bot mana yang boleh masuk, dan untuk tujuan apa.

“Konten orisinal adalah hal yang membuat internet luar biasa. Kita harus bersatu untuk melindunginya,” ujar Prince.
“Crawler AI telah mengambil konten tanpa batas. Tujuan kami adalah mengembalikan kekuatan ke tangan para kreator, sambil tetap mendukung inovasi AI.”

Veirn.

Uncover the art and innovation of Gaming in our blog, where we explore Technology trends, Gaming Market structures, and the creative minds shaping the built environment.

Veirn.

Uncover the art and innovation of Gaming in our blog, where we explore Technology trends, Gaming Market structures, and the creative minds shaping the built environment.

Veirn.

Uncover the art and innovation of Gaming in our blog, where we explore Technology trends, Gaming Market structures, and the creative minds shaping the built environment.