
Gaming
|
in this topic.
Cloudflare Kini Blokir AI Crawler Secara Default, Lindungi Konten Web dari Scraping Sembarangan
Josias
Rabu, 02 Juli 2025 pukul 08.58

Ringkasan
Dibuat oleh AI
Cloudflare akan secara default memblokir web crawler milik AI yang mengambil konten tanpa izin dari situs web. Domain baru akan diberi opsi untuk mengizinkan atau menolak AI scraper, sementara beberapa publisher terpilih bisa mengenakan biaya “Pay Per Crawl.” Fitur ini jadi bagian dari upaya Cloudflare untuk melindungi konten orisinal dari eksploitasi AI tanpa kompensasi yang adil.
Cloudflare, salah satu penyedia infrastruktur internet terbesar di dunia, mengumumkan bahwa mereka akan mulai memblokir AI crawler secara default untuk mencegah bot mengambil konten dari situs web tanpa izin atau kompensasi.
Langkah baru ini membuat pemilik domain baru akan ditanya apakah mereka ingin mengizinkan bot AI mengakses konten mereka. Selain itu, Cloudflare juga memperkenalkan fitur baru bernama “Pay Per Crawl”, di mana publisher dapat menentukan tarif bagi crawler AI yang ingin mengakses konten mereka.
Dengan Pay Per Crawl, AI companies bisa:
Melihat harga yang ditentukan publisher
Memutuskan apakah ingin membayar untuk mengakses konten
Atau menolak dan tidak melanjutkan crawl
Program ini baru tersedia untuk sekelompok publisher dan kreator konten besar, namun Cloudflare menegaskan bahwa tujuannya adalah memastikan konten berkualitas digunakan secara etis — dengan izin dan bayaran yang layak.
Perang Lama, Strategi Baru
Sebenarnya, Cloudflare sudah membantu pemilik domain melawan AI bot sejak 2023. Namun, kala itu pemblokiran hanya berlaku pada crawler yang patuh pada robots.txt — file petunjuk yang sebenarnya tidak bisa dipaksakan secara hukum.
Seiring makin maraknya scraping ilegal, Cloudflare kini memblokir semua crawler AI, baik yang patuh atau tidak terhadap robots.txt. Mulai tahun ini, fitur tersebut aktif secara default untuk pengguna baru. Bot-bot ini diidentifikasi dan diblokir berdasarkan daftar crawler AI yang diketahui.
Pada bulan Maret lalu, Cloudflare juga memperkenalkan fitur menarik: “AI Labyrinth,” sistem yang mengarahkan bot ke labirin digital agar gagal mengambil data dari situs yang tidak mengizinkan.
Publisher Besar Ikut Gabung
Beberapa perusahaan media dan platform besar seperti:
The Associated Press
The Atlantic
Fortune
Stack Overflow
Quora
…sudah bergabung dengan inisiatif ini. Mereka menyadari bahwa pengguna kini lebih sering mencari info lewat chatbot AI daripada mesin pencari, yang artinya lalu lintas ke konten asli makin menurun.
“Selama enam bulan terakhir, orang-orang lebih percaya pada AI. Itu berarti mereka tak lagi membaca konten asli,” kata CEO Cloudflare, Matthew Prince, di acara Axios Live.
Kolaborasi dengan Perusahaan AI
Cloudflare juga bekerja sama dengan perusahaan AI untuk:
Verifikasi crawler mereka
Menyatakan tujuan penggunaan konten (untuk pelatihan, pencarian, atau inferensi)
Dengan informasi ini, pemilik situs web bisa memilih bot mana yang boleh masuk, dan untuk tujuan apa.
“Konten orisinal adalah hal yang membuat internet luar biasa. Kita harus bersatu untuk melindunginya,” ujar Prince.
“Crawler AI telah mengambil konten tanpa batas. Tujuan kami adalah mengembalikan kekuatan ke tangan para kreator, sambil tetap mendukung inovasi AI.”
Similar Articles
NEWS
Minecraft Ungkap Fitur Baru : Bakal Tambahkan Senjata Tembaga dan Golem Baru di Update Selanjutnya!
Gaming
•

NEWS
Apex Legends Update Terbaru: Nerf Devotion, Buff EVA-8, dan Perubahan Arena Duels!
Gaming
•

NEWS
Marvel Rivals Ungkap Update Team-Up dan Hero Baru di Season 3!
Gaming
•

NEWS
Lebih dari 100 Game Retro Klasik Akan Hadir di Xbox Game Pass Mulai 2025
Gaming
•

NEWS
Cloudflare Kini Blokir AI Crawler Secara Default, Lindungi Konten Web dari Scraping Sembarangan
Gaming
•

ALSO READ


Cloudflare Kini Blokir AI Crawler Secara Default, Lindungi Konten Web dari Scraping Sembarangan
Josias
Rabu, 02 Juli 2025 pukul 08.58
Gaming
|
in this topic.
Ringkasan
Dibuat oleh AI
Cloudflare akan secara default memblokir web crawler milik AI yang mengambil konten tanpa izin dari situs web. Domain baru akan diberi opsi untuk mengizinkan atau menolak AI scraper, sementara beberapa publisher terpilih bisa mengenakan biaya “Pay Per Crawl.” Fitur ini jadi bagian dari upaya Cloudflare untuk melindungi konten orisinal dari eksploitasi AI tanpa kompensasi yang adil.
Cloudflare, salah satu penyedia infrastruktur internet terbesar di dunia, mengumumkan bahwa mereka akan mulai memblokir AI crawler secara default untuk mencegah bot mengambil konten dari situs web tanpa izin atau kompensasi.
Langkah baru ini membuat pemilik domain baru akan ditanya apakah mereka ingin mengizinkan bot AI mengakses konten mereka. Selain itu, Cloudflare juga memperkenalkan fitur baru bernama “Pay Per Crawl”, di mana publisher dapat menentukan tarif bagi crawler AI yang ingin mengakses konten mereka.
Dengan Pay Per Crawl, AI companies bisa:
Melihat harga yang ditentukan publisher
Memutuskan apakah ingin membayar untuk mengakses konten
Atau menolak dan tidak melanjutkan crawl
Program ini baru tersedia untuk sekelompok publisher dan kreator konten besar, namun Cloudflare menegaskan bahwa tujuannya adalah memastikan konten berkualitas digunakan secara etis — dengan izin dan bayaran yang layak.
Perang Lama, Strategi Baru
Sebenarnya, Cloudflare sudah membantu pemilik domain melawan AI bot sejak 2023. Namun, kala itu pemblokiran hanya berlaku pada crawler yang patuh pada robots.txt — file petunjuk yang sebenarnya tidak bisa dipaksakan secara hukum.
Seiring makin maraknya scraping ilegal, Cloudflare kini memblokir semua crawler AI, baik yang patuh atau tidak terhadap robots.txt. Mulai tahun ini, fitur tersebut aktif secara default untuk pengguna baru. Bot-bot ini diidentifikasi dan diblokir berdasarkan daftar crawler AI yang diketahui.
Pada bulan Maret lalu, Cloudflare juga memperkenalkan fitur menarik: “AI Labyrinth,” sistem yang mengarahkan bot ke labirin digital agar gagal mengambil data dari situs yang tidak mengizinkan.
Publisher Besar Ikut Gabung
Beberapa perusahaan media dan platform besar seperti:
The Associated Press
The Atlantic
Fortune
Stack Overflow
Quora
…sudah bergabung dengan inisiatif ini. Mereka menyadari bahwa pengguna kini lebih sering mencari info lewat chatbot AI daripada mesin pencari, yang artinya lalu lintas ke konten asli makin menurun.
“Selama enam bulan terakhir, orang-orang lebih percaya pada AI. Itu berarti mereka tak lagi membaca konten asli,” kata CEO Cloudflare, Matthew Prince, di acara Axios Live.
Kolaborasi dengan Perusahaan AI
Cloudflare juga bekerja sama dengan perusahaan AI untuk:
Verifikasi crawler mereka
Menyatakan tujuan penggunaan konten (untuk pelatihan, pencarian, atau inferensi)
Dengan informasi ini, pemilik situs web bisa memilih bot mana yang boleh masuk, dan untuk tujuan apa.
“Konten orisinal adalah hal yang membuat internet luar biasa. Kita harus bersatu untuk melindunginya,” ujar Prince.
“Crawler AI telah mengambil konten tanpa batas. Tujuan kami adalah mengembalikan kekuatan ke tangan para kreator, sambil tetap mendukung inovasi AI.”
Similar Articles
NEWS
Minecraft Ungkap Fitur Baru : Bakal Tambahkan Senjata Tembaga dan Golem Baru di Update Selanjutnya!
Gaming
•

NEWS
Minecraft Ungkap Fitur Baru : Bakal Tambahkan Senjata Tembaga dan Golem Baru di Update Selanjutnya!
Gaming
•

NEWS
Apex Legends Update Terbaru: Nerf Devotion, Buff EVA-8, dan Perubahan Arena Duels!
Gaming
•

NEWS
Apex Legends Update Terbaru: Nerf Devotion, Buff EVA-8, dan Perubahan Arena Duels!
Gaming
•

NEWS
Marvel Rivals Ungkap Update Team-Up dan Hero Baru di Season 3!
Gaming
•

NEWS
Marvel Rivals Ungkap Update Team-Up dan Hero Baru di Season 3!
Gaming
•

NEWS
Lebih dari 100 Game Retro Klasik Akan Hadir di Xbox Game Pass Mulai 2025
Gaming
•

NEWS
Lebih dari 100 Game Retro Klasik Akan Hadir di Xbox Game Pass Mulai 2025
Gaming
•

Veirn.
Uncover the art and innovation of Gaming in our blog, where we explore Technology trends, Gaming Market structures, and the creative minds shaping the built environment.
Veirn.
Uncover the art and innovation of Gaming in our blog, where we explore Technology trends, Gaming Market structures, and the creative minds shaping the built environment.
Veirn.
Uncover the art and innovation of Gaming in our blog, where we explore Technology trends, Gaming Market structures, and the creative minds shaping the built environment.