Cloudflare Mengaku Menahan 416 Miliar Permintaan Scraping Bot AI

Catatan santai tentang bagaimana internet berubah ketika AI mengambil begitu banyak, tapi jarang memberi kembali. Ketika Data Diambil Tanpa Pernah Mengembalikan Apa Pun bahkan Cloudflare Mengaku Menahan 416 Miliar Permintaan Scraping Bot AI

Hello, friends,

At ryanpratama.com, I often talk about websites, hosting, design, and the digital ecosystem.

Hari ini, saya ingin membahas sesuatu yang ramai dibicarakan di dunia infrastruktur: Cloudflare melaporkan bahwa dalam lima bulan terakhir mereka telah menahan 416 miliar permintaan scraping yang dilakukan bot AI. Angka yang terlalu besar untuk kita bayangkan, tapi cukup untuk bikin banyak orang termasuk saya gelengkan kepala

Tulisan ini bukan untuk membenci AI. Bukan juga mengajak kamu memboikot teknologi. Ini lebih ke refleksi bagaimana rasanya hidup di internet yang datanya terus disedot tanpa henti,

sementara kontribusinya balik hampir tidak ada?

Ketika Data Publik Diambil Tanpa Kontribusi

Jujur saja, internet selalu punya dinamika give-and-take. Orang ngeblog, orang baca, orang belajar, orang balik lagi bawa ide baru. Ada semacam aliran timbal balik di sana.

Tapi fenomena scraping AI ini terasa beda.
Because:

• Yang mengambil data bukan manusia, tapi sistem otomatis yang tidak pernah capek.
• Mereka mengambil banyak sekali—ratusan miliar request.
• Yang diambil bukan hanya artikel panjang, tetapi metadata, struktur web, pola bahasa, dan semuanya.
• Tidak ada yang balik ke pembuat konten, baik berupa atribusi, kontribusi trafik, atau sekadar “terima kasih”.

Bagi pemilik website, scraping semacam ini lebih banyak terasa seperti kerugian: biaya server naik, bandwidth terkuras, tapi hasilnya tidak jelas.

Apa Yang Sebenarnya Menjadi Kekhawatiran?

Kalau dipikir-pikir lagi, yang bikin saya mikir bukan cuma besarnya angka tadi.
Yang bikin resah adalah pola yang mulai terlihat:

• AI platform mengambil data publik dalam jumlah masif untuk melatih modelnya.
• Publisher dan pembuat konten tidak mendapat kompensasi.
• Lalu hasilnya dijual kembali dalam bentuk produk AI yang nilainya bisa triliunan.
• Sementara pemilik situs yang datanya ikut “dimakan” malah harus membayar tagihan server lebih tinggi.

Di titik ini, saya tidak heran kalau banyak media mulai menutup akses crawler AI.
Karena pada akhirnya, semua kembali ke pertanyaan sederhana:
”Kalau kamu ambil, apa yang kamu kasih balik?”

Cloudflare: Benteng Terakhir yang Mulai Kelelahan

Cloudflare bukan pemain kecil.
Mereka memegang jutaan domain, dan sebagian besar traffic internet melewati server mereka.

Ketika mereka bilang 416 miliar permintaan scraping AI ditahan dalam lima bulan, itu artinya:

• Ada volume scraping yang gila-gilaan.
• Bot AI tidak lagi sekadar “mengunjungi”, tapi menggali.
• Pola aksesnya semakin agresif dan tersebar.

Saya pernah mengalami sendiri, beberapa bulan lalu, traffic website naik aneh secara tiba-tiba.
Bukan manusia. Bukan robot Google.
Melainkan bot random yang mengaku “AI research crawler”.
Mereka makan resource server hingga CPU memerah.

Sejak itu saya mulai sadar: dunia web akan makin berat menghadapi gelombang bot AI yang tidak punya etika jelas.

Kenapa AI Scraping Jadi Masalah?

Bukan Anti AI, Tapi Anti Ketidakadilan

Masalahnya bukan teknologi.
Masalahnya ketimpangan kontribusi.

AI mengambil:

• Tulisan kita
• Gambar kita
• Struktur web kita
• Data analytics kita
• Bahkan logika dan gaya bahasa kita

Tapi tidak pernah memberi:

• Trafik balik
• Credit
• Kompensasi
• Kejelasan penggunaan

Ekosistem seperti ini lama-lama menciptakan internet yang jomplang.
AI tumbuh pesat, sedangkan publisher yang menjadi sumber datanya makin merosot.

Fenomena Free-Rider di Era AI

Istilah free-rider biasanya dipakai di ekonomi: orang yang menikmati hasil tanpa ikut nyumbang.

Dalam ekosistem AI sekarang, banyak model berperan sebagai free-rider:

• Mereka makan data publik.
• Mereka gunakan tanpa batas.
• Tapi mereka tidak ikut menjaga keberlangsungan internet.

Bayangkan kalau semua orang mengambil tapi tidak memberi.
Ekosistemnya lama-lama runtuh.

Apa Dampaknya Untuk Kita yang Hidup dari Dunia Web?

Bagi orang yang bekerja di desain, teknologi, atau konten seperti kita, dampaknya nyata banget:

• SEO makin sulit karena AI search menampilkan jawabannya sendiri.
• Website makin berat karena scraping membuat server sibuk.
• Konten semakin tidak dihargai, dianggap hanya “bahan bakar AI”.
• Biaya operasional naik, tapi pendapatan tidak bertambah.
• Kelelahan kreator semakin tinggi, karena merasa “kerja keras diambil tanpa imbalan”.

Saya sering mikir:
Kalau AI ingin terus tumbuh, seharusnya ekosistem pendukungnya juga ikut diperhatikan.

Lalu Apa Yang Bisa Kita Lakukan?

Kita tidak bisa menghentikan AI.
Tapi kita bisa mengatur ulang cara kita bertahan.

Beberapa hal realistis yang bisa dilakukan:

• Gunakan Cloudflare Rules untuk memblokir crawler AI yang tidak jelas.
• Gunakan robots.txt untuk melarang AI tertentu mengakses situs (meskipun tidak selalu dipatuhi).
• Pasang rate limiting untuk mencegah scraping besar-besaran.
• Monitor log server agar cepat tahu kalau ada bot yang tidak sopan.
• Pertimbangkan lisensi konten agar punya posisi jika suatu hari ada sistem kompensasi data.

Cara ini bukan solusi sempurna.
Tapi setidaknya memberi sedikit kendali.

AI Boleh Maju, Tapi Etikanya Harus Ikut Tumbuh

Saya pribadi bukan orang yang anti-AI.
Saya pakai AI setiap hari untuk kerja, brainstorming, dan belajar.

Tapi di saat yang sama, saya merasa:

• Pertumbuhan AI terlalu cepat.
• Regulasi terlalu lambat.
• Publisher terlalu lelah.
• Infrastruktur terlalu terbebani.
• Dan rasa keadilannya sering tidak terasa.

Internet jadi seperti “ladang bebas panen”, padahal semua ladang butuh penjaga.

Kalau AI ingin benar-benar menjadi teknologi yang inklusif, ia harus belajar satu konsep penting:

memberi balik.

Conclusion

Cloudflare memblokir 416 miliar permintaan scraping dari bot AI dalam lima bulan terakhir.
Angka yang tidak hanya besar, tapi juga simbol betapa tidak seimbangnya hubungan antara AI dan sumber datanya.

Tulisan ini bukan untuk menyalahkan teknologi, tapi untuk mengingatkan bahwa:

• AI yang mengambil terlalu banyak tanpa kontribusi akan merusak ekosistem internet.
• Pembuat konten, developer, dan pemilik website berhak mendapatkan kejelasan dan perlindungan.
• Kita perlu teknologi yang bukan hanya pintar, tapi juga adil.

Pada akhirnya, setiap orang punya cara sendiri untuk bertahan di dunia digital yang makin cepat ini.
Semoga kita bisa menemukan keseimbangan: antara maju bersama teknologi, dan tetap menjaga ruang tempat semua data itu berasal.

Jika kamu ingin, saya bisa buatkan juga infografis pendukung or thumbnail blog untuk artikel ini.