Cloudflare menyerang kebijakan Perplexity yang tak hormati robot/yxy (foto: @gentedeseo)JAKARTA – Perusahaan AI Perplexity kembali menjadi sorotan setelah laporan terbaru menunjukkan bahwa mereka terus melakukan praktik scraping data dari situs web secara agresif dan mengabaikan aturan robots.txt, meskipun telah diperingatkan sejak 2024.Menurut laporan dari Cloudflare, Perplexity menggunakan teknik yang semakin canggih untuk mengakses data situs web yang secara eksplisit melarang bot untuk melakukan crawling. Bahkan ketika bot utama Perplexity diblokir oleh robots.txt, perusahaan diduga mengirim bot baru dengan user agent, alamat IP, dan ASN (Autonomous System Number) berbeda untuk menghindari deteksi dan tetap mengakses konten yang dilindungi.Cloudflare melakukan pengujian dengan membuat situs baru yang belum pernah diakses siapa pun. Setelah memerintahkan Perplexity AI untuk mencari informasi dari situs tersebut, diketahui bahwa informasi eksklusif yang hanya ada di halaman itu muncul dalam jawaban Perplexity — sebuah indikasi kuat bahwa mereka berhasil melewati larangan robots.txt melalui cara tidak transparan.Perplexity Membela DiriMenanggapi laporan tersebut, Perplexity menerbitkan tulisan di blog resmi mereka yang membela praktik mereka. Mereka mengklaim bahwa “web scraper” dan “AI agent” mereka adalah entitas berbeda, dan menuduh Cloudflare gagal membedakan antara keduanya. Mereka bahkan menyebut bahwa Cloudflare mengancam keterbukaan web.Namun pembelaan ini mendapat kritik keras dari komunitas teknologi. Banyak pihak menilai alasan Perplexity sebagai “main kata-kata” yang tak relevan dengan esensi masalah. Situs web memiliki hak penuh untuk memutuskan siapa yang dapat mengakses kontennya, dan aturan robots.txt adalah bentuk kesepakatan etis antara pemilik situs dan crawler.“Jika semua situs manusia tutup karena lalu lintas mereka disedot oleh chatbot, maka pada akhirnya AI seperti Perplexity tidak akan punya apa-apa lagi untuk dibaca,” tulis salah satu pengamat.Apple, Google, dan OpenAI Hormati robots.txtBerbeda dengan Perplexity, Apple, Google, ChatGPT (OpenAI), dan perusahaan teknologi besar lainnya tetap menghormati robots.txt, meskipun tidak memiliki kekuatan hukum. Apple sendiri sempat disorot saat terungkap bahwa Applebot digunakan untuk mengindeks data demi pelatihan Apple Intelligence. Namun, Apple menegaskan bahwa mereka mengikuti aturan robots.txt dan tidak melatih model AI dengan data pribadi pengguna.Menyikapi rumor bahwa Apple mungkin akan mengakuisisi Perplexity, isu ini bisa saja menggagalkan rencana tersebut. Reputasi Perplexity sebagai perusahaan yang mengabaikan etika scraping bisa menjadi beban besar bagi Apple yang tengah membangun citra sebagai pelopor AI etis.Ancaman Bagi Web TerbukaIsu ini menyoroti dilema besar dalam dunia internet modern: AI membutuhkan data, namun situs web membutuhkan lalu lintas manusia untuk bertahan hidup. Jika konten situs disalin oleh AI dan disajikan tanpa membawa pengguna kembali ke sumber aslinya, ekosistem digital yang terbuka bisa runtuh.Laporan dari 404 Media dan Ars Technica menunjukkan bahwa lalu lintas manusia ke situs berita dan blog turun drastis karena mesin pencari dan AI kini menjawab langsung tanpa membawa pengguna ke halaman sumber.“Perplexity sedang menghancurkan web terbuka dengan dalih keadilan dan kebebasan,” tulis seorang analis. “Tapi jika tidak ada situs manusia yang tersisa, maka AI-nya sendiri akan kehilangan bahan bakar.”Perdebatan ini mencerminkan ketegangan antara kebutuhan AI akan data dan hak pemilik situs untuk melindungi kontennya. Jika perusahaan seperti Perplexity terus mengabaikan etika digital, masa depan internet bisa menjadi dunia yang didominasi oleh bot, bukan manusia.Dalam konteks ini, Apple tampaknya harus menjaga jarak dari Perplexity jika ingin mempertahankan posisinya sebagai pionir AI yang bertanggung jawab dan transparan.