Google, Anthropic, OpenAI, dan Microsoft bersama-sama berkomitmen untuk mematuhi instruksi robots.txt baru, yang memungkinkan penerbit situs web untuk menentukan preferensi mereka dalam pelatihan AI generatif. Proposal ini berada dalam ruang diskusi organisasi standar terbuka IETF, ditulis oleh Kepala Teknologi Anthropic, Kevin Kelley, dengan tujuan agar satu sinyal diakui dan dilaksanakan oleh beberapa perusahaan AI.
Saat ini, pemilik situs web harus mengidentifikasi berbagai crawler satu per satu, menetapkan aturan terpisah untuk setiap penyedia; sementara instruksi baru akan diakui oleh beberapa perusahaan AI sebagai satu sinyal umum, sehingga menyederhanakan proses manajemen. Pengelola situs perlu menambahkan agen pengguna (user agent) khusus untuk pelatihan AI dalam robots.txt, dengan format yang kira-kira berupa string tertentu, untuk mencegah pengambilan data yang digunakan untuk pelatihan AI, dan dalam beberapa kasus juga dapat mengizinkan pengambilan pada bagian tertentu dari halaman, seperti data press kit.
Google dan OpenAI telah menjelaskan bahwa instruksi ini tidak akan mempengaruhi pengindeksan halaman web yang ada, juga tidak akan sepenuhnya mencegah konten situs dicetak, dan tidak akan menghentikan tampilan hasil pencarian Google. Sebagai contoh, Google akan menganggap user agent baru ini sebagai "tanda berhenti", digunakan dalam agen pengguna "Google-Extended", yang dirancang khusus untuk pelatihan model Gemini. Perubahan ini tidak akan mencabut konten yang telah dikumpulkan sebelumnya, hanya akan mencegah pengambilan di masa depan.
Anthropic telah mulai mendukung instruksi baru ini, sementara Microsoft menyatakan akan mulai mendukung pada 1 Februari 2027, Google juga akan bergabung pada awal 2027, dan OpenAI menyatakan akan menerapkan sinyal ini dalam beberapa bulan ke depan. Hingga saat ini, komitmen perusahaan-perusahaan ini memperhatikan nilai data yang ada dan kepatuhan pelatihan data di masa depan, memberikan jalur yang seragam untuk berbagai pihak, menghindari proses rumit di mana setiap penyedia harus memulai dari nol.
Detail Pelaksanaan Instruksi Baru dan Dampaknya, Mungkin Mengubah Pola Sumber Data Pelatihan AI
Instruksi robots.txt baru ini bertujuan untuk menyelesaikan keseimbangan antara "pengambilan mandiri dan data pelatihan", memungkinkan penerbit untuk mencapai batas yang lebih transparan antara menghormati hak kekayaan intelektual dan mendorong inovasi. Satu hal yang perlu diperhatikan adalah, jika beberapa halaman sebelumnya telah diambil, sinyal baru saat ini tidak dapat mencabut tindakan masa lalu; pengambilan di masa depan akan dilakukan sesuai dengan aturan baru. Desain ini berarti dalam jangka pendek mungkin tidak akan mengubah basis data pelatihan yang telah terbentuk, tetapi dalam jangka panjang akan meningkatkan pengambilan data baru yang selektif.
Bagi penerbit, perubahan ini meningkatkan kontrol, terutama untuk halaman yang berisi press kit, sumber daya merek, atau konten khusus penyedia. Dalam praktiknya, pengelola dapat memberikan instruksi kepada beberapa perusahaan AI dengan satu sinyal, mengurangi pengaturan aturan yang tidak efektif untuk masing-masing, sambil mempertahankan hak untuk mengizinkan pengambilan konten tertentu. Keseimbangan ini membantu mempertahankan kontrol hak cipta bagi pencipta, sambil mengurangi ketidakpastian bagi perusahaan AI terkait sumber data.
Dari sisi teknis, sinyal baru ini ditambahkan dalam bentuk "agen pengguna khusus" ke robots.txt, dan diikuti oleh pemain utama seperti Google, OpenAI, dan Microsoft. Meskipun mekanisme ini tidak akan mempengaruhi pencarian web yang ada, juga tidak akan membatasi hak akses situs, tetapi pelaksanaan yang sebenarnya memerlukan operator situs untuk mengotomatiskan proses, memastikan halaman yang benar ditandai sebagai tersedia untuk pelatihan AI atau diblokir. Seiring dengan kemajuan jadwal implementasi masing-masing, keseluruhan pola mungkin menunjukkan strategi manajemen sumber data yang lebih terintegrasi.
Sementara itu, ketika membatasi pengambilan pada halaman tertentu, penerbit masih memiliki kesempatan untuk mencantumkan pengecualian dalam daftar yang diizinkan, seperti beberapa konten dari paket media. Manfaat desain ini adalah tidak sepenuhnya menutup visibilitas konten situs dalam data pelatihan, tetapi melalui kontrol yang lebih rinci, memungkinkan pencipta untuk mempertahankan hak suara atas aset inti mereka. Secara keseluruhan, regulasi baru ini mungkin mendorong sumber data pelatihan AI menjadi lebih transparan, serta membantu membangun model bisnis yang lebih dapat diprediksi.
Untuk referensi arah resmi, pengumuman dari OpenAI, Google, dan Anthropic serta dokumen proposal IETF dapat diakses melalui saluran publik, dan diskusi terkait juga memiliki kemungkinan untuk maju dalam beberapa bulan ke depan. Bagi pengguna, perubahan ini lebih berfokus pada norma interaksi antara penerbit dan perusahaan AI, dan dalam jangka pendek tidak akan secara langsung mengubah pengalaman penggunaan sehari-hari pengguna di situs web, tetapi dalam jangka panjang dapat mendorong lebih banyak situs untuk membangun norma yang jelas terkait lisensi konten dan penggunaan data.

