Google, Anthropic, OpenAI y Microsoft se han comprometido a cumplir con las nuevas directrices de robots.txt, permitiendo a los editores de sitios web especificar sus preferencias en el entrenamiento de IA generativa. Esta propuesta está dentro del ámbito de discusión de la organización de estándares abiertos IETF, redactada por Kevin Kelley, director técnico de Anthropic, con el objetivo de ser reconocida y ejecutada por múltiples empresas de IA mediante una única señal.
Actualmente, los propietarios de sitios web deben identificar individualmente diferentes rastreadores y establecer reglas separadas para cada proveedor; sin embargo, la nueva directriz será reconocida por varias empresas de IA como una señal común, simplificando así el proceso de gestión. Los administradores de sitios web deberán agregar un agente de usuario específico para el entrenamiento de IA en el archivo robots.txt, con un formato similar a una cadena específica, para bloquear las actividades de rastreo destinadas al entrenamiento de IA, y en ciertos casos, permitir el rastreo de partes específicas de las páginas, como información de kits de prensa.
Google y OpenAI han explicado que esta directriz no afectará la indexación actual de las páginas web, ni impedirá completamente la impresión del contenido del sitio, y no bloqueará la aparición de resultados en Google. Por ejemplo, Google considerará este nuevo agente de usuario como una "señal de parada", utilizada en el agente de usuario "Google-Extended", diseñado específicamente para el entrenamiento del modelo Gemini. Este cambio no revocará el contenido que ya ha sido recopilado, sino que solo impedirá futuros rastreos.
Anthropic ya ha comenzado a apoyar la nueva directriz, mientras que Microsoft ha indicado que comenzará a hacerlo el 1 de febrero de 2027. Google también se unirá a principios de 2027, y OpenAI ha manifestado que implementará esta señal en los próximos meses. Según lo publicado hasta ahora, los compromisos de estas empresas consideran tanto el valor de los datos existentes como la conformidad en el entrenamiento de datos futuros, proporcionando un canal unificado para evitar que cada proveedor tenga que establecer procesos complicados por separado.
Detalles de implementación de la nueva directriz y su alcance, que podrían cambiar el panorama de las fuentes de datos para el entrenamiento de IA
La nueva directriz de robots.txt busca equilibrar la "autorrecolección y el entrenamiento de datos", permitiendo a los editores establecer límites más claros entre el respeto a los derechos de contenido y la promoción de la innovación. Lo único a tener en cuenta es que, si algunas páginas ya han sido rastreadas en el pasado, la nueva señal no puede revocar esas acciones anteriores; los futuros rastreos se realizarán de acuerdo con las nuevas reglas. Este diseño implica que a corto plazo puede que no se reescriban las bases de datos de entrenamiento ya establecidas, pero a largo plazo aumentará la selectividad del rastreo de nuevo contenido.
Para los editores, este cambio aumenta el control, especialmente en páginas que contienen kits de prensa, recursos de marca o contenido exclusivo para proveedores. En la práctica, los administradores pueden enviar instrucciones a múltiples empresas de IA mediante una única señal, reduciendo la necesidad de establecer reglas ineficaces para cada una, mientras mantienen el derecho a permitir el rastreo de contenido específico. Este equilibrio ayuda a preservar el control de derechos de autor de los creadores, al tiempo que reduce la incertidumbre para las empresas de IA en cuanto a las fuentes de datos.
Desde el punto de vista técnico, esta nueva señal se incorpora al robots.txt en forma de "agente de usuario dedicado", y será seguida por los principales actores como Google, OpenAI y Microsoft. Aunque este mecanismo no afectará la búsqueda actual de páginas web ni limitará el derecho de acceso a los sitios, su implementación real requerirá que los operadores de sitios web automatizan el proceso para asegurar que las páginas correctas sean etiquetadas como disponibles para el entrenamiento de IA o bloqueadas. A medida que se avance en los cronogramas de implementación de cada empresa, es posible que surja una estrategia de gestión de fuentes de datos más unificada.
Al mismo tiempo, al limitar el rastreo a páginas específicas, los editores aún tienen la oportunidad de señalar excepciones en la lista de permisos, como parte del contenido que proporciona un paquete de medios. La ventaja de este diseño es que no cierra completamente la visibilidad del contenido del sitio en los datos de entrenamiento, sino que, a través de un control más detallado, permite a los creadores mantener voz sobre sus activos centrales. En general, esta nueva normativa podría fomentar una mayor transparencia en las fuentes de datos para el entrenamiento de IA y ayudar a establecer modelos comerciales más predecibles.
Para consultar las tendencias oficiales, los anuncios de OpenAI, Google y Anthropic, así como los documentos de propuestas de la IETF, están disponibles en canales públicos, y las discusiones relacionadas podrían avanzar en los próximos meses. Para los usuarios, estos cambios se centran más en la regulación de la interacción entre editores y empresas de IA, y a corto plazo no afectarán directamente la experiencia diaria de los usuarios en las páginas web, aunque a largo plazo podrían impulsar a más sitios a establecer normas claras sobre la concesión de licencias de contenido y el uso de datos.

