Les éditeurs de sites web pourraient bientôt disposer d’un moyen plus simple de s’opposer à l’utilisation de leurs contenus pour entraîner des modèles IA. Google, OpenAI, Anthropic et Microsoft ont annoncé leur soutien à un nouveau signal commun destiné à compléter le protocole robots.txt. Cette proposition, soumise à l'Internet Engineering Task Force (IETF), doit permettre aux administrateurs de sites de définir leurs préférences en matière d'utilisation de leurs contenus par les systèmes IA.

Jusqu'à présent, les responsables de sites devaient configurer des règles distinctes pour les différents robots d'exploration utilisés par les entreprises technologiques. Google propose notamment Google-Extended, tandis qu'OpenAI dispose de GPTBot. Cette multiplication des dispositifs complique la gestion des autorisations, notamment pour les médias et les producteurs de contenus dont les publications sont susceptibles d'être intégrées aux données d'entraînement des modèles. La nouvelle proposition repose sur un identifiant commun, baptisé __usage_ai-training, qui pourrait être ajouté directement dans le fichier robots.txt. Son objectif est de permettre aux éditeurs d'exprimer une préférence applicable aux différents fournisseurs d'IA qui adopteront ce mécanisme. Le dispositif doit notamment permettre de distinguer les contenus que les éditeurs souhaitent protéger de ceux dont ils acceptent l'utilisation. Un site pourrait ainsi interdire l'exploitation de l'ensemble de ses pages pour l'entraînement des modèles, tout en autorisant certaines rubriques, comme son espace presse. La proposition a été déposée par Kevin Kelley, ingénieur chez Anthropic.

Google et Microsoft veulent préserver la visibilité des sites

L'un des enjeux de cette évolution concerne la distinction entre l'entraînement des modèles d'IA et l'indexation des contenus dans les moteurs de recherche. Google indique que le nouveau signal doit permettre aux éditeurs de refuser l'utilisation de leurs pages pour l'entraînement sans nécessairement bloquer leur exploration par les moteurs de recherche. Le groupe précise également que ses dispositifs existants, dont Google-Extended, continueront de fonctionner parallèlement à cette nouvelle règle. Cette distinction est importante pour les médias et les producteurs de contenus. Ils pourront exprimer leur opposition à l'exploitation de leurs publications pour entraîner des modèles tout en conservant leur présence dans les résultats de recherche.

Microsoft défend également cette séparation. Dans sa présentation des nouvelles préférences destinées aux éditeurs, l'entreprise distingue l'entraînement des modèles de l'utilisation des contenus pour alimenter les réponses générées par les systèmes d'IA, une pratique souvent désignée sous le terme de grounding. L'éditeur pourra ainsi gérer séparément ces deux usages. Microsoft entend notamment maintenir la possibilité pour les sites de rester visibles dans Bing, indépendamment de leurs choix concernant l'entraînement des modèles.

Une adoption progressive à partir de 2027

Les entreprises participantes prévoient un déploiement échelonné du mécanisme. Microsoft annonce une prise en charge à partir du 1er février 2027, au fur et à mesure de l'exploration des sites par ses robots. Google vise également une intégration en 2027, avec un objectif de déploiement au en 2027. Anthropic a déjà commencé à mettre en œuvre cette directive, tandis qu'OpenAI prévoit de l'intégrer dans les prochains mois. Les règles spécifiques à chaque fournisseur resteront utilisables en complément du signal commun.