Le trafic bots IA accentue les risques pour les sites Internet

Une récente étude du fournisseur de services edge cloud Fastly met en lumière ce qu’il décrit comme « un changement saisissant dans la nature du trafic web automatisé ». Selon cette analyse des données recueillies entre le 16 avril et le 15 juillet via les solutions Next Gen WAF et Bot Management de l’entreprise, près de 80 % du trafic généré par les bots IA proviendrait de crawlers, avec Meta en tête, devant Google et OpenAI réunis.

Deux catégories de bots : crawlers et fetchers

Fastly distingue deux catégories de bots IA. Les crawlers parcourent les sites web de manière systématique pour collecter du contenu, destiné à créer des index consultables ou à entraîner des modèles de langage. Ce processus correspond à la phase de « pré-entraînement » des IA. Les fetchers, quant à eux, accèdent aux contenus web en temps réel, en réponse à une action utilisateur, par exemple pour fournir des informations à jour ou diriger l’internaute vers le contenu le plus pertinent. Les crawlers représentent environ 80 % des requêtes des bots IA, les fetchers les 20 % restants.

Si les robots d’exploration, atteignent des pics autour de 1 000 requêtes par minute, les agents de collecte en temps réel se révèlent beaucoup plus agressifs. Dans un cas observé par l'étude, un fetcher a généré 39 000 requêtes par minute vers un seul site, provoquant un risque réel de surcharge des serveurs, de consommation excessive de bande passante et d’effets comparables à une attaque DDoS, même sans intention malveillante. L’étude montre que les bots IA de Meta représente 52 % du trafic des crawlers, soit plus du double de celui de Google (23 %) ou d’OpenAI (20 %). Les secteurs les plus ciblés par le scraping pour entraîner les modèles d’IA sont le high-tech, le commerce ainsi que les médias et divertissement. ChatGPT génère par ailleurs la quasi-totalité du trafic en temps réel observé via les fetchers d’OpenAI, avec 98 % des requêtes attribuées à ses bots.

Les bots d’IA de Meta dominent le trafic des crawlers, représentant 52 % des requêtes, loin devant Google (23 %) et OpenAI (20 %). (Crédit photo: Fastly)

Des risques pour les infrastructures et la sécurité

Interrogé sur les raisons de ce rapport, Matthew Mathur, chercheur principal en sécurité chez Fastly, a expliqué : « Nous avons constaté une hausse massive du trafic des robots d'IA. Grâce à notre visibilité sur le trafic Internet, nous pouvons montrer l’impact de ces robots sur le web, que ce soit la surcharge des infrastructures, l’utilisation non autorisée des contenus ou la distorsion des analyses. »

Reddy Doddipalli, conseiller technique et chef de produit chez Info-Tech Research Group, ajoute que « l’essor des modèles genAI et des systèmes embarqués a entraîné une demande massive d’agrégation de données, conduisant à une activité accrue des robots d’exploration, qui parcourent des milliards de pages web pour alimenter les algorithmes de machine learning. » Malgré leurs avantages, il est crucial pour les organisations, les propriétaires de sites et les utilisateurs de comprendre les effets négatifs de ces robots d’exploration, notamment sur la confidentialité des données, la sécurité, l’éthique, la propriété intellectuelle, l’infrastructure et la consommation de bande passante. Il recommande de mettre en place un cadre et des bonnes pratiques pour réguler l’activité des robots : « De nombreux crawlers imitent désormais le comportement humain, contournent les protections classiques et nécessitent des techniques de détection innovantes. Il est essentiel de s’assurer que le comportement des robots IA reste constructif et non destructeur. »

Des mesures de protection face aux bots IA

David Shipley, directeur de Beauceron Security, alerte sur les conséquences économiques du trafic massif des bots IA : « Les coûts liés à ce trafic seront inévitablement répercutés sur les propriétaires de sites ». Cette pression s’ajoute à la baisse du trafic humain, qui affecte particulièrement les sites dépendant de la publicité. Selon lui, l’IA « accumule des coûts pour enrichir ses jeux de données et n’agit pas comme les moteurs de recherche pour générer du trafic vers les sites ». Il met également en garde contre le risque de désintermédiation : si les modèles diffusent de mauvaises informations ou sont volontairement altérés, cela peut nuire aux entreprises. Du point de vue de la sécurité, il estime qu’il ne s’agit probablement que d’une question de temps avant que ce trafic massif ne soit exploité dans des attaques DDoS.

Pour limiter ces risques, Matthew Mathur insiste sur l’importance de mesures de contrôle : « L’utilisation de directives dans robots.txt, la limitation de débit ou une solution complète de gestion des bots aide à protéger les organisations ». Certaines grandes plateformes ont déjà pris conscience de l’impact de ce trafic et déploient des stratégies pour faire face à la baisse de revenus liée à l’utilisation de leurs données par les LLM ou à des problèmes de performance sur leurs ressources web. En revanche, selon Matthew Mathur, la majorité des petits sites et développeurs restent peu informés, en mesurent mal les coûts et ne disposent pas encore de mesures proactives pour se protéger.