Les agents IA savent aujourd’hui enchaîner plusieurs actions pour atteindre un objectif : consulter un site, manipuler des données, écrire du code, utiliser des outils, vérifier un résultat et corriger une erreur. Mais cette autonomie a une limite encore mal comprise : plus une mission comporte d’étapes interdépendantes, plus le risque d’échec peut augmenter brutalement.

C’est précisément ce que cherche à mesurer une étude, The Long-Horizon Task Mirage? Diagnosing Where and Why Agentic Systems Break. Les chercheurs ont développé un benchmark baptisé Horizon et analysé plus de 3 100 trajectoires d’agents dans différents environnements, notamment le Web, les systèmes d’exploitation, les bases de données et des environnements incarnés. Les expériences portent notamment sur des agents utilisant des modèles d’OpenAI et d’Anthropic. Les résultats mettent en évidence deux phénomènes. Les performances ne se dégradent pas progressivement à mesure que les tâches s’allongent, elles peuvent rester stables, puis s’effondrer brutalement au-delà d’un certain seuil. 

Deux familles de pannes, et aucune n'est marginale

Les chercheurs distinguent sept grandes catégories de défaillances. Certaines concernent directement l’exécution : erreurs d’interaction avec l’environnement, mauvaise interprétation des instructions, problèmes de planification ou accumulation d’erreurs. D’autres relèvent davantage des capacités propres à l’agent : limitations de mémoire, oubli d’informations importantes ou fausses hypothèses. Regroupées en deux familles, ces causes donnent une répartition significative : 72,5 % des échecs sont associés à des risques liés au processus, contre 27,5 % à des risques liés à la conception de l’agent. Autrement dit, améliorer le modèle n’est pas toujours la réponse. Dans une grande partie des cas étudiés, le problème se situe dans la manière dont la mission est découpée, planifiée et exécutée.

La distinction ne tient pas au moment où le problème apparaît : dans les deux cas, il survient une fois la machine lancée. Elle tient à sa cause, et donc à la manière de le résoudre. Une panne de conduite peut être corrigée en réorganisant le chantier; une limite de fabrication, non. Quant au second quart, il

Pourquoi le chantier tient, puis s'effondre d'un coup

Les performances d’un agent ne diminuent pas nécessairement à chaque étape supplémentaire. Tant que la mission reste relativement courte, son taux de réussite peut rester stable. Puis, à partir d’un certain niveau de complexité, il décroche brutalement. L’étude décrit un mécanisme simple : une erreur de planification commise tôt peut se propager à toutes les étapes suivantes. L’agent construit alors la suite de son travail à partir d’une information ou d’une décision erronée. Plus les actions sont dépendantes les unes des autres, plus cet effet domino devient probable.

Anthropic met également en avant un phénomène qui nourrit ces erreurs : la « pollution du contexte ». Au fil de la mission, l’agent accumule des informations, des décisions et des résultats intermédiaires. Une partie devient inutile, mais continue d’encombrer son contexte et peut brouiller son jugement. D’où une difficulté importante pour les entreprises : un agent qui réussit une tâche de trois étapes ne permet pas de prédire ce qu’il fera sur quinze étapes. 

Séparer des chantiers, jamais des étapes

Le réflexe naturel consiste à découper en phases, conception puis réalisation puis tests, chacune confiée à une machine différente. C'est ce que déconseille Anthropic : ces phases partagent trop de contexte, et chaque passage de relais abîme l'information, comme dans un téléphone arabe. Le découpage qui fonctionne sépare des chantiers qui ne se marchent pas dessus, et laisse les tests à celle qui a produit le travail. Ce qui casse, ce sont les longues suites d'actions dépendant les unes des autres, pas la durée en soi : changer de fournisseur ne corrige rien. Seule la relecture d'ensemble échappe à la règle : elle revient à une machine n'ayant rien produit.

Les questions à poser avant de signer

Pour un dirigeant ou une DSI, la question n’est donc pas seulement de savoir si un agent est capable d’accomplir une mission. Il faut aussi pouvoir retracer son travail, comprendre ses décisions et reprendre le processus après une erreur. Quatre questions sont essentielles : qui a pris cette décision, sur quelles informations, à quel coût, et peut-on rejouer la seule étape qui a échoué. Faute de la quatrième réponse, chaque incident fait tout recommencer. La règle tient en une phrase : plusieurs petites machines sur des chantiers indépendants valent mieux qu'une seule qui fait tout. La condition est dans le mot indépendants. Sans elle, on paie le prix du découpage sans le bénéfice : de 3 à 10 fois plus cher qu'une machine seule, à résultat équivalent. La consigne des laboratoires reste de commencer par le plus simple qui marche.