Les développeurs cherchant à réduire le coût des outils de codage basés sur l’IA se tournent de plus en plus vers le style de prompt dit du « Caveman », qui demande aux assistants de codage de communiquer dans un langage direct et télégraphique, en évitant les fioritures conversationnelles. Le principe est simple :  moins de mots signifie moins de tokens, et donc une baisse des coûts d’inférence pour les entreprises déployant des agents IA à grande échelle. Un nouveau test réalisé par l’éditeur JetBrains confirme que les styles de prompts directs, comme ceux du projet open source ‘Caveman’ devenu viral, peuvent réduire l’utilisation de tokens sans nuire aux performances de codage. Mais l’entreprise a constaté que les économies étaient bien inférieures à ce qu’affirment ses partisans.

Pour son test, JetBrains a utilisé le framework d’évaluation open source Harbor et des tâches issues de SkillsBench, et a constaté que la technique du ‘Caveman’ réduisait l’utilisation des tokens de sortie d’environ 8,5 %, un chiffre bien inférieur aux 65 % annoncés. L’éditeur d’IDE a réalisé des tests de performance appariés sur 86 tâches réelles d’ingénierie logicielle dans Claude Code, en comparant des sessions de codage utilisant le style de prompt ‘Caveman’ à des sessions par ailleurs identiques mais qui n’y avaient pas recours. « Alors qu’une première évaluation portant sur seulement 10 tâches indiquait des économies de l’ordre de 30 %, cette réduction est tombée à environ 8,5 % au fur et à mesure que le test avançait », a écrit Denis Shiryaev, ingénieur chez JetBrains, dans un article de blog, suggérant que l’impact de la technique du ‘Caveman’ était moins marqué sur une charge de travail plus large et plus représentative.

Des économies de tokens en dehors du prompt

Le projet open source ‘Caveman’ suggère que si un agent supprime les remplissages conversationnels autour des réponses et communique par fragments laconiques et télégraphiques, les tokens économisés pourraient se traduire par des économies significatives à grande échelle. Selon M. Shiryaev, cette hypothèse ne tient pas pleinement compte de la manière dont les agents de codage modernes utilisent les tokens. Si des promptss et des réponses plus courtes réduisent effectivement la quantité de texte échangée avec les utilisateurs, l’ingénieur a expliqué que l’essentiel de la consommation de tokens dans les workflows de codage automatisés provient de la lecture des fichiers de projet, du raisonnement pour résoudre les tâches, de l’appel d’outils et de la génération de code, ce qui limite les économies globales réalisables par la seule réduction du langage conversationnel.

De plus, l’ingénieur a fait remarquer que la conversion des économies de tokens en réduction des coûts d’exploitation n’est pas toujours évidente pour les entreprises. Même si, lors des tests, la technique du ‘Caveman’ a généralement entraîné une baisse des coûts pour les tâches de codage individuelles, le coût cumulé de l’ensemble du test s’est avéré plus élevé pour les exécutions ‘Caveman’ dès lors qu’une seule tâche d’audit des dépendances a dépassé le seuil tarifaire des contextes longs de Claude Code », a souligné M. Shiryaev. « Cette même tâche avait généré une valeur aberrante similaire lors d’un test de référence antérieur, ce qui indique que l’anomalie reflétait la charge de travail plutôt que la technique de suggestion elle-même », a ajouté M. Shiryaev.

Aucune dégradation de la qualité du code

Cependant, toutes les conclusions de JetBrains ne remettent pas en cause la technique du ‘Caveman’. « Le test n’a révélé aucun impact détectable sur les taux de réussite des tâches, la qualité du code ou le temps d’exécution », a déclaré M. Shiryaev, suggérant que si ce style de prompt ne permettait peut-être pas les économies spectaculaires de tokens revendiquées par ses partisans, il n’altérait pas non plus l’efficacité de l’agent de codage. Au-delà de la simple réduction des coûts, les résultats de ce test apportent également une nuance à un ensemble croissant de techniques d’ingénierie des prompts visant à réduire les coûts d’inférence de l’IA.

Outre le projet ‘Caveman’, d’autres approches, notamment la technique de prompt basée sur Markdown de l’analyste de données Drona Reddy, ont revendiqué des économies de tokens significatives. Pour l’instant, les entreprises et leurs dirigeants devraient considérer ces techniques d’ingénierie des prompts comme des optimisations à valider plutôt que comme des hypothèses à adopter, les charges de travail en production déterminant en fin de compte si les économies promises se réalisent effectivement.