Aller au contenu

Préférences et cookies

Afin d’améliorer votre expérience sur notre site et de réaliser des statistiques de visites, nous utilisons des cookies. Rien n’est déposé sans votre accord, et le refus n’enlève l’accès à aucun contenu. Ce choix peut être modifié à tout moment.

Gérer les traceursVos données

Personnaliser

ArticleDonnées & IA

Des développeurs au final plus lents avec la GenAI

Les chatbots et autres outils de GenAI sont loin d'être aussi utiles que ce que l'on a voulu nous faire croire pour le développement logiciel. Avec à la clef un risque pour les développeurs de créer du code qu'ils sont simplement incapables de comprendre.

La rédaction

Selon Jensen Huang, CEO de Nvidia, grâce à l'IA, "le monde sera plus productif. Le PIB sera plus élevé. Il y aura plus d'emplois. Mais chaque emploi sera augmenté par l'IA". Et selon Doug Matty, responsable de l'IA au ministère américain de la Défense, le programme d'IA générative, Grok peut aider à se prémunir contre les ennemis et à « conserver un avantage stratégique sur nos adversaires ». Oui, c'est vrai. Bien sûr, la révolution de la GenAI a été très bénéfique pour le fournisseur de puces, dont la valeur s'élève aujourd'hui à 4 000 Md$ et ne cesse de croître. C'est également une bonne chose pour xAI qui, quelques jours seulement après que le programme d'IA d'Elon Musk se soit transformé en MechaHitler, a décroché un contrat avec le département américain de la Défense d'un montant de 200 M$.

Mais qu'en est-il des personnes qui utilisent des outils d'IA pour accomplir leur travail ? Prenons l'exemple de la programmation. C'est l'une des choses pour lesquelles l'IA est censée être vraiment bonne. Le CEO de Microsoft, Satya Nadella, affirme avec confiance que « Copilot transforme l'expérience des développeurs » et qu'il contribue désormais à plus de 30 % de la base de code de Microsoft. Est-ce vraiment le cas ? Une étude récente a montré que, pour les développeurs expérimentés de logiciels libres, les outils de GenAI les rendaient moins et, non pas plus, efficaces. L'étude, intitulée « Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity », a été menée par le groupe de recherche en IA à but non lucratif METR. Elle a porté sur 16 développeurs de logiciels libres expérimentés, ayant en moyenne plus de 10 ans d'expérience. Il s'agissait d'experts chargés de travailler sur des problèmes concrets tels que la correction de bogues et l'ajout de fonctionnalités à des projets qu'ils connaissaient bien, dans des dépôts de code qui leur étaient familiers.

Pas de temps gagné mais du temps perdu

En utilisant des outils de GenAI tels que Cursor Pro et Claude 3.5/3.7 Sonnet, les programmeurs pensaient qu'avec l'aide de l'IA, ils réduiraient leur temps de travail de 24 %. Même après avoir terminé l'étude, ils pensaient que l'IA leur avait permis de gagner 20 % de temps. Ils se sont lourdement trompés. En réalité, il leurs a fallu 19 % de temps en plus pour accomplir leurs tâches, par rapport à leurs alter egos qui n'avaient pas du tout utilisé la GenAI. Les tâches censées prendre environ six heures ou moins ont connu le ralentissement le plus prononcé, le travail assisté par l'IA freinant considérablement les délais d'exécution. Que s'est-il passé ? Tout d'abord, les codeurs ont perdu du temps à solliciter la GenAI. L'une des choses que les personnes qui font l'éloge de cette technologie oublient, c'est qu'il est difficile d'écrire de bons prompts de programmation. Comme l'a écrit Domenic Denicola, programmeur de Google Chrome et responsable de jsdom, qui a participé à l'étude, il a été surpris de constater « à quel point les modèles sont mauvais pour mettre en œuvre les spécifications web ». Les développeurs ont également passé plus de temps que prévu à examiner le code généré et à corriger les erreurs, y compris - surprise, surprise ! - des failles de sécurité potentielles.

Pourquoi sommes-nous si sûrs que l'IA générative accélère les choses ? Il ne faut pas oublier que les fournisseurs de GenAI vendent généralement de l'efficacité et de la productivité. Plus elles semblent rapides et efficaces, plus vous êtes susceptibles de les acheter. Laissant de côté le battage publicitaire, les chercheurs ont également noté que « si les benchmarks de codage/agentique se sont avérés utiles pour comprendre les capacités de l'IA, ils sacrifient généralement le réalisme au profit de l'échelle et de l'efficacité ». Cette analyse comparative portait toutefois sur le travail réel. Ce n'est pas la première étude à parvenir à ces conclusions. Le rapport DevOps Research and Assessment (DORA) 2024 de Google a révélé que si les outils de codage GenAI augmentaient la vitesse de révision du code, leurs résultats avaient tendance à être trop médiocres pour être mis en production. Les équipes utilisant cette technologie ont également signalé un plus grand nombre d'erreurs. En bref, les programmeurs ont dû passer du temps à nettoyer les dégâts causés par les bots. Sur le site Reddit/programmation, rien de tout cela n'a surpris les développeurs habituels. L'article le plus populaire commençait ainsi : "D'après mon expérience, [l'IA] peut produire 80 % du travail en quelques minutes, mais il faut une éternité pour supprimer le code en double, la mauvaise conception ou l'absence de conception du système, et pour corriger les bogues. Après cela, je peux enfin me concentrer sur les derniers 20 % manquants pour réaliser la fonctionnalité. Dans la plupart des cas, je suis nettement plus rapide sans l'IA". Bien sûr, pour un code rapide et sale, la GenAI peut fournir un programme qui pourrait fonctionner. Le problème, c'est que ce n'est pas suffisant pour obtenir un logiciel fonctionnel."

La GenAI utile sans se substituer à l'expertise

Les outils GenAI ne sont pas non plus suffisants pour les développeurs débutants adeptes du vibe coding. Comme l'a récemment écrit Kaustubh Saini, rédacteur technique, après un échec catastrophique de programmation basée sur cette approche, "le problème central du vibe coding est qu'il produit des programmeurs capables de générer du code mais incapables de le comprendre, de le déboguer ou d'en assurer la maintenance. Lorsque le code généré par l'IA plante, ces développeurs sont impuissants". Oui, c'est vrai. C'est exactement le même problème dans d'autres domaines. La GenAI ne ressort simplement pas de façon aussi flagrante dans d'autres domaines. Je le vois constamment dans ce qui est écrit. Il y a de plus en plus d'articles de presse truffés d'erreurs et mal rédigés. Pour l'instant, les entreprises et les éditeurs de second ordre s'en sortent en produisant du contenu creux et erroné avec la GenAI. Les gens ne relèvent pas les erreurs, et le travail peut sembler plausible si l'on ne s'est pas mieux informé ailleurs. C'est presque certainement vrai dans n'importe quel domaine professionnel. En résumé, la GenAI peut, dans le meilleur des cas, être une aide utile à la réalisation d'un travail. Mais ne la considérez jamais, au grand jamais, comme un substitut à une véritable expertise.

Newsletter

La Quotidienne LMI

Recevez chaque matin l’actualité IT de la rédaction.