En majorité, les développeurs de logiciels ayant assisté à la conférence DeveloperWeek (11-13 février, Santa Clara) ont un avis assez positif sur les assistants de codage de l’IA après les avoir essayés. « Ils peuvent très certainement accélérer le développement de logiciels », a déclaré Jens Wessling, directeur technique et architecte en chef de l'entreprise de sécurité logicielle Veracode, qui a utilisé GitHub Copilot, Tabnine et JetBrains AI Assistant. « Il sera intéressant de voir comment ces assistants résolvent à long terme des questions relatives à la sécurité et à la correction, mais c’est un pas dans une direction intéressante », a-t-il ajouté. « Ces outils sont excellents », a estimé pour sa part Juan Salas, directeur technique d'Alto, qui fournit des services de développement logiciel sur l'Amérique latine.

Après avoir utilisé GitHub Copilot et Cursor, M. Salas trouve que ces outils peuvent faire gagner du temps aux utilisateurs qui savent s'en servir. C’est aussi l’avis de Aasritha M., étudiante à l'université, qui qualifie GitHub Copilot d’« extension plutôt cool ». Elle apprécie la façon dont Copilot reconnaît le modèle sur lequel travaille le développeur et ce qu’il s'apprête à faire ensuite. « L'outil ne se trompe presque jamais », a-t-elle affirmé. « Cependant, ChatGPT fait un meilleur travail pour trouver les erreurs dans le code », a-t-elle reconnu. Aasritha M. a également utilisé Mistral et l'a trouvé assez bon, tout comme ChatGPT. Un autre étudiant, Sahil Shah, qui a récemment effectué un stage chez Lattice Semiconductor et travaille avec Python, a qualifié GitHub Copilot de « très utile pour l'écriture de scripts. » Ratna Maharjan, ingénieur logiciel et chef de produit pour l’entreprise d'information et de services Wolters Cluwer, a aussi trouvé GitHub Copilot et ChatGPT « assez utiles » pour les extraits de code à intégrer dans le code. « Jusqu'à présent, tout ce que j'ai pu voir est de très bonne qualité », s’est-il réjoui.

Manque de cohérence, hallucinations et réponses aléatoires de la partie

Mais les participants ont aussi exprimé leur insatisfaction à l'égard des outils d'IA. « Les outils d’IA sont bons pour certaines choses et mauvais pour d'autres », a constaté M. Wessling. « Les outils de codage de l'IA font souvent du bon travail avec les codes passe-partout et produisent des volumes de code avec des schémas répétitifs bien compris », a-t-il précisé. « Mais fréquemment, ils ne savent pas bien gérer les bibliothèques et leurs versions, c'est-à-dire qu’ils manquent de cohérence sur la bibliothèque qu'ils importent et la méthode qu'ils utilisent dans une bibliothèque donnée. Ils ont parfois des hallucinations et fournissent des réponses aléatoires », a ajouté M. Wessling. M. Shah a regretté que les réponses de GitHub Copilot soient « parfois vagues ». Néanmoins, il est impatient d'utiliser davantage les outils de codage de l'IA afin de rendre son travail plus efficace.

Pendant la conférence, Peter Luh, développeur et physicien à la retraite, a testé GitHub Copilot sur quatre problèmes mathématiques. « Je suis désolé de vous annoncer que Copilot a échoué lamentablement sur les quatre problèmes », a-t-il déclaré. Mais il pense quand même que Copilot pourrait convenir aux chats généralistes qui incluent des réponses « hallucinées ». « Les outils de codage IA peuvent donner l'illusion de parvenir rapidement à une solution », a estimé M. Salas. Il pense que l'intelligence artificielle et l’intervenant humain sont meilleurs quand ils sont ensemble que pris isolément. Selon lui, ces outils vont certainement s'améliorer, mais aujourd'hui, les utilisateurs ont besoin de plus de nuances techniques et doivent savoir ce qu'il faut demander à ces assistants. « Sinon, en raison des défis récurrents que présente le code, on peut facilement tourner en rond », a-t-il fait remarquer.