La spécification open source Symphony publiée par OpenAI transforme des outils de suivi des problèmes tels que Linear en plans de contrôle pour les agents de codage Codex. Au lieu de demander à un outil d'IA de l'aide pour un seul problème de codage à la fois, Symphony permet aux agents de récupérer du travail à partir d'un outil de suivi des problèmes, de l'exécuter dans des espaces de travail distincts, de surveiller l'intégration continue (CI) et de préparer les modifications pour qu'elles soient examinées par des humains. OpenAI a expliqué que le système était né d’un goulot d’étranglement rencontré par les ingénieurs quand ils ont commencé à exécuter plusieurs sessions Codex. Selon l'éditeur, ils ne pouvaient gérer que trois à cinq sessions avant que le changement de contexte ne devienne pénible, ce qui limitait les gains de productivité liés à des agents de codage plus rapides.

Le fournisseur a indiqué que l’impact s’est rapidement fait sentir, certaines équipes internes ayant vu la validation de leurs requêtes pull augmenter de 500 % au cours des trois premières semaines. « La couche d'orchestration peut surveiller l'état des tickets, redémarrer les agents qui plantent ou se bloquent, gérer les espaces de travail par ticket, surveiller l'intégration continue, effectuer un rebasage des modifications, résoudre les conflits et acheminer les requêtes pull vers la révision », a détaillé l'entreprise. « Le changement le plus profond réside dans la manière dont les équipes envisagent le travail », a déclaré OpenAI. « Lorsque nos ingénieurs ne consacrent plus de temps à superviser les sessions Codex, la rentabilité du code change du tout au tout. Le coût perçu de chaque modification diminue, car nous n’investissons plus d’efforts humains dans la mise en œuvre elle-même. »

Des problèmes à ne pas sous-estimer

Cette approche soulève toutefois de nouveaux problèmes, selon l'entreprise. Les agents peuvent se tromper lorsqu’on leur confie des tâches au niveau des tickets, et toutes les tâches ne se prêtent pas à l’orchestration. L’entreprise a indiqué que les problèmes ambigus ou les tâches nécessitant un jugement solide pourraient encore exiger que les ingénieurs travaillent directement avec des sessions Codex interactives. Sanchit Vir Gogia, analyste en chef et CEO de Greyhound Research, pense qu’il ne faudrait pas considérer Symphony comme un assistant de codage IA supplémentaire mais comme une nouvelle couche opérationnelle émergente pour la livraison de logiciels. « Il planifie, suit, réessaie, réconcilie, conserve l’état et gère le flux. En d’autres termes, il commence à ressembler à un système d’exploitation léger pour la livraison de logiciels, et c’est cette ressemblance qui fait toute la différence », a souligné M. Gogia.

« Avec Symphony, l’IA passe d’une aide à la productivité des développeurs à un modèle d’exécution pour le travail logiciel », a pointé Biswajeet Mahapatra, analyste principal chez Forrester. « Les recherches de Forrester sur les plans de contrôle des agents et l’orchestration adaptative des processus montrent que la valeur augmente lorsque les agents sont intégrés dans les flux de travail et gérés à grande échelle plutôt que d’être invoqués de manière interactive par des individus », a-t-il poursuivi. « L'orchestration en continu fait passer l'IA du statut d'aide personnelle au codage à celui d'infrastructure d'ingénierie partagée, aidant ainsi les équipes à organiser leur travail autour des problèmes et des tâches tout en réduisant la charge cognitive des développeurs », a ajouté Biswajeet Mahapatra.

Quelles implications pour les entreprises

Cependant, les entreprises devront aller au-delà des indicateurs de rendement tels que le nombre de lignes de code ou de requêtes pull, et se concentrer plutôt sur la qualité, la rapidité de livraison, l'expérience des développeurs et l'impact commercial. « Le délai de mise en service des fonctionnalités, les taux de défauts non détectés, les retouches et le renouvellement du code, la stabilité de la production, ainsi que le flux de travail perçu par les développeurs et leur charge cognitive dans le cadre de la DevEx sont des mesures pertinentes », a estimé Biswajeet Mahapatra. « Les recherches de Forrester sur le développement d’applications soulignent systématiquement que l’amélioration de la productivité doit se traduire par une meilleure qualité, des boucles de rétroaction plus rapides et un impact commercial plus clair, et pas simplement par une augmentation de la quantité de code généré. »

Sanchit Vir Gogia a également mis en garde contre le fait de considérer l’augmentation du volume de requêtes pull comme une preuve de gains de productivité, affirmant que le chiffre de 500 % cité par OpenAI devrait inciter à la prudence plutôt qu’à l’optimisme. « La génération s’adapte sans effort, la validation non », affirme-t-il. « À mesure que le volume de production augmente, la charge liée à la révision, aux tests et à la gouvernance augmente également. Les entreprises devraient aussi s’intéresser aux frictions liées à la révision par les pairs, les retouches en aval, les défauts échappés, les incidents post-déploiement, le temps de récupération et l’impact sur les ingénieurs juniors. »

Des défis à relever

Selon Neil Shah, vice-président chargé de la recherche chez Counterpoint Research, l’un des principaux défis pour les entreprises consistera à garantir la sécurité des plateformes d’orchestration tout en déterminant le degré d’autonomie à accorder aux agents de codage. Les orchestrateurs devront gérer divers types de tâches, faciliter les transferts entre agents et offrir « une transparence totale grâce à des pistes d’audit exhaustives », a-t-il souligné. Cela deviendra d’autant plus important que les agents commenceront à créer et à gérer des tâches au sein de systèmes d’orchestration automatisés, réduisant ainsi le niveau de supervision humaine directe. « Les entreprises ont du mal à appliquer des politiques de sécurité cohérentes, à garantir l’auditabilité et à mettre en place des contrôles des risques sur l’ensemble des agents distribués, en particulier lorsque l’orchestration est dissociée des systèmes de cycle de vie du développement logiciel (SDLC) et d’identité existants », a pointé Biswajeet Mahapatra. Il pense aussi que les entreprises devront résoudre les questions relatives à l'intégration des chaînes d'outils héritées, à la responsabilité des décisions des agents, à la traçabilité des modifications et à la séparation des tâches avant d'adopter à grande échelle des spécifications ouvertes d'orchestration des agents.