Le groupe Colas est un opérateur de travaux publics présent dans quatre domaines d'activités : les routes, les infrastructures ferroviaires, le transport d'eau et d'énergie et enfin la production, la distribution et le recyclage de matériaux de construction. Il emploie près de 58 000 collaborateurs dans 50 pays, pour un chiffre d'affaires de 13,2 milliards d'euros en 2021. Pour répondre aux besoins de ces utilisateurs, Colas a créé une filiale IT, Colas Digital Solutions, qui compte environ 600 collaborateurs. « Nous sommes dans un modèle business to employees, avec un coeur de métier relativement indépendant de l'IT et des utilisateurs que nous accompagnons pour trouver les meilleures solutions », a expliqué Galaad Lepaul, responsable de l'automatisation des tests chez Colas Digital Solutions, lors de la JFTL 2022. Pour fournir des solutions alignées sur les besoins des métiers, les équipes s'appuient notamment sur les tests fonctionnels. Afin de réduire les délais de livraison tout en préservant la qualité des applications, Colas Digital Solutions a lancé un projet visant à automatiser ces derniers, dénommé TASER (test automatisé des systèmes pour éviter la régression). « Notre objectif n'était pas de faire moins, mais mieux », affirme le responsable.

Lever les a priori sur les tests automatisés

Dans ce but, Colas Digital Solutions a choisi de mettre en oeuvre la solution Tosca de Tricentis. Toutefois, il a fallu au préalable défaire un certain nombre d'a priori sur les tests automatisés. Ceux-ci étaient en effet perçus comme complexes, nécessitant des compétences en développement, mais aussi difficiles à maintenir, le moindre changement obligeant à tout réécrire. Enfin, ils étaient vus comme demandant un temps de préparation, ce qui ralentissait les projets. La solution de Tricentis a permis de lever ces objections. « Il s'agit d'un outil codeless et basé sur des modèles, ce qui permet de réutiliser ce qui a été fait sans tout réécrire. Si un bouton change sur une page d'authentification, il suffit de faire la modification une fois et tous les tests utilisant ce modèle seront automatiquement mis à jour », illustre Galaad Lepaul. Par ailleurs, la solution s'inscrit dans une logique de test en continu, offrant la possibilité d'exécuter les tests à tout moment.

Durant le premier trimestre 2019, l'équipe chargée du projet a réalisé un pilote sur une application bien maîtrisée, avec un référentiel de tests complet et connu. « Nous nous sommes fait aider par Tricentis, en optant pour le starter package, ce qui nous a permis d'éviter de nombreux problèmes qu'autrement nous n'aurions pas vus », confie Galaad Lepaul. Pour rassurer les métiers, qui jusqu'à présent effectuaient eux-mêmes les tests fonctionnels de façon manuelle, l'équipe a ensuite organisé une démonstration. « Cette démonstration leur a montré qu'ils contrôlaient le déroulement des tests, elle a permis de lever des doutes », poursuit Galaad Lepaul. Pour aplanir les derniers freins, une recette comparative a également été organisée, avec d'un côté une campagne de tests manuelle, de l'autre une campagne menée par le robot, en vue de comparer les résultats. « Le robot s'est révélé plus rapide et il a trouvé davantage d'anomalies », témoigne le responsable.

Plus de 850 jours-hommes gagnés

Ensuite, l'équipe a entrepris de déployer plus largement la solution. Celle-ci a été mise en place sur de nouveaux systèmes Citrix, sur un projet ERP, sur des applications Web, sans jamais rencontrer de problèmes selon Galaad Lepaul. Le rythme d'exécution des tests est devenu quotidien et une équipe dédiée a été mise en place, avec une montée en compétences qui s'est révélée assez facile. Durant 2020 et 2021, Colas Digital Solutions a mis en place une Test Factory au Maroc, puis il a industrialisé la solution. « Nous avons monté une équipe d'automaticiens professionnels et nous avons également mis en place des tests de bout en bout, par exemple sur le flux achats. Nous testons l'ensemble de la chaîne où interviennent trois ou quatre applications différentes » décrit le responsable. Enfin, l'automatisation des tests a été intégrée dans le pipeline CI-CD de Colas Digital Solutions, devenant ainsi un des piliers de l'environnement agile de l'entreprise.

À la fin de 2021, l'entreprise avait automatisé plus de 2 200 tests. La solution Scala fournissait plus de 320 rapports de test, basés sur l'exécution et l'analyse de 34 000 scénarios de test. Pour exécuter tout ce catalogue, 4,5 jours de temps machine sont nécessaires, là où il aurait fallu précédemment plus de 850 jours-hommes. « Sur le périmètre automatisé, nous n'avons remonté aucune anomalie en production », ajoute Galaad Lepaul. Pour 2022, son équipe a d'autres projets en cours. Elle étudie notamment le remplacement de l'outil de management des tests, géré sur Excel, par qTest. Un pilote est en cours, et celui-ci est bien parti selon le responsable de l'automatisation des tests.