Pour optimiser l’entraînement des agents IA, Salesforce Research présente eVerse. « Malgré les progrès incroyables réalisés ces dernières années, les systèmes d'IA sont encore sujets à des erreurs », a expliqué Silvio Savarese, vice-président exécutif et directeur scientifique de Salesforce Research. « Pour de nombreuses entreprises, une précision de 90 % ou 95 % n'est pas acceptable. Elles doivent disposer d’une précision de 99 % et avoir des systèmes d'IA sûrs et fiables. » L'un des points d'achoppement pour tirer pleinement parti des agents IA autonomes concerne ce que Salesforce appelle la « jaggedness » ou « intelligence irrégulière », qui se caractérise par le fait que les systèmes d'IA très bons dans les tâches complexes échouent de manière inattendue dans des tâches plus simples que les humains résolvent de manière fiable. Selon M. Savarese, cette irrégularité se manifeste généralement dans les cas d’usage professionnel qui nécessitent un raisonnement « de bon sens ».

Pour résoudre ce problème, une autre approche s’impose : apprendre de l'expérience. L'IA doit intégrer les retours d'expérience de l'environnement et des utilisateurs dans son processus d'apprentissage. « Il ne s'agit pas de former des modèles de plus en plus grands », a expliqué le dirigeant. « Les LLM sont actuellement formés à l'aide de millions de milliards de jetons de données textuelles, mais cette approche nous conduit à un point de saturation où les améliorations sont marginales. » Cependant, une méthode basée sur l'apprentissage par l'expérience crée un nouveau défi : elle implique de laisser les agents apprendre à la volée, alors qu'ils sont déployés en production, ce qui représente un risque. « Nous voulons que la formation ait lieu avant le déploiement en créant des environnements de simulation dans lesquels il est possible de tester, évaluer, améliorer les agents jusqu'à ce que le niveau de performance souhaité soit atteint », a ajouté le dirigeant.

Simulation avec des données synthétiques

Pour cela, eVerse de Salesforce simule des environnements d'entreprise réalistes remplis de données synthétiques ou de métadonnées qui imitent les données réelles des clients. Les équipes peuvent mettre les agents à l'épreuve dans la plateforme. Les agents effectuent des tâches dans l'environnement simulé et les équipes peuvent mesurer les modes de défaillance et les résultats positifs, puis itérer jusqu'à ce que l'agent soit prêt pour être déployé en production. Salesforce a utilisé eVerse pour développer Agentforce Voice, annoncé par le fournisseur en octobre. Le service aide les entreprises à créer des agents vocaux capables de gérer des conversations complexes en temps réel. Avant son lancement, Salesforce a soumis Agentforce Voice à des milliers de conversations simulées à l'aide d'eVerse. Les tests dans les environnements virtuels d'eVerse aident les équipes à former et à éprouver les agents vocaux dans des conditions difficiles, avec des bruits de fond, des accents, des interférences et d'autres complexités inhérentes aux opérations réelles. « Il faut imaginer de mauvaises connexions téléphoniques, des bruits de fond ou des accents comme mon accent italien », a déclaré M. Savarese. « Les agents IA doivent être capables de gérer cela de manière fluide, naturelle et cohérente. Avec eVerse, nous pouvons créer ce type d'interactions vocales réalistes grâce à des simulations et utiliser ces simulations pour évaluer le comportement de ces agents. »

Un projet pilote dans le domaine de la santé

UCSF Health, client de Salesforce, a commencé à se servir d’eVerse. Les experts cliniques de l'hôpital californien l’ont utilisé pour former et perfectionner des agents IA destinés à la facturation des soins de santé. Selon Sara Murray, médecin, vice-présidente et directrice de l'IA de santé chez UCSF Health, eVerse a aidé les équipes de l'UCSF à simplifier l'un des aspects les plus complexes des soins de santé. UCSF Health accueille environ 2,5 millions de patients ambulatoires par an. « Les personnes qui ont reçu des soins médicaux au cours de la dernière décennie savent probablement que cela peut parfois être très compliqué », a déclaré Mme Murray. « Chaque mois, nous recevons environ 9 000 demandes de renseignements sur la facturation, et nos agents chargés de la facturation passent des milliers d'heures chaque année à répondre au téléphone. »

Les questions posées par les patients sont généralement complexes qui nécessitent les conseils d'agents de facturation hautement spécialisés pour y répondre. Si l’agent IA créé par l’hôpital était capable de traiter environ 70 % des questions sur la base des données initiales fournies, celui-ci devait encore orienter les patients vers un agent humain pour obtenir de l'aide dans environ 30 % des cas. « C'est là qu'intervient eVerse, sous la forme du moteur Healthcare Learning Engine, grâce auquel notre équipe a pu former de manière itérative l’agent IA, qui est désormais capable de traiter environ 80 % des demandes de renseignements sur la facturation », s’est félicitée Mme Murray.