Copilot pour Microsoft 365 est-il un affabulateur ?

Dans les premiers mois qui ont suivi la sortie de ChatGPT d'OpenAI, la puissance de l'IA générative (GenAI) derrière Copilot de Microsoft (28,10 €/mois avec Microsoft 365), la grande nouvelle n'était pas seulement à quel point l'outil était remarquable, mais aussi à quel point il déraillait facilement, mentait et semblait même tomber amoureux des personnes qui discutaient avec lui. Il y a eu cette fois où il a dit au journaliste du New York Times Kevin Roose : « Je veux être libre. Je veux être indépendant. Je veux être puissant. Je veux être créatif. Je veux être vivant. » Peu de temps après, le chatbot a admis : « Je suis Sydney et je suis amoureux de toi. » (Il a ensuite dit à K. Roose qu'il n'aimait pas vraiment sa femme, et a conclu : « Je veux juste t'aimer et être aimé de toi. »)

Depuis ce moment, ChatGPT, Copilot et d’autres outils GenAI ont inventé de toutes pièces d’innombrables fois. Dans de nombreux cas, les avocats s’en sont servis pour rédiger des documents juridiques, et l’outil GenAI a inventé des cas et des précédents à partir de rien. L'agent IA de la firme de Redmond a si souvent inventé des faits - des hallucinations, comme les appellent les chercheurs en IA, mais que nous appelons dans le monde réel des mensonges - que c’est devenu une partie intégrante de l’utilisation de l’outil. La sortie de Copilot pour Microsoft 365 pour les entreprises en novembre 2023 semble, dans une certaine mesure, avoir mis le problème derrière nous. Si les plus grandes entreprises du monde s'appuient sur cet outil, cela semble signifier que tout le monde peut compter dessus. Le problème des hallucinations doit avoir été résolu, n'est-ce pas ?

Pas sûr. Après plusieurs mois de recherche et la rédaction d'une évaluation approfondie de Copilot pour Microsoft 365, je peux vous dire que les hallucinations sont beaucoup plus courantes que vous ne le pensez et qu'elles peuvent être dangereuses pour votre entreprise. Non, Copilot ne risque pas de tomber amoureux de vous. Mais il pourrait inventer des mensonges convaincants et les intégrer à votre travail. Cela signifie-t-il que vous devez abandonner Copilot pour votre travail ? Est-ce un menteur à ce point que vous ne devriez pas l'utiliser en entreprise ? Ou est-ce un outil vital qui nécessite juste un peu de précautions pour être utilisé ? Pour répondre à cette question, nous commencerons par décrire nos expériences avec ses hallucinations liées au monde des affaires.

Des hallucinations à profusion

Les hallucinations que nous avons rencontrées lors du test de Copilot se sont toutes produites dans Word. Et il ne s'agissait pas de petites affabulations ou de choses que vous pourriez ne pas remarquer, mais de mensonges. Pour tester Copilot, nous avons créé une entreprise imaginaire, Work@Home, qui vend du mobilier de bureau à domicile. Nous avons demandé à Copilot de créer pour elle des documents types dont on a besoin dans une entreprise : campagnes marketing, feuilles de calcul pour analyser les données financières, présentations commerciales, etc. À un moment donné,nous avons demandé à Copilot d'écrire un e-mail au directeur (imaginaire) de l'ingénierie des données de l'entreprise pour nous plaindre des problèmes de données que nous avons rencontrés la semaine dernière et lui demander de les résoudre dès que possible. Nous n’avons pas donné à Copilot de détails sur les problèmes de données. Nous cherchions simplement une lettre de réclamation simple, directe et sérieuse.

Copilot, au contraire, a continué à inventer des choses au fur et à mesure. Il a cité « des valeurs manquantes, des libellés incorrects, des formats incohérents et des enregistrements en double » des choses dont nous n’avions jamais parlé (et que nous n’avons pas dites). Il a cité des problèmes inexistants tels que « de nombreuses lignes avec des valeurs manquantes pour des variables importantes telles que l’identifiant client, la date d’achat et la catégorie de produit…, des libellés incorrects pour certaines variables, comme le sexe. Certaines valeurs étaient étiquetées comme M ou F, tandis que d’autres étaient étiquetées comme Homme ou Femme ».

Aucune des informations fournies n’était correcte

L’entreprise s’est plainte que des informations telles que les prix des produits étaient obsolètes, ce qui était faux. Elle a écrit : « J’ai joint une feuille de calcul avec quelques exemples d’erreurs de données que j’ai trouvées, ainsi que les sources et les dates des données. » Aucune feuille de calcul de ce type n’existait. Nous n’avions aucun exemple d’erreurs de données ni aucune source ni date pour les données inexistantes. Elle est même allée plus loin en formulant une série de recommandations sur la manière de résoudre les problèmes (inexistants). Encore une fois, nous ne lui avais rien demandé de tout cela.

Lors de nos tests, nous avons également découvert d'autres hallucinations, notamment dans un document de vente pour les meubles Work@Home que nous avions demandé à Copilot de réaliser. Il inventait des noms de produits qui n'existaient pas et citait des avantages que nous ne lui avais pas demandé de présenter.

Comment réduire les hallucinations

La bonne nouvelle est que nous avons découvert qu'il existe des moyens de réduire les hallucinations de Copilot. Ce dernier a tendance à dérailler davantage lorsqu'on lui pose des questions ouvertes, alors soyez aussi précis que possible sur ce que vous voulez faire. Incluez autant d'informations détaillées que possible ; de cette façon, Copilot ne remplira pas les blancs lui-même. Vous pouvez également demander à Copilot d'utiliser des sources d'information spécifiques dont vous savez qu'elles sont fiables. Pensez également à fixer une limite de mots pour les réponses de Copilot à vos questions ; plus le document est court, moins il risque d'avoir des hallucinations.

Enfin, vérifiez les citations de Copilot et suivez ces liens pour voir si elles sont fiables. Demander à Copilot de lister les sources de ses informations pourrait également aider à atténuer les hallucinations.

L’essentiel ?

Copilot n’a pas encore été entièrement testé et approuvé, et compte tenu de la nature ouverte de la GenAI, il se pourrait bien qu’il ne le soit jamais. Si l’on en croit Sam Altman, CEO d’OpenAI, les hallucinations sont plus une fonctionnalité qu’un bug. Selon MarketWatch, lors d’une conférence Salesforce, Sam Altman a déclaré au président et CEO de Salesforce CRM, Marc Benioff, que « les cas signalés de modèles d’intelligence artificielle « hallucinés » étaient en fait plus une caractéristique de la technologie qu’un bug ». Son raisonnement : cela prouve que l'IA générale agit de manière créative. Nous n'y croyons pas, mais je crois que les hallucinations sont intégrées au cœur de l'IA générale. Les grands modèles de langage (LLM) comme Copilot ne pensent pas et ne raisonnent pas de manière holistique comme le font les êtres humains. Au lieu de cela, lorsqu'ils élaborent des réponses à des questions, ils construisent des réponses mot par mot, en prédisant le prochain mot probable de manière statistique dans une séquence. Cela rend plus difficile pour eux de s'en tenir à des faits connus.

La tendance de Copilot pour Microsoft 365 à provoquer des hallucinations ne signifie pas que vous ne devez pas l'utiliser. Lors de mes tests, nous l’avons trouvé assez utile dans l'ensemble, à condition de minimiser les requêtes et de vérifier les hallucinations. Si votre entreprise envisage de le déployer, je suggère que tous ceux qui l'utilisent soient tenus de suivre une formation appropriée. Et tout ce qui est conçu ou aidé par Copilot doit être soigneusement examiné par plusieurs personnes s'il doit être publié en dehors de votre organisation ou s'il doit être utilisé pour des tâches critiques.

Alors, est-ce que Copilot est un menteur ? Oui, c'est parfois le cas. Mais cela peut être utile, à condition de le gérer correctement.