Dans le domaine judiciaire, l’arrivée de l’IA a changé la manière de travailler. Si elle facilite la recherche de jurisprudence, elle doit aussi être source de vigilance quand à la capacité à halluciner. C’est ce que vient de rappeler l’affaire opposant Anthropic et Universal Music Group, Concord et ABKCO. En octobre 2023, les trois géants de la musique avaient demandé aux juges fédéraux de Californie d’interdire l’utilisation de leur répertoire musical pour l’entraînement des modèles d’IA d’Anthropic.

Les juges ont rejeté cette demande en mars 2025, estimant qu’il n’y avait pas de preuve de préjudice irréparable. Les plaignants ont alors déposé une autre plainte pour violation du droit d’auteur le 25 avril. L’un des points de désaccord majeurs dans cette affaire réside dans l’examen de la taille de l’échantillon interagissant avec Claude, afin de déterminer la fréquence à laquelle l’IA reproduit ou génère des paroles protégées.

Une référence fictive

Le 30 avril, Olivia Chen, une data scientist chez Anthropic, a soumis au tribunal un mémoire défendant l’idée qu’un échantillon d’un million d’interactions utilisateurs serait suffisant pour présenter un « taux de prévalence raisonnable » d’un événement rare, à savoir les requêtes d’internautes cherchant des paroles de chanson. Elle estimait que cette situation ne représentait seulement 0,01% des échanges. Dans son témoignage, elle citait alors un article académique publié dans The American Statistician… qui s’est avéré inexistant.

Début mai, les plaignants ont demandé au tribunal de convoquer Olivia Chen et de rejeter sa déclaration, en raison de ces fausses références. Cependant, le tribunal a accordé un délai à Anthropic pour enquêter, l’avocat de la start-up qualifiant l’incident de « simple erreur de citation », et reconnaissant que l’outil Claude avait été utilisé pour « mettre en forme correctement » au moins trois références bibliographiques. C’est donc dans ce cadre que l’IA a inventé un article fictif, avec des auteurs erronés n’ayant jamais travaillé ensemble.

5 millions d’échanges pour vérifier la portée de l’atteinte

Toutefois, bien que le contenu cité ait été inventé, le lien de bas de page renvoyaient vers l’article réel, identifié manuellement via une recherche Google. Les juges ont donc estimé qu’il ne s’agissait pas d’un cas où « les avocats et les experts auraient renoncé à leur esprit critique au profit de réponses toutes faites générées par l’IA. ». Ils ont néanmoins qualifié l’incident de « pure et simple hallucination de l’IA », tout en s’interrogeant sur l’absence de vérification humaine qui aurait pu éviter une telle erreur.

Le tribunal a estimé qu’une marge d’erreur d’environ 11.3% restait acceptable pour obtenir un échantillon représentatif. Ainsi, Anthropic devra désormais fournir un jeu de 5 millions de paires « requête-réponse », prélevé de manière aléatoire et à parts égales avant et après le dépôt de la plainte : 2,5 millions entre le 22 septembre et le 18 octobre 2023, et 2,5 autres millions entre le 19 octobre et le 22 mars 2024. L’ensemble de ces données doit être remis au tribunal au plus tard le 14 juillet 2025.

Des modèles juridiques pour éviter les dérapages de l’IA

Cet incident met en lumière la prolifération préoccupante des erreurs générées par l’IA dans les procédures judiciaires, un phénomène en hausse qui peut exposer les entreprises à des risques importants, notamment lorsque leurs avocats s’appuient sur ces outils pour la collecte d’informations et la rédaction de documents juridiques. « L’introduction de l’IA a engendré une forme de paresse qui devient préoccupante dans le milieu juridique », estime Brian Jackson, directeur de recherche chez Info-Tech Research Group. « Les outils d’IA ne devraient pas être utilisés comme des solutions toutes faites pour produire des documents à déposer au tribunal. »

Les échecs de l’IA dans le domaine juridique deviennent si fréquents qu’ils donnent lieu à une floraison d’articles scientifiques et d’analyses spécialisées. Damien Charlotin, chercheur, tient par exemple à jour une base de données recensant les décisions de justice impliquant les contenus générés de manière erronée par des IA, notamment des citations fictives. « Les directeurs des systèmes d’information (DSI) ont un rôle clé à jouer, non seulement pour expliquer ces erreurs, mais aussi pour anticiper les risques en matière de cybersécurité », explique Irina Raicu, responsable du programme d’éthique d’internet au Markkula Center for Applied Ethics de l’Université Santa Clara. Par ailleurs, elle rappelle qu’en juillet dernier, l’American Bar Association a publié sa première directive déontologique concernant l’usage des outils d’IA par les avocats. Selon le document, le recours à l’IA dans le système judiciaire soulève des enjeux cruciaux, non seulement en matière de compétence professionnelle mais aussi de confidentialité, de communication et de transparence.