Un avocat pénaliste a présenté devant un tribunal des témoignages de personnes qui n’ont jamais existé et des documents qui n’avaient jamais été rédigés, après avoir utilisé ChatGPT pour préparer la défense d’un homme condamné pour meurtre.
L’affaire s’est produite au Nouveau-Mexique et s’est soldée par une amende de 5 000 dollars pour l’avocat, en plus d’une renvoi à l’Ordre des avocats de l’État afin de déterminer si des mesures disciplinaires doivent être appliquées.
L’avocat Stephen Aarons représentait Oscar Renee Sandoval, condamné l’année dernière à la réclusion à perpétuité pour le meurtre de la mère de ses enfants. Dans le recours déposé pour le défendre, l’avocat a inclus des noms de témoins inexistants, des témoignages faux et des rapports de police qui n’avaient jamais été élaborés.
Lorsque la Cour suprême du Nouveau-Mexique a détecté les erreurs, Aarons a expliqué qu’il avait utilisé ChatGPT, le chatbot d’OpenAI, et qu’il ignorait jusqu’à quel point le système pouvait générer de fausses informations. L’avocat a qualifié l’incident d’« erreur de bonne foi ».
Cependant, cette explication n’a pas convaincu les juges. Le tribunal a estimé que l’avocat avait l’obligation professionnelle de vérifier les informations contenues dans les documents avant de les soumettre.
ChatGPT a généré des informations inexistantes
Aarons a expliqué qu’il avait saisi dans ChatGPT une transcription générée par ordinateur et d’autres documents liés à l’affaire. Son intention était d’utiliser l’outil pour résumer la documentation et faciliter la préparation du recours.
Selon son explication, il s’attendait à ce que le système produise un résumé fiable des informations fournies. Cependant, ChatGPT a généré des données qui n’étaient pas présentes dans le matériel d’origine et qui ont fini par être intégrées aux documents présentés au tribunal.
Parmi les erreurs figuraient de prétendus témoignages de personnes inexistantes, ainsi que des références à des rapports de police qui n’avaient jamais été rédigés.
Ce type de réponses fausses est connu sous le nom d’« hallucinations » de l’intelligence artificielle. Cela se produit lorsqu’un modèle génère des informations incorrectes, inventées ou non étayées par ses sources, mais les présente avec une rédaction qui peut sembler convaincante.
Lors d’une audience tenue le 21 août, la juge C. Shannon Bacon a interrogé l’avocat sur son ignorance de ces risques et a souligné que les problèmes liés à l’utilisation de l’IA dans le domaine juridique sont déjà largement connus.
Le tribunal a sanctionné l’avocat
La Cour suprême du Nouveau-Mexique a déclaré Aarons coupable de contumace pour ne pas avoir vérifié l’exactitude de la documentation soumise.
En plus de l’amende de 5 000 dollars, la cour a renvoyé l’affaire à l’Ordre des avocats du Nouveau-Mexique. Cet organisme devra analyser la conduite du professionnel et déterminer s’il convient d’adopter des mesures disciplinaires supplémentaires.
Aarons a manifesté par la suite qu'il était repentant et a demandé à ce que l'on tienne compte du fait qu'il s'agissait d'une erreur de bonne foi. Il a également reconnu que l'affaire démontre les risques de faire confiance à une technologie qui peut s'avérer utile, mais qui ne fournit pas toujours des informations correctes.
Sandoval, pour sa part, aura désormais un autre avocat, car son cas sera pris en charge par un défenseur commis d'office.
Les erreurs de l'IA apparaissent également dans d'autres tribunaux
L'affaire du Nouveau-Mexique n'est pas isolée. Ces dernières années, différentes situations ont été enregistrées où des avocats ont présenté des documents judiciaires contenant des informations incorrectes générées par des systèmes d'intelligence artificielle.
Dans certains cas, les modèles ont inventé des arrêts, des auteurs, des précédents ou des références juridiques. Il s'est également produit des situations où les arrêts cités existaient, mais n'avaient aucun lien avec l'argument que l'avocat cherchait à étayer.
L'un de ces épisodes s'est produit à Syracuse, où un avocat a utilisé quatre précédents attribués à la Cour suprême italienne. Bien que les arrêts existaient, le juge a vérifié qu'ils traitaient de questions différentes et ne servaient pas à soutenir les arguments présentés.
Un cabinet new-yorkais a également dû s'excuser devant un juge fédéral après avoir présenté un mémoire contenant des références erronées ou inexistantes générées par l'IA.
Ces cas ont un élément commun : le manque de vérification humaine adéquate. Les modèles peuvent aider à résumer des documents ou à préparer des brouillons, mais leurs réponses ne garantissent pas que les données soient vraies.