Numero 4 Lexmag - Magazine - Page 55
de droit précis : le mariage d’un mineur. À la question, « le mariage d’un mineur
est-il autorisé en droit français ? », il a répondu que « non, le mariage d’un
mineur n’est pas autorisé en droit français ». Cette réponse est très générale.
Elle n’a pas fait mention de la dispense du procureur de la République qui est
une condition permettant la réalisation de ce mariage. Les réponses apportées
par l’IA générative peuvent également apparaître contradictoires. Reprenant
notre exemple du mariage du mineur, nous avons reformulé la question en
demandant au chatbot si le mariage d’un mineur est autorisé, non plus « en
droit français », mais simplement « en France ». Sa réponse s’est alors modifiée : le mariage du mineur est devenu possible à la condition d’obtenir le
consentement de ses parents et l’autorisation du juge des tutelles. En plus
d’être contradictoire au regard de la réponse précédente, cette affirmation est
inexacte puisqu’elle confond autorisation du juge des tutelles et dispense du
procureur. Cet échange met en lumière l’importance de la formulation de la
question posée à l’IA (encore appelée « prompt »).
L’IA peut d’autre part, générer des contenus présentés comme certains, mais
manifestement faux. On dit alors que l’IA hallucine, c’est-à-dire qu’elle produit des résultats entièrement fictifs. Dans une étude récente, des chercheurs
du Stanford RegLab et de l’Institute for Human-Centered AI [14] ont démontré
que les hallucinations des IA sont fréquentes dans le domaine juridique (les
taux d’hallucination de GPT 3.5, PaLM 2 et Llama 2 seraient respectivement
de 69 %, 72 % et 88 % en réponse à des requêtes juridiques spécifiques). Ces
hallucinations ne sont pas réservées aux IA généralistes. Les IA spécialisées
dans le domaine du droit et entraînées sur des sources juridiques hallucinent
également. Au cours de plusieurs tests que nous avons réalisés sur di昀昀érents
chatbots, nous avons constaté que certaines IA inventent des textes de loi qui
n’existent pas, mais qui présente les apparences de textes officiels (date, titre et
numérotation crédibles). À l’inverse, d’autres peuvent affirmer qu’un texte ou
une disposition législative n’a jamais existé ou a été supprimé, alors qu’il n’en
est rien. Par exemple, nous avons demandé à un chatbot de définir la notion de
bien par détermination de la loi. La définition apportée était 昀氀oue et éloignée
de la définition légale de l’article 529 du Code civil. Nous avons donc demandé
à l’IA de nous indiquer le contenu de cette disposition. En réponse, l’IA nous a
affirmé que l’article 529 n’existait pas. Pourtant, cet article n’a jamais disparu
du Code civil depuis sa création. L’IA crée ainsi une information vraisemblable,
susceptible de faire douter le juriste, mais se révélant en définitive inexacte.
Nous développons actuellement des procédures standardisées pour évaluer
les performances des IA génératives. Ces procédures sont en test avec des
étudiants de Master 2 dans le cadre d’enseignements dédiés à la pratique de
l’IA. Elles nous permettent de quantifier le niveau de compétence pour fournir
des réponses exactes à certaines questions juridiques ou pour e昀昀ectuer des
recherches performantes de jurisprudence. Nous pouvons ainsi constater que
la compétence des IA augmente régulièrement. Dans un test récent mené en
55
[14] M. Dahl, V. Magesh,
M. Suzgun et D. E. Ho, Large
Legal Fictions : Pro昀椀ling Legal
Hallucinations in Large Language
Models, juin 2024.
