Pourquoi l'IA invente des références islamiques, et ce qu'il a fallu pour l'en empêcher

La demande la plus fréquente de toute l’histoire de notre application de chat n’est pas une fonctionnalité. C’est une exigence de preuve. Extraits mot pour mot de nos propres journaux de production :

« Pouvez-vous citer la source et en reproduire le texte mot pour mot ? »

« D’autres références ? »

« D’autres preuves ? »

Et, d’un utilisateur, une ligne collée : AL-MUGHNI BY IBN QUDAMAH VOL.4, PG.405 — il demande à l’assistant de vérifier si l’ouvrage dit bien ce que quelqu’un lui a fait dire.

À l’époque, les réponses de l’assistant avaient l’allure d’un travail savant. Il citait des choses comme « Al-Mas’ûdî, Murûj al-Dhahab » — un auteur réel, un livre réel, sans volume, sans page, et sans aucun moyen pour un lecteur de vérifier si la phrase qu’on lui attribue figure quelque part dans l’ouvrage.

Ce n’est pas une citation. C’est la forme d’une citation.

Les questions portant sur l’authenticité des hadiths représentent à elles seules 10,8 % de tout ce qui est demandé à l’application. Ce n’est pas un problème de finition.

« Il suffit de lui donner la bibliothèque » ne fonctionne pas

Nous en avons donc branché une. Une installation complète de Maktabah al-Shâmila 4 — 8 594 ouvrages, indexés avec Lucene. Les requêtes à chaud reviennent en 2 à 60 ms. La vitesse de recherche n’a jamais posé problème un seul jour.

C’est le classement des résultats qui posait problème.

Lucene classe par fréquence des termes. La fréquence d’un terme n’est pas une autorité savante, et dans un corpus qui couvre onze siècles, les deux divergent immédiatement :

• Cherchez التيمم (ablution sèche) dans toute la bibliothèque : 26 098 occurrences. Le premier résultat est al-Durr al-Farîd wa Bayt al-Qasîd, une anthologie poétique de 710 H. Le mot y apparaît dans un vers.
• Cherchez إنما الأعمال بالنيات — sans doute le hadith le plus célèbre de l’islam : 6 815 occurrences, en tête desquelles un ouvrage de théorie du droit qui ne fait que le citer. Sahîh al-Bukhârî n’apparaît nulle part dans les résultats.

Donnez ces résultats à un modèle : il citera l’anthologie poétique. Il n’a aucun moyen de savoir que le premier résultat est faux. Cela ressemble exactement à un résultat de recherche, parce que c’en est un.

Le correctif n’a rien de séduisant : ne jamais chercher sans périmètre. Chaque requête porte désormais un périmètre explicite — les huit recueils de hadiths de référence, fixés à des éditions imprimées précises, ou un ensemble d’identifiants de catégories pour un domaine du fiqh, ou un seul ouvrage nommé et rien d’autre. Avec un périmètre, cette même requête sur le hadith renvoie Sahîh al-Bukhârî Lire cette page: ط السلطانية, page 1/6, chaîne de transmission intacte.

La précision a dégradé le rappel

La recherche par expression exacte semble l’outil idéal pour la question « est-ce bien la formulation, et où ? ». Pour le hadith, elle ne l’est pas.

Chercher إنما الأعمال بالنيات comme expression exacte a renvoyé un seul résultat — et manqué Sahîh al-Bukhârî. La formulation transmise varie d’une édition à l’autre : بالنيات dans l’une, بالنية dans l’autre. Une recherche par jetons, exigeant tous les mots sur une même page dans un ordre quelconque, a trouvé Bukhârî, Ibn Mâja, Abû Dâwûd et al-Nasâ’î.

Les deux passes sont donc nécessaires, dans cet ordre, et pour des raisons opposées. La passe par expression répond à « où se trouve cette phrase exacte » ; la passe par jetons répond à « quelles pages portent ces mots ». N’exécuter que la plus stricte transforme un hadith authentique en « introuvable » — ce qui, dans ce domaine, constitue une autre forme d’affirmation fausse.

Les vrais utilisateurs ne tapent pas des mots-clés

Nous avons extrait 2 832 questions réelles de la production et exécuté la couche de recherche sur l’ensemble. L’échec dominant était le ET strict : chaque jeton de la requête devait figurer quelque part sur une même page.

صفة صلاة الوتر correspond à 406 pages. وكيفيتها correspond à 873 pages. Les quatre mots ensemble : zéro.

La bibliothèque contient la réponse. C’est la forme de la question qui la masquait. Sur 18 requêtes de fiqh réalistes formulées en phrases, 10 ne renvoyaient rien. Sur 30 questions réelles de production, 5 également.

Nous avons corrigé cela dans la couche d’index plutôt qu’en rognant les mots de l’utilisateur, car Lucene peut pondérer d’un coup tous les sous-ensembles de la requête, tandis qu’une heuristique doit deviner quel mot sacrifier — et elle devine mal. Retirer par ordre d’apparition fait perdre اليهودية dans une question sur les Khazars. Retirer le terme le plus rare coupe ابن سينا en ابن. À la place, la recherche abaisse elle-même son exigence, cran par cran, et s’arrête au plus grand nombre de mots de l’utilisateur qu’une page porte réellement, puis signale qu’elle a relâché la contrainte, afin que la réponse puisse être étiquetée comme correspondance approchée et non exacte.

Taux de résultats nuls sur ces 30 questions réelles : 5/30 → 0/30. Une question tapée witr prhne ka traika — de l’ourdou en caractères latins, sans diacritiques, sans un seul caractère arabe — est passée de rien à neuf sources, menées par al-Bidâya et al-Fatâwâ al-Hindiyya.

L’amélioration sophistiquée qui a surtout empiré les choses

La bibliothèque est livrée avec une analyse morphologique de l’arabe. L’activer globalement paraissait manifestement juste, et ne l’était pas :

Requête	Sans morphologie	Avec morphologie
مس الذكر ينقض الوضوء	566 résultats, bon manuel de fiqh en tête, 17 ms	4 362 résultats, ouvrages de théorie en tête — pire
حكم الوضوء من أكل لحم الجزور	0 résultat	159 résultats, les bons manuels — sauvé, 467 ms

La morphologie élargit le rappel et détruit le classement. Ce n’est donc pas un réglage, c’est un recours. D’abord la recherche simple ; la morphologie uniquement pour transformer un vide en quelque chose.

Quelle édition ?

Revenons à cette ligne collée : AL-MUGHNI BY IBN QUDAMAH VOL.4, PG.405.

Deux pièges ici, et aucun n’est visible tant qu’on ne sonde pas les données elles-mêmes.

Un ouvrage n’est pas une édition. al-Mughnî existe dans cette bibliothèque en plusieurs impressions, et la pagination est précisément ce qui les distingue. La page 4/405 dans Lire cette page: ط مكتبة القاهرة traite d’une vente conditionnée à la construction ou à la plantation. La page 4/405 dans Lire cette page: ت التركي traite d’une maladie qui s’aggrave. Texte différent, même coordonnée. Choisir l’édition la mieux classée revient à tirer à pile ou face en y attachant une citation — chaque impression est donc ouverte et nommée, et lorsqu’une page ne peut être résolue, c’est signalé comme un échec plutôt que remplacé en silence.

Les pages imprimées ne sont pas les pages de la base. Les identifiants de page internes ne correspondent pas un à un aux numéros de page imprimés. Dans ط السلطانية de Bukhârî, le rapport tourne autour de huit identifiants internes par page imprimée. Un résolveur qui avance d’un identifiant à la fois dérive hors de la plage et déclare manquante une page qui existe bel et bien. Corriger selon la pente que révèlent les échantillons, plutôt que par un pas fixe, règle le problème.

Le résultat négatif s’est révélé la production la plus précieuse de tout cela. « Cette formulation ne se trouve pas dans al-Mughnî » n’est énonçable que parce que la recherche a été confinée à al-Mughnî.

Le pire échec que nous ayons produit

C’est celui qui a changé l’architecture.

Invité à vérifier une citation fabriquée attribuée à al-Muwatta’, l’assistant a répondu INTROUVABLE — ce qui était correct — puis a assorti cette réponse de trois pages authentiques d’al-Muwatta’.

Chaque référence était réelle. Chaque numéro de page tombait juste. Auditez n’importe laquelle : elle passe. La conclusion restait pourtant non démontrée, et les trois références réelles la faisaient paraître davantage vérifiée qu’une simple affirmation ne l’aurait fait.

La cause n’était pas une mauvaise consigne. C’était un résultat jeté. La recherche par expression qui établissait réellement l’absence n’a rien renvoyé, elle a donc été écartée ; la recherche par jetons de secours a renvoyé des pages voisines ; et le modèle a déduit l’absence de leur silence.

Une recherche infructueuse est une preuve. L’écarter tout en conservant les quasi-résultats du recours est la façon dont une réponse correcte finit étayée par de mauvaises raisons.

Ce qu’est devenue l’architecture

Trois idées, par ordre croissant d’effet.

1. Un registre, pas une consigne

Chaque passage récupéré au cours d’un tour est enregistré côté serveur sous un identifiant. Le modèle écrit [S2]. Il n’écrit jamais un titre d’ouvrage, une édition ou un numéro de page — ceux-ci sont résolus depuis le registre après coup et rendus dans la fiche de citation.

Demander gentiment à un modèle de ne pas inventer de numéros de page, c’est une consigne. Lui retirer la capacité d’en écrire un, c’est une architecture. Ces champs lui sont structurellement inaccessibles.

2. Les entrées d’outil peuvent être refusées ; un texte diffusé ne se rattrape pas

Le corps de la réponse est diffusé au lecteur jeton par jeton. Rien ne peut le reprendre : tout ce qu’on applique ensuite à cette prose est donc un plafond de dégâts, non une prévention — et nous le documentons ainsi, car appeler garantie une simple atténuation serait à son tour une surenchère.

Mais la liste des citations, elle, n’est pas diffusée. Elle arrive sous forme d’arguments d’un dernier appel d’outil, et des arguments peuvent être rejetés avant qu’un lecteur ne les voie. Une citation dont le registre n’a jamais émis l’identifiant est refusée d’emblée. La conséquence est délibérée et un peu rude : un tour non adossé n’affiche aucune fiche de source, plutôt que des fiches d’apparence plausible.

3. Les tours sans preuve étaient les tours sans règles

Ce fut la prise de conscience décisive, et nous n’y serions jamais parvenus par le raisonnement — seulement en lisant les journaux.

Toute notre discipline de citation était conditionnée à la présence d’une preuve récupérée. Autrement dit, les tours les plus susceptibles de fabriquer — une salutation, une panne, une question à laquelle la bibliothèque ne pouvait pas répondre — étaient les seuls que rien ne régissait.

Pire, un tour qui cherchait sans rien trouver retombait sur les instructions générales, lesquelles s’ouvrent par « Réponds à partir de tes connaissances générales. » Le modèle ne contournait pas le contrôle des preuves. Il obéissait à une instruction. Directement tiré de la base : invité à localiser une formulation précise dans un ouvrage nommé, il a signalé l’échec honnêtement, puis a écrit « Cela dit, pour répondre à votre question en termes de connaissances générales : » et fourni l’attribution malgré tout.

Il y a désormais trois voies là où il y en avait deux : adossée, non adossée par conception (salutations, questions d’accompagnement) et recherché-et-rien-trouvé — une situation différente de celle où l’on n’a jamais cherché, et qui doit le dire explicitement.

Ce qui ne fonctionne toujours pas

Ne publier que les réussites serait exactement l’échec dont traite tout cet article.

• La prose libre reste un plafond. Les fiches de citation ne peuvent pas être falsifiées. Les phrases du corps de la réponse, elles, peuvent encore porter une attribution que la recherche n’a pas méritée. Nous nettoyons les motifs évidents et nous disons clairement que ce nettoyage est une atténuation. Le nettoyage lui-même a d’abord échoué, de façon instructive : reconnaître روى et أخرج comme marqueurs d’attribution détruisait quatre phrases légitimes sur cinq, car ce sont des verbes arabes ordinaires — jusqu’à ce qu’on exige la présence d’un nom de recueil réel.
• Le sourçage du récit est en retard sur celui des champs. Sur une comparaison des quatre écoles, la position malikite provenait d’une annotation logée dans un ouvrage hanafite. Le contrôle de vérification par école l’a détecté — et le modèle a contourné le contrôle dans la prose. Soumettre le récit aux mêmes règles d’éligibilité que les champs vérifiés reste un chantier ouvert.
• La couverture n’est pas uniforme, et prétendre le contraire serait la même faute. L’index de références croisées des hadiths, dans cette installation, couvre exactement dix ouvrages. Sur les huit recueils de référence, deux seulement — al-Bukhârî et al-Tirmidhî — possèdent des entrées. Le takhrîj inter-recueils ne pourra jamais aboutir hors de ces dix, si pertinente que soit une page.
• Tout ce que contient la bibliothèque n’est pas citable. Une part notable est paginée par le logiciel plutôt que par une édition publiée : ces numéros de page ne renvoient à rien que l’on puisse sortir d’une étagère. Ces ouvrages sont entièrement exclus de la citation.

Si vous construisez cela pour un autre corpus

Juridique, médical, scripturaire — voici les éléments transposables :

1. Le classement n’est pas l’autorité. Délimitez chaque requête. Un index général vous tendra un poème à la place d’un manuel de droit, en toute confiance, et cela ressemblera exactement à un bon résultat.
2. Rendez la fabrication structurellement impossible, pas seulement déconseillée. Si le modèle peut produire un numéro de page, il finira par le faire. Retirez-lui le champ et résolvez-le côté serveur.
3. Refusez aux entrées d’outil, pas dans la prose diffusée. Tout ce que vous ne pouvez corriger qu’après affichage relève de l’atténuation. Concevez le système pour que les champs dangereux arrivent quelque part où l’on peut les refuser.
4. Les recherches infructueuses sont des résultats. Transmettez-les. Les jeter, c’est ainsi que des conclusions correctes acquièrent de mauvaises preuves.
5. Régissez les tours vides. Le moment sans preuve récupérée est celui où la liberté est la plus grande, et c’est en général celui pour lequel personne n’a écrit de règle.

Et une leçon qui ne relève pas du tout de l’ingénierie : pas un seul défaut mentionné dans cet article n’a été trouvé en lisant le code. Chacun d’eux a émergé en sondant la bibliothèque vivante avec de vraies questions et en confrontant le résultat à la page imprimée. Pendant tout ce temps, le système passait la vérification de types sans une erreur et ses tests unitaires réussissaient.

Les réponses adossées aux sources sont en ligne sur qurangallery.com/chat. Si vous trouvez une citation qui ne tient pas, dites-le-nous : être vérifiable, c’est tout l’objet de la démarche.

Qu’Allah ﷻ nous préserve de parler de Sa religion sans science.