Un LLM ne sait pas ce qu'il ne sait pas. Face à une question, il ne cherche pas une réponse dans une base de faits vérifiés : il produit, token par token, la continuation la plus plausible compte tenu de son entraînement. Ce fonctionnement explique déjà l'essentiel — mais il ne dit pas pourquoi cette mécanique, appliquée à un fait absent ou mal appris, débouche systématiquement sur une réponse inventée plutôt que sur un silence ou un aveu d'ignorance. C'est cette question-là que cet article creuse : pas « qu'est-ce qu'une hallucination », mais pourquoi le procédé d'entraînement d'un LLM la rend quasiment inévitable.
Ce qu'un LLM optimise réellement
Le pré-entraînement consiste à minimiser l'écart entre la distribution de probabilité que le modèle produit pour le prochain token et le token qui apparaît réellement dans le corpus, sur des milliards d'exemples. Rien dans cet objectif ne distingue « je connais ce fait » de « je devine ce qui ressemble à ce fait ». Le format même de la tâche — prédire un token, toujours un token, jamais un blanc — interdit structurellement l'abstention : le modèle doit répartir sa masse de probabilité sur l'ensemble du vocabulaire, quoi qu'il en soit de sa connaissance réelle du sujet.
Pour un fait répété des milliers de fois, dans des formulations variées et cohérentes entre elles, le gradient d'entraînement converge fortement vers la bonne réponse : la distribution finit par se concentrer presque entièrement sur le bon token. Pour un fait rare, absent, ou contradictoire selon les sources du corpus, ce même mécanisme ne s'arrête pas pour autant — il produit une distribution plus diffuse, étalée sur plusieurs continuations de forme plausible. Le modèle ne « sait » pas qu'il patine : il sélectionne simplement la continuation la plus probable compte tenu de tout ce qu'il a vu, et cette continuation a l'apparence d'une réponse assurée, qu'elle soit vraie ou non.
Le renforcement aggrave le problème
L'instruction-tuning et le RLHF qui suivent le pré-entraînement pourraient corriger ce biais en récompensant l'aveu d'incertitude. En pratique, c'est rarement le cas. Un humain qui note une réponse ne peut généralement pas vérifier un fait obscur sur-le-champ ; il juge sur la forme — assurance, fluidité, exhaustivité apparente — et une réponse complète mais fausse est structurellement mieux notée qu'un « je ne sais pas » perçu comme peu utile. Le modèle de préférence entraîné sur ces jugements humains apprend la même chose : mieux vaut une réponse confiante, vraie ou non, qu'un aveu d'ignorance.
C'est le même mécanisme d'incitation qu'un examen à choix multiples noté « bonne réponse = point, mauvaise réponse = zéro, case blanche = zéro » : deviner domine toujours l'abstention dès qu'il existe la moindre chance d'avoir raison, même infime. Le widget ci-dessous rend ce calcul explicite.
Avec une pénalité nulle pour une mauvaise réponse — le barème le plus courant en évaluation de LLM, une réponse jugée juste ou fausse sans intermédiaire — deviner rapporte toujours plus que s'abstenir, quel que soit le nombre d'options. Un modèle évalué et récompensé de cette façon, à l'entraînement comme lors des benchmarks qui orientent la recherche, apprend mécaniquement à ne jamais dire « je ne sais pas ». Le problème n'est pas seulement une lacune de connaissance : c'est aussi un problème d'incitation, qui persiste même quand la connaissance manque de façon évidente pour le modèle.
Deux familles d'hallucination, deux causes distinctes
Toutes les hallucinations ne viennent pas du même endroit, ce qui explique pourquoi aucun correctif isolé ne les élimine :
La première — paramétrique — vient du mécanisme décrit plus haut : un fait absent ou mal représenté dans les poids, sans aucun contexte externe pour compenser. La seconde — de fidélité — est différente et plus déroutante : elle survient alors même que la bonne information figure dans le contexte donné au modèle, via du RAG ou le résultat d'un tool. Le modèle ne manque de rien ; il n'accorde simplement pas, au moment de générer, le même poids à cette information qu'à ce que ses propres paramètres suggèrent — un défaut de l'attention portée au contexte plutôt qu'une lacune de savoir.
Ce que chaque correctif corrige — et ce qu'il ne corrige pas
| Technique | Corrige | Ne corrige pas |
|---|---|---|
| RAG | hallucination paramétrique sur des faits présents dans la base documentaire | hallucination de fidélité — le modèle peut encore ignorer le contexte récupéré |
| Tool use (calculatrice, API) | erreurs sur du calcul ou des données qui changent vite, déléguées à un système déterministe | raisonnement erroné en amont ou en aval de l'appel |
| Température basse / greedy | variance d'une génération à l'autre | le fait que la distribution elle-même pointe vers une réponse fausse sur un sujet mal connu |
| Vote majoritaire (self-consistency) | erreurs de raisonnement instables d'un échantillon à l'autre | un biais systématique que le modèle reproduit de façon cohérente à chaque tirage |
| Citation forcée + vérification | hallucination de fidélité, en rendant l'écart entre réponse et source détectable | hallucination paramétrique si aucune source pertinente n'existe dans le contexte |
Ce que la taille ne résout pas
Un modèle plus grand, entraîné sur davantage de données, réduit l'hallucination paramétrique sur les faits qui reviennent souvent dans son corpus — mécaniquement, un fait mieux et plus souvent représenté produit une distribution plus piquée. Mais à la marge, un modèle plus grand reste confronté à des faits rares, contradictoires ou postérieurs à sa coupure d'entraînement, pour lesquels la même dynamique de forçage à répondre s'applique — sans qu'aucune échelle ne fasse disparaître un objectif d'entraînement qui ne récompense pas l'aveu d'ignorance. Un modèle bien calibré — dont la confiance affichée reflète une fiabilité réelle plutôt qu'une simple fluidité de surface, propriété qu'on appelle la calibration — resterait rare quelle que soit la taille, tant que l'incitation à l'entraînement et à l'évaluation continue de préférer une réponse fausse à une absence de réponse.
FAQ
Un modèle plus gros hallucine-t-il moins ?
Sur les faits fréquents dans son corpus, oui — la distribution de probabilité converge davantage vers la bonne réponse. Sur les faits rares, contradictoires ou récents, l'écart se réduit peu : le mécanisme qui force le modèle à toujours produire une continuation reste identique, quelle que soit la taille.
Le RAG élimine-t-il les hallucinations ?
Il réduit fortement l'hallucination paramétrique en fournissant les faits pertinents dans le contexte plutôt que de compter sur la mémoire du modèle. Il ne garantit pas que le modèle utilise correctement ce contexte au moment de générer — c'est l'hallucination de fidélité, un problème distinct.
Passer la température à 0 empêche-t-il d'halluciner ?
Non. La température agit sur le tirage à l'intérieur d'une distribution déjà fixée ; à température nulle, le modèle prend systématiquement le token le plus probable — mais si cette distribution pointe elle-même vers une réponse fausse sur un sujet mal connu, réduire la variance ne corrige rien.
