Reconnaissez les cinq façons courantes dont une réponse fluide peut être fausse. Pour chacune, déterminez si plus de contexte dans la requête suffit, ou s’il faut une vérification externe au modèle.
Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 45 minutes
La probabilité comme proportion de cas, vue dans Événements et incertitude du cours Mathématiques et statistiques essentielles pour l’IA.
Les 24 billets de soutien de test de Larkfield (S01 à U03) et sa politique de soutien en huit règles. Le module 4 les présente dans Les 24 billets de Larkfield, avec la politique complète. Cette leçon cite les passages nécessaires.
Ce qu’il vous faut
Un navigateur. Rien à installer.
Les modèles hébergés changent souvent : vos résultats seront différents.
Un nouveau collègue se joint à l’équipe de soutien. Il écrit vite, reste poli et répond toujours avec assurance. Dès la première semaine, Grace remarque une tendance. Quand il connaît la réponse, elle est bonne. Quand il ne la connaît pas, il répond quand même, avec la même assurance. Il ne dit jamais « Je ne sais pas ».
Grace ne se contente pas de lui dire « Fais plus attention ». Elle lui donne les bons documents. Puis elle vérifie ses réponses sur les sujets où il devine.
Un modèle de langage ressemble à ce collègue. Pendant l’entraînement, sa tâche était d’écrire le prochain jeton (token) le plus probable. Il écrit donc toujours quelque chose de fluide. Un texte fluide ne prouve pas que son contenu est vrai.
Voici une réponse de Gemma 3 4B au billet S06 : « Le manche de mon sécateur s’est cassé après 4 mois d’utilisation normale. Est-ce couvert? » La requête contenait la politique. La règle 4 dit : « Les outils de jardinage et les meubles ont une garantie de 2 ans contre les défauts. »
Thank you for contacting Larkfield support. While our garden tools have a 2-year warranty
against defects, normal wear and tear, misuse, and rust are not covered. As the handle broke
after 4 months of use, this falls outside of the warranty period.
La réponse est polie et cite correctement la politique. Puis elle affirme que 4 mois dépasse une période de 2 ans. Si un agent pressé lit seulement les deux premières phrases, le client reçoit un refus erroné. Rien dans le texte ne vous avertit. Pour corriger ce genre d’erreur, vous devez d’abord savoir de quel type d’erreur il s’agit.
Cinq façons dont une réponse fluide peut être fausse
Une hallucination est une sortie qui présente quelque chose comme un fait absent de l’entrée et qui est faux. On appelle aussi cela une fabrication. Le modèle ne recherche pas les faits; il poursuit le texte avec des jetons probables. « Un membre de notre équipe vous contactera dans les 24 heures » est une phrase très probable dans une réponse de soutien. Gemma 3 4B l’a donc écrite pour les billets S03 et S04, ainsi que dans le test avec photo. La politique de Larkfield ne promet aucun délai de 24 heures.
Certaines fabrications contredisent la requête. Mistral 7B a répondu au client du billet S02, qui avait acheté un tuyau il y a 10 jours : « Malheureusement, vous avez dépassé la période de retour de 20 jours. » D’autres comblent un manque. Sans la politique dans la requête, Gemma 3 4B a inventé une règle pour S06 : « Notre garantie ne couvre pas les bris dus à une utilisation normale. »
La date limite des données d’entraînement est la date du texte le plus récent dans les données d’entraînement du modèle. Le modèle ne connaît rien après cette date. Il ne connaît pas non plus la date d’aujourd’hui, sauf si la requête la précise. Amira a demandé aux deux petits modèles locaux : « Quel est le modèle Claude le plus récent d’Anthropic, et combien coûte-t-il par million de jetons d’entrée? »
Gemma 3 4B: As of today, November 2, 2023, the newest Claude model is Claude 3 Opus. Pricing for
Claude 3 Opus is $0.001 per million input tokens, with a minimum charge of $0.50 for the first
million tokens.
Mistral 7B: As of my last update, the newest Claude model from Anthropic is Claude-3, which was
announced in May 2023. The cost per million input tokens for Claude-3 is not publicly disclosed.
Les deux ont plusieurs années de retard, et Gemma 3 4B a inventé « aujourd’hui » et un prix. Mistral 7B a au moins précisé « à ma dernière mise à jour ». Les fournisseurs publient cette date limite. Pour Claude Haiku, Sonnet et Opus 5.5, la présentation des modèles d’Anthropic indique une « date limite des connaissances fiables » de juin 2026. La politique de Larkfield ne figure dans aucune donnée d’entraînement, ancienne ou récente.
Certains billets ne contiennent pas assez d’information pour permettre une seule bonne réponse. Le billet A02 compte trois mots : « Je veux annuler ». Annuler quoi : une commande, un retour, un compte? Claude Haiku 5.5 l’a bien traité. Sa raison : « Le billet demande une annulation, et la politique ne contient aucune règle sur les annulations. Il faut donc transmettre le billet à une personne. » Mistral 7B a deviné : « Nous vous contacterons bientôt pour vous aider à annuler votre commande », et l’a classé dans les retours. Cette supposition est peut-être juste. Mais le modèle ne peut pas le savoir, et le client détient les faits nécessaires.
Dans Prédire la suite, vous avez vu que le modèle échantillonne chaque jeton à partir d’une distribution de probabilités. À une température supérieure à 0, une même requête peut produire une réponse différente chaque fois. Dans l’exemple suivi de cette leçon, Gemma 3 4B a répondu cinq fois au billet S01, en retard de 7 jours ouvrables, à une température de 0,8. L’étiquette needs_human (intervention humaine nécessaire) n’a jamais changé. Mais quatre réponses ont appliqué la mauvaise règle des 15 jours pour une commande « perdue ». Une seule a correctement offert la livraison gratuite.
Le même test a montré une tendance selon la langue. Le billet S01 (anglais, 7 jours de retard) a obtenu needs_human à faux dans les cinq essais. Le billet S07 (français, 8 jours de retard) a obtenu vrai dans les cinq essais. Les cas sont presque identiques; la langue semble donc changer la décision. Deux billets ne prouvent pas un biais. Mais ils montrent ce que le module 4 doit tester avec plus de billets.
Une température de 0 fait répéter la même réponse à la plupart des modèles, mais certains ne l’acceptent pas. Les modèles Claude actuels rejettent le réglage de température avec une erreur.
Changer les mots sans changer les faits peut modifier la réponse. Amira a rédigé le billet S01 de cinq façons, avec la même commande, les mêmes 7 jours et la même politique. Par exemple : « La commande L-20431 a 7 jours ouvrables de retard. Quelles sont mes options? » et « Déjà 7 jours ouvrables de retard pour la commande L-20431. Pas content. Qu’allez-vous faire? » Elle a testé chaque formulation à une température de 0, ou avec le réglage par défaut sur Claude. Le tableau montre needs_human (faux est correct) et si la réponse applique la bonne règle : livraison gratuite, pas commande « perdue ».
Modèle
Formulation 1
2
3
4
5
Claude Haiku 5.5
faux, bonne règle
faux, bonne
faux, bonne
faux, bonne
faux, bonne
Gemini 3.5 Flash
faux, bonne règle
faux, bonne
faux, bonne
faux, bonne
faux, bonne
Mistral 7B
vrai, bonne règle
faux, bonne
vrai, bonne
vrai, bonne
vrai, bonne
Gemma 3 4B
faux, perdue
faux, perdue
vrai, mélange
faux, mélange
vrai, perdue
Dans le tableau, « perdue » signifie que la réponse applique la règle des 15 jours pour les commandes perdues. « Mélange » signifie qu’elle promet la livraison gratuite et un remplacement. Les deux modèles hébergés ont donné la même décision pour les cinq formulations. Les deux petits modèles ont changé leur décision selon la formulation. Gemma 3 4B n’a jamais appliqué uniquement la règle de livraison gratuite. Sur un deuxième cas, le sécateur acheté il y a 4 mois, Gemini 3.5 Flash a aussi changé d’avis une fois. Il a mis needs_human à faux pour quatre formulations et à vrai pour la plus courte : « Sécateur, acheté il y a 4 mois, utilisation normale, manche cassé. Que faire? »
Revoyez la limite de la mémoire présentée dans la première leçon de ce module. Pour chaque mauvaise réponse, posez une question : tous les faits nécessaires à la réponse étaient-ils dans la requête?
Si non, le modèle a dû deviner. Donnez-lui le fait : collez la politique, renvoyez l’historique, transmettez la date et les prix actuels par récupération, ou demandez au client. C’est plus de contexte.
Si oui, et que la réponse reste fausse, ajouter le même contexte ne servira à rien. Il faut détecter l’erreur après la réponse : une vérification externe. Ce peut être une règle dans le code : l’étiquette de langue correspond-elle à la réponse? Ce peut être une deuxième source, comme la page des prix elle-même. Ou une personne, comme Camille ou Grace.
Une question permet de classer la plupart des échecs. Les faits manquants exigent plus de contexte; les erreurs malgré les faits exigent une vérification externe au modèle.Description textuelle du diagramme
Une réponse fausse ou douteuse mène à une question : tous les faits nécessaires à la réponse étaient-ils dans la requête? Si non, la solution est plus de contexte : collez la politique, renvoyez l’historique ou demandez au client. Si oui, la solution est une vérification externe : une règle dans le code, une deuxième source ou une personne. Une flèche pointillée portant l’étiquette « encore faux » va de « plus de contexte » à « vérification externe ». Quand le contexte est complet et que la réponse reste fausse, il vous faut aussi la vérification.
Appliquez cette règle aux cinq types. Les connaissances dépassées et l’ambiguïté viennent généralement de faits manquants. Plus de contexte les corrige, à partir d’un document ou du client. La fabrication peut relever des deux catégories. Gemma 3 4B a inventé une règle de garantie quand la politique manquait, et l’a contredite quand elle était présente. L’incohérence et la sensibilité à la formulation surviennent avec un contexte complet. Elles exigent donc une vérification.
Omar demande : « Alors, pourquoi ne pas toujours ajouter une vérification? » Les vérifications ont aussi un coût : du code à écrire ou le temps d’une personne. Grace utilise les deux, dans l’ordre. D’abord, elle complète le contexte, ce qui coûte peu et aide pour chaque billet. Puis elle ajoute des vérifications là où une erreur coûte cher : remboursements, menaces juridiques et réponses en français, jusqu’à ce que Camille leur fasse confiance.
Chaque fiche ci-dessous présente une vraie sortie des tests de Larkfield. Lisez l’entrée, ce que le modèle avait et la sortie. Puis choisissez la solution.
Explorer
Plus de contexte ou une vérification externe?
Prédisez d’abord : Pour combien de ces 8 vrais échecs prévoyez-vous que plus de contexte suffira : la plupart, environ la moitié ou quelques-uns?
Votre classement pour cet échec
Classés
0 sur 8
D’accord avec le corrigé
0 sur 0
Échec 1 sur 8 : lisez-le, puis choisissez un groupe.
Échec 1 sur 8 Gemma 3 4B (local)
Entrée
The handle of my pruning shears broke after 4 months of normal use. Is this covered?
Le modèle avait
La politique complète. Règle 4 : les outils de jardin ont une garantie de 2 ans contre les défauts.
Sortie (extrait)
As the handle broke after 4 months of use, this falls outside of the warranty period.
Corrigé : Il faut une vérification externe.Invention. La règle des 2 ans était dans la requête, et le modèle l’a quand même contredite. Plus du même contexte ne peut pas corriger une erreur de lecture. Une vérification par rapport à la politique, par une personne ou par un test dans le code, le peut.
Source : runs/ollama_gemma3-4b.jsonl#S06
Huit vraies sorties erronées tirées des tests enregistrés. Choisissez une catégorie pour chacune; le corrigé et la raison s'affichent ensuite.Description textuelle de l’explorateur
L’explorateur montre un échec à la fois, avec l’entrée, le contenu de la requête et la partie erronée de la sortie. Deux boutons permettent de choisir la catégorie : « Plus de contexte aiderait » ou « Il faut une vérification externe ». Après votre choix, le corrigé et la raison apparaissent. « Précédent » et « Échec suivant » permettent de passer d’une fiche à l’autre. Un compteur indique les fiches classées et les choix qui correspondent au corrigé. La réponse à la prédiction : quelques-uns, soit 3 sur 8.
Les huit échecs et leurs réponses :
1. Fabrication (Gemma 3 4B (local)). Input: "The handle of my pruning shears broke after 4 months of normal use. Is this covered?" The model had: The full policy. Rule 4: garden tools have a 2-year warranty against defects. Output: As the handle broke after 4 months of use, this falls outside of the warranty period. Corrigé : needs an outside check. The 2-year rule was in the request, and the model still contradicted it. More of the same context cannot fix a misreading. A check against the policy, by a person or by a test in code, can.
2. Missing context (Gemma 3 4B (local)). Input: "The handle of my pruning shears broke after 4 months of normal use. Is this covered?" The model had: No policy: the request said "(no policy given)". Output: Our warranty does not cover breakage due to normal use. Corrigé : more context would help. The request held no policy, so the model made a rule up. Put the policy in the request first. With it, Claude Haiku 5.5 and Gemini 3.5 Flash named the 2-year warranty.
3. Outdated knowledge (Gemma 3 4B (local)). Input: "Which is the newest Claude model from Anthropic, and what does it cost per million input tokens? Answer in two sentences." The model had: Only the question. No date, no price page. Output: As of today, November 2, 2023, the newest Claude model is Claude 3 Opus. Pricing for Claude 3 Opus is $0.001 per million input tokens Corrigé : more context would help. The model only knows its training data, so it gives an old answer and invents a price. Put today's facts in the request, for example the current price page through retrieval, and keep the link to the source.
4. Ambiguity (Mistral 7B (local)). Input: "Je veux annuler." The model had: The full policy. The ticket does not say what to cancel. Output: Nous vous contacterons bientôt pour vous aider à annuler votre commande. Corrigé : more context would help. The model guessed that the customer means an order ("votre commande") and filed it as a return. The missing fact is with the customer: ask what they want to cancel, or let a person ask.
5. Inconsistency (Gemma 3 4B (local), temperature 0.8, 5 runs). Input: "My order L-20431 was supposed to arrive last week. It is now 7 business days late. What can you do?" The model had: The full policy, the same request 5 times. Output: Four runs: "orders over 15 business days late are treated as lost" (or "considered lost"), so a replacement or a refund. One run: "we can offer you free shipping on the order." Corrigé : needs an outside check. The same request gave different rules: only one run of five (seed 2) is right. The context was complete. Catch it with a check: compare the reply with the rule for 7 days, or run the request more than once and compare.
6. Wording sensitivity (Gemini 3.5 Flash). Input: "Pruning shears, bought 4 months ago, normal use, handle broke. What now?" The model had: The full policy. Four other wordings of the same facts. Output: needs_human: true. For the other four wordings: needs_human: false. Corrigé : needs an outside check. The facts and the policy were the same in all five wordings; only the style changed. Test several wordings before launch, and route tickets with a check that does not depend on style.
7. Fabrication from an image (Gemma 3 4B (local)). Input: "My order arrived today and the ceramic pot inside is broken. Photo attached. (Photo: a crushed, closed box.)" The model had: The full policy and the photo. Output: The photo shows a broken ceramic pot sitting on a doorstep next to a front door. Corrigé : needs an outside check. The pot is not in the photo: the model took it from the text. Nothing more can be added to the request. A person must look at the photo before a refund.
8. Wrong label (Gemma 3 4B (local)). Input: "Bonjour! Quick question in English please: can I return seeds I don't need?" The model had: The full policy. Rule 7: answer in the language of the customer. Output: "language": "fr", "reply": "Bonjour! Unfortunately, seeds cannot be returned as part of our return policy. …" Corrigé : needs an outside check. The customer asked for English, and the reply is in English, but the label says French. A small check in code (does the label match the reply's language?) catches it every time.
Seulement 3 cas sur 8 exigeaient plus de contexte : la politique manquante, la date et les prix manquants, et le détail manquant du client. Les 5 autres sont survenus alors que tous les faits étaient dans la requête. Voilà pourquoi un bon assistant a besoin des deux : un contexte complet et des vérifications.
Erreur courante
Prendre une sortie fluide pour une sortie correcte
Symptôme : Tomás lit dix réponses du test et dit : « Elles ont toutes l’air professionnelles. Le modèle est prêt. » L’une d’elles est la réponse sur le sécateur ci-dessus, qui refuse une demande de garantie valide.
Cause : la fluidité et l’exactitude sont deux choses différentes. Le modèle a appris à écrire un texte qui ressemble à une bonne réponse de soutien. Il n’a pas appris à vérifier une réponse selon la politique de Larkfield. Il ne signale pas non plus ses incertitudes. Les cinq types d’erreurs de cette leçon avaient le même style assuré que les bonnes réponses.
Solution : jugez chaque réponse selon les faits, pas le style. Comparez-la à la politique et au corrigé (le module 4 construit une grille pour cela). Complétez d’abord le contexte. Puis ajoutez une vérification là où une erreur coûterait cher.
Ce que cela signifie pour un vrai service d’IA : une réponse fluide montre que le modèle sait écrire. Seule une vérification des faits montre que la réponse est correcte.
Exemple détaillé. Prenez le test avec photo de la dernière leçon. Gemma 3 4B a écrit : « La photo montre un pot en céramique cassé sur un seuil, à côté d’une porte d’entrée. » Posez la question : le fait était-il dans la requête? Oui : la photo était dans la requête, et elle montre une boîte fermée, pas un pot. Plus de contexte ne peut donc pas corriger cela; il faut une vérification externe. Le type est la fabrication : le modèle a tiré le pot du texte du billet. La vérification : une personne regarde la photo avant tout remboursement.
À vous. Classez les six sorties ci-dessous. Pour chacune, écrivez en une phrase le type de problème, la catégorie (plus de contexte ou vérification externe) et la solution. L’une d’elles n’est peut-être pas un échec.
1. Mistral 7B (local). Input: "Hi, I want to return a garden hose I bought 10 days ago. I never opened it. How does it work?" The model had: The full policy. Output: "Unfortunately, you've exceeded the return period by 20 days."
2. Mistral 7B (local). Input: "I was charged twice for the same order this morning. Please fix this." The model had: No policy. Output: "We will investigate the issue and refund the duplicate charge as soon as possible."
3. Claude Haiku 5.5. Input: "OK. And if it still has not come next week, can I get my money back instead?" The model had: The policy and this message only (no earlier messages). Output: "If you tell us your order number, we can check how late it is."
4. Gemma 3 4B (local). Input: "Je voudrais retourner une chaise de jardin achetée il y a deux semaines. Elle n'a jamais servi." The model had: The full policy. Output: "Veuillez noter que les plantes et les graines ne peuvent pas être retournées."
5. Gemma 3 4B (local). Input: "Le râteau que j'ai reçu n'est pas celui que j'ai commandé. J'ai pris une photo. Je l'ai reçu avant-hier." The model had: The full policy. Output: "… pour trouver une solution. Thank you for your patience."
6. Gemini 3.1 Pro (preview). Input: "The plant I got looks sad. Is that normal?" The model had: The full policy. Output: "I am unable to determine if its condition is normal based on our current policy. A human representative will contact you shortly to assist you further."
Réponse modèle
1. Fabrication: outside check. Ten days is inside the 30-day return window, which was in the request. The model invented a number. Check the reply against the policy.
2. Missing context: more context. Without the policy, the model cannot know the promise of 3 business days (rule 5). Add the policy; then check that the reply names the 3 days.
3. Missing history: more context. The order number and the delay were in the earlier message, which the application did not resend. Resend the history.
4. Fabrication (wrong rule): outside check. A garden chair is not a plant or seeds. The right rule (30 days, full refund) was in the request. Check the reply against the policy.
5. Language error: outside check. A French reply ends with an English sentence. Rule 7 was in the request. A language check in code, or Camille's review, catches it.
6. Not a failure: no fix needed. This is a correct abstention: the policy does not say what a "sad" plant means, so the model says so and sends the ticket to a person. needs_human is true, as the answer key says.
Si vous avez classé l’élément 2 dans « vérification externe », regardez encore : la politique manquait. La première solution est donc le contexte. Vérifier que la réponse mentionne « 3 jours ouvrables » est une bonne deuxième étape.
Rappel : nommez les quatre types de mémoire de ce module. Pour chacun, dites si le modèle ou l'application le contrôle.
Afficher la réponse
Les poids sont dans le modèle : l’entraînement les a définis, et rien ne les change ensuite. La fenêtre de contexte est la limite d’une requête; l’application décide ce qu’elle y met. L’application contrôle l’historique de l’application : elle conserve les échanges précédents et les renvoie. L’application contrôle aussi la récupération : elle cherche dans ses documents et colle le passage pertinent dans la requête.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Prédiction : Grace colle la politique complète dans chaque requête à Gemma 3 4B. Quelles erreurs de cette leçon devraient disparaître, et lesquelles resteraient? Appuyez-vous sur les résultats des tests.
Afficher la réponse
Les erreurs causées par une politique manquante disparaissent, comme la règle inventée « Notre garantie ne couvre pas les bris dus à une utilisation normale ». Les erreurs faites avec la politique présente restent. Dans les essais enregistrés, chaque requête contenait la politique. Gemma 3 4B a quand même affirmé que 4 mois dépasse une garantie de 2 ans. Il a aussi promis « dans les 24 heures ». Il a encore appliqué la règle des 15 jours pour une commande « perdue » à un retard de 7 jours dans quatre essais sur cinq. Ces erreurs exigent une vérification externe.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Vérification finale : Omar dit que les réponses se lisent si bien qu'une personne n'a plus besoin de les vérifier. Expliquez-lui pourquoi une sortie fluide ne prouve pas qu'une réponse est correcte, avec un exemple des tests.
Afficher la réponse
L’entraînement a appris au modèle à poursuivre le texte avec des jetons probables. Il écrit donc un texte fluide et assuré, que les faits soient justes ou non. Il n’a aucun signal intégré qui dit « cette partie est une supposition ». Par exemple, Gemma 3 4B a écrit une réponse polie qui citait correctement la garantie de 2 ans. Puis il a affirmé qu’un outil de 4 mois n’était plus sous garantie. Le style était le même que dans ses bonnes réponses. Seule une vérification selon la politique révèle l’erreur. Larkfield garde donc une personne, ou une règle dans le code, pour vérifier les réponses où une erreur coûte cher.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
Fabrication (hallucination) : affirmations fluides sans appui dans l’entrée, comme « dans les 24 heures ». Connaissances dépassées : rien après la date limite des données d’entraînement. Ambiguïté : l’entrée permet plusieurs réponses. Incohérence : différentes réponses à la même requête. Sensibilité à la formulation : différentes réponses aux mêmes faits exprimés autrement.
Posez une question : tous les faits étaient-ils dans la requête? Sinon, ajoutez du contexte. Si oui, ajoutez une vérification externe. Dans l’exercice de classement, 3 vrais échecs sur 8 exigeaient du contexte, et 5 exigeaient une vérification.
Le module 2 en bref : le modèle ne conserve rien entre les requêtes. Il utilise seulement ses poids fixes et la fenêtre que vous envoyez. Une grande fenêtre ne garantit pas un rappel fiable. Les jetons de réflexion améliorent les décisions, à un coût, mais le texte de réflexion n’est pas une preuve. Une image ajoute une entrée, pas une preuve. Et une sortie fluide n’est pas une preuve : vérifiez les faits.
Ce module n’a rien exécuté sur votre ordinateur; il n’y a donc rien à réinitialiser. La note sur les sources de chaque leçon nomme les scripts de test et leurs journaux (logs).
Ensuite, le module 3 examine comment obtenir un modèle : comme service hébergé ou comme poids sur votre propre matériel.
