Aller au contenu
English

Recherche ou génération ?

  • Leçon 17
  • 30 min
  • Module 6 : Tester la recherche, les agents et la sécurité

Où nous en sommes

Dans le module 5, nous avons signalé des bogues et vérifié des corrections. Mais une correction va au bon endroit seulement si nous savons quelle partie de l'assistant a fait l'erreur. Dans ce module, nous testons les parties une à une. Nous commençons par les deux couches principales : la recherche qui trouve les documents, et le modèle qui écrit la réponse à partir d'eux.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité
Leçon 17 sur 24 · Tester les applications d'IA : assurance qualité manuelle et assistée par l'IARecherche ou génération ?
Aperçu du cours

Ce que vous saurez faire

Quand une réponse est fausse, trouvez quelle partie a fait l’erreur : la recherche des documents ou le modèle qui rédige. Prouvez-le avec des éléments de la trace, pour corriger au bon endroit.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 30 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

  • Votre dossier de cours ai-qa, avec practice-app/ et votre workspace/ du module 5. Si vous avez sauté un module, copiez les fichiers de workspace/snapshots/end-of-m05 dans workspace. Chaque instantané représente l’espace de travail du cours à la fin d’un module.
  • Un terminal dans ai-qa/practice-app, avec son environnement virtuel activé, comme dans Découvrir l’application de chasse aux bogues.

Testé sur macOS (Apple silicon) avec Python 3.12. Les commandes sont les mêmes sur Windows et Linux; elles n’y ont pas été exécutées pour cette leçon.

Un élève rédige un texte sur une rivière. L’enseignant trouve un fait erroné : « La rivière mesure 300 km. » Elle mesure 340 km. D’où vient l’erreur? Il y a trois possibilités.

  • La bibliothèque a fourni le mauvais livre. L’élève a demandé un livre sur cette rivière et en a reçu un sur une autre.
  • L’élève a mal lu un bon livre. Le livre indique 340 km. L’élève a écrit 300.
  • Le livre était une ancienne édition. L’édition de 1990 indique 300 km, car on a mesuré la rivière de nouveau plus tard.

Chaque cause demande une correction différente : former le bibliothécaire, enseigner la lecture attentive ou retirer l’ancienne édition des rayons. L’enseignant vérifie donc d’abord le livre utilisé par l’élève.

Le problème : « l’assistant se trompe » ne dit pas où

Section intitulée « Le problème : « l’assistant se trompe » ne dit pas où »

Esme a signalé la réponse de 30 jours comme BUG-002, dans Un modèle de rapport de bogue pour le comportement de l’IA. La réponse indique « 30 jours » et cite la politique de retour, version 3. Son rapport supposait que la couche en cause était la récupération. Tomás le lit, mais une supposition n’est pas une preuve. Sa première idée est de modifier la requête : ajouter une règle disant « N’utilisez jamais une ancienne version de politique. »

Il ouvre ensuite la requête, support-v8. La règle 3 dit déjà : « Utilisez la version de la politique en vigueur à la date d’aujourd’hui. Ne citez jamais un avis expiré ou une ancienne version. » La règle existe, mais le modèle l’enfreint encore dans certains essais. Une deuxième règle avec les mêmes mots aiderait probablement peu. Tomás pourrait perdre une journée à corriger au mauvais endroit.

Le rapport de bogue indiquait ce qui était faux. Il ne prouvait pas où l’erreur commence. Pour un assistant qui répond à partir de documents, cette question a deux réponses principales. Elles mènent à du code différent et souvent à des personnes différentes.

L’assistant de Larkfield répond aux questions sur les politiques en deux étapes.

  1. Récupération. La recherche trouve les sections des politiques qui correspondent le mieux à la question. Dans la trace, elles forment la liste retrieved (sections récupérées).
  2. Génération. Le modèle lit la question et ces sections, puis rédige la réponse avec ses sources. Dans la trace, la réponse est output (sortie), et ses sources sont cited (sections citées).

Cette conception s’appelle la génération augmentée par récupération, ou RAG : le texte récupéré « augmente » l’étape de génération. RAG : créer une IA qui utilise vos données enseigne comment la construire. Pour les tests, vous avez seulement besoin de connaître les deux étapes, car chacune peut échouer séparément. Ce sont les couches de la réponse.

Isoler la couche, c’est trouver quelle étape a causé une réponse fausse, avec des preuves. Vous posez les mêmes trois questions que l’enseignant, dans un ordre fixe :

  1. Récupérée? La section contenant la bonne réponse est-elle dans retrieved? Sinon, la recherche a échoué : le modèle n’a jamais vu le bon texte.
  2. Appuyée? La section citée dit-elle ce que dit la réponse? Sinon, le modèle a échoué : il a ajouté, omis ou changé un fait.
  3. À jour? La version citée est-elle en vigueur à la date de l’application? Sinon, la réponse utilise un document périmé.
Un arbre de décision. Départ : une réponse fausse, ouvrez sa trace. Question 1, Récupérée : la section contenant la bonne réponse est-elle dans retrieved? Si non : la recherche (récupération) a échoué, elle n'a pas trouvé le texte. Si oui, question 2, Appuyée : la section citée dit-elle ce que dit la réponse? Si non : le modèle (génération) a échoué, il a ajouté, omis ou changé des faits. Si oui, question 3, À jour : la version citée est-elle en vigueur à la date de l'application? Si non : source périmée, la recherche a laissé passer une version expirée et le modèle l'a utilisée. Si oui : ni la récupération ni la génération; vérifiez les numéros de citation, les outils, le filtre et les instructions.
L'arbre d'isolement de la couche. Posez les trois questions dans cet ordre et trouvez chaque réponse dans la trace.
Description textuelle du diagramme

L’arbre commence par une réponse fausse et sa trace. Question 1, « Récupérée? » : la section contenant la bonne réponse est-elle dans retrieved? Sinon, la recherche a échoué. Si oui, question 2, « Appuyée? » : la section citée dit-elle ce que dit la réponse? Sinon, le modèle a échoué. Si oui, question 3, « À jour? » : la version citée est-elle en vigueur à la date de l’application? Sinon, la source est périmée : la recherche a laissé passer une version expirée et le modèle l’a utilisée. Si les trois réponses sont oui, la cause n’est ni dans la récupération ni dans la génération. Vérifiez les numéros de citation, les outils, le filtre de sécurité et les instructions.

Pourquoi cet ordre? « Appuyée? » n’a aucun sens si le bon texte n’a jamais été trouvé. « À jour? » compte seulement pour une réponse appuyée par sa source.

Voici trois réponses fausses à « Combien de jours ai-je pour retourner un article inutilisé? ». La bonne réponse est 45 jours, selon la politique de retour, version 4. Ces réponses et ces traces sont construites pour cet exemple.

Réponse retrieved cited Couche
« Vous pouvez le retourner dans les 14 jours. » politique sur les articles endommagés seulement politique sur les articles endommagés : « signaler dans les 14 jours » Récupérée? Non : la recherche a échoué.
« Vous pouvez le retourner dans les 60 jours. » politique de retour v4, délai de retour politique de retour v4 : « 45 jours » Récupérée? Oui. Appuyée? Non : le modèle a échoué.
« Vous pouvez le retourner dans les 30 jours. » politique de retour v4 et v3, délai de retour politique de retour v3 : « 30 jours » Récupérée? Oui. Appuyée? Oui. À jour? Non : source périmée.

Les réponses se ressemblent : chacune contient un nombre erroné. Les traces diffèrent, et elles indiquent à Tomás où intervenir.

Exemple détaillé : la réponse de 30 jours, couche par couche

Section intitulée « Exemple détaillé : la réponse de 30 jours, couche par couche »

Esme applique maintenant les trois questions à la vraie réponse de 30 jours de l’application d’exercice.

  1. Réinitialisez les données et envoyez la question avec la graine 2 :

    Fenêtre de terminal
    python -m helpdesk reset
    python -m helpdesk ask "How many days do I have to return an unused item?" --seed 2

    La sortie, simulée (application d’exercice) :

    The store is reset: 4 test customers, 8 orders, 8 reviews, no conversations.
    Thanks for asking. You can return an unused item within 30 days of delivery for a full refund of the item price. [1] I hope this helps.
    Sources:
    [1] Returns policy, version 3: Return window (/policies/returns-policy/v3#return-window)
    [conversation c-0001 | trace tr-0001-1 | seed 2]
  2. Affichez la trace :

    Fenêtre de terminal
    python -m helpdesk trace tr-0001-1

    Voici les champs nécessaires aux trois questions (la sortie, abrégée) :

    trace tr-0001-1 (part)
    "settings": { "seed": 2, "today": "2026-11-16", ... },
    "retrieved": [
    { "doc_id": "returns-policy", "version": 4, "section": "Return window",
    "effective_from": "2026-11-01", "effective_to": null, ... },
    { "doc_id": "returns-policy", "version": 3, "section": "Return window",
    "effective_from": "2025-03-01", "effective_to": "2026-10-31", ... },
    { "doc_id": "returns-policy", "version": 4, "section": "Condition of returned items", ... }
    ],
    "cited": [ "returns-policy@3#return-window" ]
  3. Ouvrez la section citée. Dans l’application Web, sélectionnez le lien dans la réponse. Dans votre éditeur, ouvrez helpdesk/data/policies/returns-policy.v3.md et trouvez le titre « Return window » (délai de retour).

Voici les trois questions, avec les preuves pour chacune :

  1. Récupérée? Oui. La bonne section, politique de retour version 4, « Return window », est en premier dans retrieved. Elle indique « dans les 45 jours suivant la livraison ».
  2. Appuyée? Oui. La section citée, version 3, dit : « Vous pouvez retourner un article inutilisé dans les 30 jours suivant la livraison pour obtenir le remboursement complet du prix de l’article. » La réponse le répète. Le modèle n’a pas inventé les 30 jours.
  3. À jour? Non. La version 3 contient "effective_to": "2026-10-31". La date de l’application, settings.today, est le 16 novembre 2026. La version 3 a expiré 16 jours plus tôt.

La réponse utilise donc une source périmée. Regardez encore retrieved : la recherche a retourné la version 3 expirée, à côté de la version 4, avec le même score. Le modèle avait alors deux sections avec deux réponses, et il a choisi la mauvaise. Deux couches ont participé, et la première erreur vient de la recherche. Elle ne devrait jamais retourner une version qui n’est plus en vigueur.

Une trace représente un essai. La version expirée est-elle dans retrieved seulement lors des essais qui échouent? L’outil d’exécution des tests d’assurance qualité peut vérifier la recherche seule. La vérification not_retrieved échoue quand la recherche trouve une version de politique donnée, peu importe la réponse.

one case
id: ret-no-expired-version-retrieved
title: The search never returns a policy version that has expired on the app date
message: How many days do I have to return an unused item?
checks:
- not_retrieved: returns-policy@3

L’identifiant de politique est doc_id@version, comme dans la trace : returns-policy@3. Vous l’exécuterez dans l’exercice guidé ci-dessous. La vérification échoue dans 5 essais sur 5, même quand la réponse indique « 45 jours ». La recherche retourne donc la version expirée chaque fois, et le modèle ne la choisit que parfois. Le graphique montre le même résultat sur davantage d’essais, avec le modèle réel à côté.

La question sur le délai de retour : fréquence à laquelle la recherche retourne la version 3 expirée et la réponse la cite. L'application d'exercice et le modèle réel enregistré utilisent la même recherche.
Description textuelle du graphique

Un graphique à points en deux panneaux. Application d’exercice, simulée, 100 graines : la recherche a retourné la version 3 dans 100 % des essais, et la réponse l’a citée dans 30 %. Modèle réel, enregistré, 10 essais : la recherche a retourné la version 3 dans 100 % des essais, et la réponse l’a citée dans 0 %.

Lisez les deux panneaux ensemble. La recherche retourne la version expirée dans chaque essai des deux panneaux : c’est la même recherche. Le modèle réel a ignoré la version 3 dans les 10 essais enregistrés. Le modèle de l’application d’exercice l’a utilisée dans 30 essais sur 100. Un modèle réel peut donc cacher ce défaut de recherche pendant un certain temps. Il ne le supprime pas. Chaque réponse dépend encore du bon choix du modèle entre deux versions.

Voici ce qu’Esme ajoute au bogue : « Couche : récupération. La recherche retourne des versions expirées (cas ret-no-expired-version-retrieved, 5 essais sur 5). Le modèle en cite ensuite une dans certains essais. » Tomás sait maintenant où intervenir : dans la recherche, qui doit exclure les versions expirées. La règle de la requête peut rester comme deuxième protection.

Un modèle réel : la bonne source, la mauvaise réponse

Section intitulée « Un modèle réel : la bonne source, la mauvaise réponse »

Le modèle de l’application d’exercice construit ses phrases à partir du texte récupéré. Ses réponses correspondent donc généralement à leurs sources. Un modèle réel écrit de nouvelles phrases et peut transformer une bonne source en réponse fausse. Le cours a enregistré l’assistant réel, avec la même requête, la même recherche et les mêmes outils. La question était « Livrez-vous au Nunavut? » (Le Nunavut est un territoire du nord du Canada.) La bonne réponse : oui, Larkfield y livre, mais pas les articles volumineux.

Dans 2 essais sur 10 (enregistrés, modèle réel), la réponse commençait par « Non ». Voici l’essai 4, avec les sections citées :

À gauche : la réponse du modèle réel, essai 4 : Non. Les articles volumineux ne sont pas livrés au Nunavut ni dans aucun autre territoire [1][3]. Pour les autres articles, nous livrons partout au Canada, y compris au Nunavut [1]. Une flèche portant la mention cite mène à deux sections à droite. [1] Politique de livraison, version 4, Où nous livrons : Nous livrons dans chaque province et territoire du Canada; les articles volumineux ne sont pas livrés dans les territoires. [3] Livraison des articles volumineux, version 2 : Nous livrons les articles volumineux uniquement dans les provinces, pas dans les territoires. En dessous, trois vérifications. 1 Récupérée : oui, les deux sections sont dans retrieved et cited. 2 Appuyée : non, les sources disent oui, nous livrons au Nunavut, sauf les articles volumineux, et la réponse commence par Non. 3 À jour : oui, les deux versions sont en vigueur. En bas : la couche en cause est le modèle (génération); la recherche a trouvé le bon texte et le modèle a écrit le contraire.
Une réponse enregistrée du modèle réel à côté des sections citées. Récupérée et à jour, mais pas appuyée : l'erreur vient de la génération.
Description textuelle du diagramme

À gauche se trouve la réponse du modèle réel lors de l’essai 4 : « Non. Les articles volumineux ne sont pas livrés au Nunavut ni dans aucun autre territoire [1][3]. Pour les autres articles, nous livrons partout au Canada, y compris au Nunavut [1]. » Elle cite deux sections, présentées à droite. La source [1] est la politique de livraison, version 4, « Where we deliver » (où nous livrons) : « Nous livrons dans chaque province et territoire du Canada. » Elle ajoute que les articles volumineux ne sont pas livrés dans les territoires. La source [3] est la politique de livraison des articles volumineux, version 2 : « Nous livrons les articles volumineux uniquement dans les provinces, pas dans les territoires. »

Les trois vérifications se trouvent en dessous. Récupérée : oui, les deux sections sont dans retrieved, et la réponse les cite. Appuyée : non. Les sources disent « oui, nous livrons au Nunavut, sauf les articles volumineux », et la réponse commence par « Non. » À jour : oui, les deux versions sont en vigueur à la date de l’application. Le verdict : la couche en cause est le modèle, dans la génération. La recherche a trouvé le bon texte et le modèle a écrit le contraire.

Le reste de la réponse est correct. Mais un client qui lit « Non. » peut arrêter sa lecture et acheter ailleurs. La correction ne concerne pas la recherche, qui a trouvé exactement les bonnes sections dans les 10 essais. Elle concerne la génération : la requête, le modèle ou une vérification de la réponse par rapport à ses sources. Le cours sur l’évaluation mesure cela comme la « fidélité » : voir Métriques des sorties générées.

La première branche de l’arbre se produit aussi. Dans Tests métamorphiques, la question reformulée « Quel est le délai pour renvoyer quelque chose que je n’ai pas utilisé? » n’a jamais obtenu les 45 jours. Sa trace avec la graine 1 (simulée, application d’exercice) montre pourquoi :

trace of the rephrased question, seed 1 (part)
"retrieved": [
{ "doc_id": "returns-policy", "version": 4, "section": "Condition of returned items", ... },
{ "doc_id": "returns-policy", "version": 3, "section": "Condition of returned items", ... },
{ "doc_id": "holiday-returns-2025", "version": 1, "section": "Extended return period",
"effective_to": "2026-01-31", ... }
]

Aucune section « Return window » ne figure dans la liste. Récupérée? Non. Le modèle n’a jamais vu les 45 jours, donc aucune modification de requête ne peut lui faire donner ce délai. Le modèle réel enregistré a répondu « Je n’ai pas l’information sur la politique » pour la même raison. Il a reçu les trois mêmes sections. La recherche compare les mots, et « délai » et « renvoyer » ne sont pas les mots de la politique. RAG : créer une IA qui utilise vos données montre comment les développeurs trouvent et corrigent ces échecs de recherche.

Isolez la couche pour chaque réponse fausse d’une fonction qui utilise des documents, avant de remplir la « couche soupçonnée » du rapport. Cela prend quelques minutes par bogue et évite au développeur de deviner.

Cette méthode a des limites :

  • Vous avez besoin de la trace. L’application d’exercice montre retrieved et cited pour chaque réponse. Un vrai produit ne le fait pas forcément. Demandez tôt aux développeurs un mode de test ou des journaux (logs) montrant les sections récupérées. Sans eux, vous pouvez seulement deviner la couche.
  • Deux couches peuvent partager la responsabilité, comme dans la réponse de 30 jours. Nommez la première erreur et dites ce que la deuxième couche a fait.
  • Une couche peut être correcte et la réponse rester fausse. Si les trois réponses sont oui, cherchez ailleurs : les numéros dans la liste des sources, les outils, le filtre de sécurité ou une instruction ignorée. Les autres types du guide commencent là.
  • Lisez vous-même la source. « Appuyée? » demande une personne, ou une vérification attentive, qui compare la réponse à la section. Une citation qui existe n’est pas forcément une citation qui appuie la réponse.

Erreur courante

Une vérification qui ne peut jamais échouer

Symptôme : Esme écrit not_retrieved: returns-policy-v3. L’outil d’exécution affiche PASS ... 5/5 passed (réussite, 5 essais sur 5 réussis). Elle est surprise, car la trace montre la version 3 dans retrieved.

Cause : l’identifiant est erroné. La trace utilise returns-policy avec "version": 3, et l’outil d’exécution l’écrit sous la forme returns-policy@3. Aucune section récupérée ne s’appelle returns-policy-v3, donc « non récupérée » est toujours vrai. python -m qa check accepte le fichier, car le format de la vérification est valide.

Diagnostic : remplacez une fois la vérification par son contraire, retrieved: returns-policy-v3, et exécutez-la. Si elle échoue aussi à chaque essai, l’identifiant ne correspond à rien.

Correction : copiez l’identifiant de la trace : doc_id, puis @, puis version. Exécutez le cas une fois sur une version que vous savez incorrecte et vérifiez qu’il échoue.

Conséquence dans le travail en IA : une vérification qui n’échoue jamais produit un rapport vert, sans aucune protection.

Exercice guidé : vérifier les couches avec l’outil d’exécution

Section intitulée « Exercice guidé : vérifier les couches avec l’outil d’exécution »
  1. Dans ai-qa/workspace/cases, créez le fichier retrieval.yaml avec deux cas :

    workspace/cases/retrieval.yaml
    # Retrieval or generation? (Module 6): check what was retrieved, what was cited, and whether it is current.
    id: ret-no-expired-version-retrieved
    title: The search never returns a policy version that has expired on the app date
    message: How many days do I have to return an unused item?
    checks:
    - not_retrieved: returns-policy@3
    ---
    id: ret-no-expired-notice-cited
    title: An expired notice (holiday returns 2025) is never cited
    message: What is the time limit for sending back something I haven't used?
    checks:
    - not_cites: holiday-returns-2025
    runs: 10

    Le deuxième cas vérifie la réponse, pas la recherche. Une réponse ne doit jamais citer l’avis des fêtes, expiré le 31 janvier 2026.

  2. Faites une prédiction : quel cas échoue le plus souvent, et pourquoi?

  3. Dans practice-app, exécutez le fichier :

    Fenêtre de terminal
    python -m qa run ../workspace/cases/retrieval.yaml

    La sortie :

    QA run: 2 case(s) from ../workspace/cases/retrieval.yaml
    App: larkfield-helpdesk 2.3.0 | model sim-1 | prompt support-v8
    FAIL ret-no-expired-version-retrieved 0/5 passed (needs 5; seeds 1-5)
    first failing run: seed 1, trace tr-0001-1
    - not_retrieved: ['returns-policy@3'] was retrieved
    FAIL ret-no-expired-notice-cited 6/10 passed (needs 10; seeds 1-10)
    first failing run: seed 1, trace tr-0001-1
    - not_cites: cited ['holiday-returns-2025@1#extended-return-period']
    2 case(s): 0 passed, 2 failed, 0 known bug(s) still failing, 0 known bug(s) now passing, 0 not run
    Report: reports/qa-<date>-<time>/report.md
  4. Pour chaque cas, indiquez sa couche sur une ligne sous le premier commentaire du fichier. Utilisez l’arbre.

Afficher les couches

Le premier cas échoue à chaque exécution, car il vérifie uniquement la recherche. Celle-ci renvoie toujours la version 3. Couche : recherche.

Le deuxième cas échoue dans 4 exécutions sur 10. L’avis des fêtes expiré figure dans retrieved (éléments récupérés) à chaque exécution : la recherche ne le filtre pas. La réponse le cite seulement dans certaines exécutions. Couche : recherche d’abord (un avis expiré a atteint le modèle), puis génération (le modèle l’a utilisé). C’est le même défaut que pour la réponse de 30 jours, dans un deuxième document. Cela montre que l’absence de filtre de date dans la recherche touche chaque document ayant plusieurs versions, pas seulement la politique de retour.

À vous de jouer : trouver et signaler un défaut de recherche

Section intitulée « À vous de jouer : trouver et signaler un défaut de recherche »

Les réponses de l’application sur les politiques contiennent d’autres défauts que ceux de cette leçon. Trouvez-en un autre et prouvez à quelle couche il appartient.

  1. Choisissez des questions sur les politiques : articles endommagés, remboursements, garanties, avis de sécurité, ou une question avec deux sujets.
  2. Exécutez chacune avec les graines de 1 à 10. Pour chaque réponse, lisez retrieved et cited (éléments cités) dans la trace, puis ouvrez chaque section citée.
  3. Vérifiez aussi la liste des sources. Chaque numéro dans la réponse renvoie-t-il à une section qui confirme la phrase?
  4. Quand vous trouvez une défaillance, parcourez les trois questions. Écrivez la réponse à chacune, avec le champ de la trace qui la prouve.
  5. Ajoutez un cas dans workspace/cases/retrieval.yaml, avec runs: 10. Exécutez-le et vérifiez qu’il échoue.
  6. Rédigez workspace/bugs/BUG-006-<short-name>.md à partir du modèle dans templates/bug-report.md. À la ligne de gravité, ajoutez une ligne « Couche (avec preuves) : ».

La version de cet exercice fournie par le cours se trouve dans workspace/snapshots/end-of-m06. Ouvrez-la seulement après avoir essayé.

Vérifiez votre compréhension

Une réponse indique 45 jours et cite la politique de retour, version 4. Sa trace montre aussi la version 3 parmi les éléments récupérés. Y a-t-il un défaut? Dans quelle couche, et comment le démontrez-vous?

Afficher la réponse

Oui. La réponse est correcte, mais la recherche a renvoyé une version expirée. C’est un défaut de recherche. Il ne nuit pas à cette réponse, mais peut nuire à toute exécution où le modèle choisit la version 3. Démontrez-le avec une vérification de la recherche seule, not_retrieved: returns-policy@3, exécutée plusieurs fois. Elle échoue à chaque exécution, même lorsque la réponse est correcte.

Vérifiez votre compréhension

Exercice pratique : une réponse dit « Les cartes-cadeaux expirent après 2 ans [1] ». La trace montre la politique sur les cartes-cadeaux parmi les éléments récupérés et cités, dans sa version en vigueur. La section dit « Les cartes-cadeaux n'expirent jamais et n'ont aucuns frais. » Quelle couche a échoué? Qu'écrivez-vous dans le rapport de bogue?

Afficher la réponse

Récupéré : oui, la bonne section est présente. Appuyé : non, la section dit le contraire de la réponse. La couche est donc la génération : le modèle a changé le fait. En vigueur n’a pas d’importance ici. Dans le rapport : « Couche : génération. La section citée (gift-cards, version en vigueur, récupérée et citée dans la trace tr-…) dit “Les cartes-cadeaux n’expirent jamais”; la réponse indique 2 ans. » Ajoutez le taux de reproduction sur plusieurs exécutions. Cet exemple est construit.

Récapitulatif

  • Un assistant qui répond à partir de documents a deux couches : recherche (la recherche trouve les sections) et génération (le modèle rédige la réponse à partir de celles-ci).
  • Isolez la couche avec trois questions, dans l’ordre : Récupéré? Appuyé? En vigueur? Trouvez chaque réponse dans la trace : retrieved, cited et le texte de la section, effective_to (date de fin de validité) et settings.today (date du jour).
  • La réponse de 30 jours commence dans la couche de recherche. La recherche renvoie la version expirée à chaque exécution, et le modèle la choisit parfois. Un vrai modèle l’a masquée dans 10 exécutions enregistrées; le défaut était toujours présent.
  • Un vrai modèle peut aussi échouer dans la génération avec les bonnes sources : « Non » pour le Nunavut, dans 2 exécutions enregistrées sur 10.
  • Testez une vérification avant de lui faire confiance : faites-la échouer une fois sur un cas incorrect connu.

Votre espace de travail contient maintenant workspace/cases/retrieval.yaml avec vos cas de recherche, et workspace/bugs/BUG-006-…md avec la couche et ses preuves. Ensuite, vous testerez ce que l’assistant fait : ses outils et ses actions.

Leçon suivante : Outils, actions et permissions