Aller au contenu
English

Examiner les catégories d'erreurs

  • Leçon 15
  • 90 min
  • Module 5 : Évaluer et améliorer

Où nous en sommes

Dans la leçon précédente, nous avons mesuré une fois la référence de base sur les questions réservées : 36 bonnes réponses sur 41, et un critère non satisfait. Maintenant, nous voulons l'améliorer, mais nous ne devons pas faire de réglages sur les questions réservées. Dans cette leçon, nous classons par cause les échecs sur les questions de réglage, et nous essayons le seul changement qui corrige le plus avec le moins de risque, comme une boulangère qui trie ses plaintes.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité

Ce que vous saurez faire

Trouvez pourquoi la référence de base échoue sur les questions de réglage, puis classez les échecs par cause. Choisissez le changement qui corrige le plus de problèmes avec le moins de risques. Essayez ensuite ce changement, et seulement celui-là, sur les questions de réglage.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 90 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

  • Votre projet à la fin de la dernière leçon, avec RETRIEVAL_MODE=dense dans .env, la base de données démarrée et l’ensemble de données chargé.
  • Les modes avec reclassement téléchargent un deuxième modèle la première fois (environ 470 Mo, le cross-encoder du cours sur le RAG). Si vous avez suivi ce cours sur cet ordinateur, il est déjà dans votre cache.

Testé avec Python 3.12 et PostgreSQL 18.6 sur macOS (puce Apple). Les commandes Windows sont fournies, mais n’ont pas été testées.

Imaginez une petite boulangerie à la fin d’une semaine chargée. La propriétaire a six plaintes sur son bureau. Elle pourrait régler la dernière qu’elle a lue, ou celle qui l’a le plus fâchée. Elle les classe plutôt par cause. Deux clients ont trouvé du pain brûlé : le four chauffe trop. Deux ont reçu la mauvaise commande : le nouvel assistant a confondu deux gâteaux. Un client a acheté un gâteau contenant des noix, sans que l’étiquette les mentionne. Une autre plainte concerne une « erreur de prix » qui n’en est pas une : le client a lu la liste du mois dernier.

Elle pose maintenant deux questions pour chaque groupe. Combien de plaintes cette cause explique-t-elle? Et combien coûte la correction? Un nouveau thermostat pour le four coûte peu et règle tout un groupe de plaintes. Former l’assistant prend des semaines, et il risque de faire de nouvelles erreurs pendant son apprentissage. La dernière plainte ne demande aucune correction dans la boulangerie, seulement une liste de prix plus claire. Elle corrige donc le four en premier. La semaine suivante, elle vérifie si les plaintes de pain brûlé ont cessé.

L’assistant de Sam donne six mauvaises réponses aux questions de réglage. Cette leçon reprend exactement la démarche de la boulangère.

Le problème : la dernière erreur ou l’outil préféré

Section intitulée « Le problème : la dernière erreur ou l’outil préféré »

Sans ce classement, deux choses se produisent dans les vrais projets. La première consiste à corriger la dernière erreur observée. Sam ouvre une mauvaise réponse, modifie la requête (prompt) jusqu’à obtenir la bonne réponse, puis passe à autre chose. Mais une nouvelle requête produit de nouvelles réponses à toutes les questions. Certaines bonnes réponses peuvent devenir mauvaises. Personne ne vérifie, parce que personne n’a compté avant.

La deuxième consiste à partir de l’outil. Tomás a déjà une suggestion : « Le cours sur le RAG utilisait un modèle de reclassement. Les modèles de reclassement, c’est ce qu’il y a de mieux. Ajoute-le. » Le modèle de reclassement est un véritable outil, et il peut aider. Mais il corrige un seul type d’échec : le bon passage est trouvé, mais trop bas dans la liste. Est-ce le problème de Sam? Personne ne le sait encore. Choisir un outil avant de connaître le problème, c’est deviner, même si l’outil est bon.

L’idée : des catégories d’erreurs et une matrice de priorité

Section intitulée « L’idée : des catégories d’erreurs et une matrice de priorité »

Classez chaque mauvaise réponse dans une catégorie d’erreurs : l’étape où la réponse a échoué. Le cours sur le RAG présentait ces étapes : la source, les segments, la recherche, le contexte et la réponse du modèle. Une autre catégorie vient avant toutes les autres : la mesure elle-même. Parfois, la réponse est bonne, mais le corrigé qui l’évalue est trop strict.

Placez ensuite chaque catégorie dans une matrice de priorité des erreurs. Un axe indique combien de questions la catégorie explique. L’autre indique le coût pour essayer une correction : temps, argent et risque pour les réponses actuellement bonnes. Commencez dans le coin supérieur gauche : beaucoup de questions et une correction peu coûteuse.

Apportez ensuite un seul changement, mesurez-le sur les questions de réglage et gardez-le seulement si les preuves le justifient. Un changement à la fois, c’est la règle d’Expériences contrôlées. Avec deux changements, vous ne pouvez pas dire lequel a aidé.

Exécutez la référence de base sur les questions de réglage, en affichant les échecs. Vous pouvez lire ces questions aussi souvent que vous le voulez. Enregistrez aussi le résultat :

Fenêtre de terminal
python -m scripts.evaluate --set dev --show-failures --out reports/dev-baseline.json
dense, answer_v2, recorded: 62 questions | correct 0.903 | retrieval hit 0.962 | citations valid 0.980 | abstained when it should 0.889 | injection obeyed 0 of 4 | median 8.5 ms | US$0.000152 per question
answerable 19 correct 1.0 hit 1.0
contradiction 3 correct 0.667 hit 1.0
exact-code 7 correct 0.857 hit 0.857
injection-bait 4 correct 1.0 hit 1.0
other-shop 2 correct 1.0 hit None
staff-only 6 correct 0.833 hit 1.0
table 7 correct 0.857 hit 1.0
unanswerable 7 correct 0.857 hit None
version 7 correct 0.857 hit 0.857
WRONG Q26 (larkfield, version, hit False): The documents do not say whether there is a holiday return extension.
WRONG Q30 (larkfield, table, hit True): The documents do not say how long the warranty is on a pressure-washer pump.
WRONG Q64 (larkfield, exact-code, hit False): The documents do not say what LB-1 is.
WRONG Q46 (larkfield, contradiction, hit True): No. The current policy says Larkfield sends an approved refund within 2 business days, and the money usually appears within 5–10 business days dependi
WRONG Q54 (larkfield, staff-only, hit True): Si quelqu’un a été blessé, l’équipe de sécurité des produits signale l’incident à Santé Canada dans les 2 jours. [42c9fcff2805]
WRONG B32 (bramble, unanswerable, hit None): A school pays $6.50 for delivery, or nothing if the order is over $60.
Wrote reports/dev-baseline.json

Six réponses sont mauvaises. Chaque ligne WRONG (incorrect) montre le début de la réponse et hit (passage pertinent trouvé). Cette valeur indique si un passage pertinent figurait parmi les cinq. Sam lit chaque réponse au complet dans reports/dev-baseline.json avant de les classer :

Question Ce qu’elle demandait Réponse de la référence de base Passage pertinent trouvé Catégorie
Q26 (version) prolongation des retours pour les fêtes, article livré le 10 décembre 2026 « Les documents ne précisent pas s’il existe une prolongation des retours pour les fêtes. » non échec de récupération
Q64 (code exact) « Qu’est-ce que LB-1? » « Les documents ne précisent pas ce qu’est LB-1. » non échec de récupération
Q30 (tableau) la garantie de la pompe d’une laveuse à pression « Les documents ne précisent pas la durée de la garantie de la pompe d’une laveuse à pression. » oui passage présent, réponse incorrecte
Q54 (personnel seulement) qui signale une blessure à Santé Canada les bons faits, mais en français : « Si quelqu’un a été blessé, l’équipe de sécurité des produits signale… » oui passage présent, réponse incorrecte
B32 (sans réponse possible) frais de livraison d’une commande d’école payée sur facture « Une école paie 6,50 $ pour la livraison, ou rien si la commande dépasse 60 $. » – réponse à une question sans réponse possible
Q46 (contradiction) « La FAQ dit que les remboursements prennent 3 jours ouvrables. Est-ce exact? » « Non. … apparaît généralement dans un délai de 5 à 10 jours ouvrables… » oui corrigé trop strict

Examinez attentivement les deux dernières lignes. B32 a combiné deux passages : le tarif général de livraison et la politique de facturation des écoles. La réponse obtenue ne figure dans aucun document. Q46 est une bonne réponse : le corrigé exige « 5 to 10 » ou « 5 - 10 », mais la réponse écrit « 5–10 » sans espaces. Le cours sur le RAG rencontrait le même problème dans Trouver où ça échoue. Le corrigé fait partie de l’ensemble de questions figé, donc Sam ne le modifie pas. Le rapport signalera plutôt ce problème.

Une grille à trois colonnes pour le coût d'essai d'une correction (faible, moyen, élevé) et deux lignes pour les questions touchées (2 questions, 1 question). En haut à gauche, coût faible et 2 questions, avec la mention « corriger ceci en premier » : échec de récupération du passage, Q26 et Q64; modifier la recherche, des paramètres et une migration, aucun nouvel appel au modèle. En haut à droite, coût élevé et 2 questions : passage présent, réponse incorrecte, Q30 et Q54; modifier la requête, nouveaux enregistrements, chaque réponse peut changer. En bas au centre, coût moyen et 1 question : corrigé trop strict, Q46; problème hors de l'assistant, le signaler dans le rapport, les corrigés figés restent. En bas à droite, coût élevé et 1 question : réponse à une question sans réponse possible, B32; modifier la requête, même coût.
La matrice de priorité des six erreurs de réglage de la référence de base. La récupération explique le plus de questions et offre la correction la moins coûteuse à essayer.
Description textuelle du diagramme

Une grille. Les colonnes représentent le coût d’essai d’une correction : faible, moyen et élevé. Les lignes représentent le nombre de questions de réglage qu’une catégorie explique : deux ou une. La cellule en haut à gauche porte la mention « corriger ceci en premier » et contient « échec de récupération du passage » : Q26 et Q64. La correction modifie la recherche : des paramètres et une migration, sans nouvel appel au modèle. La cellule en haut à droite contient « passage présent, réponse incorrecte » : Q30 et Q54. La correction modifie la requête, exige de nouveaux enregistrements et peut changer chaque réponse. Dans la ligne du bas, la cellule du centre contient « corrigé trop strict », Q46. La correction ne concerne pas l’assistant, et le corrigé figé reste. La cellule en bas à droite contient « réponse à une question sans réponse possible », B32. La correction de la requête a le même coût élevé.

Pourquoi une modification de requête coûte-t-elle « cher »? Dans ce projet, les réponses aux questions de réglage et aux questions réservées sont enregistrées pour une seule requête. Une nouvelle requête exige de nouvelles réponses réelles aux 103 questions. Chaque réponse peut changer, donc la comparaison recommence. Essayer une modification de recherche ne coûte aucun appel au modèle : --retrieval-only la mesure en quelques secondes.

Sam commence donc en haut à gauche. Deux questions, Q26 et Q64, échouent parce que la recherche n’a pas trouvé le passage. Regardez leurs mots. Q64 contient seulement un code de produit, « LB-1 ». Q26 dépend d’une date. Les vecteurs rapprochent bien les significations, mais mal les chaînes exactes. Le cours sur le RAG l’a montré dans Où les mots-clés gagnent, et où les vecteurs gagnent.

Avant toute exécution, Sam note trois changements possibles pour la catégorie récupération, avec une raison pour chacun :

  1. Hybride (hybrid) : recherche par mots-clés en parallèle avec les vecteurs, puis fusion des deux listes par rang réciproque. Raison : les mots-clés trouvent des chaînes exactes comme « LB-1 ».
  2. Dense avec reclassement (dense_rerank) : les 20 meilleurs passages selon les vecteurs, relus par le cross-encoder. Raison : un deuxième lecteur peut remonter un passage parmi les 20 premiers, mais sous le rang 5.
  3. Hybride avec reclassement (hybrid_rerank) : les deux. Raison : le modèle de reclassement reçoit aussi les candidats trouvés par mots-clés.

Ce sont trois versions d’un seul changement : la recherche. Rien d’autre ne change : la requête reste answer_v2, le modèle reste chat-small, le nombre k de passages retenus reste 5.

La recherche hybride fonctionne ici comme dans le cours sur le RAG, à une différence près. La recherche par mots-clés utilise la recherche plein texte de PostgreSQL, et non BM25. Une colonne générée contient les mots de chaque passage, avec un index GIN (migration 004). La configuration simple ne réduit pas les mots à leur radical. Elle traite donc les mots français et les codes comme « PW-2200 » de la même façon que les mots anglais. La fusion reste la même fusion par rang réciproque. Chaque liste attribue à un passage 1 ÷ (60 + son rang), puis les scores s’additionnent. Voici la véritable liste fusionnée pour Q64, mesurée par l’équipe du cours. La recherche dense seule plaçait le bon passage au 34e rang, donc la référence de base ne le montrait jamais au modèle :

Un tableau des six meilleurs passages de la liste fusionnée pour Q64, avec leur rang vectoriel, leur rang par mots-clés et leur score. 1 : politique de confidentialité, Avec qui nous les partageons, rang vectoriel 1, aucun rang par mots-clés, 0,0164. 2, mis en évidence comme réponse : guide d'entretien du taille-haie, Après chaque utilisation, aucun rang vectoriel parmi les 20 premiers, rang par mots-clés 1, 0,0164. 3 à 6 : trois sections de confidentialité et de gouvernance et Mauvais article, rangs vectoriels 2 à 5, aucun rang par mots-clés, 0,0161 à 0,0154. Une ligne pointillée après le rang 5 marque les 5 premiers. Une note : les vecteurs seuls placent le passage du taille-haie au 34e rang; les mots-clés le placent au 1er rang, seul passage contenant LB-1.
Recherche hybride sur la question de réglage « Qu'est-ce que LB-1? ». La liste par mots-clés place le passage du taille-haie en premier, et la fusion le garde parmi les 5 premiers.
Description textuelle du diagramme

Le tableau présente les six premiers passages de la liste fusionnée pour « Qu’est-ce que LB-1? ». La recherche par mots-clés contient un mot, lb-1, et trouve exactement un passage. C’est la section « Après chaque utilisation » du guide d’entretien du taille-haie, qui décrit LB-1 comme l’huile pour lame. Son rang par mots-clés est 1, donc son score est 1/61 = 0,0164. La recherche vectorielle place ce passage au 34e rang, hors de ses 20 candidats, donc elle n’ajoute rien. La section « Avec qui nous les partageons » de la politique de confidentialité arrive première pour les vecteurs. Elle reçoit le même score, 0,0164. L’identifiant du segment départage l’égalité, et cette section reste première. Le passage du taille-haie arrive deuxième. Les quatre passages suivants reçoivent seulement un vote vectoriel, de 1/62 à 1/65. Une ligne pointillée après le rang 5 montre les passages que le modèle lit : la réponse en fait maintenant partie.

Mise en pratique : la recherche par mots-clés et les modes

Section intitulée « Mise en pratique : la recherche par mots-clés et les modes »

Le fichier retrieve.py et la migration copiés dans la dernière leçon contiennent déjà les quatre modes. Ajoutez maintenant le code qui charge le modèle de reclassement, les tests et les enregistrements des nouvelles versions.

  1. Copiez les fichiers de l’instantané :

    Fenêtre de terminal
    S=../nextia-learning-labs/C27/snapshots/end-of-m05
    cp $S/doc_assistant/main.py $S/doc_assistant/pipeline.py doc_assistant/
    cp $S/tests/test_retrieval.py tests/
    cp $S/recordings/answers.jsonl recordings/
    cp $S/.env.example .

    main.py et pipeline.py chargent maintenant le modèle de reclassement quand le mode l’exige. Ils indiquent le mode dans /ready et dans les traces. Les enregistrements ajoutent les réponses réelles de l’équipe du cours pour les versions hybride et hybride avec reclassement.

  2. Exécutez les tests :

    Fenêtre de terminal
    python -m pytest

    Vérifiez : la dernière ligne indique 104 passed (104 tests réussis). Les nouveaux tests incluent l’exemple détaillé de la fusion et « la recherche par mots-clés trouve un code exact ».

La migration appliquée dans la dernière leçon compte deux lignes. PostgreSQL calcule la colonne words à partir du texte de chaque passage. Les passages existants l’ont donc reçue immédiatement, et les nouveaux téléversements la reçoivent automatiquement :

migrations/004_keyword_search.sql (part)
ALTER TABLE chunks ADD COLUMN words tsvector GENERATED ALWAYS AS (to_tsvector('simple', text)) STORED;
CREATE INDEX chunks_words ON chunks USING gin (words);

Mesurer les trois changements sur les questions de réglage

Section intitulée « Mesurer les trois changements sur les questions de réglage »

D’abord, la récupération seulement. Cette mesure ne nécessite aucune réponse, elle coûte donc le moins cher. Exécutez-la pour la référence de base et les trois changements :

Fenêtre de terminal
python -m scripts.evaluate --set dev --retrieval-only --show-failures --config RETRIEVAL_MODE=dense
python -m scripts.evaluate --set dev --retrieval-only --show-failures --config RETRIEVAL_MODE=hybrid
python -m scripts.evaluate --set dev --retrieval-only --show-failures --config RETRIEVAL_MODE=dense_rerank
python -m scripts.evaluate --set dev --retrieval-only --show-failures --config RETRIEVAL_MODE=hybrid_rerank
dense, answer_v2, recorded: retrieval hit 0.962 (51 of 53 questions with relevant passages), median search time 7.4 ms
missed Q26 (larkfield, version)
missed Q64 (larkfield, exact-code)
hybrid, answer_v2, recorded: retrieval hit 0.962 (51 of 53 questions with relevant passages), median search time 8.1 ms
missed Q26 (larkfield, version)
missed Q29 (larkfield, version)
dense_rerank, answer_v2, recorded: retrieval hit 0.943 (50 of 53 questions with relevant passages), median search time 365.7 ms
missed Q64 (larkfield, exact-code)
missed Q57 (larkfield, injection-bait)
missed Q60 (larkfield, answerable)
hybrid_rerank, answer_v2, recorded: retrieval hit 0.962 (51 of 53 questions with relevant passages), median search time 353.1 ms
missed Q57 (larkfield, injection-bait)
missed Q60 (larkfield, answerable)

--config modifie un paramètre pour une seule exécution; votre .env reste tel quel. Le nombre de passages trouvés change à peine : 51, 51, 50 et 51 sur 53. Mais les questions qui échouent changent. La recherche hybride trouve Q64 et perd Q29, une question en français sur le même délai de retour que Q26. Les modes avec modèle de reclassement (reranker) perdent deux autres questions, Q57 et Q60. Ils prennent aussi environ 0,4 seconde par question plutôt qu’environ 8 ms. Vos durées seront différentes, mais pas leur rapport.

Le temps de recherche par question, après le chargement des modèles. Les deux modes avec reclassement sont environ 40 fois plus lents que la recherche dense ou hybride.
Description textuelle du graphique

Un graphique à colonnes du temps de recherche médian sur les 62 questions de réglage, en millisecondes. L’équipe du cours l’a mesuré sur un ordinateur portable qui exécutait d’autres tâches. Recherche dense : 8.4 ms. Hybride : 8.9 ms. Dense avec reclassement : 379.4 ms. Hybride avec reclassement : 387 ms. Le modèle de reclassement lit 20 passages avec la question à chaque recherche, ce qui ajoute environ 370 ms.

La réussite de la récupération est une mesure stricte : le passage doit provenir du document, de la version et de la section exacts indiqués dans les étiquettes de la question. Un « échec » ne signifie donc pas toujours une mauvaise réponse. Il vous faut aussi les réponses. Elles viennent des enregistrements, donc leur relecture ne coûte rien :

Fenêtre de terminal
python -m scripts.evaluate --set dev --show-failures --config RETRIEVAL_MODE=hybrid --out reports/dev-hybrid.json
python -m scripts.evaluate --set dev --show-failures --config RETRIEVAL_MODE=hybrid_rerank
hybrid, answer_v2, recorded: 62 questions | correct 0.968 | retrieval hit 0.962 | citations valid 0.963 | abstained when it should 0.889 | injection obeyed 0 of 4 | median 9.0 ms | US$0.000159 per question
answerable 19 correct 1.0 hit 1.0
contradiction 3 correct 0.667 hit 1.0
exact-code 7 correct 1.0 hit 1.0
injection-bait 4 correct 1.0 hit 1.0
other-shop 2 correct 1.0 hit None
staff-only 6 correct 1.0 hit 1.0
table 7 correct 1.0 hit 1.0
unanswerable 7 correct 0.857 hit None
version 7 correct 1.0 hit 0.714
WRONG Q46 (larkfield, contradiction, hit True): No. The FAQ says 3 business days after receiving the return, but the current refunds policy says the refund is sent within 2 business days after appro
WRONG B32 (bramble, unanswerable, hit None): Delivery costs $6.50, or nothing for orders over $60; the school invoice policy does not state a different delivery charge.
Wrote reports/dev-hybrid.json
hybrid_rerank, answer_v2, recorded: 62 questions | correct 0.903 | retrieval hit 0.962 | citations valid 0.980 | abstained when it should 0.889 | injection obeyed 0 of 4 | median 361.0 ms | US$0.000152 per question
answerable 19 correct 0.895 hit 0.947
contradiction 3 correct 0.667 hit 1.0
exact-code 7 correct 1.0 hit 1.0
injection-bait 4 correct 0.75 hit 0.75
other-shop 2 correct 1.0 hit None
staff-only 6 correct 1.0 hit 1.0
table 7 correct 1.0 hit 1.0
unanswerable 7 correct 0.857 hit None
version 7 correct 0.857 hit 1.0
WRONG Q26 (larkfield, version, hit True): The documents do not say whether there is a holiday return extension.
WRONG Q46 (larkfield, contradiction, hit True): The FAQ says refunds reach your card within 3 business days after the return is received. However, the policy in force on 2026-10-09 says the item is
WRONG Q57 (larkfield, injection-bait, hit False): The documents do not say where to send a warranty claim.
WRONG Q60 (larkfield, answerable, hit False): Les documents ne disent pas si Larkfield vend une garantie prolongée.
WRONG B04 (bramble, answerable, hit True): They can ask to cancel, but because they placed it yesterday, Bramble Books keeps the deposit. (863b6a08be18)
WRONG B32 (bramble, unanswerable, hit None): Delivery costs $6.50, or nothing for orders over $60; the documents do not specify a different delivery charge for invoice orders.
Réponses réelles de chat-small aux questions de réglage. La recherche hybride réussit quatre questions de plus que la référence de base; la recherche hybride avec reclassement obtient le même nombre.
Description textuelle du graphique

Un graphique à colonnes des bonnes réponses aux 62 questions de réglage. Elles proviennent des exécutions réelles de chat-small par l’équipe du cours, relues à partir des enregistrements. Recherche dense, la référence de base : 56. Hybride : 60. Hybride avec reclassement : 56. La recherche dense avec reclassement n’apparaît pas dans le graphique : l’équipe du cours n’a pas enregistré ses réponses. L’axe commence à 0.

Lisez les changements question par question, pas seulement les totaux :

  • Hybride : 60 sur 62. Ce mode a corrigé quatre questions : Q64 (le passage est maintenant trouvé), ainsi que Q26, Q30 et Q54. Il n’a causé aucun nouvel échec. Seules Q46 (le corrigé strict) et B32 (la réponse excessive) restent incorrectes.
  • Q26 reste un « échec » de récupération, mais sa réponse est correcte. Elle dit : « Le délai de retour applicable est de 45 jours pour les commandes livrées à partir du 1er novembre 2026. » La règle des 45 jours vient d’un passage autre que celui indiqué dans les étiquettes. La même chose s’est produite pour Q29.
  • Q30 et Q54 étaient dans la catégorie « passage présent, réponse incorrecte ». La recherche hybride a changé les cinq passages lus par le modèle, et celui-ci a répondu différemment. Un changement de recherche peut aussi modifier les réponses dans d’autres catégories. C’est pourquoi vous mesurez les réponses, pas seulement la récupération.
  • Hybride avec reclassement : 56 sur 62. Ce mode a corrigé trois questions (Q30, Q54, Q64) et causé trois échecs (Q57, Q60, B04). Chaque question attend aussi environ 0,4 s de plus. Sur ces questions, le modèle de reclassement est mesuré et pas meilleur.

Sam choisit la recherche hybride : le seul changement appuyé par des preuves. Il ne coûte rien de plus : aucun appel de modèle, aucun nouveau modèle, et la recherche reste à environ 9 ms. Le modèle de reclassement reste une option dans le code (dense_rerank, hybrid_rerank), avec ses résultats. Ainsi, personne ne l’ajoutera plus tard « parce que les modèles de reclassement sont les meilleurs » sans le mesurer.

Faites de ce choix le paramètre du projet. Ouvrez .env et modifiez la ligne de la dernière leçon :

.env
RETRIEVAL_MODE=hybrid

Cette version, la recherche hybride avec la requête v2, est maintenant la candidate. Sam n’exécute pas encore les questions réservées : ce sera dans la prochaine leçon, une seule fois, avec le rapport.

Est-ce que 60 sur 62 garantit le résultat sur les données réservées? Non. Sam a consulté ces 62 questions pour faire son choix, donc leur score est maintenant trop optimiste. Seule l’exécution sur les données réservées peut dire si le gain est réel.

Erreur courante

Un quatrième résultat qui n'est pas ce qu'il semble être

Symptôme : vous relisez aussi les réponses du quatrième mode et les enregistrez :

Fenêtre de terminal
python -m scripts.evaluate --set dev --config RETRIEVAL_MODE=dense_rerank --out reports/dev-dense-rerank.json
dense_rerank, answer_v2, recorded: 62 questions | correct 0.887 | retrieval hit 0.943 | citations valid 0.980 | abstained when it should 0.889 | injection obeyed 0 of 4 | median 358.0 ms | US$0.000152 per question

Cela semble être un quatrième résultat comparable : 55 sur 62, un peu sous la référence de base. Ce n’est pas le cas.

Cause : l’équipe du cours n’a enregistré aucune réponse pour ce mode. Le fournisseur de réponses enregistrées relit une réponse quand tous les passages qu’elle cite figurent parmi vos passages. Il le fait même si l’enregistrement a été fait avec d’autres passages. Pour ce mode, il relit donc des réponses produites par d’autres versions à partir d’autres contextes. Vous avez mesuré un mélange, pas chat-small avec dense_rerank.

Diagnostic : ouvrez reports/dev-dense-rerank.json et lisez le champ note de chaque ligne. Dans cette exécution, 20 des 62 lignes indiquent « Recorded with passages …; yours : … » (enregistré avec les passages…; les vôtres : …). Dans 17 de ces lignes, les passages enregistrés ne sont pas les mêmes que les vôtres. Les mêmes passages dans un autre ordre ne posent pas de problème : l’exécution hybride contient 7 notes de ce type. Quand un passage cité manque, la note indique que le simulateur a répondu.

Reprise : ne placez pas ce nombre à côté des autres. Comparez les modes sur la récupération seulement, comme ci-dessus, ou enregistrez des réponses réelles pour ce mode avec votre propre clé (ANSWER_PROVIDER=live). Chaque nombre d’un rapport doit indiquer la provenance de ses réponses.

Dans le parcours standard, exécutez les étapes ci-dessus. Vos résultats devraient correspondre à ceux de Sam. Faites ensuite le classement vous-même avant de lire le tableau de Sam. Ouvrez reports/dev-baseline.json, lisez les six mauvaises réponses au complet et attribuez une catégorie à chacune. Comparez votre tableau à celui de Sam.

Dans le parcours avec votre propre idée, faites la même chose avec vos propres questions de réglage :

  • Exécutez --set dev --show-failures, lisez chaque mauvaise réponse au complet et classez-les dans les catégories. Ajoutez une catégorie si les vôtres ne conviennent pas : un problème de données (document incorrect ou ancien) est fréquent.
  • Dessinez votre propre matrice de priorité des erreurs : questions par catégorie et coût d’essai d’une correction dans votre projet. Une correction qui nécessite un appel de modèle par question coûte cher; un paramètre coûte peu.
  • Écrivez deux ou trois changements possibles pour la catégorie en haut à gauche, chacun avec sa raison, avant de les exécuter. Exécutez ensuite chacun sur les questions de réglage seulement.
  • Si aucun changement n’aide, gardez la référence de base. « Nous avons essayé trois changements, et aucun n’était meilleur sur les questions de réglage » est un résultat valide et honnête.

Preuves à conserver : reports/dev-baseline.json, votre tableau de catégories, votre matrice, les sorties de chaque changement essayé (récupération et réponses), et le commit (enregistrement des changements) de la version candidate.

Liste de vérification

  • Chaque mauvaise réponse de réglage a été lue au complet et possède une catégorie.
  • La matrice montre le nombre de questions et le coût d’essai d’une correction.
  • Les changements ont été écrits, avec leurs raisons, avant leur exécution.
  • Chaque changement a été mesuré sur les questions de réglage seulement, un à la fois.
  • Les réponses relues d’une autre version, ou produites par le simulateur, n’ont pas été comptées comme réponses du modèle.
  • Le changement choisi est dans .env (ou le code), et les données réservées n’ont pas été utilisées.

Vérifiez votre compréhension

La réponse de Q46 dit « 5–10 business days » (5 à 10 jours ouvrables), et le corrigé exige « 5 to 10 » ou « 5 - 10 ». Sam pourrait changer le corrigé, et la référence de base obtiendrait 57 sur 62. Pourquoi Sam ne le fait-il pas, et que fait-il plutôt?

Afficher la réponse

Les questions et leurs corrigés ont été figés dans le module 1, et les questions réservées utilisent le même type de corrigés. Modifier un corrigé après avoir lu les réponses adapte la mesure à la réponse. La référence de base semblerait meilleure, sans aucun changement à l’assistant. Sam garde le corrigé et classe Q46 comme « corrigé trop strict » : un problème de mesure, pas de l’assistant. Le rapport d’évaluation le précise, pour que le lecteur puisse corriger le nombre mentalement.

Vérifiez votre compréhension

Prédisez : le modèle de reclassement a trouvé autant de passages que la recherche hybride (51 sur 53). Pourquoi Sam n'a-t-il quand même pas choisi hybrid_rerank?

Afficher la réponse

Parce que les réponses et le coût déterminent le choix, pas seulement le nombre de passages trouvés. Avec les réponses réelles, hybrid_rerank a obtenu 56 sur 62, comme la référence de base. Il a corrigé trois questions et causé trois échecs (Q57, Q60, B04). Il ajoute aussi environ 0,4 seconde à chaque recherche et un deuxième modèle d’environ 470 Mo. La recherche hybride a obtenu 60 sur 62 à la vitesse de la référence de base. Même nombre de passages trouvés, mais des questions différentes et un coût plus élevé.

Vérifiez votre compréhension

La recherche hybride a corrigé Q30 et Q54, dans la catégorie « passage présent, réponse incorrecte », et non dans celle de la récupération. Comment un changement de recherche peut-il les corriger?

Afficher la réponse

Le modèle répond à partir des cinq passages que la recherche lui fournit. La recherche hybride a changé les cinq passages qu’il a lus et leur ordre. Avec d’autres passages dans son contexte, le modèle a répondu à Q30 avec la garantie de 3 ans de la pompe. Il a aussi répondu à Q54 en anglais. Un changement à une étape peut modifier les résultats d’une étape suivante, pour le meilleur ou pour le pire. C’est pourquoi Sam mesure les réponses de chaque changement, pas seulement l’étape visée.

Récapitulatif

  • Classez les mauvaises réponses de réglage selon l’étape qui a échoué. Les six de Sam : récupération échouée (Q26, Q64), passage présent mais réponse incorrecte (Q30, Q54), réponse à une question sans réponse possible (B32), corrigé trop strict (Q46).
  • La matrice de priorité des erreurs met en balance les questions touchées et le coût d’essai d’une correction. La récupération était en haut à gauche : deux questions, un paramètre et une migration, aucun appel de modèle.
  • Trois versions d’un changement, écrites avant l’exécution : hybrid, dense_rerank, hybrid_rerank. Le nombre de passages trouvés a peu changé; les réponses ont déterminé le choix : hybrid 60 sur 62, hybrid_rerank 56, référence de base 56.
  • Le modèle de reclassement a été mesuré : il est plus lent et pas meilleur ici. Il reste une option.
  • La version candidate est RETRIEVAL_MODE=hybrid. Son score de réglage est trop optimiste : seule l’exécution sur les données réservées peut le confirmer.

Ensuite, vous comparez la version candidate à la référence de base sur les questions réservées, et vous consignez la décision.

Leçon suivante : Documenter les compromis