Aller au contenu
English

Confiance et acheminement vers la révision

  • Leçon 15
  • 55 min
  • Module 5 : Valider et réviser les résultats

Où nous en sommes

Dans la dernière leçon, la validation a envoyé à une personne les reçus qui enfreignent une règle. Mais une valeur erronée qui respecte les règles passe, et le modèle se dit certain même quand il se trompe. Dans cette leçon, nous mesurons la confiance du modèle avant de nous y fier, construisons une certitude à partir de signaux mesurables et choisissons les documents qu'une personne vérifie, en partant d'une nouvelle collègue toujours certaine.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité

Ce que vous saurez faire

Décidez quels documents une personne doit vérifier à partir de signaux mesurables. Ce sont les erreurs de validation, les valeurs du modèle absentes de la page et les scores de lecture des preuves. Mesurez la confiance du modèle avant de vous y fier. Choisissez ensuite le seuil de révision à partir des résultats.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 55 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

  • Votre projet à la fin de la leçon précédente : python -m pytest -q affiche 90 passed (90 tests réussis).

Testé avec Python 3.12.13 sur macOS (Apple silicon). Les commandes Windows et Linux ne sont pas testées. Chaque réponse du modèle dans cette leçon est une réponse réelle enregistrée, puis rejouée : aucune clé, aucun coût.

  1. Dans le dossier du projet, copiez le module, sa note de conception et son test depuis l’instantané :

    Fenêtre de terminal
    S=../nextia-learning-labs/C13/snapshots/end-of-m05
    cp $S/doc_extract/review.py doc_extract/
    cp $S/docs/review-queue.md docs/
    cp $S/tests/test_review.py tests/
  2. Exécutez les tests :

    Fenêtre de terminal
    python -m pytest -q

    La dernière ligne est 94 passed (94 tests réussis).

Une nouvelle collègue rejoint votre équipe. Pour chaque travail, vous lui demandez : « Êtes-vous certaine? » Elle répond toujours : « Oui, complètement. » Après un mois, vous remarquez que la plupart de ses travaux sont corrects, mais que certains sont faux. Elle était « complètement certaine » dans les deux cas. Sa réponse ne vous indique donc pas quel travail vérifier.

Vous apprenez à regarder d’autres choses. Une somme qui ne correspond pas au total. Un chiffre brouillé sur une numérisation. Une valeur introuvable sur la page. Vous pouvez voir ces signaux vous-même. Ils indiquent où les erreurs sont probables.

Grace demandait la même chose au début du cours : « Envoyez-nous seulement ceux dont il n’est pas certain. » La question est : qui est « certain »?

Tomás a une réponse simple : « Le modèle de vision donne une confiance pour chaque champ. La requête v2 la demande. Envoyez à une personne chaque document où elle est sous 0,90. » Le cours a testé cela sur les réponses enregistrées du modèle pour les 54 documents de reçus. D’abord, voici toutes les réponses où le modèle se trompe :

D009 vendor model LARKEFIELD (found ) confidence 1 | true Larkfield
D045 tax model None (absent cut_off) confidence 0.96 | true 46.66
D046 vendor model None (absent unreadable) confidence 1.0 | true Larkfield
D046 order_number model None (absent unreadable) confidence 1.0 | true LK-838601
D046 date model None (absent unreadable) confidence 1.0 | true 2026-08-16
D046 currency model None (absent unreadable) confidence 1.0 | true CAD
D046 subtotal model None (absent unreadable) confidence 1.0 | true 249.00
D046 tax model None (absent unreadable) confidence 1.0 | true 32.37
D046 total model None (absent unreadable) confidence 1.0 | true 281.37
D046 payment_method model None (absent unreadable) confidence 1.0 | true Cash
10 wrong answers

Dix réponses fausses. Neuf indiquent une confiance de 1,0, le maximum possible. Huit concernent D046, la photo que personne ne peut lire. Le modèle a répondu « absent, illisible » pour chaque champ, avec une certitude complète. Cette réponse est honnête, car la photo est illisible. Mais les valeurs du reçu sont perdues, et la confiance n’avertit personne. La neuvième est le fournisseur LARKEFIELD de D009, une erreur de lecture, aussi à 1,0.

Acheminez maintenant chaque document selon la plus faible confiance que le modèle lui a attribuée :

D009 lowest confidence 0.98 wrong: vendor
D045 lowest confidence 0.96 wrong: tax
D046 lowest confidence 1.0 wrong: vendor, order_number, date, currency, subtotal, tax, total, payment_method
threshold 0.90: 0 reviewed; documents with a wrong value to agents: D009, D045, D046
threshold 0.96: 0 reviewed; documents with a wrong value to agents: D009, D045, D046
threshold 0.97: 1 reviewed; documents with a wrong value to agents: D009, D046
threshold 0.99: 8 reviewed; documents with a wrong value to agents: D046
threshold 1.00: 28 reviewed; documents with a wrong value to agents: D046

Au seuil de 0,90 de Tomás, personne ne vérifie quoi que ce soit. Trois documents contenant des valeurs fausses vont directement aux agents. Même à 1,0, D046 va encore aux agents. Ce seuil envoie pourtant à une personne chaque document qui n’est pas « complètement certain ». Toutes ses réponses fausses indiquent 1,0.

L’idée, partie 1 : la confiance est-elle calibrée?

Section intitulée « L’idée, partie 1 : la confiance est-elle calibrée? »

Une confiance calibrée correspond à la réalité sur un grand nombre de réponses. Un prévisionniste annonce « 70 % de probabilité de pluie » pendant 100 jours. Il est calibré s’il pleut environ 70 de ces jours. S’il pleut les 100 jours, ou seulement 30, le nombre est faux, même si chaque prévision semble raisonnable.

Pour vérifier une confiance, regroupez donc les réponses selon la confiance annoncée. Comptez ensuite les réponses correctes dans chaque groupe. Voici un petit exemple où toutes les valeurs sont visibles : un lecteur donne 10 réponses. Il annonce 0,9 pour cinq réponses, dont quatre sont correctes (80 %). Il annonce 0,6 pour cinq réponses, dont trois sont correctes (60 %). Le groupe à 0,9 est plus souvent correct : les nombres donnent donc de l’information, mais 0,9 surestime les 80 %.

Le projet fait ce calcul pour le modèle :

Fenêtre de terminal
python -m doc_extract.review --calibration
The model's own confidence (vision path, prompt v2) against the true values:
confidence 1.0 341 answers, 332 correct (97.4%)
confidence 0.95-0.99 145 answers, 144 correct (99.3%)
confidence 0.80-0.94 0 answers, 0 correct (-)
confidence under 0.80 0 answers, 0 correct (-)
Répartition des 10 réponses fausses du modèle selon la confiance annoncée (modèle de vision, requête v2, 486 réponses de champs sur 54 documents de reçus, enregistrées). Un modèle calibré placerait ses erreurs dans les groupes faibles. Celui-ci n'a donné aucune réponse sous 0,96.
Description textuelle du graphique

Le modèle de vision a donné 486 réponses de champs. Sa plus faible confiance était de 0,96. À une confiance de 1,0 : 341 réponses, 332 correctes (97,4 %), donc 9 fausses. De 0,95 à 0,99 : 145 réponses, 144 correctes (99,3 %), donc 1 fausse. Aucune réponse n’avait une confiance sous 0,95. Les réponses annonçant 1,0 étaient moins souvent correctes que celles annonçant moins.

Chaque réponse annonce au moins 0,96 : ce nombre ne permet donc rien de distinguer. Les réponses à « 1,0 » sont plus souvent fausses (2,6 %) que celles de 0,95 à 0,99 (0,7 %). La confiance de ce modèle n’est pas calibrée pour cette tâche. La mesure n’a nécessité aucun nouvel appel au modèle : les confiances étaient dans les réponses enregistrées.

Tomás objecte : « Alors, demandez au modèle d’être plus prudent avec ses nombres. » Le cours ne tente pas cela. Une autre requête peut donner d’autres nombres. Vous devriez alors les mesurer à nouveau de la même façon. Un signal que vous mesurez vous-même ne dépend pas de la coopération du modèle.

L’idée, partie 2 : une certitude fondée sur des mesures

Section intitulée « L’idée, partie 2 : une certitude fondée sur des mesures »

La décision de révision du projet utilise deux sortes de signaux. Aucun n’est la confiance du modèle.

  1. Motifs, qui envoient toujours un document à une personne. Un motif est une erreur de validation, un conflit entre les règles et le modèle, ou une valeur non vérifiée.
  2. Certitude, un nombre de 0 à 1 que le projet mesure. C’est le plus faible score de lecture des preuves des champs obligatoires. Une valeur issue de la couche texte du PDF reçoit 1,0, car le texte est stocké dans le fichier. Une valeur issue de l’OCR reçoit le score que le moteur OCR a attribué à sa ligne. Une valeur fournie seulement par le modèle n’a pas sa propre ligne : elle reçoit donc 0,5.

Un document va en révision s’il a un motif, ou si sa certitude est sous le seuil. Le projet utilise le minimum, car un seul champ faux suffit à rendre un reçu incorrect. Voici trois reçus, avec le score de chaque champ. Lancez python et saisissez :

from doc_extract import combine, documents, review
for doc in ("D011", "D024", "D017"):
ex, dec = combine.combine(documents.get(doc))
scores = {n: (round(ex.fields[n].score, 2) if dec.source[n] in ("rules", "both") else 0.5)
for n in combine.REQUIRED if ex.fields[n].value is not None}
print(doc, scores, "-> certainty", review.certainty(ex, dec))
D011 {'vendor': 1.0, 'date': 1.0, 'currency': 1.0, 'subtotal': 1.0, 'tax': 1.0, 'total': 1.0} -> certainty 1.0
D024 {'vendor': 1.0, 'date': 0.99, 'currency': 0.99, 'subtotal': 1.0, 'tax': 0.91, 'total': 0.99} -> certainty 0.9076
D017 {'vendor': 1.0, 'date': 1.0, 'currency': 1.0, 'subtotal': 0.5, 'tax': 1.0, 'total': 0.5} -> certainty 0.5

D011 est un PDF numérique : chaque valeur vient de la couche texte, donc sa certitude est de 1,0. D024 est une numérisation à faible résolution : la ligne de taxe a un score OCR de 0,91. C’est donc sa certitude. D017 est le reçu du magasin partenaire. Son sous-total et son total viennent du modèle, donc ils reçoivent 0,5. Le reçu va à une personne pour tout seuil supérieur à 0,5. Les valeurs du modèle étaient confirmées sur la page, mais les règles ne les ont pas lues. Une personne les confirme donc.

  1. Construisez la file au seuil de 0,90 du projet :

    Fenêtre de terminal
    python -m doc_extract.review
    D017 maple-pine-0534-560.pdf certainty 0.50 is under 0.9
    D018 maple-pine-0727-251.pdf certainty 0.50 is under 0.9
    D033 scan-partner-1.jpg certainty 0.50 is under 0.9
    D034 scan-partner-2.jpg certainty 0.50 is under 0.9
    D045 IMG_4880.jpg total: total is missing; currency: unverified: the model's value cannot be found on the page
    D046 IMG_4887.jpg vendor: vendor is missing; date: date is missing; currency: currency is missing; subtotal: subtotal is missing; tax: tax
    D047 IMG_4894.jpg vendor: vendor is missing; date: date is missing
    D048 IMG_5100.jpg certainty 0.50 is under 0.9
    D049 IMG_5101.jpg certainty 0.50 is under 0.9
    D050 receipt-lk-762786.pdf total: subtotal 449.00 + shipping 0 + tax 58.37 = 507.37, but the total is 517.37 (difference +10.00)
    D051 scan0099.jpg total: subtotal 528.00 + shipping 0 + tax 68.64 = 596.64, but the total is 595.74 (difference -0.90)
    11 of 54 documents to review (20%); wrong totals caught 1, wrong totals sent to agents 0
    queue written to out/review-queue.json

    Onze des 54 documents de reçus vont à une personne. Cinq ont un motif : les trois photos endommagées et les deux totaux qui ne correspondent pas aux sommes. Six ont une certitude de 0,50 : les reçus du magasin partenaire, dont les montants viennent du modèle.

  2. Lisez une entrée du fichier de la file. Dans python :

    import json
    queue = json.load(open("out/review-queue.json", encoding="utf-8"))
    print(len(queue), "documents in the queue")
    print(json.dumps(queue[-1], indent=1, ensure_ascii=False))
    11 documents in the queue
    {
    "doc_id": "D051",
    "file": "scan0099.jpg",
    "certainty": 0.9746,
    "reasons": [
    "total: subtotal 528.00 + shipping 0 + tax 68.64 = 596.64, but the total is 595.74 (difference -0.90)"
    ],
    "values": {
    "vendor": "Larkfield",
    "order_number": "LK-444410",
    "date": "2026-07-25",
    "currency": "CAD",
    "subtotal": "528.00",
    "shipping": null,
    "tax": "68.64",
    "total": "595.74",
    "payment_method": "Mastercard"
    }
    }

    Chaque entrée contient les motifs en mots simples et les valeurs. Le réviseur n’a donc rien à exécuter.

  3. Ouvrez docs/review-queue.md. Ce fichier décrit la conception de la file : son contenu, ce que le réviseur voit et ce qu’il peut faire. Vous l’utilisez dans l’exercice du module.

La dernière ligne de la file indique wrong totals caught 1 (1 total faux détecté). C’est le total de D046 : aucun lecteur ne l’a vu, donc il manque. Une valeur « manquante » compte comme fausse par rapport à la vérité. Les totaux de D050 et D051 ne sont pas des erreurs de lecture : ils sont imprimés sur les reçus. Ils vont en révision parce qu’ils ne correspondent pas aux sommes.

Que voit un réviseur? La file donne les motifs, et les preuves donnent l’emplacement de chaque valeur. Pour la photo coupée D045 :

Une fiche de révision pour D045. À gauche, la photo d'un reçu Larkfield, coupée juste sous la ligne de TVH. Des cadres verts entourent LARKFIELD, la ligne de date, la ligne de commande, le sous-total 358,95 et la TVH 13 % 46,66. Une ligne rouge suit le bord coupé. À droite, à réviser : pourquoi. Certitude 0,50 (une valeur fournie seulement par le modèle reçoit 0,50). Motifs : total : le total manque; devise : non vérifiée : la valeur du modèle est introuvable sur la page. Valeurs : fournisseur Larkfield règles; order_number LK-754892 règles; date 2026-06-13 règles; devise CAD non vérifiée; sous-total 358,95 règles; livraison absente (not_printed); taxe 46,66 règles; total absent (cut_off); payment_method absent (cut_off).
Ce qu'un réviseur voit pour D045 : la photo avec un cadre pour chaque valeur lue par les règles, les motifs de révision et chaque valeur avec son statut. Le total et le paiement étaient sous le bord coupé.
Description textuelle du diagramme

La photo D045 montre un reçu Larkfield coupé juste sous la ligne de taxe. Les cadres verts marquent les valeurs lues par les règles : le nom du magasin, la date, le numéro de commande, le sous-total 358,95 et la taxe 46,66. Une ligne rouge marque le bord coupé. À côté, la fiche donne la certitude, 0,50, et deux motifs. Le total manque. La devise CAD vient du modèle et ne figure pas sur la page. La liste des valeurs montre chaque champ avec son statut : le total et le paiement sont absents, pour le motif cut_off.

Le seuil détermine combien de documents une personne vérifie. Un seuil plus élevé envoie davantage de documents en révision. Mais détecte-t-il plus d’erreurs? Exécutez le balayage des seuils :

Fenêtre de terminal
python -m doc_extract.review --sweep
threshold reviewed wrong totals caught wrong totals to agents
0.00 5 (9%) 1 0
0.50 5 (9%) 1 0
0.80 11 (20%) 1 0
0.90 11 (20%) 1 0
0.95 18 (33%) 1 0
0.97 25 (46%) 1 0
0.99 33 (61%) 1 0
1.00 36 (67%) 1 0

Le nombre de documents révisés passe de 5 à 36. Le nombre de totaux faux envoyés aux agents reste à 0 sur chaque ligne. Avant de déplacer le curseur, prédisez : à quoi ressemble la courbe des valeurs fausses quand vous révisez moins de documents?

Explorer

Combien de documents une personne vérifie-t-elle?

01836540123seuil 0,9Documents vérifiés par une personne (sur 54)Documents avec une valeur fausse envoyés aux agents00,10,20,30,40,50,60,70,80,91Seuil de vérification
01836540123seuil 0,9Documents vérifiés par une personne (sur 54)Documents avec une valeur fausse envoyés aux agents00,30,50,81Seuil de vérification

Ligne pleine : le projet. Ligne pointillée : le modèle seul, trié par sa propre confiance. Les 54 documents de reçus du cours.

Au seuil 0,9 : le projet envoie 11 documents sur 54 à une personne, et 0 avec une valeur fausse aux agents. Trié par sa propre confiance, le modèle seul en envoie 0 à une personne, et 3 avec une valeur fausse aux agents.

seuil 0,9Certitude et contrôles (le projet)La confiance du modèle (modèle seul)
Documents vérifiés11 (20%)0 (0%)
Totaux faux envoyés aux agents01
Documents avec une valeur fausse envoyés aux agents03
LesquelsaucunD009 (vendor) ; D045 (tax) ; D046 (tous les champs imprimés)
Les 54 documents de reçus du cours, acheminés à chaque seuil de 0 à 1. Ligne continue : le projet (les motifs entraînent toujours une révision; une certitude sous le seuil aussi). Ligne pointillée : le modèle seul, avec un acheminement selon sa propre confiance. Mesures effectuées sur les résultats du projet et les réponses enregistrées du modèle.
Description textuelle de l’explorateur

Une commande règle le seuil de révision de 0 à 1. Le graphique du haut montre combien des 54 documents une personne vérifie. Avec l’acheminement du projet, 5 documents pour tout seuil jusqu’à 0,50, puis 11 de 0,51 à 0,90. Le nombre augmente ensuite avec le seuil : 18 à 0,95, 33 à 0,99 et 36 à 1,00. Avec le modèle seul, selon sa propre confiance, personne ne vérifie quoi que ce soit jusqu’à 0,96. Ensuite : 1 document à 0,97, 3 à 0,98, 8 à 0,99 et 28 à 1,00. Le graphique du bas montre les documents contenant une valeur fausse qui vont directement aux agents. Avec l’acheminement du projet, la ligne reste à 0 pour chaque seuil. Le seul document contenant des valeurs fausses, D046, a des erreurs de validation. Les erreurs vont toujours à une personne. Avec la confiance du modèle, 3 documents vont aux agents jusqu’à 0,96 (fournisseur de D009, taxe de D045, chaque champ imprimé de D046). Il y en a 2 à 0,97 et à 0,98, puis 1 (D046) à 0,99 et à 1,00. La réponse : avec l’acheminement du projet, aucun total faux n’atteint les agents, quel que soit le seuil. Les erreurs fixent le minimum, pas le seuil.

La ligne plate à 0 est la bonne nouvelle. Les erreurs et les valeurs non vérifiées vont en révision à chaque seuil. Le seul document incorrect, D046, n’atteint donc jamais les agents. Le seuil ne décide pas si un total faux est détecté. La validation le fait.

Alors, qu’apporte le seuil? Sur ce jeu, rien de plus : chaque document qu’il ajoute est correct. Le cours a vérifié chaque valeur lue par les règles sur une numérisation ou une photo, regroupée par score de lecture OCR :

reading score under 0.90 1 values, 0 wrong (0.0%)
reading score 0.90-0.95 10 values, 0 wrong (0.0%)
reading score 0.95-0.99 77 values, 0 wrong (0.0%)
reading score 0.99-1.00 145 values, 0 wrong (0.0%)

Aucune des 233 valeurs n’est fausse, quel que soit le score. Les erreurs OCR de ce jeu sont des valeurs manquées par les règles. Une valeur manquante est une erreur de validation. Le seuil protège donc contre les erreurs invisibles à la validation, comme un montant faux qui donne quand même une somme correcte. Vous ne connaissez pas l’ampleur de ce risque avant de voir de telles erreurs. Deux règles pratiques en découlent :

  • Commencez avec un seuil qui envoie les documents auxquels vous ne faites pas encore confiance : ici, 0,90 envoie chaque reçu où le modèle a comblé un manque.
  • Mesurez à nouveau sur vos propres documents étiquetés quand les documents changent : nouveau magasin, nouvelle caméra de téléphone, nouvelle version OCR. Modifiez ensuite le seuil si les erreurs changent.

Mei résume pour Omar : « Onze documents sur 54 vont à une personne, environ un sur cinq. Cinq doivent y aller. Les six autres viennent du magasin partenaire, jusqu’à ce qu’on écrive des règles pour sa mise en page. »

  • Acheminez d’abord selon les motifs. Une erreur ou une valeur non vérifiée est un fait concernant le document, pas une supposition. Elle va à une personne à tout seuil.
  • Utilisez une certitude que vous pouvez mesurer et expliquer : un score de lecture, le lecteur qui a trouvé la valeur, une vérification réussie. Mesurez la confiance du modèle avant de l’utiliser. Ici, elle n’était pas calibrée, donc le projet ne l’utilise pas.
  • Le coût : chaque document révisé prend du temps à une personne. À 0,90, 11 sur 54 (20 %); à 1,00, 36 (67 %), sans erreur supplémentaire détectée sur ce jeu.
  • Quand ne pas utiliser de seuil : quand vous n’avez aucun document étiqueté pour le mesurer. Révisez d’abord un échantillon fixe, étiquetez-le, puis établissez le seuil à partir de celui-ci.

Erreur courante

Réviser tout ce qui n'est pas parfait

Symptôme : Après une mauvaise semaine, un gestionnaire demande une « sécurité maximale » : le seuil passe à 1,00. La file passe de 11 à 36 documents sur 54. Les réviseurs prennent du retard et commencent à accepter les fiches après un coup d’œil rapide.

Cause : Le seuil plus élevé ajoute 25 documents, et sur ce jeu, les 25 sont corrects. Le balayage le montre : aucun total faux ne va aux agents à 0,90, ni à 1,00. Une file remplie de documents corrects apprend aux réviseurs que la file se trompe habituellement. C’est le risque : une vraie erreur reçoit alors aussi une acceptation rapide. L’histoire des réviseurs fatigués est construite; les nombres viennent des mesures du cours.

Diagnostic : Pour chaque seuil, comptez les documents révisés et les erreurs détectées, sur des documents que vous avez étiquetés. Si les erreurs détectées n’augmentent pas avec la file, les révisions supplémentaires n’apportent rien.

Correction : Gardez le seuil indiqué par la mesure (0,90 ici), et conservez les motifs qui entraînent toujours un acheminement. Consacrez le temps des réviseurs aux documents qui ont un motif. Pour plus de sécurité, ajoutez une vérification qui détecte un type d’erreur connu, comme la liste des fournisseurs dans l’exercice du module.

Conséquence dans le travail en IA : la révision humaine est une ressource limitée. Une étape de révision vous protège seulement si les personnes ont le temps de regarder attentivement.

Changez une condition : le seuil passe de 0,90 à 0,95. Prédisez quels types de documents rejoignent la file : PDF numériques, numérisations ou photos? Exécutez ensuite :

Fenêtre de terminal
python -m doc_extract.review --threshold 0.95
Afficher la réponse
D017 maple-pine-0534-560.pdf certainty 0.50 is under 0.95
D018 maple-pine-0727-251.pdf certainty 0.50 is under 0.95
D020 scan0002.jpg certainty 0.94 is under 0.95
D024 scan0006.jpg certainty 0.91 is under 0.95
D033 scan-partner-1.jpg certainty 0.50 is under 0.95
D034 scan-partner-2.jpg certainty 0.50 is under 0.95
D040 IMG_4845.jpg certainty 0.92 is under 0.95
D042 IMG_4859.jpg certainty 0.95 is under 0.95
D043 IMG_4866.jpg certainty 0.94 is under 0.95
D044 IMG_4873.jpg certainty 0.94 is under 0.95
D045 IMG_4880.jpg total: total is missing; currency: unverified: the model's value cannot be found on the page
D046 IMG_4887.jpg vendor: vendor is missing; date: date is missing; currency: currency is missing; subtotal: subtotal is missing; tax: tax
D047 IMG_4894.jpg vendor: vendor is missing; date: date is missing
D048 IMG_5100.jpg certainty 0.50 is under 0.95
D049 IMG_5101.jpg certainty 0.50 is under 0.95
D050 receipt-lk-762786.pdf total: subtotal 449.00 + shipping 0 + tax 58.37 = 507.37, but the total is 517.37 (difference +10.00)
D051 scan0099.jpg total: subtotal 528.00 + shipping 0 + tax 68.64 = 596.64, but the total is 595.74 (difference -0.90)
D058 warranty-claim-wc-2026-0418.pdf certainty 0.92 is under 0.95
18 of 54 documents to review (33%); wrong totals caught 1, wrong totals sent to agents 0
queue written to out/review-queue.json

Sept documents s’ajoutent. Ce sont les numérisations D020 et D024, les photos D040, D042, D043 et D044, et la réclamation de garantie D058. La page du reçu de D058 est une numérisation. Leur certitude va de 0,91 à 0,95, car l’OCR a lu un champ de chacun avec ce score. Aucun PDF numérique ne s’ajoute : la couche texte reçoit 1,0. D042 a une certitude de 0,9485, affichée comme 0.95, et elle est sous le seuil. Chaque document ajouté est correct. La file gagne donc sept révisions sans détecter de nouvelle erreur.

Vérifiez votre compréhension

Expliquez pourquoi le projet n'utilise pas la confiance du modèle pour l'acheminement, avec deux nombres du cours.

Afficher la réponse

La confiance du modèle n’est pas calibrée pour cette tâche. D’abord, sa confiance la plus faible sur 486 réponses est de 0,96. Un seuil peut donc difficilement séparer les réponses. Ensuite, 9 de ses 10 réponses erronées indiquent 1,0, la valeur maximale. Les réponses à 1,0 sont correctes dans 97,4 % des cas. Les réponses entre 0,95 et 0,99 sont correctes dans 99,3 % des cas. Avec cette confiance et un seuil de 0,90, trois documents contenant des valeurs erronées vont directement aux agents : D009, D045 et D046.

Vérifiez votre compréhension

Prédisez : un reçu provenant de la couche de texte a un total qui ne correspond pas à la somme. Sa certitude est de 1,0. Va-t-il en révision au seuil de 0,50?

Afficher la réponse

Oui. Un total qui ne correspond pas à la somme est une erreur de validation, et une erreur constitue un motif. Un document avec un motif va en révision à n’importe quel seuil, même si sa certitude est de 1,0. C’est le cas de D050 : un PDF numérique, une certitude de 1,0 et une présence dans la file à chaque seuil. La commande review --threshold 0.5 le montre avec ses 5 documents.

Vérifiez votre compréhension

Vérification pratique : exécutez python -m doc_extract.review --threshold 0.5. Combien de documents sont dans la file? Lesquels en sortent par rapport au seuil de 0,90, et pourquoi?

Afficher la réponse

Cinq documents : D045, D046, D047, D050 et D051, chacun avec un motif. Les six reçus des boutiques partenaires (D017, D018, D033, D034, D048, D049) sortent de la file. Leur sous-total et leur total proviennent du modèle, donc leur certitude est de 0,50. Et 0,50 n’est pas inférieur au seuil de 0,50. Le nombre de totaux erronés envoyés aux agents reste à 0. Grace décide si les valeurs des boutiques partenaires peuvent aller directement aux agents. Elles s’appuient sur la page, mais aucune règle ne les a lues.

Récapitulatif

  • Une confiance est calibrée quand elle correspond à la fréquence des réponses correctes. Celle du modèle ne l’est pas : minimum de 0,96, et 9 de ses 10 réponses erronées indiquent 1,0.
  • La décision de révision du projet : un motif (erreur de validation, conflit, valeur non vérifiée) entraîne toujours une révision humaine. Sinon, la certitude est comparée au seuil.
  • À 0,90 : 11 documents sur 54 à réviser (20 %), 0 total erroné envoyé aux agents. La ligne reste plate à chaque seuil : les erreurs fixent le minimum.
  • Sur ce jeu de données, un seuil plus élevé ajoute seulement des documents corrects. Mesurez le seuil sur vos propres documents étiquetés, puis de nouveau quand ils changent.
  • Le réviseur voit la page avec les cadres, les motifs et les valeurs accompagnées de leur statut.

Ensuite, le réviseur intervient : une correction est enregistrée à côté de la valeur originale, avec un nom, une note et une version. Rien n’est effacé.

Leçon suivante : Flux de correction