Aller au contenu
English

Flux de correction

  • Leçon 16
  • 50 min
  • Module 5 : Valider et réviser les résultats

Où nous en sommes

Dans les deux dernières leçons, nous avons envoyé les documents incertains à un réviseur, avec la page, les cadres et les raisons. Maintenant, le réviseur change une valeur. Si la correction écrase ce que le pipeline a lu, personne ne peut voir plus tard ce qui a été lu, qui l'a changé, ni pourquoi. Dans cette leçon, nous enregistrons chaque correction dans une nouvelle ligne à côté de l'original, et nous n'effaçons rien, comme un comptable qui tient ses livres à l'encre.

Ce que vous saurez faire

Enregistrez chaque changement d’un réviseur dans une nouvelle ligne, à côté de l’extraction, avec un nom, une note et une version. Rien n’est effacé. Chacun peut donc voir plus tard ce que le pipeline a lu, qui l’a changé et pourquoi.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 50 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

  • Votre projet à la fin de la leçon précédente : python -m pytest -q affiche 94 passed (94 tests réussis).
  • Rien à installer : la base de données est SQLite, qui est fourni avec Python.

Testé avec Python 3.12.13 sur macOS (Apple silicon). Les commandes Windows et Linux ne sont pas testées. Les corrections des réviseurs dans cette leçon sont des récits de révision inventés; le texte des reçus papier provient du générateur du cours.

  1. Dans le dossier du projet, copiez le module et son test depuis l’instantané :

    Fenêtre de terminal
    S=../nextia-learning-labs/C13/snapshots/end-of-m05
    cp $S/doc_extract/corrections.py doc_extract/
    cp $S/tests/test_corrections.py tests/
  2. Exécutez les tests :

    Fenêtre de terminal
    python -m pytest -q

    La dernière ligne est 98 passed (98 tests réussis). Votre projet correspond maintenant à l’instantané end-of-m05, fichier par fichier, sauf pour README.md et .env.example. Les versions de l’instantané indiquent les commandes de ce module et le paramètre REVIEW_DB. Copiez-les depuis l’instantané si vous les voulez.

La base de données est le fichier out/review.db. Le paramètre REVIEW_DB peut désigner un autre fichier. Comme tout ce qui se trouve dans out/, vous pouvez le supprimer pour recommencer.

Un comptable tient ses livres à l’encre. Quand une ligne est incorrecte, il ne l’efface pas et ne la recouvre pas. Il écrit une nouvelle ligne qui corrige l’ancienne, avec la date et ses initiales. Des mois plus tard, un auditeur peut voir la première ligne, la correction, son auteur et sa date. Les livres racontent toute l’histoire, y compris les erreurs.

Une file de révision demande la même habitude. Un réviseur change des valeurs chaque jour. Plus tard, quelqu’un demande : « Qu’a lu le pipeline? Qui l’a changé? Pourquoi? » Les réponses doivent toujours être là.

La façon simple de corriger une valeur consiste à la remplacer. Grace vérifie le reçu numérique D011 et le compare au reçu papier du client. Elle saisit le total 211.86 à la place de la valeur stockée 211.68. Le résultat semble propre : une valeur par champ.

Trois choses sont maintenant perdues. D’abord, ce que le pipeline a lu. La personne suivante ne voit plus que le lecteur indiquait 211,68, avec un rectangle montrant 211,68 sur la page. Ensuite, qui l’a changé et pourquoi. Enfin, le moyen de revenir en arrière. Et dans ce récit, Grace a inversé deux chiffres : le papier indique 211,68. Le pipeline avait donc raison et la correction est incorrecte. Sans l’original, personne ne peut le découvrir, sauf en demandant de nouveau le papier.

L’écrasement fausse aussi les mesures du prochain module. Si les réviseurs écrasent les valeurs extraites, le pipeline semble meilleur qu’il ne l’est.

Le projet conserve l’extraction et les corrections dans deux tables, sans jamais modifier leurs lignes. Un changement est toujours une nouvelle ligne. Cette conception fonctionne par ajout seulement : vous pouvez ajouter des lignes à la fin, sans les modifier ni les écraser. Ensemble, les lignes forment l’historique des versions d’un champ. Certaines équipes l’appellent une piste d’audit.

  • La table extractions conserve chaque champ tel que le pipeline l’a extrait. Une ligne contient la valeur, son statut, sa raison, ses preuves (page et rectangle), et les versions du pipeline et du contrat.
  • La table corrections conserve chaque changement fait par une personne. Une ligne contient le champ, la valeur précédente, la nouvelle valeur, le réviseur, une note et un numéro de version.
  • La valeur actuelle d’un champ est sa dernière correction, ou la valeur extraite si personne ne l’a corrigé.

Deux règles protègent ce fonctionnement. La base de données refuse un UPDATE (mise à jour) sur les deux tables. Un déclencheur, une petite règle stockée dans la base de données, l’arrête avec un message. Le code refuse aussi une correction sans note, car une correction que personne ne peut expliquer ne peut être vérifiée.

Rectangles de haut en bas. Un rectangle rouge, UPDATE extractions, refusé par un déclencheur, avec une flèche pointillée barrée vers le rectangle extractions : une extraction n'est jamais modifiée. En dessous, extractions (jamais modifiées) : D011 total 211,68, trouvé, page 1, rectangle [14, 227, 213, 236] pt, pipeline 1.0.0, contrat receipt-v1. En dessous, un groupe nommé corrections : une nouvelle ligne par changement, avec deux rectangles côte à côte. Ligne 1 : D011 total 211,68 -> 211,86, Grace, version 1, Saisi à partir du reçu papier. Ligne 2 : D011 total 211,86 -> 211,68, Priya, version 2, Le reçu papier indique 211,68; la version 1 a inversé deux chiffres. Sous le groupe, valeur actuelle : total 211,68, corrigé par Priya (version 2).
Les deux tables du total de D011, après les étapes ci-dessous. Chaque changement est une nouvelle ligne; la valeur actuelle est la plus récente. Un UPDATE qui tente de modifier la ligne extraite est refusé.
Description textuelle du diagramme

La ligne extraite conserve le total de D011 tel que le pipeline l’a lu : 211,68, trouvé, à la page 1 dans le rectangle [14, 227, 213, 236], en points. Elle indique aussi le pipeline 1.0.0 et le contrat receipt-v1. La première ligne de correction le change à 211,86, par Grace, version 1, avec la note « Saisi à partir du reçu papier ». La deuxième ligne de correction le ramène à 211,68, par Priya, version 2, car la version 1 a inversé deux chiffres. La valeur actuelle est 211,68, corrigée par Priya. Un UPDATE sur la table extractions est refusé par un déclencheur.

Voici le petit exemple : un champ d’un reçu, avec toutes les lignes visibles.

  1. Stockez ce que le pipeline a extrait de D011 :

    Fenêtre de terminal
    python -m doc_extract.corrections load D011
    D011: stored 9 fields from the pipeline
  2. Enregistrez la correction de Grace, avec son nom et une note :

    Fenêtre de terminal
    python -m doc_extract.corrections correct D011 total 211.86 --reviewer Grace --note "Typed from the paper receipt"
    D011 total: correction version 1 recorded; the extracted value is kept
  3. Affichez l’historique du reçu :

    Fenêtre de terminal
    python -m doc_extract.corrections history D011
    extracted vendor Larkfield found (page 1, box [76, 23, 151, 37])
    extracted order_number LK-103119 found (page 1, box [14, 102, 101, 111])
    extracted date 2026-08-22 found (page 1, box [14, 89, 213, 98])
    extracted currency CAD found (page 1, box [14, 227, 213, 236])
    extracted subtotal 189.00 found (page 1, box [14, 189, 213, 198])
    extracted shipping None absent
    extracted tax 22.68 found (page 1, box [14, 202, 213, 223])
    extracted total 211.68 found (page 1, box [14, 227, 213, 236])
    extracted payment_method Cash found (page 1, box [14, 252, 213, 261])
    corrected total 211.68 -> 211.86 by Grace, version 1: Typed from the paper receipt

    Les neuf champs extraits sont toujours là, chacun avec sa page et son rectangle. La dernière ligne est la correction : l’ancienne valeur, la nouvelle valeur, l’auteur, la version et la note.

  4. Affichez les valeurs actuelles :

    Fenêtre de terminal
    python -m doc_extract.corrections current D011
    vendor Larkfield extracted (found)
    order_number LK-103119 extracted (found)
    date 2026-08-22 extracted (found)
    currency CAD extracted (found)
    subtotal 189.00 extracted (found)
    shipping None extracted (absent)
    tax 22.68 extracted (found)
    total 211.86 corrected by Grace (version 1)
    payment_method Cash extracted (found)

    Le total est maintenant celui de Grace, 211,86, et la ligne indique sa provenance. Les autres champs proviennent toujours de l’extraction.

Essayez maintenant de contourner les règles. Dans python, tentez de modifier directement la ligne extraite, puis regardez les deux tables :

import sqlite3
from doc_extract import corrections
db = corrections.connect()
try:
db.execute("UPDATE extractions SET value = '211.86' WHERE doc_id = 'D011' AND field = 'total'")
except sqlite3.IntegrityError as e:
print("refused:", e)
for row in db.execute("SELECT id, value, status FROM extractions WHERE doc_id = 'D011' AND field = 'total'"):
print("extractions:", row)
for row in db.execute("SELECT id, old_value, new_value, reviewer, note, version FROM corrections WHERE doc_id = 'D011'"):
print("corrections:", row)
refused: an extraction is never changed: add a correction
extractions: (8, '211.68', 'found')
corrections: (1, '211.68', '211.86', 'Grace', 'Typed from the paper receipt', 1)

Le déclencheur arrête le UPDATE avec son message, et la ligne extraite indique toujours 211,68. La correction est une ligne distincte avec son propre identifiant. Essayez ensuite une correction sans raison :

from doc_extract import corrections
db = corrections.connect()
try:
corrections.correct(db, "D011", "total", "211.68", "Priya", " ")
except ValueError as e:
print("refused:", e)
refused: a correction needs a note that says why

Priya vérifie maintenant le papier de nouveau. Il indique 211,68 : Grace a inversé deux chiffres. Priya ne supprime pas la ligne de Grace. Elle ajoute une deuxième correction :

Fenêtre de terminal
python -m doc_extract.corrections correct D011 total 211.68 --reviewer Priya --note "The paper receipt says 211.68; version 1 swapped two digits"
python -m doc_extract.corrections history D011
python -m doc_extract.corrections current D011
D011 total: correction version 2 recorded; the extracted value is kept
...
extracted payment_method Cash found (page 1, box [14, 252, 213, 261])
corrected total 211.68 -> 211.86 by Grace, version 1: Typed from the paper receipt
corrected total 211.86 -> 211.68 by Priya, version 2: The paper receipt says 211.68; version 1 swapped two digits
...
total 211.68 corrected by Priya (version 2)

L’historique raconte maintenant toute l’histoire : le pipeline a lu 211,68, Grace l’a changé à 211,86, puis Priya l’a rétabli, avec une raison. Le total actuel est la version 2. Même une correction incorrecte est une preuve. Elle montre où le processus de révision peut échouer, par exemple lors de la saisie manuelle d’un total.

Larkfield : une photo coupée et le reçu papier du client

Section intitulée « Larkfield : une photo coupée et le reçu papier du client »

La photo D045 est dans la file parce que son total manque. Grace demande le reçu papier au client, qui le lui envoie. Il montre TOTAL CAD 405.61 (total en dollars canadiens de 405,61) et Cash 405.61 (comptant : 405,61), les lignes sous le bord coupé. Grace enregistre trois corrections :

  1. Stockez l’extraction et regardez ses valeurs actuelles :

    Fenêtre de terminal
    python -m doc_extract.corrections load D045
    python -m doc_extract.corrections current D045
    D045: stored 9 fields from the pipeline
    vendor Larkfield extracted (found)
    order_number LK-754892 extracted (found)
    date 2026-06-13 extracted (found)
    currency CAD extracted (unverified)
    subtotal 358.95 extracted (found)
    shipping None extracted (absent)
    tax 46.66 extracted (found)
    total None extracted (absent)
    payment_method None extracted (absent)

    La devise est unverified (non vérifiée) : le modèle a donné CAD, et la photo ne l’indique pas. Le total et le paiement sont absents.

  2. Enregistrez les trois valeurs du papier, chacune avec sa note :

    Fenêtre de terminal
    python -m doc_extract.corrections correct D045 total 405.61 --reviewer Grace --note "From the paper receipt the customer sent: TOTAL CAD 405.61"
    python -m doc_extract.corrections correct D045 payment_method Cash --reviewer Grace --note "From the paper receipt the customer sent: Cash 405.61"
    python -m doc_extract.corrections correct D045 currency CAD --reviewer Grace --note "The paper receipt prints TOTAL CAD; the photo cut it off"

    La devise garde la même valeur, CAD. La correction compte quand même : elle indique qu’une personne l’a vérifiée et sur quel papier. La valeur ne provient donc plus seulement du modèle.

  3. Vérifiez de nouveau les valeurs actuelles avec les règles de la première leçon. Dans python :

    from doc_extract import corrections, validate
    db = corrections.connect()
    values = {name: v["value"] for name, v in corrections.current(db, "D045").items()}
    problems = validate.validate(values)
    print(values)
    print([(p.severity, p.field, p.rule) for p in problems] or "no problem")
    {'vendor': 'Larkfield', 'order_number': 'LK-754892', 'date': '2026-06-13', 'currency': 'CAD', 'subtotal': '358.95', 'shipping': None, 'tax': '46.66', 'total': '405.61', 'payment_method': 'Cash'}
    no problem

    358,95 + 46,66 = 405,61, donc le reçu corrigé réussit toutes les vérifications. Dans la vie d’un reçu, c’est l’étape « les vérifications sont relancées et réussissent » avant son envoi aux agents.

À gauche, la photo D045, coupée sous la ligne HST, avec des rectangles verts autour des valeurs lues par les règles. À droite, D045 après révision. Table extractions, les lignes écrites par le pipeline, jamais modifiées : currency CAD non vérifiée; total None absent; payment_method None absent. Table corrections, une nouvelle ligne par changement : total None -> 405,61 par Grace, version 1 : Du reçu papier envoyé par le client : TOTAL CAD 405.61; payment_method None -> Cash par Grace, version 1 : Du reçu papier envoyé par le client : Cash 405.61; currency CAD -> CAD par Grace, version 1 : Le reçu papier indique TOTAL CAD; la photo l'a coupé. La valeur actuelle, soit la dernière correction, sinon l'extraction : currency CAD, total 405,61, payment_method Cash, chacun corrigé par Grace (version 1).
D045 après révision. Les lignes extraites conservent ce que montrait la photo : rien pour le total et le paiement. Les lignes de correction ajoutent ce que montre le papier, avec l'auteur et la raison.
Description textuelle du diagramme

La photo D045 est coupée sous la ligne de taxe. Les lignes extraites conservent ce que le pipeline y a trouvé : la devise CAD, non vérifiée, et aucun total ni paiement. Les lignes de correction ajoutent le total 405,61, le paiement Cash et une devise CAD confirmée. Chaque correction est de Grace, version 1, avec une note qui désigne le reçu papier. Les valeurs actuelles sont les corrections : devise CAD, total 405,61, paiement Cash.

Regardez vous-même l’historique de D045 :

Fenêtre de terminal
python -m doc_extract.corrections history D045
extracted vendor Larkfield found (page 1, box [428, 531, 769, 588])
extracted order_number LK-754892 found (page 1, box [163, 854, 544, 901])
extracted date 2026-06-13 found (page 1, box [163, 803, 1026, 863])
extracted currency CAD unverified
extracted subtotal 358.95 found (page 1, box [172, 1509, 1002, 1561])
extracted shipping None absent
extracted tax 46.66 found (page 1, box [170, 1557, 1002, 1599])
extracted total None absent
extracted payment_method None absent
corrected total None -> 405.61 by Grace, version 1: From the paper receipt the customer sent: TOTAL CAD 405.61
corrected payment_method None -> Cash by Grace, version 1: From the paper receipt the customer sent: Cash 405.61
corrected currency CAD -> CAD by Grace, version 1: The paper receipt prints TOTAL CAD; the photo cut it off

Les lignes extraites conservent les rectangles sur la photo. Les corrections n’ont pas de rectangle, car elles proviennent du papier, pas du fichier : leur preuve est la note. Si quelqu’un demande dans un an d’où vient 405,61, la réponse est dans la ligne.

Les déclencheurs refusent UPDATE, pas DELETE (suppression). C’est voulu. Un client peut demander à Larkfield de supprimer ses données. Le pipeline doit alors retirer les lignes de ce document, de son extraction et de ses corrections. C’est une opération délibérée, inscrite dans un journal, que le prochain module construit (pipeline delete). Une correction n’est jamais une suppression : elle ajoute une ligne, et les lignes précédentes restent.

Quand utiliser les corrections par ajout seulement, et leur coût

Section intitulée « Quand utiliser les corrections par ajout seulement, et leur coût »
  • Utilisez-les chaque fois qu’une personne change une valeur extraite par un système : reçus, factures, formulaires, étiquettes d’évaluation.
  • Demandez une raison chaque fois. Une courte note comme « Du reçu papier » suffit. Elle transforme un changement en preuve.
  • Le coût : plus de lignes, et chaque lecteur des données doit demander la valeur actuelle, pas lire directement l’extraction. corrections.current le fait à un seul endroit.
  • Une limite de cette conception : si le pipeline relit un document, la nouvelle extraction est une nouvelle ligne. Une ancienne correction a toujours priorité sur elle. Le prochain module prévoit le retraitement.

Erreur courante

Corriger dans la base de données

Symptôme : Un développeur voit un total incorrect dans la base de révision et applique une correction rapide : UPDATE extractions SET value = '211.86' WHERE .... La base de données répond an extraction is never changed: add a correction (une extraction n’est jamais modifiée : ajoutez une correction). Le développeur s’agace et demande de retirer le déclencheur « pour une minute ».

Cause : Le déclencheur fait son travail. Sans lui, la correction écraserait la valeur du pipeline. Personne ne pourrait ensuite voir ce que le pipeline a lu, qui l’a changé ou pourquoi. Si la correction est incorrecte, comme le 211,86 de Grace, la bonne valeur est perdue aussi.

Diagnostic : Cherchez les changements sans historique. Dans ce projet, une valeur différente de son extraction doit avoir une ligne de correction : corrections history <document> l’affiche. Une ligne extraite modifiée sans correction indique que quelqu’un a contourné le flux de travail.

Solution : Gardez les déclencheurs. Faites chaque changement avec corrections correct, un réviseur et une note, même un changement fait par un développeur. Si un bogue rend plusieurs valeurs incorrectes, corrigez le lecteur et relancez l’extraction. La nouvelle extraction est une nouvelle ligne avec une nouvelle version du pipeline.

Conséquence pour le travail en IA : la même règle protège les étiquettes et les jeux d’évaluation. Modifier directement une étiquette détruit les preuves de la façon dont les étiquettes ont été créées. Gardez l’ancienne étiquette et ajoutez la nouvelle avec une raison, comme dans Étiqueter et versionner du cours Évaluer et tester les systèmes d’IA.

Changez une condition : D047, dont le haut est coupé, si bien que le fournisseur et la date manquent. Le client envoie le reçu papier. Voici ses premières lignes, provenant du générateur du cours :

LARKFIELD
Home & Garden
88 Queen St W
Toronto ON M5H 2M5
------------------------------------
Date: 2026-08-01 10:39

Camille traite ce billet de soutien. Stockez l’extraction, enregistrez les deux corrections avec le nom de Camille et une note, puis affichez l’historique. Vérifiez les valeurs actuelles avec validate. Prédisez les numéros de version avant l’exécution.

Afficher la réponse
Fenêtre de terminal
python -m doc_extract.corrections load D047
python -m doc_extract.corrections correct D047 vendor Larkfield --reviewer Camille --note "Paper receipt from the customer: LARKFIELD at the top"
python -m doc_extract.corrections correct D047 date 2026-08-01 --reviewer Camille --note "Paper receipt from the customer: Date: 2026-08-01"
python -m doc_extract.corrections history D047
D047: stored 9 fields from the pipeline
D047 vendor: correction version 1 recorded; the extracted value is kept
D047 date: correction version 1 recorded; the extracted value is kept
extracted vendor None absent
extracted order_number LK-192531 found (page 1, box [124, 26, 512, 75])
extracted date None absent
extracted currency CAD found (page 1, box [158, 610, 1018, 674])
extracted subtotal 187.00 found (page 1, box [151, 501, 1019, 568])
extracted shipping None absent
extracted tax 24.31 found (page 1, box [154, 557, 1019, 621])
extracted total 211.31 found (page 1, box [158, 610, 1018, 674])
extracted payment_method Visa found (page 1, box [162, 714, 1023, 779])
corrected vendor None -> Larkfield by Camille, version 1: Paper receipt from the customer: LARKFIELD at the top
corrected date None -> 2026-08-01 by Camille, version 1: Paper receipt from the customer: Date: 2026-08-01

Dans python, la vérification des valeurs actuelles :

from doc_extract import corrections, validate
db = corrections.connect()
values = {name: v["value"] for name, v in corrections.current(db, "D047").items()}
print([(p.severity, p.field, p.rule) for p in validate.validate(values)] or "no problem")
no problem

Les deux corrections sont en version 1, car la version compte les corrections d’un champ, pas du reçu entier. Les lignes extraites conservent « absent » pour le fournisseur et la date : c’est ce que montre la photo. Les deux champs obligatoires ont maintenant des valeurs actuelles, donc aucune vérification des champs obligatoires n’échoue. Le reçu n’a plus d’erreur.

Vérifiez votre compréhension

Expliquez ce que l'historique de D011 permet à un auditeur de découvrir, mais qu'un écrasement cacherait.

Afficher la réponse

L’historique montre le total extrait de 211,68 avec son rectangle à la page 1. L’auditeur voit donc que le pipeline a lu le papier correctement. Il montre la correction de Grace à 211,86 avec sa note, puis celle de Priya qui rétablit 211,68 avec la raison : la version 1 a inversé deux chiffres. Un écrasement ne conserverait que la dernière valeur. L’auditeur ne pourrait pas voir que le pipeline avait raison, qu’une correction était incorrecte, ni l’auteur et la raison de chaque changement.

Vérifiez votre compréhension

Prédisez : Priya exécute de nouveau corrections correct D011 total 211.68 avec une autre note. Qu'est-ce qui est stocké, et quelle est la valeur actuelle?

Afficher la réponse

Une troisième ligne de correction est stockée pour le total de D011 : version 3, ancienne valeur 211,68, nouvelle valeur 211,68, par Priya, avec la nouvelle note. Aucune ligne n’est modifiée ni retirée. La valeur actuelle reste 211,68, et provient maintenant de la version 3. Une correction avec la même valeur reste un enregistrement : elle indique qu’une personne a revérifié le champ, quand et pourquoi.

Vérifiez votre compréhension

Vérification pratique : exécutez python -m doc_extract.corrections correct D011 colour red --reviewer Sam --note 'a test'. Que se passe-t-il, et pourquoi est-ce correct?

Afficher la réponse

La commande s’arrête avec ValueError: colour is not a field of the contract (colour n’est pas un champ du contrat), et rien n’est stocké. Le contrat a neuf champs, et une correction ne peut changer que l’un d’eux. Une correction d’un champ inconnu ajoute une valeur qu’aucune autre partie du pipeline ne comprend. Elle cache aussi une erreur de saisie dans le nom du champ.

Ce module a rendu les résultats du pipeline sûrs à utiliser. Dans Validation selon les règles d’affaires, vous avez vérifié les valeurs selon les règles de l’entreprise. Cinq reçus ont une erreur, dont D050, dont les neuf valeurs sont lues correctement, mais le total dépasse de dix dollars. Dans Confiance et acheminement vers la révision, vous avez mesuré que la confiance du modèle n’est pas calibrée. Vous avez acheminé les documents selon les raisons et une certitude mesurée : 11 documents sur 54 en révision, et aucun total incorrect aux agents. Dans cette leçon, la correction d’un réviseur est devenue une nouvelle ligne avec un nom, une note et une version. L’extraction reste à côté. Votre projet correspond à l’instantané end-of-m05 : python -m pytest -q affiche 98 passed.

Exercice du module : une file de révision pour les totaux invalides et les noms de fournisseurs incertains

Section intitulée « Exercice du module : une file de révision pour les totaux invalides et les noms de fournisseurs incertains »

Concevez la file de révision pour deux problèmes : les totaux qui échouent à la validation et les noms de fournisseurs incertains. La conception précise ce qui entre dans la file, ce que le réviseur voit et ce qu’il peut faire.

  1. Listez les documents dont le total est invalide. Ils ont l’erreur adds_up (la somme correspond) ou un total manquant :

    Fenêtre de terminal
    python -m doc_extract.review

    Dans la sortie, les totaux de D050 et D051 ne correspondent pas à la somme, et celui de D045 manque. La ligne de D046 est longue, et la commande la coupe : validate --all montre aussi son total manquant. Chaque ligne donne la raison en mots.

  2. Décrivez ce que le réviseur voit pour un total invalide. Utilisez l’entrée de D051 dans la file de Confiance et acheminement vers la révision. Utilisez aussi l’image de D050 et D051 dans Validation selon les règles d’affaires. Voici la conception du cours, dans docs/review-queue.md :

    One card per document: the picture of the page with the box of every field drawn on it,
    the extracted values with their status (found, inferred, absent and why), the reasons,
    and for a conflict both values side by side.

    Pour un total invalide, les zones importantes sont celles du sous-total, de la taxe et du total. La raison donne la somme : 528.00 + 0 + 68.64 = 596.64, but the total is 595.74 (528,00 + 0 + 68,64 = 596,64, mais le total est 595,74).

  3. Décrivez ce que le réviseur peut faire et comment chaque action est enregistrée :

    • Accepter : le reçu affiche réellement un total qui ne correspond pas à la somme. Le réviseur l’accepte et explique pourquoi. L’agent s’occupe du client, par exemple en utilisant le montant du relevé bancaire. Enregistrement : une correction avec la même valeur et une note.
    • Corriger : le papier montre une autre valeur. Enregistrement : une correction avec la nouvelle valeur et une note, comme vous l’avez fait pour D045.
    • Demander au client : la page ne montre pas la valeur, comme pour D045 et D046. Rien n’est enregistré tant que le client n’envoie pas une meilleure image.
  4. Vérifiez la conception avec la mesure du cours : au seuil de 0,90, la file contient 11 documents et tous les totaux invalides.

Faites maintenant la même chose pour les noms de fournisseurs. Un nom est incertain s’il ne figure pas parmi les magasins connus de Larkfield, dans contract.VENDORS. Il peut s’agir d’une erreur de lecture comme LARKEFIELD, ou d’un nouveau magasin partenaire. Décidez :

  1. Un fournisseur inconnu est-il une erreur ou un avertissement? Pourquoi?
  2. Que voit le réviseur et que peut-il faire?
  3. Quels documents du cours iraient dans la file? Écrivez une vérification et exécutez-la sur les valeurs du pipeline et sur celles du modèle seul.
Afficher une solution détaillée

1. Une erreur. Un fournisseur inconnu n’est pas un cas normal chez Larkfield, contrairement à un reçu américain. Soit le nom est mal lu, soit le reçu provient d’un magasin que Larkfield n’accepte pas. Les deux cas nécessitent une intervention humaine avant un remboursement.

2. La fiche et les actions. Le réviseur voit la zone du fournisseur sur la page, le nom extrait et la liste des magasins connus. Il peut corriger le nom pour celui d’un magasin connu, avec une note (« LARKFIELD imprimé; LARKEFIELD lu »). Si le magasin est vraiment nouveau, il demande à l’équipe des achats de l’ajouter à la liste. Cela modifie le contrat. En attendant, le reçu reste en attente.

3. La vérification. Dans python, voici la vérification du fournisseur pour le pipeline et le modèle seul :

from doc_extract import combine, contract, documents, vision
for d in documents.receipts():
ex, _ = combine.combine(d)
model = vision.read(d.file, d.truth.get("receipt_page", 1))
for who, value in (("pipeline", ex.value("vendor")), ("model alone", model.value("vendor"))):
if value is not None and contract.vendor(value) not in contract.VENDORS:
print(d.doc_id, who, repr(value), "is not in the vendor list")
print("checked", len(documents.receipts()), "receipt documents")
D009 model alone 'LARKEFIELD' is not in the vendor list
checked 54 receipt documents

Le pipeline ne donne aucun fournisseur inconnu pour les documents du cours : les règles lisent D009 à partir de la couche texte. Le modèle seul placerait D009 dans la file, avec sa lecture erronée LARKEFIELD. Une telle erreur de lecture ne viole aucune autre règle. Cette vérification comble donc une des lacunes de validation de la première leçon. Pour l’intégrer au projet, ajoutez-la à validate.validate comme erreur, avec un test. Le fichier docs/review-queue.md du cours décrit la même conception.

Vérification de fin de leçon : corriger sans effacer les preuves

Section intitulée « Vérification de fin de leçon : corriger sans effacer les preuves »

Expliquez comment une correction est enregistrée sans effacer les preuves originales. Utilisez D045 comme exemple. Indiquez où la valeur extraite est conservée, où la correction est conservée et comment le pipeline connaît la valeur actuelle.

Afficher une solution détaillée
  • La valeur extraite reste dans la table extractions, telle que le pipeline l’a écrite. Pour D045, le total est absent, et les valeurs trouvées gardent leurs zones sur la photo. Un déclencheur refuse tout UPDATE (mise à jour) de cette table. Personne ne peut donc modifier la ligne, même par erreur.
  • La correction est une nouvelle ligne dans la table corrections : champ total, None -> 405.61, Grace, version 1, avec une note qui désigne le reçu papier. Une correction sans note est refusée. La table des corrections refuse aussi UPDATE. Une correction erronée est donc corrigée par une nouvelle version, comme Priya l’a fait pour D011.
  • La valeur actuelle est la dernière correction du champ, ou la valeur extraite s’il n’y a aucune correction. corrections current D045 affiche total 405.61 corrected by Grace (version 1) (total de 405,61 corrigé par Grace, version 1), et corrections history D045 affiche les deux lignes.

Les preuves de la photo et du papier sont donc toutes deux conservées, chacune avec sa source. Une personne qui les consulte plus tard peut relier chaque changement à une personne et à une raison.

Récapitulatif

  • N’écrasez jamais une valeur extraite. Conservez-la et ajoutez chaque changement dans une nouvelle ligne avec la personne, la raison et une version.
  • Les deux tables du projet, extractions et corrections, permettent seulement l’ajout : les déclencheurs refusent UPDATE, et une correction exige une note.
  • La valeur actuelle est la dernière correction, ou la valeur extraite. Une nouvelle version corrige une correction erronée, et l’historique conserve les deux.
  • Les valeurs corrigées sont vérifiées à nouveau avant d’être transmises aux agents : D045 réussit toutes les vérifications avec le total du papier.
  • La suppression est une opération distincte et délibérée, consignée dans un journal, et non une correction.

Ensuite, le module 6 mesure le pipeline champ par champ, par rapport aux valeurs réelles, selon le type de document.

Leçon suivante : Métriques par champ