Aller au contenu
English

Combiner les méthodes

  • Leçon 12
  • 55 min
  • Module 4 : Utiliser les modèles multimodaux de façon réfléchie

Où nous en sommes

Dans la dernière leçon, une requête précise a empêché le modèle de vision d'inventer des valeurs. Mais le modèle est encore lent, il coûte de l'argent à chaque page et il ne donne aucun cadre. Les règles sont gratuites et exactes, mais seulement pour les mises en page qu'elles connaissent. Dans cette leçon, nous lisons d'abord avec les règles, appelons le modèle seulement quand elles ne suffisent pas, et décidons champ par champ quelle valeur garder.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité

Ce que vous saurez faire

Lisez d’abord chaque reçu avec les lecteurs précis et peu coûteux : la couche de texte et les règles. Appelez le modèle de vision seulement quand ils ne suffisent pas. Décidez ensuite, champ par champ, quelle valeur garder, et associez chaque valeur du modèle à un endroit sur la page. Le résultat dépasse celui de chaque lecteur utilisé seul, pour un sixième du coût du modèle.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 55 minutes

Ce que vous devez savoir

  • Les trois chemins et les règles qui remplissent le contrat (fields.py), dans Chemins texte et OCR.
  • La fiche de preuve d’une valeur (fichier, page, boîte), dans Représenter la provenance.
  • Les réponses enregistrées du modèle de vision et la requête (prompt) v2, dans Conception des entrées et des requêtes.
  • Les citations qui renvoient à une source, dans Répondre et citer du cours RAG : créer une IA qui utilise vos données, si vous l’avez suivi. Cette leçon fait la même chose pour une valeur sur une page.

Ce qu’il vous faut sur votre ordinateur

  • Votre projet à la fin de la leçon précédente : python -m pytest -q affiche 77 passed (77 tests réussis).
  • Le dépôt des exercices dans ~/projects/nextia-learning-labs, à jour.

Testé avec Python 3.12.13 et RapidOCR 3.10.0 sur macOS (Apple silicon). Les commandes Windows et Linux ne sont pas testées. Le générateur du cours a inventé le magasin partenaire, Maple & Pine Hardware, comme tous les documents.

  1. Dans le dossier du projet, copiez le module et son test depuis l’instantané :

    Fenêtre de terminal
    S=../nextia-learning-labs/C13/snapshots/end-of-m04
    cp $S/doc_extract/combine.py doc_extract/
    cp $S/tests/test_combine.py tests/
  2. Lancez les tests :

    Fenêtre de terminal
    python -m pytest -q

    La dernière ligne est 81 passed (81 tests réussis). La première exécution lit quelques photos avec l’OCR et prend donc environ 15 secondes.

Vous lisez les relevés de votre banque en quelques secondes : vous savez où se trouve le solde. Puis un relevé d’une autre banque arrive, avec une autre mise en page. Vous demandez à un ami qui sait lire toutes les mises en page. Votre ami dit : « Le solde est de 1 240,50. » Une personne prudente fait une chose de plus avant de le noter : elle trouve 1 240,50 sur le papier. Si le nombre s’y trouve, elle marque l’endroit. Sinon, elle ne l’utilise pas avant que quelqu’un vérifie.

Et si votre ami et vous lisez le même relevé et obtenez deux nombres différents, vous n’en choisissez pas un. Vous regardez de nouveau, ensemble.

C’est le sujet de cette leçon. Les règles, c’est vous : rapides, précises et efficaces seulement avec les mises en page qu’elles connaissent. Le modèle de vision, c’est l’ami : plus lent, payé par page et capable de lire des mises en page inconnues. L’étape prudente entre les deux porte un nom.

Le magasin partenaire, Maple & Pine Hardware, imprime ses reçus avec ses propres mots. Comparez les chemins sur son reçu numérique D017 :

Fenêtre de terminal
python -m doc_extract.compare D017
D017 maple-pine-0534-560.pdf (digital_pdf, en)
field true value text ocr vision
vendor Maple & Pine HardwareMAPLE & PI ok MAPLE & PI ok MAPLE & PI ok
order_number - - ok - ok - ok
date 2026-09-06 2026-09-06 ok 2026-09-06 ok 2026-09-06 ok
currency CAD CAD ok CAD ok CAD ok
subtotal 9.99 - WRONG - WRONG 9.99 ok
shipping - - ok - ok - ok
tax 1.30 1.30 ok 1.30 ok 1.30 ok
total 11.29 - WRONG - WRONG 11.29 ok
payment_method Cash - WRONG - WRONG Cash ok
text 6/9 correct, 0.00 s
ocr 6/9 correct, 0.68 s
vision 9/9 correct, 5.86 s, 1269 + 490 tokens = US$0.0074 (recorded)

Les règles connaissent seulement les mots de Larkfield : Subtotal (sous-total), TOTAL (total), Payment (paiement). Ce magasin imprime MERCH (marchandise), AMOUNT DUE (montant dû) et TENDER (mode de paiement). Regardez sa couche de texte :

Fenêtre de terminal
python -m doc_extract.textlayer D017
maple-pine-0534-560.pdf, page 1: 18 lines from the text layer (215 x 273 pt)
[ 68.6 25.3 146.8 36.3] MAPLE & PINE
[ 55.9 39.7 159.5 47.7] HARDWARE - Kingston ON
[ 68.8 51.7 146.6 59.7] Larkfield partner store
[ 11.3 69.3 65.7 77.8] INV# 0534560
[ 160.6 69.3 204.1 77.8] Sep 6 2026
[ 11.3 85.3 91.6 93.8] QTY DESCRIPTION
[ 178.1 85.3 204.1 93.8] PRICE
[ 13.7 101.3 86.0 109.8] 1 Potting soil 30 L
[ 187.6 101.3 204.1 109.8] 9.99
[ 28.3 113.5 60.7 120.5] @ 9.99 ea
[ 56.7 130.3 87.9 138.8] MERCH
[ 187.6 130.3 204.1 138.8] 9.99
[ 56.7 142.3 111.0 150.8] Sales tax 13%
[ 187.6 142.3 204.1 150.8] 1.30
[ 56.7 155.1 124.5 165.1] AMOUNT DUE
[ 179.1 155.1 204.1 165.1] 11.29
[ 11.3 172.3 72.3 180.8] TENDER CASH
[ 45.5 190.7 169.9 196.2] Made-up document for a course. Not a real receipt.

Les règles manquent donc le sous-total, le total et le paiement. Le cours a créé cette mise en page exprès. Elle représente la mise en page inconnue que tout pipeline réel rencontre un jour. Le modèle lit correctement les neuf champs, pour 0,0074 $ US.

Alors, pourquoi ne pas envoyer chaque page au modèle? Trois raisons :

  • Coût et temps. Le modèle coûte 0,596 $ US pour les 54 pages de reçus, soit environ 0,011 $ US par document. Il prend environ 7 secondes par page. Les règles sur la couche de texte prennent quelques millisecondes.
  • Aucun emplacement. Le modèle donne des valeurs sans boîte. Un agent ne peut pas les vérifier en une seconde, comme l’a montré Représenter la provenance.
  • Ses propres erreurs. Sur le PDF net D009, la couche de texte contient LARKFIELD et le modèle écrit LARKEFIELD.

Chaque lecteur comble une lacune de l’autre.

L’idée : les règles d’abord, le modèle au besoin, puis la conciliation

Section intitulée « L’idée : les règles d’abord, le modèle au besoin, puis la conciliation »

Le fichier combine.py du projet lit chaque reçu en trois étapes.

  1. Lire et appliquer les règles. Chaque page suit son chemin de lecture : la couche de texte ou l’OCR sur l’image préparée. Les règles remplissent le contrat.
  2. Appeler le modèle seulement quand les règles ne suffisent pas. La fonction why_model donne trois raisons. Un champ obligatoire manque, le magasin est inconnu ou une valeur obligatoire a un faible score de lecture. Ce score, donné par l’OCR à sa ligne, est inférieur à 0,80. Sans raison, le modèle n’est pas appelé.
  3. Concilier, champ par champ. Concilier consiste à comparer les deux réponses et à décider quoi garder. Les deux donnent la même valeur : gardez la valeur des règles et sa boîte. Ils donnent deux valeurs : gardez celle des règles et signalez un conflit à une personne. Seul le modèle donne une valeur : cherchez-la sur la page. Seules les règles donnent une valeur : gardez-la avec la note du modèle. Aucun ne donne de valeur : gardez « absent », avec la raison du modèle.

L’étape « chercher sur la page » est l’ancrage (grounding) : relier une valeur du modèle à une ligne qui l’affiche. Une valeur ancrée reçoit la boîte de cette ligne. Elle a donc une preuve comme toute autre valeur. Une valeur introuvable sur la page est non vérifiée, et une personne doit la vérifier. C’est l’habitude de l’ami prudent, écrite en code.

Un flux. Un reçu, parmi les 54 du jeu, est lu page par page selon son chemin : couche de texte ou OCR. Les règles appliquent les mots de Larkfield. Les règles suffisent? Oui pour 45 reçus : les valeurs des règles avec leurs boîtes, sans appel au modèle. Non pour 9 reçus, car un champ obligatoire manque, le magasin est inconnu ou un score de lecture est faible : la réponse enregistrée du modèle, requête v2. Puis chaque champ : même valeur, on garde la valeur des règles et sa boîte; deux valeurs, conflit, on garde celle des règles et on envoie en révision; modèle seulement, on pose une question : la valeur est-elle imprimée sur une ligne de la page? Oui, ancrée : la valeur du modèle avec la boîte de cette ligne. Non : non vérifiée, envoyer en révision. Règles seulement : la valeur des règles et la note du modèle. Les deux absents : absent avec la raison du modèle. Les conflits et les valeurs non vérifiées sont encadrés en rouge; les valeurs gardées, en vert.
Acheminement et conciliation dans combine.py. Le modèle est appelé pour 9 des 54 reçus. Ses valeurs sont gardées seulement avec un emplacement sur la page; un désaccord ou une valeur introuvable est transmis à une personne.
Description textuelle du diagramme

Un reçu est lu page par page selon son chemin, puis les règles s’appliquent. Pour 45 des 54 reçus, les règles suffisent. Leurs valeurs sont gardées avec leurs boîtes, et le modèle n’est pas appelé. Pour les 9 autres, un champ obligatoire manque ou le magasin est inconnu. Le projet utilise donc la réponse enregistrée du modèle. Ensuite, chaque champ est concilié. Si les deux donnent la même valeur, la valeur des règles et sa boîte sont gardées. S’ils donnent deux valeurs, celle des règles est gardée et le champ devient un conflit à réviser. Si seul le modèle donne une valeur, le projet la cherche sur une ligne de la page. Si la ligne existe, la valeur reçoit sa boîte. Sinon, la valeur est non vérifiée et passe en révision. Si seules les règles donnent une valeur, elle est gardée avec la note du modèle. Si aucun ne donne de valeur, le champ est absent, avec la raison du modèle.

L’ancrage compare des valeurs normalisées, pas des caractères. Une photo affiche le total sous la forme 1 011,78 $, et le modèle répond 1011.78. Créez une page avec deux lignes OCR et posez trois questions à ground. Lancez python dans le dossier du projet et tapez :

from doc_extract import combine
from doc_extract.pages import Line, Page
page = Page("x.jpg", 1, 500, 500, "px", "ocr",
[Line("TOTAL", (0, 0, 50, 10)), Line("1 011,78 $", (300, 0, 380, 10))])
print(combine.ground("total", "1011.78", "", [page]))
print(combine.ground("total", "1101.78", "", [page]))
print(combine.ground("order_number", "LK-123456", "LK-123456", [page]))
Line(text='1 011,78 $', box=(300, 0, 380, 10), score=1.0, size=0.0, bold=False, angle=0.0)
None
None

La première valeur est sur la page : contract.money('1 011,78 $') donne 1011.78, comme la valeur du modèle. Donc, ground renvoie la ligne et sa boîte. La deuxième valeur a deux chiffres inversés : aucune ligne ne l’affiche, donc None (aucune valeur). La troisième valeur, un numéro de commande, n’est pas du tout sur la page : encore None. Un None rend la valeur non vérifiée.

  1. Un reçu Larkfield avec une couche de texte :

    Fenêtre de terminal
    python -m doc_extract.combine D011
    D011 receipt-lk-103119.pdf: model not needed
    vendor Larkfield from rules found ok
    order_number LK-103119 from rules found ok
    date 2026-08-22 from rules found ok
    currency CAD from rules found ok
    subtotal 189.00 from rules found ok
    shipping (not_found) from rules absent ok
    tax 22.68 from rules found ok
    total 211.68 from rules found ok
    payment_method Cash from rules found ok

    Les règles ont trouvé tous les champs obligatoires, donc le modèle n’a pas été appelé. Le reçu ne coûte rien, et chaque valeur a la boîte des règles. Les frais d’expédition sont absents avec la raison not_found (introuvable). Ce n’est pas l’une des trois raisons du contrat. Les règles l’écrivent quand aucune ligne ne correspond, comme dans Représenter la provenance. Elles savent que la valeur manque, mais pas pourquoi. Les frais d’expédition ne sont pas obligatoires, donc leur absence ne justifie pas un appel au modèle.

  2. Le reçu du magasin partenaire :

    Fenêtre de terminal
    python -m doc_extract.combine D017
    D017 maple-pine-0534-560.pdf: model used (required fields missing: subtotal, total; an unknown shop: the rules know only Larkfield's layouts)
    vendor MAPLE & PINE from both found ok
    order_number (not_printed) from none absent ok
    date 2026-09-06 from both found ok
    currency CAD from both inferred ok
    subtotal 9.99 from model found ok
    shipping (not_printed) from none absent ok
    tax 1.30 from both found ok
    total 11.29 from model found ok
    payment_method Cash from model found ok

    La première ligne donne les deux raisons. Lisez la colonne from (provenance). Quatre valeurs viennent from both (des deux) : les règles et le modèle sont d’accord. Le projet garde donc la valeur des règles et sa boîte. Trois valeurs viennent from model (du modèle) : le sous-total, le total et le paiement. Chacune a été trouvée sur une ligne de la page. Chacune est donc found (trouvée), avec une boîte. Deux champs sont absents from none (d’aucun), avec la raison du modèle not_printed (non imprimé). Ce magasin n’imprime ni numéro de commande ni frais d’expédition.

  3. Une photo dont le bas est coupé :

    Fenêtre de terminal
    python -m doc_extract.combine D045
    D045 IMG_4880.jpg: model used (required fields missing: currency, total)
    vendor Larkfield from both found ok
    order_number LK-754892 from both found ok
    date 2026-06-13 from both found ok
    currency CAD from model unverified ok [unverified: the model's value cannot be found on the page]
    subtotal 358.95 from both found ok
    shipping (not_printed) from none absent ok
    tax 46.66 from rules found ok [the model says absent (cut_off)]
    total (cut_off) from none absent ok
    payment_method (cut_off) from none absent ok

    Ce cas demande de la prudence. La devise CAD vient du modèle, mais aucune ligne n’affiche « CAD » ni un symbole de devise. Le modèle l’a déduite de l’adresse du magasin à Toronto. L’ancrage ne la trouve pas, donc son statut est unverified (non vérifiée), et elle est transmise à une personne. Le total et le paiement restent absents, avec la raison du modèle cut_off (coupé). Personne ne les invente. La taxe montre le dernier cas de conciliation. Les règles lisent 46.66 sur la ligne au bord coupé, et le modèle indique cut_off. Le projet garde la valeur qui a une boîte, ainsi que la note du modèle.

L’image montre d’où viennent les valeurs de deux de ces reçus. À gauche, un autre reçu partenaire : la photo D049. Son résultat a la même forme que celui de D017; vous l’exécuterez vous-même à la fin de la leçon.

Deux photos avec des boîtes. À gauche, D049, un autre magasin, modèle utilisé : des boîtes vertes autour de MAPLE & PINE, de la ligne d'adresse, de la ligne du numéro de facture et de la date, ainsi que de la ligne Sales tax (taxe de vente) avec 3,57 (les règles, confirmées par le modèle). Une boîte orange autour de 27,45 sur la ligne du prix de l'article, repère 1. Le repère 2 à côté de la ligne MERCH, dont le 27,45 n'a pas de boîte. Une boîte bleue autour de 31,02 sur la ligne AMOUNT DUE, repère 3, et une boîte bleue autour de TENDER VISA. À droite, D045, le bas est coupé : des boîtes vertes autour de LARKFIELD, de la date, du numéro de commande, de Subtotal 358.95 et de HST 13 % 46.66 au bord coupé; une ligne rouge le long du bord inférieur, repère 4. Légende : 1, sous-total 27,45 du modèle, encadré sur le prix de l'article, la première ligne qui affiche 27,45; la valeur est correcte, mais l'emplacement n'est pas la ligne MERCH. 2, MERCH 27.45, la ligne qu'une personne désignerait. 3, total 31,02 du modèle, trouvé sur la ligne AMOUNT DUE : ancré. 4, le bord de la photo : le modèle indique cut_off pour le total et le paiement, rien n'est inventé; sa devise CAD n'est pas imprimée, donc elle reste non vérifiée.
D'où viennent les valeurs combinées : les règles (vert), les valeurs du modèle ancrées sur une ligne (bleu), et un ancrage sur la mauvaise ligne (orange). Sur D045, le bord coupé laisse le total absent et la devise non vérifiée.
Description textuelle du diagramme

À gauche, la photo D049 du magasin partenaire. Les boîtes vertes marquent les valeurs lues par les règles et confirmées par le modèle. Ce sont le nom du magasin, l’adresse, la ligne de facture avec la date et la ligne de taxe. Une boîte bleue marque le total, 31,02, trouvé sur la ligne AMOUNT DUE, et une autre marque la ligne de paiement. Une boîte orange marque le sous-total, 27,45. L’ancrage l’a trouvé sur la ligne du prix de l’article, la première qui affiche 27,45. Il n’est pas sur la ligne MERCH, qui affiche aussi 27,45. À droite, la photo D045, coupée en bas. Les boîtes vertes marquent le nom du magasin, la date, le numéro de commande, le sous-total et la taxe au bord coupé. Une ligne rouge marque le bord. Le total et le paiement sont absents avec la raison cut_off. La devise n’a pas de boîte, car elle n’est pas imprimée.

Regardez le repère 1. Sur ce reçu, 27,45 est imprimé trois fois : le prix de l’article, le prix unitaire et la ligne MERCH. L’ancrage prouve que la page affiche la valeur. Il ne prouve pas à quelle ligne elle appartient : ground prend la première ligne avec le même montant. Ici, la valeur est correcte, et la boîte est sur une ligne qu’un agent peut tout de même vérifier. Sur un reçu à deux articles, la première correspondance pourrait être une autre ligne avec le même montant par hasard. Gardez cette limite en tête; la vérification des connaissances y revient.

Le cours a exécuté combine sur les 54 documents de reçus et a compté les résultats :

54 receipt documents; model used on 9: D017, D018, D033, D034, D045, D046, D047, D048, D049
reasons: {'required fields missing': 9, 'an unknown shop': 6}
model cost: US$0.097 in all, US$0.0018 per document
field values by source: {'rules': 406, 'both': 34, 'none': 27, 'model': 19}
flags: {'unverified': 1, 'the model says absent': 1}
printed values right: 427 of 435 (98.2%)

Le modèle a été appelé pour 9 documents : les 6 reçus du magasin partenaire et les trois photos endommagées D045, D046 et D047. Les 45 autres documents ne coûtent rien au-delà des règles. Les 9 appels au modèle coûtent 0,097 $ US au total, soit 0,0018 $ US par document. C’est environ un sixième du coût du modèle sur chaque page.

La qualité est la meilleure de tous les chemins :

  • Un seul lecteur
  • Modèle seul, requête v2
  • Règles d'abord, modèle au besoin
Valeurs imprimées correctes sur les 54 documents de reçus (435 valeurs). La couche de texte lit seulement les PDF numériques; ici, l'OCR lit l'image préparée. La combinaison des lecteurs dépasse chaque lecteur utilisé seul.
Description textuelle du graphique

Valeurs imprimées correctes, sur 435. Couche de texte et règles : 38,9 %. OCR sur l’image préparée et règles : 93,8 %. Modèle de vision avec la requête v2 : 97,7 %. Règles d’abord et modèle au besoin : 98,2 %.

Avec la combinaison, 427 des 435 valeurs imprimées sont correctes (98,2 %), avec 0 valeur incorrecte et 0 valeur inventée. Les 8 valeurs manquantes sont toutes sur D046, la photo que personne ne peut lire. 53 des 54 reçus sont complets. Le modèle seul a donné 425 valeurs correctes; ses erreurs comprenaient le fournisseur de D009. Dans le pipeline combiné, les règles lisent D009, donc la mauvaise lecture n’est jamais utilisée.

Mei résume pour Omar : « Les règles font presque tout le travail gratuitement. Le modèle comble leurs lacunes. Et les règles vérifient le modèle, parce que chaque valeur du modèle doit avoir une ligne sur la page. »

  • Combinez quand vous avez un lecteur précis pour la plupart des documents, avec une lacune. Ici, la couche de texte et les règles lisent les reçus de Larkfield. La lacune concerne un autre magasin et des photos endommagées. Le coût du modèle suit alors la taille de la lacune : 9 appels pour 54 reçus.
  • Ne combinez pas quand aucun lecteur précis n’existe. Pour un nouveau type de document sans règles, le modèle lit tout, et vous ancrez quand même ses valeurs.
  • Ce que cela coûte : deux lecteurs à maintenir, et du code de conciliation avec ses propres tests. Les règles doivent signaler ce qu’elles n’ont pas trouvé, sinon why_model ne peut pas voir de lacune.
  • L’ancrage a des limites. Il a besoin des lignes OCR ou de la couche de texte de la page. Il ne peut pas ancrer une valeur déduite, comme la devise de D045. Et quand une valeur est imprimée plusieurs fois, il prend la première ligne qui l’affiche.

Erreur courante

La réponse du modèle l'emporte

Symptôme : Un collègue simplifie le pipeline : « Envoyez chaque page au modèle. Quand les règles et le modèle ne sont pas d’accord, faites confiance au modèle : il lit mieux. » Les agents commencent à voir LARKEFIELD comme fournisseur d’un reçu Larkfield.

Cause : Le cours a exécuté cette conception sur les 54 reçus. Il a répertorié chaque champ où les deux lecteurs donnent une valeur, mais où ces valeurs diffèrent :

D009 vendor | rules Larkfield right | model LARKEFIELD wrong
model on all 54 documents: US$0.596, US$0.0110 per document

Sur ce jeu, les deux lecteurs sont en désaccord sur un seul champ : le fournisseur de D009. Les règles ont raison, et le modèle se trompe. La conception simplifiée garde la mauvaise valeur et abandonne la boîte de la couche de texte. Et elle coûte six fois plus : 0,596 $ US au lieu de 0,097 $ US pour les 54 documents.

Diagnostic : Comptez les désaccords et comparez-les à la vérité avant de choisir un côté. Ici, il y en a un, et le modèle est le lecteur qui se trompe.

Correction : Gardez les règles en premier et appelez le modèle seulement pour une raison. Quand les deux donnent des valeurs différentes, ne choisissez pas. Gardez la valeur avec preuve et transmettez un conflit à une personne, comme le fait combine.py. Le chemin de conflit ne s’est pas déclenché sur ce jeu, car le modèle n’a pas été appelé pour D009. Un test avec deux valeurs différentes vérifie qu’il fonctionne.

Conséquence pour le travail en IA : un désaccord entre deux lecteurs est une information. Un pipeline qui le cache, dans un sens ou dans l’autre, élimine son meilleur signal d’erreur.

Changez une condition : utilisez la photo D049 du magasin partenaire plutôt que son reçu numérique D017. L’OCR lit la photo, pas la couche texte. Prédisez quels champs proviennent du modèle et quelle ligne sert de preuve pour le sous-total de 27,45. Puis exécutez :

Fenêtre de terminal
python -m doc_extract.combine D049

Et affichez les lignes qui appuient chaque valeur. Dans python :

from doc_extract import combine, documents
ex, dec = combine.combine(documents.get("D049"))
for name, f in ex.fields.items():
print(f"{name:<15} {dec.source[name]:<5}", [(ln.text, [round(v) for v in ln.box]) for ln in f.lines])
Afficher la réponse
D049 IMG_5101.jpg: model used (required fields missing: subtotal, total; an unknown shop: the rules know only Larkfield's layouts)
vendor MAPLE & PINE from both found ok
order_number (not_printed) from none absent ok
date 2026-09-23 from both found ok
currency CAD from both inferred ok
subtotal 27.45 from model found ok
shipping (not_printed) from none absent ok
tax 3.57 from both found ok
total 31.02 from model found ok
payment_method Visa from model found ok
vendor both [('MAPLE & PINE', [358, 300, 734, 386])]
order_number none []
date both [('INV# 0271480', [116, 537, 383, 606]), ('Sep 23 2026', [780, 475, 1018, 546])]
currency both [('HARDWARE - Kingston ON', [305, 361, 800, 452])]
subtotal model [('27.45', [913, 616, 1032, 675])]
shipping none []
tax both [('Sales tax 13%', [366, 841, 627, 909]), ('3.57', [952, 796, 1048, 854])]
total model [('31.02', [920, 853, 1054, 916])]
payment_method model [('TENDER VISA****4821', [176, 971, 602, 1060])]

Les trois mêmes champs que sur D017 proviennent du modèle : le sous-total, le total et le paiement. Des lignes d’OCR servent de preuves pour les trois, avec des cadres en pixels dans la photo. Le total se trouve sur la ligne AMOUNT DUE (montant dû), à 31.02, à y = 853. Le sous-total se trouve sur la ligne 27.45, à y = 616 : le prix de l’article, pas la ligne MERCH (marchandise), à y = 745. C’est le repère 1 de l’image : la bonne valeur, la première ligne correspondante.

Vérifiez votre compréhension

Expliquez pourquoi combine.py a appelé le modèle pour D045 et pourquoi sa devise CAD est « non vérifiée », même si elle est correcte.

Afficher la réponse

Les règles n’ont pas trouvé deux champs obligatoires sur la photo : la devise et le total. why_model a donc donné la raison « required fields missing : currency, total » (champs obligatoires manquants : devise, total). Le projet a utilisé la réponse enregistrée du modèle. Le modèle a indiqué que le total est coupé : il reste absent. Le modèle a donné la devise CAD, avec le statut inféré, à partir de l’adresse du magasin à Toronto. Aucune ligne de la photo ne montre « CAD » ni un symbole de devise. ground n’a donc trouvé aucune ligne. Une valeur sans ligne n’a aucune preuve. Le projet la marque donc comme non vérifiée et l’envoie à une personne. Correcte ou non, rien sur la page ne permet à un agent de la vérifier.

Vérifiez votre compréhension

Prédisez : sur un reçu avec deux articles, « Hose 19.95 » (tuyau) et « Gloves 19.95 » (gants), les règles ne trouvent pas le sous-total et le modèle répond 39,90. Où ground place-t-il le cadre? Et si le modèle répondait 19,95 par erreur?

Afficher la réponse

Pour 39,90, ground cherche une ligne dont le montant est 39,90. Si le reçu affiche une ligne de sous-total avec 39,90, le cadre va à cet endroit. La bonne ligne sert alors de preuve pour la valeur. Pour une réponse erronée de 19,95, ground trouve la première ligne d’article avec 19,95 et lui attribue un cadre. La valeur erronée est alors « appuyée par une preuve », car elle est imprimée, mais sur une autre ligne. Cette preuve confirme que la page montre une valeur, pas que cette valeur appartient au champ. C’est pourquoi le prochain module ajoute des vérifications entre les champs. Ici, le sous-total doit être égal à la somme des lignes d’articles.

Vérifiez votre compréhension

Vérification pratique : exécutez python -m doc_extract.combine D018 et python -m doc_extract.vision D018. Quels champs proviennent du modèle et combien l'appel a-t-il coûté?

Afficher la réponse

Le modèle a été utilisé pour les deux raisons : le sous-total et le total manquent, et le magasin est inconnu. Trois valeurs sont from model (du modèle) : le sous-total de 47,25, le total de 53,39 et le paiement Visa. Les trois sont found (trouvées), donc une ligne du PDF sert de preuve pour chacune. Quatre sont from both (des deux). Le numéro de commande et les frais de livraison sont absents, from none (d’aucune source), avec la raison not_printed (non imprimé). La ligne vision D018 donne les détails de l’appel : 1 269 jetons en entrée et 488 en sortie. Au tarif affiché : 1 269 × 2 / 1 000 000 + 488 × 10 / 1 000 000 = 0,0025 $ US + 0,0049 $ US = environ 0,0074 $ US. Les 45 autres reçus ne coûtent rien.

Récapitulatif

  • Les règles d’abord : la couche texte et les règles lisent les mises en page connues, sans frais, avec un cadre pour chaque valeur.
  • Le modèle au besoin : why_model l’appelle seulement pour un champ obligatoire manquant, un magasin inconnu ou un faible score de lecture. Cela concernait 9 des 54 reçus, à 0,0018 $ US par document plutôt que 0,0113 $ US par page.
  • Réconciliez champ par champ. Même valeur : gardez la valeur et le cadre des règles. Deux valeurs : un conflit à soumettre à une personne. Le modèle seul : valeur appuyée par une preuve sur une ligne, ou non vérifiée. Les deux sont absentes : valeur absente, avec la raison du modèle.
  • Résultat combiné : 427 des 435 valeurs imprimées sont correctes, 0 erronée, 0 inventée, 53 des 54 reçus complets.
  • Une preuve confirme que la page montre une valeur, pas à quelle ligne elle appartient. Faire confiance au modèle quand les lecteurs divergent aurait conservé le nom du vendeur mal lu sur D009.

Ensuite, vous prévoyez le traitement des images que personne ne peut lire entièrement : floues, coupées, trop petites ou aux pages contradictoires.

Leçon suivante : Gérer l'incertitude visuelle