Combiner les méthodes
- Leçon 12
- 55 min
- Module 4 : Utiliser les modèles multimodaux de façon réfléchie
Où nous en sommes
Dans la dernière leçon, une requête précise a empêché le modèle de vision d'inventer des valeurs. Mais le modèle est encore lent, il coûte de l'argent à chaque page et il ne donne aucun cadre. Les règles sont gratuites et exactes, mais seulement pour les mises en page qu'elles connaissent. Dans cette leçon, nous lisons d'abord avec les règles, appelons le modèle seulement quand elles ne suffisent pas, et décidons champ par champ quelle valeur garder.
Leçon 12 sur 19 · IA documentaire et multimodaleCombiner les méthodes
1. Comprendre les documents en entrée
2. Préparer et extraire le contenu
3. Retrouver la structure et les tableaux
4. Utiliser les modèles multimodaux de façon réfléchie
5. Valider et réviser les résultats
6. Évaluer et livrer le pipeline
7. Études de cas
Ce que vous saurez faire
Lisez d’abord chaque reçu avec les lecteurs précis et peu coûteux : la couche de texte et les règles. Appelez le modèle de vision seulement quand ils ne suffisent pas. Décidez ensuite, champ par champ, quelle valeur garder, et associez chaque valeur du modèle à un endroit sur la page. Le résultat dépasse celui de chaque lecteur utilisé seul, pour un sixième du coût du modèle.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Les trois chemins et les règles qui remplissent le contrat (
fields.py), dans Chemins texte et OCR. - La fiche de preuve d’une valeur (fichier, page, boîte), dans Représenter la provenance.
- Les réponses enregistrées du modèle de vision et la requête (prompt) v2, dans Conception des entrées et des requêtes.
- Les citations qui renvoient à une source, dans Répondre et citer du cours RAG : créer une IA qui utilise vos données, si vous l’avez suivi. Cette leçon fait la même chose pour une valeur sur une page.
Ce qu’il vous faut sur votre ordinateur
- Votre projet à la fin de la leçon précédente :
python -m pytest -qaffiche77 passed(77 tests réussis). - Le dépôt des exercices dans
~/projects/nextia-learning-labs, à jour.
Testé avec Python 3.12.13 et RapidOCR 3.10.0 sur macOS (Apple silicon). Les commandes Windows et Linux ne sont pas testées. Le générateur du cours a inventé le magasin partenaire, Maple & Pine Hardware, comme tous les documents.
Obtenir le fichier de la leçon
Section intitulée « Obtenir le fichier de la leçon »-
Dans le dossier du projet, copiez le module et son test depuis l’instantané :
Fenêtre de terminal S=../nextia-learning-labs/C13/snapshots/end-of-m04cp $S/doc_extract/combine.py doc_extract/cp $S/tests/test_combine.py tests/Fenêtre de terminal $S = "..\nextia-learning-labs\C13\snapshots\end-of-m04"Copy-Item "$S\doc_extract\combine.py" doc_extract\Copy-Item "$S\tests\test_combine.py" tests\ -
Lancez les tests :
Fenêtre de terminal python -m pytest -qLa dernière ligne est
81 passed(81 tests réussis). La première exécution lit quelques photos avec l’OCR et prend donc environ 15 secondes.
Votre banque et celle d’une autre personne
Section intitulée « Votre banque et celle d’une autre personne »Vous lisez les relevés de votre banque en quelques secondes : vous savez où se trouve le solde. Puis un relevé d’une autre banque arrive, avec une autre mise en page. Vous demandez à un ami qui sait lire toutes les mises en page. Votre ami dit : « Le solde est de 1 240,50. » Une personne prudente fait une chose de plus avant de le noter : elle trouve 1 240,50 sur le papier. Si le nombre s’y trouve, elle marque l’endroit. Sinon, elle ne l’utilise pas avant que quelqu’un vérifie.
Et si votre ami et vous lisez le même relevé et obtenez deux nombres différents, vous n’en choisissez pas un. Vous regardez de nouveau, ensemble.
C’est le sujet de cette leçon. Les règles, c’est vous : rapides, précises et efficaces seulement avec les mises en page qu’elles connaissent. Le modèle de vision, c’est l’ami : plus lent, payé par page et capable de lire des mises en page inconnues. L’étape prudente entre les deux porte un nom.
Le problème : deux lecteurs, chacun avec une lacune
Section intitulée « Le problème : deux lecteurs, chacun avec une lacune »Le magasin partenaire, Maple & Pine Hardware, imprime ses reçus avec ses propres mots. Comparez les chemins sur son reçu numérique D017 :
python -m doc_extract.compare D017D017 maple-pine-0534-560.pdf (digital_pdf, en)field true value text ocr visionvendor Maple & Pine HardwareMAPLE & PI ok MAPLE & PI ok MAPLE & PI okorder_number - - ok - ok - okdate 2026-09-06 2026-09-06 ok 2026-09-06 ok 2026-09-06 okcurrency CAD CAD ok CAD ok CAD oksubtotal 9.99 - WRONG - WRONG 9.99 okshipping - - ok - ok - oktax 1.30 1.30 ok 1.30 ok 1.30 oktotal 11.29 - WRONG - WRONG 11.29 okpayment_method Cash - WRONG - WRONG Cash ok
text 6/9 correct, 0.00 socr 6/9 correct, 0.68 svision 9/9 correct, 5.86 s, 1269 + 490 tokens = US$0.0074 (recorded)Les règles connaissent seulement les mots de Larkfield : Subtotal (sous-total), TOTAL (total), Payment (paiement). Ce magasin imprime MERCH (marchandise), AMOUNT DUE (montant dû) et TENDER (mode de paiement). Regardez sa couche de texte :
python -m doc_extract.textlayer D017maple-pine-0534-560.pdf, page 1: 18 lines from the text layer (215 x 273 pt) [ 68.6 25.3 146.8 36.3] MAPLE & PINE [ 55.9 39.7 159.5 47.7] HARDWARE - Kingston ON [ 68.8 51.7 146.6 59.7] Larkfield partner store [ 11.3 69.3 65.7 77.8] INV# 0534560 [ 160.6 69.3 204.1 77.8] Sep 6 2026 [ 11.3 85.3 91.6 93.8] QTY DESCRIPTION [ 178.1 85.3 204.1 93.8] PRICE [ 13.7 101.3 86.0 109.8] 1 Potting soil 30 L [ 187.6 101.3 204.1 109.8] 9.99 [ 28.3 113.5 60.7 120.5] @ 9.99 ea [ 56.7 130.3 87.9 138.8] MERCH [ 187.6 130.3 204.1 138.8] 9.99 [ 56.7 142.3 111.0 150.8] Sales tax 13% [ 187.6 142.3 204.1 150.8] 1.30 [ 56.7 155.1 124.5 165.1] AMOUNT DUE [ 179.1 155.1 204.1 165.1] 11.29 [ 11.3 172.3 72.3 180.8] TENDER CASH [ 45.5 190.7 169.9 196.2] Made-up document for a course. Not a real receipt.Les règles manquent donc le sous-total, le total et le paiement. Le cours a créé cette mise en page exprès. Elle représente la mise en page inconnue que tout pipeline réel rencontre un jour. Le modèle lit correctement les neuf champs, pour 0,0074 $ US.
Alors, pourquoi ne pas envoyer chaque page au modèle? Trois raisons :
- Coût et temps. Le modèle coûte 0,596 $ US pour les 54 pages de reçus, soit environ 0,011 $ US par document. Il prend environ 7 secondes par page. Les règles sur la couche de texte prennent quelques millisecondes.
- Aucun emplacement. Le modèle donne des valeurs sans boîte. Un agent ne peut pas les vérifier en une seconde, comme l’a montré Représenter la provenance.
- Ses propres erreurs. Sur le PDF net D009, la couche de texte contient
LARKFIELDet le modèle écritLARKEFIELD.
Chaque lecteur comble une lacune de l’autre.
L’idée : les règles d’abord, le modèle au besoin, puis la conciliation
Section intitulée « L’idée : les règles d’abord, le modèle au besoin, puis la conciliation »Le fichier combine.py du projet lit chaque reçu en trois étapes.
- Lire et appliquer les règles. Chaque page suit son chemin de lecture : la couche de texte ou l’OCR sur l’image préparée. Les règles remplissent le contrat.
- Appeler le modèle seulement quand les règles ne suffisent pas. La fonction
why_modeldonne trois raisons. Un champ obligatoire manque, le magasin est inconnu ou une valeur obligatoire a un faible score de lecture. Ce score, donné par l’OCR à sa ligne, est inférieur à 0,80. Sans raison, le modèle n’est pas appelé. - Concilier, champ par champ. Concilier consiste à comparer les deux réponses et à décider quoi garder. Les deux donnent la même valeur : gardez la valeur des règles et sa boîte. Ils donnent deux valeurs : gardez celle des règles et signalez un conflit à une personne. Seul le modèle donne une valeur : cherchez-la sur la page. Seules les règles donnent une valeur : gardez-la avec la note du modèle. Aucun ne donne de valeur : gardez « absent », avec la raison du modèle.
L’étape « chercher sur la page » est l’ancrage (grounding) : relier une valeur du modèle à une ligne qui l’affiche. Une valeur ancrée reçoit la boîte de cette ligne. Elle a donc une preuve comme toute autre valeur. Une valeur introuvable sur la page est non vérifiée, et une personne doit la vérifier. C’est l’habitude de l’ami prudent, écrite en code.
Description textuelle du diagramme
Un reçu est lu page par page selon son chemin, puis les règles s’appliquent. Pour 45 des 54 reçus, les règles suffisent. Leurs valeurs sont gardées avec leurs boîtes, et le modèle n’est pas appelé. Pour les 9 autres, un champ obligatoire manque ou le magasin est inconnu. Le projet utilise donc la réponse enregistrée du modèle. Ensuite, chaque champ est concilié. Si les deux donnent la même valeur, la valeur des règles et sa boîte sont gardées. S’ils donnent deux valeurs, celle des règles est gardée et le champ devient un conflit à réviser. Si seul le modèle donne une valeur, le projet la cherche sur une ligne de la page. Si la ligne existe, la valeur reçoit sa boîte. Sinon, la valeur est non vérifiée et passe en révision. Si seules les règles donnent une valeur, elle est gardée avec la note du modèle. Si aucun ne donne de valeur, le champ est absent, avec la raison du modèle.
Un petit exemple : l’ancrage sur deux lignes
Section intitulée « Un petit exemple : l’ancrage sur deux lignes »L’ancrage compare des valeurs normalisées, pas des caractères. Une photo affiche le total sous la forme 1 011,78 $, et le modèle répond 1011.78. Créez une page avec deux lignes OCR et posez trois questions à ground. Lancez python dans le dossier du projet et tapez :
from doc_extract import combinefrom doc_extract.pages import Line, Pagepage = Page("x.jpg", 1, 500, 500, "px", "ocr", [Line("TOTAL", (0, 0, 50, 10)), Line("1 011,78 $", (300, 0, 380, 10))])print(combine.ground("total", "1011.78", "", [page]))print(combine.ground("total", "1101.78", "", [page]))print(combine.ground("order_number", "LK-123456", "LK-123456", [page]))Line(text='1 011,78 $', box=(300, 0, 380, 10), score=1.0, size=0.0, bold=False, angle=0.0)NoneNoneLa première valeur est sur la page : contract.money('1 011,78 $') donne 1011.78, comme la valeur du modèle. Donc, ground renvoie la ligne et sa boîte. La deuxième valeur a deux chiffres inversés : aucune ligne ne l’affiche, donc None (aucune valeur). La troisième valeur, un numéro de commande, n’est pas du tout sur la page : encore None. Un None rend la valeur non vérifiée.
Combiner trois reçus
Section intitulée « Combiner trois reçus »-
Un reçu Larkfield avec une couche de texte :
Fenêtre de terminal python -m doc_extract.combine D011D011 receipt-lk-103119.pdf: model not neededvendor Larkfield from rules found okorder_number LK-103119 from rules found okdate 2026-08-22 from rules found okcurrency CAD from rules found oksubtotal 189.00 from rules found okshipping (not_found) from rules absent oktax 22.68 from rules found oktotal 211.68 from rules found okpayment_method Cash from rules found okLes règles ont trouvé tous les champs obligatoires, donc le modèle n’a pas été appelé. Le reçu ne coûte rien, et chaque valeur a la boîte des règles. Les frais d’expédition sont absents avec la raison
not_found(introuvable). Ce n’est pas l’une des trois raisons du contrat. Les règles l’écrivent quand aucune ligne ne correspond, comme dans Représenter la provenance. Elles savent que la valeur manque, mais pas pourquoi. Les frais d’expédition ne sont pas obligatoires, donc leur absence ne justifie pas un appel au modèle. -
Le reçu du magasin partenaire :
Fenêtre de terminal python -m doc_extract.combine D017D017 maple-pine-0534-560.pdf: model used (required fields missing: subtotal, total; an unknown shop: the rules know only Larkfield's layouts)vendor MAPLE & PINE from both found okorder_number (not_printed) from none absent okdate 2026-09-06 from both found okcurrency CAD from both inferred oksubtotal 9.99 from model found okshipping (not_printed) from none absent oktax 1.30 from both found oktotal 11.29 from model found okpayment_method Cash from model found okLa première ligne donne les deux raisons. Lisez la colonne
from(provenance). Quatre valeurs viennentfrom both(des deux) : les règles et le modèle sont d’accord. Le projet garde donc la valeur des règles et sa boîte. Trois valeurs viennentfrom model(du modèle) : le sous-total, le total et le paiement. Chacune a été trouvée sur une ligne de la page. Chacune est doncfound(trouvée), avec une boîte. Deux champs sont absentsfrom none(d’aucun), avec la raison du modèlenot_printed(non imprimé). Ce magasin n’imprime ni numéro de commande ni frais d’expédition. -
Une photo dont le bas est coupé :
Fenêtre de terminal python -m doc_extract.combine D045D045 IMG_4880.jpg: model used (required fields missing: currency, total)vendor Larkfield from both found okorder_number LK-754892 from both found okdate 2026-06-13 from both found okcurrency CAD from model unverified ok [unverified: the model's value cannot be found on the page]subtotal 358.95 from both found okshipping (not_printed) from none absent oktax 46.66 from rules found ok [the model says absent (cut_off)]total (cut_off) from none absent okpayment_method (cut_off) from none absent okCe cas demande de la prudence. La devise
CADvient du modèle, mais aucune ligne n’affiche « CAD » ni un symbole de devise. Le modèle l’a déduite de l’adresse du magasin à Toronto. L’ancrage ne la trouve pas, donc son statut estunverified(non vérifiée), et elle est transmise à une personne. Le total et le paiement restent absents, avec la raison du modèlecut_off(coupé). Personne ne les invente. La taxe montre le dernier cas de conciliation. Les règles lisent46.66sur la ligne au bord coupé, et le modèle indiquecut_off. Le projet garde la valeur qui a une boîte, ainsi que la note du modèle.
L’image montre d’où viennent les valeurs de deux de ces reçus. À gauche, un autre reçu partenaire : la photo D049. Son résultat a la même forme que celui de D017; vous l’exécuterez vous-même à la fin de la leçon.

Description textuelle du diagramme
À gauche, la photo D049 du magasin partenaire. Les boîtes vertes marquent les valeurs lues par les règles et confirmées par le modèle. Ce sont le nom du magasin, l’adresse, la ligne de facture avec la date et la ligne de taxe. Une boîte bleue marque le total, 31,02, trouvé sur la ligne AMOUNT DUE, et une autre marque la ligne de paiement. Une boîte orange marque le sous-total, 27,45. L’ancrage l’a trouvé sur la ligne du prix de l’article, la première qui affiche 27,45. Il n’est pas sur la ligne MERCH, qui affiche aussi 27,45. À droite, la photo D045, coupée en bas. Les boîtes vertes marquent le nom du magasin, la date, le numéro de commande, le sous-total et la taxe au bord coupé. Une ligne rouge marque le bord. Le total et le paiement sont absents avec la raison cut_off. La devise n’a pas de boîte, car elle n’est pas imprimée.
Regardez le repère 1. Sur ce reçu, 27,45 est imprimé trois fois : le prix de l’article, le prix unitaire et la ligne MERCH. L’ancrage prouve que la page affiche la valeur. Il ne prouve pas à quelle ligne elle appartient : ground prend la première ligne avec le même montant. Ici, la valeur est correcte, et la boîte est sur une ligne qu’un agent peut tout de même vérifier. Sur un reçu à deux articles, la première correspondance pourrait être une autre ligne avec le même montant par hasard. Gardez cette limite en tête; la vérification des connaissances y revient.
L’ensemble des reçus
Section intitulée « L’ensemble des reçus »Le cours a exécuté combine sur les 54 documents de reçus et a compté les résultats :
54 receipt documents; model used on 9: D017, D018, D033, D034, D045, D046, D047, D048, D049reasons: {'required fields missing': 9, 'an unknown shop': 6}model cost: US$0.097 in all, US$0.0018 per documentfield values by source: {'rules': 406, 'both': 34, 'none': 27, 'model': 19}flags: {'unverified': 1, 'the model says absent': 1}printed values right: 427 of 435 (98.2%)Le modèle a été appelé pour 9 documents : les 6 reçus du magasin partenaire et les trois photos endommagées D045, D046 et D047. Les 45 autres documents ne coûtent rien au-delà des règles. Les 9 appels au modèle coûtent 0,097 $ US au total, soit 0,0018 $ US par document. C’est environ un sixième du coût du modèle sur chaque page.
La qualité est la meilleure de tous les chemins :
- Un seul lecteur
- Modèle seul, requête v2
- Règles d'abord, modèle au besoin
Description textuelle du graphique
Valeurs imprimées correctes, sur 435. Couche de texte et règles : 38,9 %. OCR sur l’image préparée et règles : 93,8 %. Modèle de vision avec la requête v2 : 97,7 %. Règles d’abord et modèle au besoin : 98,2 %.
Avec la combinaison, 427 des 435 valeurs imprimées sont correctes (98,2 %), avec 0 valeur incorrecte et 0 valeur inventée. Les 8 valeurs manquantes sont toutes sur D046, la photo que personne ne peut lire. 53 des 54 reçus sont complets. Le modèle seul a donné 425 valeurs correctes; ses erreurs comprenaient le fournisseur de D009. Dans le pipeline combiné, les règles lisent D009, donc la mauvaise lecture n’est jamais utilisée.
Mei résume pour Omar : « Les règles font presque tout le travail gratuitement. Le modèle comble leurs lacunes. Et les règles vérifient le modèle, parce que chaque valeur du modèle doit avoir une ligne sur la page. »
Quand combiner et à quel coût
Section intitulée « Quand combiner et à quel coût »- Combinez quand vous avez un lecteur précis pour la plupart des documents, avec une lacune. Ici, la couche de texte et les règles lisent les reçus de Larkfield. La lacune concerne un autre magasin et des photos endommagées. Le coût du modèle suit alors la taille de la lacune : 9 appels pour 54 reçus.
- Ne combinez pas quand aucun lecteur précis n’existe. Pour un nouveau type de document sans règles, le modèle lit tout, et vous ancrez quand même ses valeurs.
- Ce que cela coûte : deux lecteurs à maintenir, et du code de conciliation avec ses propres tests. Les règles doivent signaler ce qu’elles n’ont pas trouvé, sinon
why_modelne peut pas voir de lacune. - L’ancrage a des limites. Il a besoin des lignes OCR ou de la couche de texte de la page. Il ne peut pas ancrer une valeur déduite, comme la devise de D045. Et quand une valeur est imprimée plusieurs fois, il prend la première ligne qui l’affiche.
Erreur courante
La réponse du modèle l'emporte
Symptôme : Un collègue simplifie le pipeline : « Envoyez chaque page au modèle. Quand les règles et le modèle ne sont pas d’accord, faites confiance au modèle : il lit mieux. » Les agents commencent à voir LARKEFIELD comme fournisseur d’un reçu Larkfield.
Cause : Le cours a exécuté cette conception sur les 54 reçus. Il a répertorié chaque champ où les deux lecteurs donnent une valeur, mais où ces valeurs diffèrent :
D009 vendor | rules Larkfield right | model LARKEFIELD wrongmodel on all 54 documents: US$0.596, US$0.0110 per documentSur ce jeu, les deux lecteurs sont en désaccord sur un seul champ : le fournisseur de D009. Les règles ont raison, et le modèle se trompe. La conception simplifiée garde la mauvaise valeur et abandonne la boîte de la couche de texte. Et elle coûte six fois plus : 0,596 $ US au lieu de 0,097 $ US pour les 54 documents.
Diagnostic : Comptez les désaccords et comparez-les à la vérité avant de choisir un côté. Ici, il y en a un, et le modèle est le lecteur qui se trompe.
Correction : Gardez les règles en premier et appelez le modèle seulement pour une raison. Quand les deux donnent des valeurs différentes, ne choisissez pas. Gardez la valeur avec preuve et transmettez un conflit à une personne, comme le fait combine.py. Le chemin de conflit ne s’est pas déclenché sur ce jeu, car le modèle n’a pas été appelé pour D009. Un test avec deux valeurs différentes vérifie qu’il fonctionne.
Conséquence pour le travail en IA : un désaccord entre deux lecteurs est une information. Un pipeline qui le cache, dans un sens ou dans l’autre, élimine son meilleur signal d’erreur.
À vous de jouer : la photo du magasin partenaire
Section intitulée « À vous de jouer : la photo du magasin partenaire »Changez une condition : utilisez la photo D049 du magasin partenaire plutôt que son reçu numérique D017. L’OCR lit la photo, pas la couche texte. Prédisez quels champs proviennent du modèle et quelle ligne sert de preuve pour le sous-total de 27,45. Puis exécutez :
python -m doc_extract.combine D049Et affichez les lignes qui appuient chaque valeur. Dans python :
from doc_extract import combine, documentsex, dec = combine.combine(documents.get("D049"))for name, f in ex.fields.items(): print(f"{name:<15} {dec.source[name]:<5}", [(ln.text, [round(v) for v in ln.box]) for ln in f.lines])Afficher la réponse
D049 IMG_5101.jpg: model used (required fields missing: subtotal, total; an unknown shop: the rules know only Larkfield's layouts) vendor MAPLE & PINE from both found ok order_number (not_printed) from none absent ok date 2026-09-23 from both found ok currency CAD from both inferred ok subtotal 27.45 from model found ok shipping (not_printed) from none absent ok tax 3.57 from both found ok total 31.02 from model found ok payment_method Visa from model found okvendor both [('MAPLE & PINE', [358, 300, 734, 386])]order_number none []date both [('INV# 0271480', [116, 537, 383, 606]), ('Sep 23 2026', [780, 475, 1018, 546])]currency both [('HARDWARE - Kingston ON', [305, 361, 800, 452])]subtotal model [('27.45', [913, 616, 1032, 675])]shipping none []tax both [('Sales tax 13%', [366, 841, 627, 909]), ('3.57', [952, 796, 1048, 854])]total model [('31.02', [920, 853, 1054, 916])]payment_method model [('TENDER VISA****4821', [176, 971, 602, 1060])]Les trois mêmes champs que sur D017 proviennent du modèle : le sous-total, le total et le paiement. Des lignes d’OCR servent de preuves pour les trois, avec des cadres en pixels dans la photo. Le total se trouve sur la ligne AMOUNT DUE (montant dû), à 31.02, à y = 853. Le sous-total se trouve sur la ligne 27.45, à y = 616 : le prix de l’article, pas la ligne MERCH (marchandise), à y = 745. C’est le repère 1 de l’image : la bonne valeur, la première ligne correspondante.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Expliquez pourquoi combine.py a appelé le modèle pour D045 et pourquoi sa devise CAD est « non vérifiée », même si elle est correcte.
Afficher la réponse
Les règles n’ont pas trouvé deux champs obligatoires sur la photo : la devise et le total. why_model a donc donné la raison « required fields missing : currency, total » (champs obligatoires manquants : devise, total). Le projet a utilisé la réponse enregistrée du modèle. Le modèle a indiqué que le total est coupé : il reste absent. Le modèle a donné la devise CAD, avec le statut inféré, à partir de l’adresse du magasin à Toronto. Aucune ligne de la photo ne montre « CAD » ni un symbole de devise. ground n’a donc trouvé aucune ligne. Une valeur sans ligne n’a aucune preuve. Le projet la marque donc comme non vérifiée et l’envoie à une personne. Correcte ou non, rien sur la page ne permet à un agent de la vérifier.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Prédisez : sur un reçu avec deux articles, « Hose 19.95 » (tuyau) et « Gloves 19.95 » (gants), les règles ne trouvent pas le sous-total et le modèle répond 39,90. Où ground place-t-il le cadre? Et si le modèle répondait 19,95 par erreur?
Afficher la réponse
Pour 39,90, ground cherche une ligne dont le montant est 39,90. Si le reçu affiche une ligne de sous-total avec 39,90, le cadre va à cet endroit. La bonne ligne sert alors de preuve pour la valeur. Pour une réponse erronée de 19,95, ground trouve la première ligne d’article avec 19,95 et lui attribue un cadre. La valeur erronée est alors « appuyée par une preuve », car elle est imprimée, mais sur une autre ligne. Cette preuve confirme que la page montre une valeur, pas que cette valeur appartient au champ. C’est pourquoi le prochain module ajoute des vérifications entre les champs. Ici, le sous-total doit être égal à la somme des lignes d’articles.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Vérification pratique : exécutez python -m doc_extract.combine D018 et python -m doc_extract.vision D018. Quels champs proviennent du modèle et combien l'appel a-t-il coûté?
Afficher la réponse
Le modèle a été utilisé pour les deux raisons : le sous-total et le total manquent, et le magasin est inconnu. Trois valeurs sont from model (du modèle) : le sous-total de 47,25, le total de 53,39 et le paiement Visa. Les trois sont found (trouvées), donc une ligne du PDF sert de preuve pour chacune. Quatre sont from both (des deux). Le numéro de commande et les frais de livraison sont absents, from none (d’aucune source), avec la raison not_printed (non imprimé). La ligne vision D018 donne les détails de l’appel : 1 269 jetons en entrée et 488 en sortie. Au tarif affiché : 1 269 × 2 / 1 000 000 + 488 × 10 / 1 000 000 = 0,0025 $ US + 0,0049 $ US = environ 0,0074 $ US. Les 45 autres reçus ne coûtent rien.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Les règles d’abord : la couche texte et les règles lisent les mises en page connues, sans frais, avec un cadre pour chaque valeur.
- Le modèle au besoin :
why_modell’appelle seulement pour un champ obligatoire manquant, un magasin inconnu ou un faible score de lecture. Cela concernait 9 des 54 reçus, à 0,0018 $ US par document plutôt que 0,0113 $ US par page. - Réconciliez champ par champ. Même valeur : gardez la valeur et le cadre des règles. Deux valeurs : un conflit à soumettre à une personne. Le modèle seul : valeur appuyée par une preuve sur une ligne, ou non vérifiée. Les deux sont absentes : valeur absente, avec la raison du modèle.
- Résultat combiné : 427 des 435 valeurs imprimées sont correctes, 0 erronée, 0 inventée, 53 des 54 reçus complets.
- Une preuve confirme que la page montre une valeur, pas à quelle ligne elle appartient. Faire confiance au modèle quand les lecteurs divergent aurait conservé le nom du vendeur mal lu sur D009.
Ensuite, vous prévoyez le traitement des images que personne ne peut lire entièrement : floues, coupées, trop petites ou aux pages contradictoires.
Leçon suivante : Gérer l'incertitude visuelle