Lire de vrais reçus
- Étude de cas 1
- 150 min
- Facultative · 1 étude de cas requise pour le certificat
Où nous en sommes
Cette étude de cas sort tout le pipeline de Larkfield et l'applique à 100 vraies photos de reçus d'Indonésie. Vous mesurez ses résultats champ par champ avec les étiquettes du jeu de données, l'adaptez une modification à la fois, et présentez ce qui fonctionne, ce qui échoue et ce que cela coûte.
Étude de cas 1 sur 2 · IA documentaire et multimodaleLire de vrais reçus
1. Comprendre les documents en entrée
2. Préparer et extraire le contenu
3. Retrouver la structure et les tableaux
4. Utiliser les modèles multimodaux de façon réfléchie
5. Valider et réviser les résultats
6. Évaluer et livrer le pipeline
7. Études de cas
Ce que vous saurez faire
Sortez le pipeline doc-extract du cours de Larkfield et appliquez-le à 100 vraies photos de reçus d’Indonésie. Leur mise en page et leur langue sont nouvelles pour ses règles. Mesurez ses résultats champ par champ avec les étiquettes du jeu de données. Adaptez-le une modification à la fois, sur des reçus que vous gardez séparés du test. Présentez ensuite ce qui fonctionne, ce qui échoue et pourquoi, ainsi que les coûts.
Le projet reprend le doc-extract du cours à la fin du module 6, sans modification, avec un dossier cord_eval. Ce dossier contient le code de cette étude de cas : échantillon, correspondance des étiquettes, règles pour les reçus indonésiens et exécutions. Il contient aussi le calcul des scores et un carnet (notebook) Jupyter d’évaluation. Dans le projet de départ, les règles connaissent seulement les mots du cours; vous ajoutez les mots indonésiens. Le projet terminé présente le résultat, pour les moments où vous êtes bloqué. Le code est sous licence MIT.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
Cette étude de cas utilise tout le cours, sur des reçus qui ne viennent pas de Larkfield. Ces leçons comptent le plus :
- Les trois chemins et les règles qui remplissent le contrat, dans Chemins texte et OCR.
- Recadrer, tourner et redresser avant l’OCR, dans Préparation des images.
- Les règles d’abord, le modèle au besoin et l’ancrage dans la source, dans Combiner les méthodes.
- Les vérifications de la somme des montants, dans Validation selon les règles d’affaires.
- Les résultats par champ (correct, manquant, erroné), dans Métriques par champ.
Ce qu’il vous faut sur votre ordinateur
- Python 3.12 ou une version plus récente, et VS Code avec ses extensions Python et Jupyter.
- Environ 600 Mo d’espace disque libre : les paquets (ceux du cours, plus matplotlib) et l’échantillon (19,7 Mo).
- Environ 1,5 Go de mémoire libre pendant l’OCR. L’OCR des 100 photos prend une ou deux minutes, une seule fois; les exécutions suivantes lisent un cache.
Testé sur macOS (Apple M4, 16 Go, Python 3.12.13, RapidOCR 3.10.0). Les commandes Windows et Linux sont écrites, mais non testées. Tous les temps viennent de l’ordinateur de l’auteur, pendant qu’il effectuait d’autres tâches : vos chiffres seront différents.
La situation
Section intitulée « La situation »Dewi Lestari dirige les opérations financières d’une entreprise qui a des bureaux à Jakarta et à Toronto. Le personnel demande le remboursement de ses repas et taxis avec une photo du reçu papier. À Jakarta, deux personnes saisissent les totaux d’environ 400 reçus par semaine. L’équipe de Toronto lit déjà ses reçus avec un pipeline qu’un de ses ingénieurs a construit en suivant ce cours. Les personnes sont inventées; les reçus sont réels.
Dewi demande à Arif Nugroho, un ingénieur de données : « Peut-on utiliser le pipeline de Toronto pour nos reçus? Je veux trois réponses, avec des chiffres. Combien de totaux lit-il correctement? Quels reçus une personne doit-elle encore vérifier? Et combien ça coûte? »
Le pipeline lit des reçus canadiens en anglais et en français. Sam, un stagiaire, pose la première question : « Pourquoi ne pas simplement l’essayer sur nos reçus pour voir? » Arif accepte, à une condition : « Il nous faut des reçus dont on connaît la bonne réponse. Sinon, “voir” veut dire “deviner”. »
L’objectif. Sur des photos de reçus indonésiens, lire le total, ainsi que le sous-total et la taxe quand ils sont imprimés. Garder l’emplacement de chaque valeur sur la photo. Envoyer à une personne chaque reçu dont le pipeline n’est pas sûr. Mesurer ses résultats sur des reçus que personne n’a utilisés pour le construire.
Ce que vous allez construire
Section intitulée « Ce que vous allez construire »Description textuelle du diagramme
Les 100 reçus se divisent en 40 reçus de développement et 60 reçus de test. Sur les reçus de développement, les règles sont adaptées une modification à la fois, puis figées. Sur chaque reçu de test, les règles pour les roupies lisent la photo brute. Si elles trouvent un total dont la somme est correcte, leurs valeurs sont conservées avec leurs boîtes. Sinon, le modèle de vision enregistré lit le reçu, 21 fois en tout. Chaque champ est ensuite concilié : les valeurs concordantes ou ancrées dans la source sont conservées. Les conflits et les valeurs non vérifiées passent en révision. Un reçu sans total, ou dont les montants ne concordent pas, passe aussi en révision. Les autres sont traités directement.
| Partie | Ce que vous faites | Mesuré sur |
|---|---|---|
| 1 | Exécuter le pipeline tel quel : la référence de base | reçus de développement |
| 2 | Lire les roupies : un nouveau lecteur de montants | reçus de développement |
| 3 | Ajouter les mots indonésiens; comparer les photos brutes et préparées | reçus de développement |
| 4 | Appeler le modèle là où les règles s’arrêtent | réponses enregistrées |
| 5 | La comparaison équitable, une seule fois | reçus de test |
| 6 | Un reçu, du début à la fin | un reçu de test |
Les données
Section intitulée « Les données »Les reçus viennent de CORD v2, le Consolidated Receipt Dataset de NAVER CLOVA. Il contient 1 000 photos de reçus de commerces, de restaurants et de cafés en Indonésie, avec des étiquettes créées par des personnes. Cette étude de cas utilise les 100 reçus de ses données de test.
Licence et attribution. CC BY 4.0, indiquée par les créateurs sur GitHub et sur la fiche du jeu de données. Attribution : « CORD v2 par NAVER CLOVA, CC BY 4.0 ». Citez l’article de Park et ses collègues, CORD : A Consolidated Receipt Dataset for Post-OCR Parsing (2019). CC BY permet de partager une copie si nous indiquons les modifications. Les données de test originales forment un fichier de 234 Mo. Le cours conserve donc un échantillon fixe de 19,7 Mo dans le dépôt des exercices. Il contient les 100 images en JPEG, de 2 000 pixels au maximum sur leur côté le plus long, et les étiquettes inchangées. La fiche du jeu de données liste les modifications et les sommes de contrôle.
Arif a comparé CORD à deux autres jeux publics de reçus. SROIE étiquette le commerce, la date et le total, ce qui convient mieux. Mais seules ses copies indiquent une licence, pas ses créateurs. WildReceipt n’en indique aucune. CORD est le seul dont les créateurs précisent les usages permis.
Ce que disent les étiquettes. CORD étiquette chaque mot imprimé avec sa boîte, et chaque reçu avec ses propres classes. Seules certaines correspondent à un champ du contrat du cours :
| Champ du contrat | Étiquette CORD | Étiqueté sur les 60 reçus de test |
|---|---|---|
| total | total.total_price |
58 |
| sous-total | sub_total.subtotal_price |
41 |
| taxe | sub_total.tax_price (deux lignes de taxe sont additionnées) |
27 |
| devise | aucune : chaque reçu est indonésien, donc IDR | 60 |
| articles | menu : nom, quantité et prix de la ligne |
146 lignes |
| fournisseur, date, numéro de commande, mode de paiement | retirés par CORD | non évalués |
CORD a retiré les étiquettes du commerce et du paiement et brouillé les noms des commerces dans les images, pour des raisons juridiques en Indonésie. Quatre champs du contrat ne peuvent donc pas être évalués du tout. Voilà la portée honnête : 186 valeurs étiquetées sur les reçus de test.
Le corrigé contient des pièges. Lisez les étiquettes avant de leur faire confiance :
- Certains totaux imprimés n’ont pas d’étiquette.
cord-test-037afficheTOTAL 20.000(total de 20 000), et CORD n’a aucun total pour ce reçu. Un champ sans étiquette n’est pas évalué. - Deux étiquettes se trouvent sur une autre ligne :
cord-test-018etcord-test-071étiquettent une ligne « Sub Total » (sous-total) comme total. - Les vrais reçus ne respectent pas la règle de somme du cours. Vérifiez les étiquettes de CORD avec cette règle : total = sous-total + taxe. Sur les 41 reçus que la règle peut vérifier, seuls 24 ont une somme correcte. Les autres ont des frais de service, une réduction, une taxe déjà incluse ou un total arrondi à 500 roupies. Les étiquettes sont correctes; la règle est canadienne.
Préparer le projet
Section intitulée « Préparer le projet »-
Téléchargez le projet de départ depuis l’encadré en haut de cette page et décompressez-le dans votre dossier de projets. Vous obtenez le dossier
cord-receipts. Ouvrez-le dans VS Code (File > Open Folder (fichier, ouvrir un dossier)), puis ouvrez un terminal (Terminal > New Terminal (terminal, nouveau terminal)). -
Créez un environnement virtuel, installez les paquets, récupérez l’échantillon et exécutez les tests :
Fenêtre de terminal python3 -m venv .venvsource .venv/bin/activatepython -m pip install -r requirements.txtpython -m cord_eval.datapython -m pytest -qFenêtre de terminal py -m venv .venv.venv\Scripts\Activate.ps1python -m pip install -r requirements.txtpython -m cord_eval.datapython -m pytest -qSortie (fin) Downloading https://github.com/Nextia-Intelligence/nextia-learning-labs/raw/main/C13/read-real-receipts/data/cord-v2-test-sample.zipChecked cord-v2-test-sample.zip: SHA-256 2dd48e2cc141... is correctdata/cord-v2-test-sample: 100 receipts, every file matches SHA256SUMS15 passed in 1.36s -
Examinez l’échantillon, puis un reçu tel que le contrat le voit :
Fenêtre de terminal python -m cord_eval.samplepython -m cord_eval.sample cord-test-007Sortie 100 receipts in data/cord-v2-test-sample: dev 40, test 60total labelled on 95 (dev 37, test 58)subtotal labelled on 65 (dev 24, test 41)tax labelled on 41 (dev 14, test 27)service labelled on 12 (dev 4, test 8)discount labelled on 6 (dev 3, test 3)item lines 246 (dev 100, test 146)cord-test-007 images/cord-test-007.jpg (CORD test image 7, our split: dev)picture 576 x 864 px (CORD's original 576 x 864)total 111000subtotal 100909tax 10091service (not labelled)discount (not labelled)currency IDRitem: ? x Kupon 15 = 100000
Ce que cela nous apprend. La somme de contrôle du téléchargement est correcte, tout comme celle de chaque fichier qu’il contient. L’échantillon contient 40 reçus de développement et 60 reçus de test, choisis au hasard avec une graine fixe. Les reçus de développement servent à examiner et à modifier les règles. Les reçus de test restent fermés jusqu’à ce que les règles soient figées. C’est le principe des données d’entraînement et de test, appliqué aux règles plutôt qu’à un modèle. Vous ne pouvez pas mesurer sur ce qui a servi à vos ajustements.
Définir le problème
Section intitulée « Définir le problème »Arif note la mesure avant toute exécution, pour qu’aucun résultat ne puisse la changer :
- L’unité est une photo de reçu. Les valeurs sont le total, le sous-total, la taxe et la devise étiquetés : 186 sur les reçus de test.
- Chaque valeur est correcte, manquante ou erronée, comme dans Métriques par champ. Les roupies sont comparées comme des nombres, donc
91000et91000.00concordent. - Un reçu est complet quand son total, son sous-total et sa taxe étiquetés sont tous corrects.
- La mesure de sécurité est le nombre de totaux erronés qui passent directement, sans révision. L’équipe de Dewi paie selon le total.
- Le coût comprend les appels du modèle (enregistrés, au tarif affiché), ainsi que le temps et la mémoire de l’OCR.
Partie 1 : le pipeline tel quel
Section intitulée « Partie 1 : le pipeline tel quel »Exécutez le pipeline du cours, sans modification, sur les 100 photos. as_is lit chaque photo comme dans le cours : préparation, OCR, puis application de doc_extract/fields.py. L’OCR prend environ une minute, et ses résultats sont mis en cache.
python -m cord_eval.run --system as_ispython -m cord_eval.score --split dev --systems as_is[ 99/100] cord-test-098 (dev) total -[100/100] cord-test-099 (dev) total -as_is: 100 receipts -> out/cord/as_is.jsonldev receipts: 40. Correct values of the values CORD labels (rupiah compared as numbers).system total subtotal tax currency all complete itemsas_is 2/37 1/24 0/14 0/40 3/115 2/40 0/100
wrong / missing per field (w/m): as_is total 2/33 subtotal 0/23 tax 0/14 currency 0/40 total's box on CORD's label: 2 of 2Ce que cela nous apprend. Le pipeline a lu 3 des 115 valeurs étiquetées sur les reçus de développement. Deux des totaux qu’il a donnés étaient erronés. Examinez un reçu pour comprendre pourquoi. L’OCR a bien lu ses lignes; les règles n’y ont rien trouvé.
![À gauche, le bas d'une vraie photo de reçu, cord-test-008 : articles 1 [REG] BLACK SAKURA 45,455, COOKIE DOH SAUCES 0, NATA DE COCO 0. Puis Sub Total 45,455, PB1 (10 %) 4,545, Rounding 0, Total 50,000. Des boîtes vertes avec les repères 1, 2 et 3 entourent les lignes Sub Total, PB1 et Total : les preuves des règles pour les roupies. Des boîtes bleues en pointillés entourent 45,455, 4,545 et 50,000 : les mots étiquetés par CORD. À droite, un tableau. Sous-total : CORD 45455, règles du cours aucune valeur, règles pour les roupies 45455. Taxe : 4545, aucune valeur, 4545. Total : 50000, aucune valeur, 50000. Devise : IDR (CORD n'a pas d'étiquette de devise : chaque reçu est indonésien), aucune valeur, IDR déduit.](/_astro/m07-l01-two-rule-sets.C406yTHy.webp)
Description textuelle du diagramme
La photo montre le bas d’un reçu : trois articles, puis Sub Total 45,455, PB1 (10 %) 4,545, Rounding 0 et Total 50,000. Ces lignes indiquent le sous-total, la taxe, l’arrondi et le total. Les règles pour les roupies ont trouvé le sous-total, la taxe et le total. Leurs boîtes vertes couvrent les lignes où CORD a étiqueté les montants. Les règles du cours n’ont trouvé aucune de ces valeurs, ni aucune devise. Les règles pour les roupies ont déduit IDR.
Trois choses bloquent les règles du cours :
- Les montants.
contract.money()cherche deux décimales, comme sur les reçus canadiens :1011.78. Les roupies n’ont pas de cents, et les milliers sont séparés par un point ou une virgule :50,000ou60.000. - Les mots. Les règles connaissent Subtotal, GST, HST et TOTAL (sous-total, TPS, TVH et total). Les reçus indonésiens affichent Sub Total, PB1 ou Pajak (taxe de restaurant), PPN, Service et GRAND TOTAL. Ces termes désignent le sous-total, les taxes, le service et le total général.
- La devise. Le contrat permet seulement CAD et USD.
Rien de tout cela n’est la faute de l’OCR. Le pipeline est un ensemble de décisions sur un pays, inscrites dans son contrat.
Partie 2 : lire les roupies
Section intitulée « Partie 2 : lire les roupies »Recettes en tasses, recettes en grammes
Section intitulée « Recettes en tasses, recettes en grammes »Une cuisinière de Toronto ouvre une recette de Jakarta : « 250 g de farine ». Sa tasse à mesurer est inutile, mais pas son savoir-faire. Elle change un outil, la balance, et cuisine comme avant. Si elle lisait « 250 » comme des tasses, le gâteau serait raté, et elle pourrait accuser le four.
L’idée : un contrat a des paramètres régionaux
Section intitulée « L’idée : un contrat a des paramètres régionaux »Le contrat du cours définit le sens de chaque valeur : montants à deux décimales, CAD ou USD, taxes nommées GST ou HST. Ces choix sont des paramètres régionaux : les conventions d’un pays pour les nombres, les dates, la devise et les mots. Quand les paramètres régionaux changent, le contrat change d’abord, puis les règles suivent. Ici, le nouveau lecteur de montants est cord_eval/idr.py. Un groupe de trois chiffres représente les milliers; un dernier groupe d’exactement deux chiffres représente les cents.
| Texte imprimé | contract.money() |
idr.amount() |
|---|---|---|
100,909 |
aucune valeur | 100909 |
60.000 |
aucune valeur | 60000 |
Rp.118.000 |
aucune valeur | 118000 |
91000 |
91000.00 |
91000 |
9.500,00 |
9500.00 |
9500 |
TAX 10.00 % 4.664 |
10.00 |
4664 |
Le lecteur du cours fonctionne quand un reçu affiche des cents, comme 9.500,00. Sans cents, il ne renvoie rien. Regardez la dernière ligne : il lit le taux de taxe comme la taxe. Un lecteur qui se trompe est pire qu’un lecteur qui ne renvoie rien. Le lecteur de roupies ignore les pourcentages et le symbole Rp (roupie).
money_only utilise le lecteur de roupies avec les mots du cours. Il associe aussi chaque libellé au montant sur la même ligne imprimée, en suivant l’inclinaison de la photo. C’est ce que fait rows() dans le cours. Sur une photo inclinée, le montant au bord droit se trouve plus haut ou plus bas que son libellé.
python -m cord_eval.run --system money_only --quietpython -m cord_eval.score --split dev --systems as_is,money_onlymoney_only: 100 receipts -> out/cord/money_only.jsonldev receipts: 40. Correct values of the values CORD labels (rupiah compared as numbers).system total subtotal tax currency all complete itemsas_is 2/37 1/24 0/14 0/40 3/115 2/40 0/100money_only 23/37 8/24 3/14 27/40 61/115 14/40 85/100
wrong / missing per field (w/m): as_is total 2/33 subtotal 0/23 tax 0/14 currency 0/40 total's box on CORD's label: 2 of 2 money_only total 1/13 subtotal 0/16 tax 0/11 currency 0/13 total's box on CORD's label: 23 of 23Ce que cela nous apprend. Une modification fait passer le pipeline de 3 à 61 valeurs sur 115. Les totaux progressent le plus, car beaucoup de reçus affichent simplement TOTAL, un mot que le cours connaît déjà. Les sous-totaux et les taxes restent faibles : leurs mots sont indonésiens.
Partie 3 : les mots indonésiens et la photo brute
Section intitulée « Partie 3 : les mots indonésiens et la photo brute »À vous : ajoutez les mots
Section intitulée « À vous : ajoutez les mots »Ouvrez cord_eval/rules_id.py. Sa liste LABELS contient seulement les mots du cours. Examinez les lignes OCR des reçus de développement et ajoutez les mots imprimés :
python -m cord_eval.lines cord-test-007cord-test-007 (dev): 12 lines, 0.21 s 1.00 [ 67 523 158 553] Kupon 15 0.99 [ 415 530 500 567] 100,000 1.00 [ 67 550 226 585] ADD CHICKEN BOX 1.00 [ 459 563 500 591] 909 0.94 [ 61 606 153 640] Subtetal 1.00 [ 417 620 497 651] 100,909 0.93 [ 60 636 162 669] PB1(107) 0.98 [ 427 649 499 683] 10,091 1.00 [ 55 691 120 729] Total 1.00 [ 413 703 495 738] 111,000 0.99 [ 53 754 109 788] Cash 1.00 [ 382 758 494 794] Rp.111,000Chaque mot doit venir d’un reçu de développement. Si vous ajoutez un mot après avoir regardé un reçu de test, le test n’est plus équitable. La liste du projet terminé :
LABELS = ( ("subtotal", re.compile(r"^sub\W*t")), # Sub Total, SUBTOTAL, SUB-TOTAL, SUBTTL, Sub, Total ("tax", re.compile(r"^(tax|vat|ppn|pb\W*1|pajak|restaurant tax)")), ("service", re.compile(r"^(service|svc|serv\b)")), ("discount", re.compile(r"^(discount|diskon|disc\b)")), ("total", re.compile(r"^(grand\W*total|total|tl\b)")), ("cash", re.compile(r"^(cash|tunai)")), ("change", re.compile(r"^(change|kembali)")),)NOT_A_TOTAL = re.compile(r"(item|qty|disc|tax|pajak)") # "TOTAL ITEMS 3", "TOTAL DISC"Deux détails viennent aussi des reçus de développement. ^sub\W*t reconnaît aussi le Subtetal de l’OCR (sous-total, cord-test-007 ci-dessus). Quand un reçu affiche TOTAL et GRAND TOTAL, le total général est le total. Le simple TOTAL est alors le sous-total (cord-test-095).
Photo préparée ou brute?
Section intitulée « Photo préparée ou brute? »Le cours prépare chaque image avant l’OCR : recadrer sur le papier, tourner, redresser, agrandir. Préparation des images a mesuré cette préparation sur les documents du cours. Elle a corrigé les numérisations tournées et n’a pas aidé les photos. Ici, chaque reçu est une photo : mesurez donc les deux options sur les reçus de développement :
python -m cord_eval.run --system adapted --quietpython -m cord_eval.run --system adapted_raw --quietpython -m cord_eval.score --split dev --systems as_is,money_only,adapted,adapted_rawadapted: 100 receipts -> out/cord/adapted.jsonladapted_raw: 100 receipts -> out/cord/adapted_raw.jsonldev receipts: 40. Correct values of the values CORD labels (rupiah compared as numbers).system total subtotal tax currency all complete itemsas_is 2/37 1/24 0/14 0/40 3/115 2/40 0/100money_only 23/37 8/24 3/14 27/40 61/115 14/40 85/100adapted 31/37 21/24 13/14 35/40 100/115 30/40 81/100adapted_raw 33/37 23/24 13/14 38/40 107/115 31/40 86/100
wrong / missing per field (w/m): as_is total 2/33 subtotal 0/23 tax 0/14 currency 0/40 total's box on CORD's label: 2 of 2 money_only total 1/13 subtotal 0/16 tax 0/11 currency 0/13 total's box on CORD's label: 23 of 23 adapted total 0/6 subtotal 0/3 tax 0/1 currency 0/5 total's box on CORD's label: 31 of 31 adapted_raw total 1/3 subtotal 0/1 tax 1/0 currency 0/2 total's box on CORD's label: 33 of 33Description textuelle du graphique
Sur les 40 reçus de développement, le pipeline tel quel a lu 2.6% des valeurs étiquetées. Avec le lecteur de roupies, il en a lu 53.0%. Avec les mots indonésiens, il en a lu 87.0% sur les images préparées et 93.0% sur les photos brutes.
Ce que cela nous apprend. Les mots font passer les règles de 61 à 100 valeurs correctes. Et la photo brute fait mieux que la photo préparée : 107 contre 100. Le recadrage de la préparation cherche du papier clair sur une table plus sombre. Sur de vraies photos, il garde parfois la mauvaise partie (cord-test-022, cord-test-054). Cela détermine le chemin combiné avant d’évaluer le moindre reçu de test : il lit la photo brute.
Figez maintenant les règles. Dans un vrai projet, faites un commit (enregistrement des modifications) maintenant. Ainsi, tout le monde peut vérifier que le test a eu lieu après.
Partie 4 : le modèle là où les règles s’arrêtent
Section intitulée « Partie 4 : le modèle là où les règles s’arrêtent »Les règles manquent encore certains totaux. La réponse du cours vient de Combiner les méthodes : les règles d’abord, puis le modèle de vision au besoin. Ici, le chemin combiné interroge le modèle quand le total manque ou que les montants ne concordent pas. La vérification des sommes est celle pour l’Indonésie dans cord_eval/check.py. Elle accepte des frais de service, un rabais et une taxe déjà incluse dans les prix.
La requête a changé aussi, car une requête fait partie du contrat. La requête v2-idr reprend la requête v2 du cours, avec le même schéma. Elle ajoute trois règles : des montants en rupiahs entières, la devise IDR et les noms indonésiens de taxe et de total. Avant de l’écrire, Arif a envoyé la requête v2 du cours, sans changement, avec 5 reçus. Le modèle a lu correctement tous les montants étiquetés. Il a indiqué la devise comme « absente, non imprimée ». La requête permet seulement CAD ou USD, et le modèle n’en a pas inventé une. Il n’a pas deviné, mais le contrat n’avait toujours aucune place pour la rupiah.
Les réponses du modèle ont été enregistrées : 21 appels avec la requête v2-idr et 5 avec v2, pour 0,30 $ US au total. Le projet les rejoue, donc vous n’avez besoin d’aucune clé.
python -m cord_eval.vision_id cord-test-013recorded answer (replayed; nothing was sent)cord-test-013, prompt v2-idr: gpt-6.1-sol-2026-09-29, 2293 tokens in, 731 out, 11.786 s, about US$0.0119 total 51300 subtotal 46636 tax 4664 currency IDRPartie 5 : la comparaison équitable
Section intitulée « Partie 5 : la comparaison équitable »Chaque système a traité les mêmes 60 reçus de test, avec les mêmes étiquettes et le même outil de notation, une fois :
python -m cord_eval.run --system all --quietpython -m cord_eval.score --split testas_is: 100 receipts -> out/cord/as_is.jsonlmoney_only: 100 receipts -> out/cord/money_only.jsonladapted_raw: 100 receipts -> out/cord/adapted_raw.jsonladapted: 100 receipts -> out/cord/adapted.jsonlvision: 100 receipts -> out/cord/vision.jsonl; model answers used 21 (US$0.240 when recorded)combined: 100 receipts -> out/cord/combined.jsonl; model answers used 21 (US$0.240 when recorded)test receipts: 60. Correct values of the values CORD labels (rupiah compared as numbers).system total subtotal tax currency all complete itemsas_is 3/58 1/41 0/27 0/60 4/186 2/60 3/146money_only 31/58 22/41 6/27 43/60 102/186 15/60 110/146adapted_raw 41/58 31/41 18/27 56/60 146/186 33/60 111/146adapted 34/58 30/41 15/27 48/60 127/186 26/60 108/146combined 53/58 34/41 22/27 60/60 169/186 47/60 111/146
wrong / missing per field (w/m): as_is total 4/51 subtotal 1/39 tax 0/27 currency 0/60 total's box on CORD's label: 3 of 3 money_only total 4/23 subtotal 1/18 tax 0/21 currency 0/17 total's box on CORD's label: 31 of 31 adapted_raw total 4/13 subtotal 0/10 tax 1/8 currency 0/4 total's box on CORD's label: 41 of 41 adapted total 4/20 subtotal 1/10 tax 1/11 currency 0/12 total's box on CORD's label: 34 of 34 combined total 4/1 subtotal 0/7 tax 1/4 currency 0/0 total's box on CORD's label: 44 of 53 combined: model called for 21 receipts; to review 8, straight through 52; wrong totals caught by review 1, sent on 3Description textuelle du graphique
Sur les 60 reçus de test, le pipeline tel quel a lu 2.2% des valeurs étiquetées. Le lecteur de rupiahs seul en a lu 54.8%. Les règles pour les rupiahs en ont lu 68.3% sur les images préparées et 78.5% sur les photos brutes. Le chemin combiné en a lu 90.9%.
Ce que cela nous apprend.
- Les résultats de développement étaient trop favorables. Sur les photos brutes, les règles sont passées de 107 sur 115 (93 %) en développement à 146 sur 186 (78,5 %) au test. Les reçus de test affichent des mots absents des reçus de développement : NET SALES (ventes nettes), AMOUNT DUE (montant dû), DUE (dû). Certaines photos sont aussi plus difficiles. Sans le test gardé à l’écart, Dewi aurait entendu « 93 % ».
- Les photos brutes ont encore battu les images préparées, 146 contre 127. La décision prise en développement tient donc toujours.
- Le chemin combiné a lu 169 valeurs sur 186 (90,9 %) et traité entièrement 47 reçus sur 60. Le modèle a été appelé pour 21 reçus : 0,24 $ US au total, soit environ 0,004 $ US par reçu sur les 60.
- Les cadres sont bien placés. Chaque total lu par les règles a son cadre sur le mot étiqueté par CORD : 41 sur 41. Une valeur du modèle reçoit un cadre seulement si l’ancrage la trouve sur une ligne OCR. Parmi les 53 totaux corrects du chemin combiné, 44 ont leur cadre sur le mot étiqueté (plus de détails ci-dessous).
Que vaut le modèle seul? Comparez les trois systèmes sur les 21 reçus où les règles ont abandonné :
Description textuelle du graphique
Sur les 21 reçus envoyés au modèle, les règles seules ont lu 60.0% des valeurs étiquetées. Le modèle seul en a lu 98.5%, et le chemin combiné, 95.4%.
Sur ces reçus, le modèle a lu 64 valeurs sur 65, et le chemin combiné, 62. Le résultat du chemin combiné est un peu plus bas, volontairement. Quand les règles et le modèle sont en désaccord, il garde la valeur des règles et envoie le reçu à une personne. Un désaccord est une question, pas un vote. Envoyer chaque reçu de test au modèle coûterait environ 0,67 $ US (0,0112 $ US par appel, en médiane). Cela donnerait aussi 60 réponses sans cadre propre, à environ 11 secondes chacune.
Ouvrez maintenant notebooks/evaluate-cord.ipynb dans VS Code, avec le .venv du projet comme noyau. Il lit vos exécutions, produit les mêmes tableaux et graphiques, puis termine par trois vérifications dont les réponses sont masquées.
Ce qui échoue, et pourquoi
Section intitulée « Ce qui échoue, et pourquoi »Sur les 60 reçus de test, le chemin combiné en a envoyé 8 en révision et 52 directement au traitement suivant. La révision a repéré un total erroné. Trois totaux erronés sont passés directement. Dewi doit entendre ce nombre en premier.

Description textuelle du diagramme
Quatre échecs tirés des exécutions réelles. D’abord, le recadrage de préparation a conservé un petit coin d’une photo sombre, sans rien laisser à lire. Ensuite, la préparation a recadré un reçu vertical, puis l’a tourné de 90 degrés. Troisièmement, l’OCR a lu une ligne de total pâle comme « Total 48:888 » au lieu de 40 000. Enfin, le total du modèle, 13.000, a été ancré sur la première ligne affichant 13.000, une ligne d’article, pas la ligne Total.
Erreur courante
Un total erroné que rien ne peut vérifier
cord-test-089 est un reçu pâle. L’OCR a lu sa ligne de total comme Total 48:888, et les règles ont retenu 888. Le reçu n’affiche aucun sous-total, donc la vérification des sommes n’avait rien à comparer. Le total semblait correct.
cord-test-089 (test), system combined total 888 found from rules box [52, 749, 798, 861] label 40000 wrong subtotal - absent from rules no box label 40000 missing tax - absent from rules no box label (no label) unlabelled currency IDR inferred from rules no box label IDR correct -> straight throughLes deux autres cas se ressemblent. Sur cord-test-020, les règles ont lu 377 au lieu de 377 859. Sur cord-test-050, elles ont lu 500 au lieu de 19 500. Aucun de ces reçus n’avait de sous-total lu par les règles.
Correction : envoyez un reçu en révision, ou au modèle, quand son total ne peut pas être vérifié. Ou vérifiez le total à partir des lignes d’articles. Mesurez la correction sur de nouveaux reçus. Une fois leurs échecs étudiés, ces 60 reçus ne constituent plus un test équitable.
Les autres échecs, par cause :
- La préparation des vraies photos. La préparation a recadré 82 des 100 photos, redressé 32, agrandi 6 et tourné 1. Son recadrage et sa rotation ont été conçus pour des numérisations et des photos générées. Les vraies tables, ombres et murs les trompent.
- De nouveaux mots. NET SALES, AMOUNT DUE, DUE : aucun reçu de développement ne les affichait. Le modèle a donc dû lire ces totaux.
- L’ancrage sur la première ligne correspondante, une limite nommée dans Combiner les méthodes. Un petit reçu affiche son total sur les lignes d’article, de sous-total et de total. La valeur est correcte; son cadre est sur la première de ces lignes.
- Des valeurs non vérifiées. Sur
cord-test-013, aucune ligne OCR ne montrait les trois montants corrects du modèle. Les trois ont donc été envoyés en révision : la réponse sûre. - Des totaux arrondis. Sur
cord-test-059, le sous-total et la taxe donnent 680 339, et le total est de 680 500. Une personne doit accepter cela.
La recommandation
Section intitulée « La recommandation »La réponse d’Arif à Dewi, dans les mots de Dewi :
- Utilisez le chemin combiné, pas le pipeline tel quel. Tel quel, il a lu 4 valeurs étiquetées sur 186. Les règles adaptées ont lu 78,5 %, et avec le modèle sur environ un tiers des reçus, 90,9 %.
- Gardez une personne pour chaque reçu que le pipeline ne peut pas vérifier. Aujourd’hui, 8 sur 60 vont en révision. Envoyez aussi les reçus dont le total ne peut pas être vérifié avec un sous-total ou les articles. Cela corrige la lacune qui a laissé passer trois totaux erronés, au prix de plus de révisions. Mesurez le nouveau taux sur les reçus du mois prochain.
- Désactivez la préparation pour les photos de téléphone, ou corrigez d’abord le recadrage, puis mesurez de nouveau.
- Prévoyez un budget pour le modèle d’environ un cent américain par appel, pour environ un tiers des reçus. Cela représente environ 0,004 $ US par reçu au tarif affiché. Les prix changent : vérifiez la page des tarifs actuels avant de planifier.
- Ne l’utilisez pas encore pour le nom du commerce, la date ou le mode de paiement. Rien ici ne les a mesurés.
De bout en bout : un reçu
Section intitulée « De bout en bout : un reçu »Suivez un reçu de test sur tout le chemin. cord-test-059 est une facture de restaurant avec un total imprimé en gros caractères :
python -m cord_eval.show cord-test-059cord-test-059 (test), system combined model asked: the amounts do not add up total 21 found from rules box [802, 1542, 1150, 1616] label 680500 wrong conflict: the rules read 21, the model read 680500 subtotal 618490 found from both box [183, 1662, 1158, 1745] label 618490 correct tax 61849 found from model box [991, 1741, 1156, 1806] label 61849 correct currency IDR inferred from rules no box label IDR correct -> review: the amounts do not add up; total: conflict: the rules read 21, the model read 680500Ce que cela nous apprend. L’OCR a mal lu la ligne du total, et les règles ont retenu 21. Les montants ne concordaient pas, donc le chemin combiné a interrogé le modèle. Le modèle a lu 680500, le total étiqueté. Les règles et le modèle étaient en désaccord. Le reçu est donc parti en révision avec les deux valeurs, et une personne décide. Le sous-total provenait des deux lecteurs, et la taxe du modèle, ancrée sur sa ligne. Aucune erreur n’a atteint le paiement.
Un reçu que les règles lisent entièrement, comme cord-test-014, passe directement, avec un cadre sur chaque valeur.
Temps et mémoire
Section intitulée « Temps et mémoire »Sur l’ordinateur de l’auteur, l’OCR d’une photo brute prenait 0,27 seconde par reçu (médiane). Une photo préparée prenait 0,56 seconde, car la préparation lit d’abord une petite copie. Le modèle prenait environ 11 secondes par appel.
La mémoire a surpris Arif. Un processus lisant les 100 photos préparées a atteint un maximum de 2 515 Mo; sur les photos brutes, 1 250 Mo. Les deux exécutions utilisaient la valeur OCR_MAX_SIDE du cours, soit 1 280 pixels. Sur les propres pages du cours, le maximum était de 1 447 Mo, sous la limite de 2 Go du cours. Un processus qui prépare de vraies photos a donc besoin de plus de mémoire que prévu dans le cours. C’est une autre raison de lire la photo brute.
Constats et limites
Section intitulée « Constats et limites »- Un pipeline est un ensemble de décisions propres à un contexte. L’OCR a bien lu les reçus indonésiens. Le format monétaire, les mots et la liste de devises du contrat ont échoué. Changez d’abord le contrat, puis les règles.
- Mesurez sur des reçus qui n’ont pas servi aux ajustements. Le résultat de développement indiquait 93 %; le test gardé à l’écart indiquait 78,5 %.
- La validation a besoin d’un point de comparaison. Trois totaux erronés n’avaient aucun sous-total à côté.
- Limites. Il y a 60 reçus de test, donc un reçu fait varier un résultat d’environ 1,7 point. Un seul pays, surtout des restaurants, quatre champs non évalués. Les images plus petites de l’échantillon coûtent 4 valeurs étiquetées sur 301 par rapport aux originaux de CORD (253 contre 257). Windows et Linux n’ont pas été testés.
Utilisation responsable
Section intitulée « Utilisation responsable »- Attribuez les données et gardez la liste des changements. Écrivez « CORD v2 par NAVER CLOVA, CC BY 4.0 » et gardez la fiche du jeu de données près de vos résultats.
- Les vrais reçus sont les achats de vraies personnes. Les créateurs ont flouté les noms des commerces et les numéros de cartes. N’essayez pas d’identifier un commerce ou une personne, et ne combinez pas ces reçus avec d’autres données.
- Les demandes de remboursement touchent l’argent et la confiance. Un total erroné peut faire payer trop ou trop peu à quelqu’un. Gardez une personne pour chaque reçu que le pipeline ne peut pas vérifier. Indiquez-le dans le processus de remboursement.
- Ne promettez pas les résultats d’un pays dans un autre. Un nouveau pays, une chaîne de commerces ou un appareil photo de téléphone exige une nouvelle mesure.
Faites-en un projet de portfolio
Section intitulée « Faites-en un projet de portfolio »Ce projet montre à un employeur que vous pouvez adapter un pipeline fonctionnel à un nouveau contexte et le mesurer honnêtement. Il contient des étiquettes, un test gardé à l’écart, un changement à la fois et des échecs avec leurs causes. Personnalisez-le avec un changement, puis publiez-le.
Quoi mettre dans le dépôt :
cord-receipts/ README.md the problem, the data and licence, the approach, the results, the limits DATASET.md the dataset card: source, CC BY 4.0, changes, checksums LICENSE MIT, for the code cord_eval/ the label mapping, the rupiah rules, the runs, the scorer doc_extract/ the course's pipeline, unchanged recordings/ the model's recorded answers (no key in them) notebooks/evaluate-cord.ipynb run from top to bottom, with its outputs docs/results.md your numbers: dev, then test, with the review routing tests/ the testsN’incluez pas l’échantillon lui-même dans un commit (enregistrement de modifications) : python -m cord_eval.data le récupère avec sa somme de contrôle.
Comment le décrire en entrevue, en trois phrases :
« J’ai mesuré un pipeline OCR conçu pour des reçus canadiens sur 100 vrais reçus indonésiens, avec leurs étiquettes publiées. Je l’ai adapté sur 40 reçus. Un test sur 60 a ensuite donné 79 % des valeurs étiquetées, et 91 % avec un modèle de vision sur un tiers des reçus. Trois totaux erronés sont encore passés directement, et je peux montrer pourquoi. »
Allez plus loin :
- Ajoutez la règle de révision pour les totaux impossibles à vérifier. Mesurez-la sur la partition de validation de CORD (100 nouveaux reçus).
- Vérifiez le total avec la somme des lignes d’articles et comptez les totaux erronés que cette vérification repère.
- Corrigez le recadrage de préparation pour les photos, puis comparez de nouveau les photos brutes aux images préparées.
- Ancrez le total du modèle sur une ligne contenant un mot de total, pas sur la première ligne correspondante. Comptez les cadres sur l’étiquette.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Les règles pour les rupiahs sur la photo brute ont obtenu 93 % sur les reçus de développement et 78,5 % sur les reçus de test. Dewi demande quel nombre croire et pourquoi les deux diffèrent.
Afficher la réponse
Croyez le résultat du test. Les règles ont été écrites en regardant les reçus de développement : chaque mot et chaque cas particulier en provenaient. Le résultat de développement mesure donc à quel point les règles conviennent à ces 40 reçus. Les reçus de test ont été évalués une fois, après le gel des règles. Ils affichent des mots absents des reçus de développement (NET SALES, AMOUNT DUE, DUE) et des photos plus difficiles. Les nouveaux reçus feront de même. Avec 60 reçus, le résultat du test reste approximatif : un reçu le fait varier d’environ 1,7 point.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Sur les 21 reçus envoyés au modèle, le modèle seul a lu 64 valeurs sur 65, et le chemin combiné, 62. Sam dit : « Alors, laissez tomber les règles et envoyez chaque reçu au modèle. » Que répondez-vous?
Afficher la réponse
Ces 21 reçus sont ceux où les règles ont échoué, donc la comparaison favorise le modèle. Le chemin combiné obtient volontairement un résultat plus bas sur ces reçus. Quand les règles et le modèle sont en désaccord, il garde la valeur des règles et envoie le reçu en révision. Une personne décide donc. Envoyer les 60 reçus au modèle coûte environ 0,67 $ US au lieu de 0,24 $ US. Cela prend environ 11 secondes par reçu au lieu d’un quart de seconde et donne des valeurs sans cadre propre. Les règles lisent correctement la plupart des reçus, avec le cadre sur le mot étiqueté, sans frais.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Trois totaux erronés sont passés directement dans le chemin combiné, malgré sa vérification des sommes. Expliquez pourquoi et proposez un changement que vous pouvez mesurer équitablement.
Afficher la réponse
Sur chacun, l’OCR a mal lu ou tronqué le total : 888 pour 40 000, 377 pour 377 859, 500 pour 19 500. Et les règles n’ont lu aucun sous-total. La vérification des sommes exige un sous-total et un total, donc elle ne pouvait rien vérifier. Rien d’autre n’a signalé le reçu. Un changement : envoyez chaque reçu dont le total ne peut pas être vérifié en révision ou au modèle. Ou comparez le total à la somme des lignes d’articles. Mesurez cela sur de nouveaux reçus, comme ceux de la partition de validation de CORD. Vous avez utilisé ces 60 reçus de test pour trouver le problème.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Vous avez associé honnêtement les étiquettes de CORD au contrat du cours : total, sous-total, taxe et devise, soit 186 valeurs sur les reçus de test. Le fournisseur, la date et le paiement ne pouvaient pas être évalués.
- Le pipeline tel quel a lu 4 valeurs sur 186. Son contrat supposait des cents, des mots canadiens et CAD ou USD.
- Sur les 40 reçus de développement, un changement à la fois : le lecteur de rupiahs, les mots indonésiens, la photo brute plutôt que préparée. Ensuite, les règles ont été gelées.
- Sur les 60 reçus de test, évalués une fois : 78,5 % avec les règles. Avec le modèle enregistré sur 21 reçus : 90,9 %, pour 0,24 $ US au total.
- Huit reçus sont partis en révision. Trois totaux erronés sont passés directement, car aucun sous-total ne permettait de les vérifier. C’est la prochaine correction, à mesurer sur de nouveaux reçus.
Ensuite, la deuxième étude de cas : retrouver un tableau qui s’étend sur deux pages d’un rapport public et le vérifier cellule par cellule.
Leçon suivante : Extraire un tableau d'un rapport public