Préparation des images
- Leçon 7
- 50 min
- Module 2 : Préparer et extraire le contenu
Où nous en sommes
Dans la dernière leçon, nous avons comparé la couche de texte, l'OCR et un modèle de vision sur les mêmes reçus. L'OCR a lu la plupart des images, mais il a échoué sur les pages tournées et sur les petits reçus dans de grandes pages numérisées. Dans cette leçon, nous préparons chaque image avant l'OCR : nous la tournons, la recadrons, la redressons et l'agrandissons. Et nous gardons l'original, comme un journal qu'on tourne avant de le lire, mais qu'on ne découpe jamais.
Leçon 7 sur 19 · IA documentaire et multimodalePréparation des images
1. Comprendre les documents en entrée
2. Préparer et extraire le contenu
3. Retrouver la structure et les tableaux
4. Utiliser les modèles multimodaux de façon réfléchie
5. Valider et réviser les résultats
6. Évaluer et livrer le pipeline
7. Études de cas
Ce que vous saurez faire
Rendez une image facile à lire avant l’OCR : remettez-la à l’endroit, recadrez-la sur le document, redressez-la et agrandissez les petits caractères. Mesurez l’effet de chaque correction et conservez le fichier original. Ainsi, vous pourrez toujours montrer chaque valeur sur l’image envoyée par le client.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- L’OCR, ses lignes avec leurs cadres et leurs scores, dans L’idée : trois chemins, un seul enregistrement, et
compare, dans Comparer les trois chemins sur une page, tous deux dans Chemins texte et OCR. - Pourquoi un cadre, avec son fichier et sa page, sert de preuve pour une valeur, dans L’idée : un contrat d’extraction, dans Définir le contrat d’extraction.
Ce qu’il vous faut sur votre ordinateur
- Le projet
~/projects/doc-extractavec les fichiers du module 2 et l’environnement virtuel actif :python -m pytest -qaffiche63 passed(63 tests réussis). - Un programme qui ouvre les images PNG, pour regarder les images préparées dans
out/prepared/. VS Code les ouvre.
Testé avec Python 3.12.13, Pillow 12.3.0, NumPy 2.5.4 et RapidOCR 3.10.0 sur macOS (Apple silicon). Les commandes sont les mêmes sous Windows et Linux, mais elles n’y ont pas été testées.
Un journal qu’on vous tend à l’envers
Section intitulée « Un journal qu’on vous tend à l’envers »Quelqu’un vous tend un journal à l’envers. Vous n’essayez pas de le lire ainsi : vous le tournez d’abord. Sur une photo, une petite note repose sur un grand bureau : vous regardez seulement la note. Les caractères sont minuscules : vous rapprochez la note ou utilisez une loupe. Vous faites ces gestes sans réfléchir, avant de lire.
Vous ne découpez pas non plus le journal. Si quelqu’un demande plus tard « où avez-vous lu ça? », vous montrez l’endroit dans le journal reçu. Vous ne montrez pas votre propre copie tournée et agrandie.
Le problème : l’OCR sur une page tournée sur le côté
Section intitulée « Le problème : l’OCR sur une page tournée sur le côté »Dans la leçon précédente, l’OCR a trouvé correctement 1 champ sur 9 dans D025, un PDF numérisé. Regardez ce qu’il a lu :
python -m doc_extract.ocr D025scan0007.pdf, page 1: 28 lines by rapidocr 3.10.0 in 0.93 s (27 with a score under 0.80) 0.77 [ 1385 530 1416 615] 10:35 0.76 [ 1593 531 1624 614] 34.50 0.79 [ 1659 526 1700 615] 34.50 0.74 [ 1691 524 1734 605] 1..73 0.75 [ 1731 526 1767 605] 2.442 0.79 [ 1765 528 1801 675] CA 3.65 0.58 [ 1810 543 1827 636] 一----- 0.80 [ 1837 530 1868 615] 38.65 0.62 [ 1903 602 1944 1015] rhcce r Reek c xept 0.59 [ 1935 622 1980 997] o sn xnty. 0.68 [ 1315 663 1349 958] Vaar 1 0.75 [ 1201 701 1243 920] IARILD 0.72 [ 1241 708 1280 910] Homr eaden ... 0.62 [ 1382 835 1421 1093] Dat00: 20-13 0.77 [ 1416 836 1456 1093] Oord 359 ... 0.65 [ 1664 960 1698 1092] Subttal 0.73 [ 1767 1004 1798 1090] TOTALIARILD pour LARKFIELD, Dat00: 20-13 pour la date, CA 3.65 pour 38,65 $ CA et un caractère chinois pour une ligne pointillée. Sur les 28 lignes, 27 ont un score inférieur à 0,80. Les cadres sont hauts et étroits : le reçu est tourné sur le côté. L’OCR attend du texte de gauche à droite. Il lit donc les lettres de côté et devine.
D026 est à l’envers, et l’OCR a lu Docu n comme fournisseur. Ce n’est pas une valeur manquante, mais une valeur erronée que les règles laisseraient passer.
L’idée : la préparation des images
Section intitulée « L’idée : la préparation des images »La préparation des images modifie une copie de l’image avant l’OCR. Le texte est ainsi à l’endroit, droit, assez grand et seul sur l’image. doc_extract/prepare.py comporte quatre étapes :
- Recadrer sur le document. Sur une page blanche de numériseur, gardez la partie imprimée. Sur une photo, gardez le papier clair et retirez la table plus sombre autour.
- Tourner la page pour la remettre à l’endroit. Le programme ne sait pas où est le haut, alors il fait un test. Il lit une petite copie avec l’OCR. Si la lecture est mauvaise, il essaie les trois autres quarts de tour (90, 180 et 270 degrés). Il garde le meilleur.
- Redresser une page un peu inclinée. Cette étape s’appelle le redressement (deskew; skew désigne une inclinaison). L’inclinaison correspond à l’inclinaison médiane des longues lignes de l’OCR. L’image tourne en sens inverse de cet angle s’il dépasse 1 degré.
- Agrandir les petits caractères. L’OCR lit mieux quand une ligne de texte mesure environ 32 pixels de haut. Si la ligne médiane mesure moins de 24 pixels, le programme agrandit l’image pour atteindre environ 32 pixels. L’agrandissement ne dépasse pas 2,5 fois.
Chaque étape est consignée : le cadre de recadrage, la rotation, l’angle de redressement et le facteur d’échelle. Le fichier original ne change jamais. Grâce aux étapes, le programme peut prendre un cadre trouvé sur l’image préparée et calculer sa position sur l’original. Ainsi, la preuve de chaque valeur pointe toujours vers le fichier envoyé par le client.
Comment le programme décide que la lecture est mauvaise
Section intitulée « Comment le programme décide que la lecture est mauvaise »Sur la petite copie, le programme multiplie le score moyen de l’OCR par la proportion de cadres plus larges que hauts. Le texte tourné sur le côté donne des cadres hauts et des scores faibles. Sous 0,85, le programme essaie les autres rotations. Une rotation gagne seulement si la lecture est nettement meilleure, soit de 15 %. Une bonne page est donc lue une fois. Seule une mauvaise page coûte trois lectures rapides supplémentaires.
RapidOCR possède aussi un classificateur qui tourne les lignes individuelles qui semblent à l’envers. Le projet le désactive : pendant le développement du cours, il a lu 99,00 comme 00'66 sur une photo inclinée de 12 degrés (D040). Tourner toute la page une seule fois, après un test, est plus sûr.
Un petit exemple : un cadre revient sur l’original
Section intitulée « Un petit exemple : un cadre revient sur l’original »Comment un cadre sur l’image préparée revient-il sur l’original? Annulez les étapes dans l’ordre inverse. Voici un cas inventé avec deux étapes, pour suivre chaque nombre.
L’image originale mesure 1 000 × 800 pixels. La préparation la recadre de (100, 50) à (700, 650), puis agrandit la zone recadrée 2 fois. Sur l’image préparée, l’OCR trouve le total dans le cadre de (200, 300) à (260, 320).
| Étape | Gauche, haut | Droite, bas |
|---|---|---|
| Cadre sur l’image préparée | 200, 300 | 260, 320 |
| Annuler l’échelle : diviser par 2 | 100, 150 | 130, 160 |
| Annuler le recadrage : ajouter le coin du recadrage (100, 50) | 200, 200 | 230, 210 |
Le total se trouve donc de (200, 200) à (230, 210) sur l’original. La fonction du projet donne le même résultat :
from doc_extract import preparesteps = {"original_size": [1000, 800], "crop": [100, 50, 700, 650], "scale": 2.0}print(prepare.point_to_original(200, 300, steps), prepare.point_to_original(260, 320, steps))(200.0, 200.0) (230.0, 210.0)Une rotation et un redressement s’annulent de la même façon, avec une rotation plutôt qu’une division. point_to_original gère les quatre étapes. Un test fait passer un point par un recadrage, un quart de tour, un redressement de 3 degrés et une échelle ×2. Il revient à moins de 3 pixels de sa position initiale.
Description textuelle du diagramme
Le programme recadre une copie de l’original, la teste avec un OCR rapide et la tourne si la lecture est mauvaise. Il redresse la copie si les lignes sont inclinées de plus de 1 degré. Il l’agrandit si le texte mesure moins de 24 pixels de haut. L’OCR lit la copie. Le programme annule les étapes consignées dans l’ordre inverse, et chaque cadre revient sur l’image originale.
Préparer la numérisation tournée de Larkfield
Section intitulée « Préparer la numérisation tournée de Larkfield »-
Préparez D025 et lisez les étapes :
Fenêtre de terminal python -m doc_extract.prepare D025scan0007.pdf, page 1: 2200 x 1700 -> 580 x 820: crop [1196, 520, 2016, 1100], turn 270prepared picture: out/prepared/D025-p1.png (the original file is not changed)La page a été rendue à 200 points par pouce : 2 200 × 1 700 pixels, car elle est tournée sur le côté. Le recadrage garde le reçu, de 820 × 580 pixels. La rotation de 270 degrés le remet à l’endroit : 580 × 820.
-
Ouvrez
out/prepared/D025-p1.pnget regardez l’image. Le reçu est à l’endroit, prêt à être lu. -
Lisez la page avec la préparation :
Fenêtre de terminal python -m doc_extract.ocr D025 --preparescan0007.pdf, page 1: 26 lines by rapidocr 3.10.0 in 2.86 s (0 with a score under 0.80)1.00 [ 1207 703 1239 918] LARKFIELD0.96 [ 1249 715 1275 906] Home & Garden1.00 [ 1283 723 1310 897] 1020 Main St0.99 [ 1319 666 1345 956] Vancouver BC V6A 2W10.98 [ 1386 843 1415 1090] Date: 2026-07-131.00 [ 1386 531 1414 612] 10:350.99 [ 1420 843 1449 1090] Order: LK-536359...1.00 [ 1770 1008 1795 1089] TOTAL1.00 [ 1769 611 1795 671] CAD1.00 [ 1769 531 1796 614] 38.65Chaque ligne est maintenant correcte, avec un score de 0,90 ou plus. Les cadres sont de nouveau hauts et étroits, à des positions x de 1 200 à 2 000. Ils sont sur la page originale, tournée sur le côté. L’OCR a lu la copie à l’endroit, et le projet a replacé chaque cadre sur l’original. La page a pris 2,86 secondes plutôt que 0,93, à cause des lectures rapides supplémentaires.
-
Comparez les chemins avec la préparation :
Fenêtre de terminal python -m doc_extract.compare D025 --prepareLa colonne OCR indique maintenant
ok(correct) à chaque ligne. Le résumé indiqueocr 9/9 correct, 2.86 s(9 sur 9 corrects en 2,86 secondes). Sans préparation, c’était 1 sur 9. -
Préparez D024, une numérisation à faible résolution :
Fenêtre de terminal python -m doc_extract.prepare D024scan0006.jpg, page 1: 637 x 825 -> 1359 x 1760: scale 2.133prepared picture: out/prepared/D024-p1.png (the original file is not changed)Rien à recadrer ni à tourner, mais le texte était petit, environ 15 pixels de haut. L’image a donc été agrandie 2,133 fois.

Description textuelle du diagramme
Première image : la page originale numérisée, large et presque vide, avec un petit reçu de côté près du bord droit. Un rectangle bleu marque le recadrage. Deuxième image : l’image préparée, avec le reçu à l’endroit et facile à lire. Troisième image : de nouveau la page originale, avec un cadre vert autour de chaque ligne lue par l’OCR sur l’image préparée, replacé sur le reçu de côté.
Les effets de la préparation, mesurés
Section intitulée « Les effets de la préparation, mesurés »Une page est un exemple. Le cours a lu les 33 images du jeu de reçus deux fois : sans préparation, puis avec préparation. Ce sont des numérisations, des photos et la page numérisée de la demande de remboursement. L’OCR et les règles étaient les mêmes. Il a compté les valeurs imprimées correctement lues, selon l’état de l’image.
- OCR sur l'image brute
- OCR sur l'image préparée
Description textuelle du graphique
Valeurs imprimées correctement lues, sans préparation puis avec préparation. Rotation de 90 degrés (D025, 8 valeurs) : 0 % puis 100 %. Rotation de 180 degrés (D026, 9 valeurs) : 11,1 % puis 100 %. Petit reçu sur une page de numériseur (11 numérisations, 85 valeurs) : 83,5 % puis 92,9 %. Numérisations simples (5 images, 43 valeurs) : 100 % dans les deux cas. Photos (15, 117 valeurs) : 88,0 % puis 87,2 %.
Lisez les résultats selon chaque état :
- Les pages tournées gagnent le plus : de 0 sur 8 à 8 sur 8 pour D025, de 1 sur 9 à 9 sur 9 pour D026.
- Un petit reçu sur une grande page de numériseur gagne grâce au recadrage : de 71 sur 85 à 79 sur 85.
- Les numérisations simples, inclinées (2 degrés ou plus), pâles et à faible résolution (100 points par pouce ou moins) étaient déjà toutes correctes : RapidOCR les gère.
- Les photos ne gagnent rien : 103 sur 117 sans préparation, 102 avec préparation. Leurs problèmes sont le flou (D046), un bas coupé (D045) ou les mots d’un autre magasin, pas la géométrie.
Sur les 33 images, la préparation fait passer les valeurs imprimées correctement lues de 226 sur 262 à 241 sur 262. Sur les 54 pages de reçus, l’OCR passe de 392 sur 435 à 408 sur 435. Voilà pourquoi le chemin OCR du cours lit les images préparées. Le coût est le temps : la page médiane prenait 0,46 seconde sans préparation et 0,96 seconde avec préparation. Une page tournée prenait environ 2,3 à 2,4 secondes, à cause des lectures rapides supplémentaires.
La préparation peut aussi nuire
Section intitulée « La préparation peut aussi nuire »Regardez la seule valeur de photo perdue par la préparation. Sur D045, l’OCR de la photo brute a lu l’adresse du magasin comme Toronto ON M5H 2M5. Sur la photo préparée, il a lu TorontoON M5H 2M5 : une espace de moins. Les règles déduisent la devise CAD d’une adresse de magasin au Canada, mais elles ne reconnaissent plus l’adresse. La devise devient donc manquante :
python -m doc_extract.compare D045 --preparecurrency CAD (cannot read) - WRONG CAD okVoilà pourquoi vous mesurez chaque changement sur les mêmes pages, selon leur état. Ne supposez pas que « plus propre » veut dire « meilleur ». Un changement qui aide beaucoup les numérisations tournées peut faire perdre une valeur sur une photo. Le cours garde la préparation, car elle apporte beaucoup plus qu’elle ne fait perdre (de 392 à 408 sur 435). Et il consigne la perte.
Agrandir ne peut pas ajouter ce qui manque
Section intitulée « Agrandir ne peut pas ajouter ce qui manque »L’agrandissement aide quand le texte est lisible, mais petit. Il ne peut pas ajouter des détails absents de l’image. Dans Gérer l’incertitude visuelle, le cours réduit six reçus au quart de leur taille, soit 300 × 400 pixels. L’OCR trouve alors 29 valeurs correctes sur 51 sur les images brutes, mais seulement 23 sur les images préparées et agrandies. Un flou agrandi reste un flou, plus grand. L’OCR lit alors ses formes comme des lettres erronées.
Conserver l’original
Section intitulée « Conserver l’original »Pourquoi ne pas enregistrer l’image préparée et oublier l’original? Parce que l’original est ce que le client a envoyé, et ce qu’un agent, un auditeur ou le client peut ouvrir. Quand un réviseur corrige une valeur dans Flux de correction, la correction pointe vers le même fichier et le même cadre. Un cadre sur une copie privée est un cadre que personne d’autre ne peut vérifier.
La règle du projet est donc : les cadres de preuve sont toujours sur le fichier original. Pour une page PDF, le cadre est en points, ou en pixels de la page rendue à une résolution consignée avec lui (dpi). Pour un fichier image, il est en pixels de l’image. L’image préparée dans out/prepared/ sert seulement à votre inspection visuelle.
Quand préparer les images, et à quel coût
Section intitulée « Quand préparer les images, et à quel coût »Préparez les images avant l’OCR : numérisations, photos et pages numérisées des PDF mixtes. La couche texte d’un PDF numérique n’a aucun pixel à corriger. La préparation corrige la géométrie : rotation, recadrage, inclinaison et taille. Elle ne peut pas corriger le flou, une partie manquante de la page ou des mots inconnus des règles.
Les coûts sont le temps et une certaine complexité. Une page prend environ 0,5 seconde de plus; une page de côté, environ 2 secondes de plus. Vous devez aussi consigner les étapes et les annuler. Mesurez l’effet sur vos propres documents, selon leur état, et gardez une trace de chaque changement. Vos numériseurs et vos téléphones ne sont pas ceux du cours.
Erreur courante
Cadres tracés sur la mauvaise image
Symptôme : Le cadre de preuve du total de D025 montre une zone blanche vide dans le coin supérieur gauche de la numérisation du client. La valeur elle-même, 38.65, est correcte.
Cause : Le cadre venait de l’image préparée et a été enregistré tel quel. Sur l’image préparée de D025, qui mesure 580 × 820 pixels, l’OCR a trouvé TOTAL (total) de (11, 574) à (92, 599). Sur la page originale, de 2 200 × 1 700 pixels et tournée sur le côté, ces nombres pointent vers un coin vide. Le cadre est correct pour une image que personne d’autre ne possède.
Diagnostic : Comparez le cadre à la taille de la page originale et regardez les étapes prepared (préparation) de la page. Si elles montrent un recadrage ou une rotation et que le cadre n’a pas été déplacé, il est sur la mauvaise image. Tracez le cadre sur l’original pour le voir.
Correction : Replacez chaque cadre sur l’original avec les étapes consignées avant de l’enregistrer. Dans le projet, ocr.read(..., prepare=True) appelle prepare.to_original. Cette fonction place TOTAL de (1770, 1008) à (1795, 1089) sur la page originale : sur le reçu de côté, là où se trouve le mot.
Conséquence dans le travail en IA : un mauvais cadre est pire qu’aucun cadre, car il ressemble à une preuve. Un réviseur qui le vérifie ne voit rien et cesse de faire confiance au pipeline.
À vous : la numérisation à l’envers
Section intitulée « À vous : la numérisation à l’envers »Changez un seul état : l’orientation. D026 est une numérisation en français, à l’envers. Prédisez ce que prepare en fait et combien de champs l’OCR trouve correctement sans préparation, puis avec préparation. Exécutez ensuite :
python -m doc_extract.prepare D026python -m doc_extract.compare D026python -m doc_extract.compare D026 --prepareAfficher la réponse
scan0008.jpg, page 1: 1275 x 1650 -> 1275 x 1570: crop [0, 80, 1275, 1650], turn 180 prepared picture: out/prepared/D026-p1.png (the original file is not changed)Le recadrage retire 80 pixels en haut, et la rotation est de 180 degrés. Sans préparation, l’OCR obtient 1/9 correct (1 sur 9 correct), avec le fournisseur erroné Docu n. Avec préparation, il obtient 9/9 correct (9 sur 9 corrects) en environ 3 secondes. Le modèle de vision a obtenu 9 sur 9 sur l’image brute, en 10,25 secondes, pour environ 0,0133 $ US.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Nommez les quatre étapes de préparation dans l'ordre. Pour chacune, dites comment le programme décide de l'appliquer.
Afficher la réponse
Recadrer : autour du papier sur une photo, ou de la partie imprimée d’une page blanche. Tourner : le programme évalue une lecture OCR rapide d’une petite copie (score moyen × proportion de boîtes larges). Sous 0,85, il essaie les autres quarts de tour et garde une orientation nettement meilleure. Redresser : si les longues lignes sont inclinées de plus de 1 degré. Agrandir : si le texte mesure moins de 24 pixels de haut, jusqu’à environ 32, au maximum 2,5 fois. Chaque étape est consignée.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Prédisez et expliquez : Tomás veut activer la préparation seulement pour les photos, « parce que les photos sont les images les plus désordonnées ». Que disent les mesures?
Afficher la réponse
Le contraire. Les photos n’ont pas gagné en qualité (103 valeurs imprimées sur 117 sans préparation, 102 après préparation). Leurs problèmes sont le flou, les parties coupées et les mots inconnus, pas la géométrie. Les grands gains concernent les documents numérisés. Les pages tournées sont passées de 0 à 8 sur 8 et de 1 à 9 sur 9. Les petits reçus sur de grandes pages numérisées sont passés de 71 à 79 sur 85. Décidez selon les mesures pour chaque condition, pas selon l’apparence désordonnée d’une image.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Vérification pratique : il faut stocker une boîte issue de l'OCR d'une image préparée. Que faut-il faire d'abord, et pourquoi doit-elle pointer vers le fichier original?
Afficher la réponse
Annulez les étapes consignées dans l’ordre inverse : mise à l’échelle, redressement, rotation, puis recadrage (prepare.to_original). Les agents, les réviseurs et les auditeurs peuvent ouvrir le fichier original. La preuve doit donc pointer vers lui. Sur D025, TOTAL (total) à (11, 574) sur l’image préparée se retrouve à (1 770, 1 008) sur la page originale.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif du module
Section intitulée « Récapitulatif du module »Ce module a transformé les fichiers reçus par Larkfield en texte accompagné de preuves. Vous pouvez maintenant bloquer les mauvais fichiers avec une raison et trouver les quasi-doublons selon leur contenu (Traitement des entrées). Vous pouvez lire une page de trois façons pour produire une seule représentation normalisée, et choisir le chemin selon la page (Chemins texte et OCR). Vous pouvez aussi préparer les images, mesurer l’effet et replacer chaque boîte sur l’original (cette leçon). Votre projet correspond à l’instantané end-of-m02 : python -m pytest -q affiche 63 passed (63 tests réussis).
Exercice du module : deux approches sur la même page
Section intitulée « Exercice du module : deux approches sur la même page »Examinez les sorties de deux approches d’extraction sur le même exemple. Expliquez chaque différence avant de demander à un modèle de la corriger.
Exercice guidé : D045, sans préparation et avec préparation
Section intitulée « Exercice guidé : D045, sans préparation et avec préparation »D045 est une photo prise avec un téléphone, dont le bas est coupé.
-
Comparez les chemins sur l’image non préparée :
Fenêtre de terminal python -m doc_extract.compare D045L’OCR obtient
9/9 correct(9 sur 9 corrects); le modèle obtient8/9 correct(8 sur 9 corrects). Il manque la taxe46.66. Le total et le paiement sont coupés. Les deux chemins les laissent vides, à juste titre. -
Comparez-les sur l’image préparée :
Fenêtre de terminal python -m doc_extract.compare D045 --prepareL’OCR obtient maintenant
8/9 correct: la devise manque. -
Trouvez la cause dans les lignes OCR. Exécutez
python -m doc_extract.ocr D045 | head -5etpython -m doc_extract.ocr D045 --prepare | head -5(sur Windows, utilisezSelect-Object -First 5plutôt quehead -5). La ligne sans préparation estToronto ON M5H 2M5; la ligne préparée estTorontoON M5H 2M5. -
Notez chaque différence et sa cause. L’OCR de l’image préparée a perdu une espace. La règle qui déduit CAD d’une adresse canadienne échoue donc. Le modèle a manqué une taxe imprimée. Personne n’a inventé le total coupé.
Exercice autonome : D047, la photo dont le haut est coupé
Section intitulée « Exercice autonome : D047, la photo dont le haut est coupé »Faites maintenant le même exercice sans aide sur D047, une photo dont le haut est coupé. Exécutez python -m doc_extract.ocr D047 et python -m doc_extract.compare D047. Quels champs ne figurent pas sur la photo, et que fait chaque chemin avec eux? Quelles lignes OCR associeraient une étiquette au mauvais montant si vous les lisiez de haut en bas? Enverriez-vous ce reçu à un modèle?
Afficher une solution détaillée
Le fournisseur et la date sont coupés : la photo commence à Order: LK-192531 (commande : LK-192531). Les deux chemins les laissent vides, ce que compare marque ok (correct) : personne n’a inventé de commerce ni de date. Les deux obtiennent 9 sur 9.
Triées de haut en bas, les lignes OCR placent chaque montant au-dessus de son étiquette. Sur cette photo, les montants à droite sont un peu plus hauts que leurs étiquettes :
1.00 [ 869 500 1019 548] 187.00 0.99 [ 151 522 349 568] Subtotal 1.00 [ 894 555 1020 602] 24.31 0.98 [ 152 575 330 622] HST 13% 0.97 [ 779 608 1021 655] CAD 211.31 1.00 [ 156 631 286 674] TOTALEn lisant simplement dans cet ordre, Subtotal (sous-total) est suivi de 24.31 et HST 13% (TVH de 13 %) de CAD 211.31 : deux mauvaises associations. Les lignes du projet suivent l’inclinaison de la page. Elles associent Subtotal à 187.00 et TOTAL à CAD 211.31. Un modèle qui reçoit ces lignes dans cet ordre pourrait aussi mal les associer.
Un modèle ne peut pas lire ce que la photo ne montre pas. Un appel au modèle ne peut donc pas trouver le fournisseur ni la date. La réponse honnête est « absent, coupé », et une personne demande au client une meilleure photo. Le pipeline du cours appelle tout de même le modèle pour D047, car deux champs obligatoires manquent. Dans Gérer l’incertitude visuelle, vous voyez que le modèle donne alors la mauvaise raison, et comment le pipeline la détecte.
Vérification de fin de leçon : les erreurs avant le modèle
Section intitulée « Vérification de fin de leçon : les erreurs avant le modèle »Repérez les erreurs d’ordre de lecture et d’OCR avant d’appliquer un modèle de langage. Un modèle qui reçoit du mauvais texte ne peut pas savoir quelles lettres ont été mal lues. Il risque de les « corriger » en valeurs plausibles, mais fausses. Pour chaque sortie ci-dessous, listez les erreurs. Dites s’il s’agit d’une erreur d’OCR ou d’ordre de lecture, et ce que le projet fait pour la corriger.
- L’OCR sans préparation de D025, au début de cette leçon.
- Les lignes de D036 triées de haut en bas, tirées de Chemins texte et OCR :
Sous-total,TPS 5 %,880,00,TVQ 9,975 %,44,00,TOTAL,87,78,1 011,78 $.
Afficher une solution détaillée
D025, OCR sans préparation. Erreurs d’OCR : IARILD (LARKFIELD), Homr eaden (Home & Garden), Dat00: 20-13 (la date), Oord 359 (le numéro de commande), CA 3.65 (CAD 38,65), Subttal, PS% et un caractère chinois à la place d’une ligne pointillée. Vous pouvez voir le problème sans connaître la réponse. Sur 28 lignes, 27 ont un score inférieur à 0,80. Les boîtes sont plus hautes que larges : le texte remonte donc la page. La cause est l’orientation de la page. prepare.py tourne la page et obtient 26 lignes à 0,90 ou plus, et 9 champs sur 9. Un modèle recevant les lignes brutes pourrait transformer CA 3.65 en CAD 3.65, une valeur plausible, mais fausse.
D036, de haut en bas. Chaque ligne est bien lue : l’erreur concerne l’ordre de lecture. La photo est inclinée d’environ 5 degrés. L’ordre associe donc TPS 5 % à 880,00 (le sous-total) et TOTAL à 87,78 (une taxe). pages.rows regroupe les lignes selon l’inclinaison et obtient les bonnes associations. Ailleurs sur la page, l’OCR a fait une vraie erreur : Nettoyeur haute pressionPW-2200 a perdu une espace.
Dans les deux cas, vérifiez les scores, la forme des boîtes et l’ordre des lignes avant tout modèle. Corrigez ce que le lecteur peut corriger. Envoyez seulement ce qui reste à un modèle ou à une personne.
Récapitulatif
- La préparation des images se fait sur une copie. Elle recadre autour du document, puis le remet à l’endroit après un test OCR rapide. Elle corrige une inclinaison de plus de 1 degré (redressement) et agrandit le petit texte. Chaque étape est consignée.
- Les pages tournées gagnent le plus : D025 passe de 0 valeur imprimée sur 8 à 8 sur 8. D026 passe de 1 sur 9 à 9 sur 9. Le recadrage améliore les petits reçus sur de grandes pages numérisées. Les documents numérisés ordinaires, inclinés, pâles et à faible résolution étaient déjà bien lus. Les photos ne gagnent pas en qualité (de 103 à 102 sur 117).
- Sur les 54 pages de reçus, l’OCR passe de 392 à 408 valeurs imprimées sur 435. Cela prend environ 0,5 seconde de plus par page. Mesurez chaque changement selon la condition : sur D045, la préparation a fait perdre une espace, et donc la devise.
- Gardez l’original. Chaque boîte est replacée sur le fichier envoyé par le client, pour que tout le monde puisse la vérifier.
Ensuite, le module 3 retrouve la structure de documents plus longs : sections, listes et notes de bas de page dans une politique à deux colonnes.
Leçon suivante : Sections et hiérarchie