Aller au contenu
English

Préparation des images

  • Leçon 7
  • 50 min
  • Module 2 : Préparer et extraire le contenu

Où nous en sommes

Dans la dernière leçon, nous avons comparé la couche de texte, l'OCR et un modèle de vision sur les mêmes reçus. L'OCR a lu la plupart des images, mais il a échoué sur les pages tournées et sur les petits reçus dans de grandes pages numérisées. Dans cette leçon, nous préparons chaque image avant l'OCR : nous la tournons, la recadrons, la redressons et l'agrandissons. Et nous gardons l'original, comme un journal qu'on tourne avant de le lire, mais qu'on ne découpe jamais.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité

Ce que vous saurez faire

Rendez une image facile à lire avant l’OCR : remettez-la à l’endroit, recadrez-la sur le document, redressez-la et agrandissez les petits caractères. Mesurez l’effet de chaque correction et conservez le fichier original. Ainsi, vous pourrez toujours montrer chaque valeur sur l’image envoyée par le client.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 50 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

  • Le projet ~/projects/doc-extract avec les fichiers du module 2 et l’environnement virtuel actif : python -m pytest -q affiche 63 passed (63 tests réussis).
  • Un programme qui ouvre les images PNG, pour regarder les images préparées dans out/prepared/. VS Code les ouvre.

Testé avec Python 3.12.13, Pillow 12.3.0, NumPy 2.5.4 et RapidOCR 3.10.0 sur macOS (Apple silicon). Les commandes sont les mêmes sous Windows et Linux, mais elles n’y ont pas été testées.

Quelqu’un vous tend un journal à l’envers. Vous n’essayez pas de le lire ainsi : vous le tournez d’abord. Sur une photo, une petite note repose sur un grand bureau : vous regardez seulement la note. Les caractères sont minuscules : vous rapprochez la note ou utilisez une loupe. Vous faites ces gestes sans réfléchir, avant de lire.

Vous ne découpez pas non plus le journal. Si quelqu’un demande plus tard « où avez-vous lu ça? », vous montrez l’endroit dans le journal reçu. Vous ne montrez pas votre propre copie tournée et agrandie.

Le problème : l’OCR sur une page tournée sur le côté

Section intitulée « Le problème : l’OCR sur une page tournée sur le côté »

Dans la leçon précédente, l’OCR a trouvé correctement 1 champ sur 9 dans D025, un PDF numérisé. Regardez ce qu’il a lu :

Fenêtre de terminal
python -m doc_extract.ocr D025
scan0007.pdf, page 1: 28 lines by rapidocr 3.10.0 in 0.93 s (27 with a score under 0.80)
0.77 [ 1385 530 1416 615] 10:35
0.76 [ 1593 531 1624 614] 34.50
0.79 [ 1659 526 1700 615] 34.50
0.74 [ 1691 524 1734 605] 1..73
0.75 [ 1731 526 1767 605] 2.442
0.79 [ 1765 528 1801 675] CA 3.65
0.58 [ 1810 543 1827 636] 一-----
0.80 [ 1837 530 1868 615] 38.65
0.62 [ 1903 602 1944 1015] rhcce r Reek c xept
0.59 [ 1935 622 1980 997] o sn xnty.
0.68 [ 1315 663 1349 958] Vaar 1
0.75 [ 1201 701 1243 920] IARILD
0.72 [ 1241 708 1280 910] Homr eaden
...
0.62 [ 1382 835 1421 1093] Dat00: 20-13
0.77 [ 1416 836 1456 1093] Oord 359
...
0.65 [ 1664 960 1698 1092] Subttal
0.73 [ 1767 1004 1798 1090] TOTAL

IARILD pour LARKFIELD, Dat00: 20-13 pour la date, CA 3.65 pour 38,65 $ CA et un caractère chinois pour une ligne pointillée. Sur les 28 lignes, 27 ont un score inférieur à 0,80. Les cadres sont hauts et étroits : le reçu est tourné sur le côté. L’OCR attend du texte de gauche à droite. Il lit donc les lettres de côté et devine.

D026 est à l’envers, et l’OCR a lu Docu n comme fournisseur. Ce n’est pas une valeur manquante, mais une valeur erronée que les règles laisseraient passer.

La préparation des images modifie une copie de l’image avant l’OCR. Le texte est ainsi à l’endroit, droit, assez grand et seul sur l’image. doc_extract/prepare.py comporte quatre étapes :

  1. Recadrer sur le document. Sur une page blanche de numériseur, gardez la partie imprimée. Sur une photo, gardez le papier clair et retirez la table plus sombre autour.
  2. Tourner la page pour la remettre à l’endroit. Le programme ne sait pas où est le haut, alors il fait un test. Il lit une petite copie avec l’OCR. Si la lecture est mauvaise, il essaie les trois autres quarts de tour (90, 180 et 270 degrés). Il garde le meilleur.
  3. Redresser une page un peu inclinée. Cette étape s’appelle le redressement (deskew; skew désigne une inclinaison). L’inclinaison correspond à l’inclinaison médiane des longues lignes de l’OCR. L’image tourne en sens inverse de cet angle s’il dépasse 1 degré.
  4. Agrandir les petits caractères. L’OCR lit mieux quand une ligne de texte mesure environ 32 pixels de haut. Si la ligne médiane mesure moins de 24 pixels, le programme agrandit l’image pour atteindre environ 32 pixels. L’agrandissement ne dépasse pas 2,5 fois.

Chaque étape est consignée : le cadre de recadrage, la rotation, l’angle de redressement et le facteur d’échelle. Le fichier original ne change jamais. Grâce aux étapes, le programme peut prendre un cadre trouvé sur l’image préparée et calculer sa position sur l’original. Ainsi, la preuve de chaque valeur pointe toujours vers le fichier envoyé par le client.

Comment le programme décide que la lecture est mauvaise

Section intitulée « Comment le programme décide que la lecture est mauvaise »

Sur la petite copie, le programme multiplie le score moyen de l’OCR par la proportion de cadres plus larges que hauts. Le texte tourné sur le côté donne des cadres hauts et des scores faibles. Sous 0,85, le programme essaie les autres rotations. Une rotation gagne seulement si la lecture est nettement meilleure, soit de 15 %. Une bonne page est donc lue une fois. Seule une mauvaise page coûte trois lectures rapides supplémentaires.

RapidOCR possède aussi un classificateur qui tourne les lignes individuelles qui semblent à l’envers. Le projet le désactive : pendant le développement du cours, il a lu 99,00 comme 00'66 sur une photo inclinée de 12 degrés (D040). Tourner toute la page une seule fois, après un test, est plus sûr.

Comment un cadre sur l’image préparée revient-il sur l’original? Annulez les étapes dans l’ordre inverse. Voici un cas inventé avec deux étapes, pour suivre chaque nombre.

L’image originale mesure 1 000 × 800 pixels. La préparation la recadre de (100, 50) à (700, 650), puis agrandit la zone recadrée 2 fois. Sur l’image préparée, l’OCR trouve le total dans le cadre de (200, 300) à (260, 320).

Étape Gauche, haut Droite, bas
Cadre sur l’image préparée 200, 300 260, 320
Annuler l’échelle : diviser par 2 100, 150 130, 160
Annuler le recadrage : ajouter le coin du recadrage (100, 50) 200, 200 230, 210

Le total se trouve donc de (200, 200) à (230, 210) sur l’original. La fonction du projet donne le même résultat :

from doc_extract import prepare
steps = {"original_size": [1000, 800], "crop": [100, 50, 700, 650], "scale": 2.0}
print(prepare.point_to_original(200, 300, steps), prepare.point_to_original(260, 320, steps))
(200.0, 200.0) (230.0, 210.0)

Une rotation et un redressement s’annulent de la même façon, avec une rotation plutôt qu’une division. point_to_original gère les quatre étapes. Un test fait passer un point par un recadrage, un quart de tour, un redressement de 3 degrés et une échelle ×2. Il revient à moins de 3 pixels de sa position initiale.

Un flux. L'image originale, jamais modifiée, passe à Recadrer, sur le papier ou la partie imprimée. Puis une question : OCR rapide d'une petite copie, bonne lecture? Non mène à : essayer 90, 180 et 270, garder la meilleure rotation. Oui, et la meilleure rotation, mènent à Redresser, si les lignes sont inclinées de plus de 1 degré. Puis Agrandir, si le texte mesure moins de 24 pixels de haut. Puis OCR, avec les cadres sur l'image préparée. Puis Cadres de retour sur l'original, après annulation des étapes. Une ligne pointillée de l'original au dernier cadre indique : étapes consignées, recadrage, rotation, redressement, échelle.
La préparation des images utilise une copie et consigne chaque étape. Chaque cadre peut ainsi revenir sur l'image originale.
Description textuelle du diagramme

Le programme recadre une copie de l’original, la teste avec un OCR rapide et la tourne si la lecture est mauvaise. Il redresse la copie si les lignes sont inclinées de plus de 1 degré. Il l’agrandit si le texte mesure moins de 24 pixels de haut. L’OCR lit la copie. Le programme annule les étapes consignées dans l’ordre inverse, et chaque cadre revient sur l’image originale.

  1. Préparez D025 et lisez les étapes :

    Fenêtre de terminal
    python -m doc_extract.prepare D025
    scan0007.pdf, page 1: 2200 x 1700 -> 580 x 820: crop [1196, 520, 2016, 1100], turn 270
    prepared picture: out/prepared/D025-p1.png (the original file is not changed)

    La page a été rendue à 200 points par pouce : 2 200 × 1 700 pixels, car elle est tournée sur le côté. Le recadrage garde le reçu, de 820 × 580 pixels. La rotation de 270 degrés le remet à l’endroit : 580 × 820.

  2. Ouvrez out/prepared/D025-p1.png et regardez l’image. Le reçu est à l’endroit, prêt à être lu.

  3. Lisez la page avec la préparation :

    Fenêtre de terminal
    python -m doc_extract.ocr D025 --prepare
    scan0007.pdf, page 1: 26 lines by rapidocr 3.10.0 in 2.86 s (0 with a score under 0.80)
    1.00 [ 1207 703 1239 918] LARKFIELD
    0.96 [ 1249 715 1275 906] Home & Garden
    1.00 [ 1283 723 1310 897] 1020 Main St
    0.99 [ 1319 666 1345 956] Vancouver BC V6A 2W1
    0.98 [ 1386 843 1415 1090] Date: 2026-07-13
    1.00 [ 1386 531 1414 612] 10:35
    0.99 [ 1420 843 1449 1090] Order: LK-536359
    ...
    1.00 [ 1770 1008 1795 1089] TOTAL
    1.00 [ 1769 611 1795 671] CAD
    1.00 [ 1769 531 1796 614] 38.65

    Chaque ligne est maintenant correcte, avec un score de 0,90 ou plus. Les cadres sont de nouveau hauts et étroits, à des positions x de 1 200 à 2 000. Ils sont sur la page originale, tournée sur le côté. L’OCR a lu la copie à l’endroit, et le projet a replacé chaque cadre sur l’original. La page a pris 2,86 secondes plutôt que 0,93, à cause des lectures rapides supplémentaires.

  4. Comparez les chemins avec la préparation :

    Fenêtre de terminal
    python -m doc_extract.compare D025 --prepare

    La colonne OCR indique maintenant ok (correct) à chaque ligne. Le résumé indique ocr 9/9 correct, 2.86 s (9 sur 9 corrects en 2,86 secondes). Sans préparation, c’était 1 sur 9.

  5. Préparez D024, une numérisation à faible résolution :

    Fenêtre de terminal
    python -m doc_extract.prepare D024
    scan0006.jpg, page 1: 637 x 825 -> 1359 x 1760: scale 2.133
    prepared picture: out/prepared/D024-p1.png (the original file is not changed)

    Rien à recadrer ni à tourner, mais le texte était petit, environ 15 pixels de haut. L’image a donc été agrandie 2,133 fois.

Trois images reliées par des flèches. À gauche : la page originale numérisée de D025, plus large que haute, presque vide, avec un petit reçu de côté près du bord droit; un rectangle bleu marque le recadrage. Au milieu : l'image préparée, le reçu recadré et remis à l'endroit, facile à lire. Troisième image : de nouveau la page originale, avec un cadre vert autour de chaque ligne lue par l'OCR sur l'image préparée, replacé sur le reçu de côté.
D025 avant et après la préparation, de gauche à droite ou de haut en bas sur un téléphone : la page originale et le recadrage, la copie préparée que lit l'OCR, puis chaque cadre de retour sur la page originale.
Description textuelle du diagramme

Première image : la page originale numérisée, large et presque vide, avec un petit reçu de côté près du bord droit. Un rectangle bleu marque le recadrage. Deuxième image : l’image préparée, avec le reçu à l’endroit et facile à lire. Troisième image : de nouveau la page originale, avec un cadre vert autour de chaque ligne lue par l’OCR sur l’image préparée, replacé sur le reçu de côté.

Une page est un exemple. Le cours a lu les 33 images du jeu de reçus deux fois : sans préparation, puis avec préparation. Ce sont des numérisations, des photos et la page numérisée de la demande de remboursement. L’OCR et les règles étaient les mêmes. Il a compté les valeurs imprimées correctement lues, selon l’état de l’image.

  • OCR sur l'image brute
  • OCR sur l'image préparée
Valeurs imprimées correctement lues avant et après préparation, selon l'état : page tournée de 90° ou 180°, petit reçu sur une page de numériseur, numérisation simple, photo. Les pages tournées passent de presque aucune valeur à toutes les valeurs; les numérisations simples étaient déjà correctes; les photos ne gagnent rien.
Description textuelle du graphique

Valeurs imprimées correctement lues, sans préparation puis avec préparation. Rotation de 90 degrés (D025, 8 valeurs) : 0 % puis 100 %. Rotation de 180 degrés (D026, 9 valeurs) : 11,1 % puis 100 %. Petit reçu sur une page de numériseur (11 numérisations, 85 valeurs) : 83,5 % puis 92,9 %. Numérisations simples (5 images, 43 valeurs) : 100 % dans les deux cas. Photos (15, 117 valeurs) : 88,0 % puis 87,2 %.

Lisez les résultats selon chaque état :

  • Les pages tournées gagnent le plus : de 0 sur 8 à 8 sur 8 pour D025, de 1 sur 9 à 9 sur 9 pour D026.
  • Un petit reçu sur une grande page de numériseur gagne grâce au recadrage : de 71 sur 85 à 79 sur 85.
  • Les numérisations simples, inclinées (2 degrés ou plus), pâles et à faible résolution (100 points par pouce ou moins) étaient déjà toutes correctes : RapidOCR les gère.
  • Les photos ne gagnent rien : 103 sur 117 sans préparation, 102 avec préparation. Leurs problèmes sont le flou (D046), un bas coupé (D045) ou les mots d’un autre magasin, pas la géométrie.

Sur les 33 images, la préparation fait passer les valeurs imprimées correctement lues de 226 sur 262 à 241 sur 262. Sur les 54 pages de reçus, l’OCR passe de 392 sur 435 à 408 sur 435. Voilà pourquoi le chemin OCR du cours lit les images préparées. Le coût est le temps : la page médiane prenait 0,46 seconde sans préparation et 0,96 seconde avec préparation. Une page tournée prenait environ 2,3 à 2,4 secondes, à cause des lectures rapides supplémentaires.

Regardez la seule valeur de photo perdue par la préparation. Sur D045, l’OCR de la photo brute a lu l’adresse du magasin comme Toronto ON M5H 2M5. Sur la photo préparée, il a lu TorontoON M5H 2M5 : une espace de moins. Les règles déduisent la devise CAD d’une adresse de magasin au Canada, mais elles ne reconnaissent plus l’adresse. La devise devient donc manquante :

Fenêtre de terminal
python -m doc_extract.compare D045 --prepare
currency CAD (cannot read) - WRONG CAD ok

Voilà pourquoi vous mesurez chaque changement sur les mêmes pages, selon leur état. Ne supposez pas que « plus propre » veut dire « meilleur ». Un changement qui aide beaucoup les numérisations tournées peut faire perdre une valeur sur une photo. Le cours garde la préparation, car elle apporte beaucoup plus qu’elle ne fait perdre (de 392 à 408 sur 435). Et il consigne la perte.

L’agrandissement aide quand le texte est lisible, mais petit. Il ne peut pas ajouter des détails absents de l’image. Dans Gérer l’incertitude visuelle, le cours réduit six reçus au quart de leur taille, soit 300 × 400 pixels. L’OCR trouve alors 29 valeurs correctes sur 51 sur les images brutes, mais seulement 23 sur les images préparées et agrandies. Un flou agrandi reste un flou, plus grand. L’OCR lit alors ses formes comme des lettres erronées.

Pourquoi ne pas enregistrer l’image préparée et oublier l’original? Parce que l’original est ce que le client a envoyé, et ce qu’un agent, un auditeur ou le client peut ouvrir. Quand un réviseur corrige une valeur dans Flux de correction, la correction pointe vers le même fichier et le même cadre. Un cadre sur une copie privée est un cadre que personne d’autre ne peut vérifier.

La règle du projet est donc : les cadres de preuve sont toujours sur le fichier original. Pour une page PDF, le cadre est en points, ou en pixels de la page rendue à une résolution consignée avec lui (dpi). Pour un fichier image, il est en pixels de l’image. L’image préparée dans out/prepared/ sert seulement à votre inspection visuelle.

Préparez les images avant l’OCR : numérisations, photos et pages numérisées des PDF mixtes. La couche texte d’un PDF numérique n’a aucun pixel à corriger. La préparation corrige la géométrie : rotation, recadrage, inclinaison et taille. Elle ne peut pas corriger le flou, une partie manquante de la page ou des mots inconnus des règles.

Les coûts sont le temps et une certaine complexité. Une page prend environ 0,5 seconde de plus; une page de côté, environ 2 secondes de plus. Vous devez aussi consigner les étapes et les annuler. Mesurez l’effet sur vos propres documents, selon leur état, et gardez une trace de chaque changement. Vos numériseurs et vos téléphones ne sont pas ceux du cours.

Erreur courante

Cadres tracés sur la mauvaise image

Symptôme : Le cadre de preuve du total de D025 montre une zone blanche vide dans le coin supérieur gauche de la numérisation du client. La valeur elle-même, 38.65, est correcte.

Cause : Le cadre venait de l’image préparée et a été enregistré tel quel. Sur l’image préparée de D025, qui mesure 580 × 820 pixels, l’OCR a trouvé TOTAL (total) de (11, 574) à (92, 599). Sur la page originale, de 2 200 × 1 700 pixels et tournée sur le côté, ces nombres pointent vers un coin vide. Le cadre est correct pour une image que personne d’autre ne possède.

Diagnostic : Comparez le cadre à la taille de la page originale et regardez les étapes prepared (préparation) de la page. Si elles montrent un recadrage ou une rotation et que le cadre n’a pas été déplacé, il est sur la mauvaise image. Tracez le cadre sur l’original pour le voir.

Correction : Replacez chaque cadre sur l’original avec les étapes consignées avant de l’enregistrer. Dans le projet, ocr.read(..., prepare=True) appelle prepare.to_original. Cette fonction place TOTAL de (1770, 1008) à (1795, 1089) sur la page originale : sur le reçu de côté, là où se trouve le mot.

Conséquence dans le travail en IA : un mauvais cadre est pire qu’aucun cadre, car il ressemble à une preuve. Un réviseur qui le vérifie ne voit rien et cesse de faire confiance au pipeline.

Changez un seul état : l’orientation. D026 est une numérisation en français, à l’envers. Prédisez ce que prepare en fait et combien de champs l’OCR trouve correctement sans préparation, puis avec préparation. Exécutez ensuite :

Fenêtre de terminal
python -m doc_extract.prepare D026
python -m doc_extract.compare D026
python -m doc_extract.compare D026 --prepare
Afficher la réponse
scan0008.jpg, page 1: 1275 x 1650 -> 1275 x 1570: crop [0, 80, 1275, 1650], turn 180
prepared picture: out/prepared/D026-p1.png (the original file is not changed)

Le recadrage retire 80 pixels en haut, et la rotation est de 180 degrés. Sans préparation, l’OCR obtient 1/9 correct (1 sur 9 correct), avec le fournisseur erroné Docu n. Avec préparation, il obtient 9/9 correct (9 sur 9 corrects) en environ 3 secondes. Le modèle de vision a obtenu 9 sur 9 sur l’image brute, en 10,25 secondes, pour environ 0,0133 $ US.

Vérifiez votre compréhension

Nommez les quatre étapes de préparation dans l'ordre. Pour chacune, dites comment le programme décide de l'appliquer.

Afficher la réponse

Recadrer : autour du papier sur une photo, ou de la partie imprimée d’une page blanche. Tourner : le programme évalue une lecture OCR rapide d’une petite copie (score moyen × proportion de boîtes larges). Sous 0,85, il essaie les autres quarts de tour et garde une orientation nettement meilleure. Redresser : si les longues lignes sont inclinées de plus de 1 degré. Agrandir : si le texte mesure moins de 24 pixels de haut, jusqu’à environ 32, au maximum 2,5 fois. Chaque étape est consignée.

Vérifiez votre compréhension

Prédisez et expliquez : Tomás veut activer la préparation seulement pour les photos, « parce que les photos sont les images les plus désordonnées ». Que disent les mesures?

Afficher la réponse

Le contraire. Les photos n’ont pas gagné en qualité (103 valeurs imprimées sur 117 sans préparation, 102 après préparation). Leurs problèmes sont le flou, les parties coupées et les mots inconnus, pas la géométrie. Les grands gains concernent les documents numérisés. Les pages tournées sont passées de 0 à 8 sur 8 et de 1 à 9 sur 9. Les petits reçus sur de grandes pages numérisées sont passés de 71 à 79 sur 85. Décidez selon les mesures pour chaque condition, pas selon l’apparence désordonnée d’une image.

Vérifiez votre compréhension

Vérification pratique : il faut stocker une boîte issue de l'OCR d'une image préparée. Que faut-il faire d'abord, et pourquoi doit-elle pointer vers le fichier original?

Afficher la réponse

Annulez les étapes consignées dans l’ordre inverse : mise à l’échelle, redressement, rotation, puis recadrage (prepare.to_original). Les agents, les réviseurs et les auditeurs peuvent ouvrir le fichier original. La preuve doit donc pointer vers lui. Sur D025, TOTAL (total) à (11, 574) sur l’image préparée se retrouve à (1 770, 1 008) sur la page originale.

Ce module a transformé les fichiers reçus par Larkfield en texte accompagné de preuves. Vous pouvez maintenant bloquer les mauvais fichiers avec une raison et trouver les quasi-doublons selon leur contenu (Traitement des entrées). Vous pouvez lire une page de trois façons pour produire une seule représentation normalisée, et choisir le chemin selon la page (Chemins texte et OCR). Vous pouvez aussi préparer les images, mesurer l’effet et replacer chaque boîte sur l’original (cette leçon). Votre projet correspond à l’instantané end-of-m02 : python -m pytest -q affiche 63 passed (63 tests réussis).

Exercice du module : deux approches sur la même page

Section intitulée « Exercice du module : deux approches sur la même page »

Examinez les sorties de deux approches d’extraction sur le même exemple. Expliquez chaque différence avant de demander à un modèle de la corriger.

Exercice guidé : D045, sans préparation et avec préparation

Section intitulée « Exercice guidé : D045, sans préparation et avec préparation »

D045 est une photo prise avec un téléphone, dont le bas est coupé.

  1. Comparez les chemins sur l’image non préparée :

    Fenêtre de terminal
    python -m doc_extract.compare D045

    L’OCR obtient 9/9 correct (9 sur 9 corrects); le modèle obtient 8/9 correct (8 sur 9 corrects). Il manque la taxe 46.66. Le total et le paiement sont coupés. Les deux chemins les laissent vides, à juste titre.

  2. Comparez-les sur l’image préparée :

    Fenêtre de terminal
    python -m doc_extract.compare D045 --prepare

    L’OCR obtient maintenant 8/9 correct : la devise manque.

  3. Trouvez la cause dans les lignes OCR. Exécutez python -m doc_extract.ocr D045 | head -5 et python -m doc_extract.ocr D045 --prepare | head -5 (sur Windows, utilisez Select-Object -First 5 plutôt que head -5). La ligne sans préparation est Toronto ON M5H 2M5; la ligne préparée est TorontoON M5H 2M5.

  4. Notez chaque différence et sa cause. L’OCR de l’image préparée a perdu une espace. La règle qui déduit CAD d’une adresse canadienne échoue donc. Le modèle a manqué une taxe imprimée. Personne n’a inventé le total coupé.

Exercice autonome : D047, la photo dont le haut est coupé

Section intitulée « Exercice autonome : D047, la photo dont le haut est coupé »

Faites maintenant le même exercice sans aide sur D047, une photo dont le haut est coupé. Exécutez python -m doc_extract.ocr D047 et python -m doc_extract.compare D047. Quels champs ne figurent pas sur la photo, et que fait chaque chemin avec eux? Quelles lignes OCR associeraient une étiquette au mauvais montant si vous les lisiez de haut en bas? Enverriez-vous ce reçu à un modèle?

Afficher une solution détaillée

Le fournisseur et la date sont coupés : la photo commence à Order: LK-192531 (commande : LK-192531). Les deux chemins les laissent vides, ce que compare marque ok (correct) : personne n’a inventé de commerce ni de date. Les deux obtiennent 9 sur 9.

Triées de haut en bas, les lignes OCR placent chaque montant au-dessus de son étiquette. Sur cette photo, les montants à droite sont un peu plus hauts que leurs étiquettes :

1.00 [ 869 500 1019 548] 187.00
0.99 [ 151 522 349 568] Subtotal
1.00 [ 894 555 1020 602] 24.31
0.98 [ 152 575 330 622] HST 13%
0.97 [ 779 608 1021 655] CAD 211.31
1.00 [ 156 631 286 674] TOTAL

En lisant simplement dans cet ordre, Subtotal (sous-total) est suivi de 24.31 et HST 13% (TVH de 13 %) de CAD 211.31 : deux mauvaises associations. Les lignes du projet suivent l’inclinaison de la page. Elles associent Subtotal à 187.00 et TOTAL à CAD 211.31. Un modèle qui reçoit ces lignes dans cet ordre pourrait aussi mal les associer.

Un modèle ne peut pas lire ce que la photo ne montre pas. Un appel au modèle ne peut donc pas trouver le fournisseur ni la date. La réponse honnête est « absent, coupé », et une personne demande au client une meilleure photo. Le pipeline du cours appelle tout de même le modèle pour D047, car deux champs obligatoires manquent. Dans Gérer l’incertitude visuelle, vous voyez que le modèle donne alors la mauvaise raison, et comment le pipeline la détecte.

Vérification de fin de leçon : les erreurs avant le modèle

Section intitulée « Vérification de fin de leçon : les erreurs avant le modèle »

Repérez les erreurs d’ordre de lecture et d’OCR avant d’appliquer un modèle de langage. Un modèle qui reçoit du mauvais texte ne peut pas savoir quelles lettres ont été mal lues. Il risque de les « corriger » en valeurs plausibles, mais fausses. Pour chaque sortie ci-dessous, listez les erreurs. Dites s’il s’agit d’une erreur d’OCR ou d’ordre de lecture, et ce que le projet fait pour la corriger.

  1. L’OCR sans préparation de D025, au début de cette leçon.
  2. Les lignes de D036 triées de haut en bas, tirées de Chemins texte et OCR : Sous-total, TPS 5 %, 880,00, TVQ 9,975 %, 44,00, TOTAL, 87,78, 1 011,78 $.
Afficher une solution détaillée

D025, OCR sans préparation. Erreurs d’OCR : IARILD (LARKFIELD), Homr eaden (Home & Garden), Dat00: 20-13 (la date), Oord 359 (le numéro de commande), CA 3.65 (CAD 38,65), Subttal, PS% et un caractère chinois à la place d’une ligne pointillée. Vous pouvez voir le problème sans connaître la réponse. Sur 28 lignes, 27 ont un score inférieur à 0,80. Les boîtes sont plus hautes que larges : le texte remonte donc la page. La cause est l’orientation de la page. prepare.py tourne la page et obtient 26 lignes à 0,90 ou plus, et 9 champs sur 9. Un modèle recevant les lignes brutes pourrait transformer CA 3.65 en CAD 3.65, une valeur plausible, mais fausse.

D036, de haut en bas. Chaque ligne est bien lue : l’erreur concerne l’ordre de lecture. La photo est inclinée d’environ 5 degrés. L’ordre associe donc TPS 5 % à 880,00 (le sous-total) et TOTAL à 87,78 (une taxe). pages.rows regroupe les lignes selon l’inclinaison et obtient les bonnes associations. Ailleurs sur la page, l’OCR a fait une vraie erreur : Nettoyeur haute pressionPW-2200 a perdu une espace.

Dans les deux cas, vérifiez les scores, la forme des boîtes et l’ordre des lignes avant tout modèle. Corrigez ce que le lecteur peut corriger. Envoyez seulement ce qui reste à un modèle ou à une personne.

Récapitulatif

  • La préparation des images se fait sur une copie. Elle recadre autour du document, puis le remet à l’endroit après un test OCR rapide. Elle corrige une inclinaison de plus de 1 degré (redressement) et agrandit le petit texte. Chaque étape est consignée.
  • Les pages tournées gagnent le plus : D025 passe de 0 valeur imprimée sur 8 à 8 sur 8. D026 passe de 1 sur 9 à 9 sur 9. Le recadrage améliore les petits reçus sur de grandes pages numérisées. Les documents numérisés ordinaires, inclinés, pâles et à faible résolution étaient déjà bien lus. Les photos ne gagnent pas en qualité (de 103 à 102 sur 117).
  • Sur les 54 pages de reçus, l’OCR passe de 392 à 408 valeurs imprimées sur 435. Cela prend environ 0,5 seconde de plus par page. Mesurez chaque changement selon la condition : sur D045, la préparation a fait perdre une espace, et donc la devise.
  • Gardez l’original. Chaque boîte est replacée sur le fichier envoyé par le client, pour que tout le monde puisse la vérifier.

Ensuite, le module 3 retrouve la structure de documents plus longs : sections, listes et notes de bas de page dans une politique à deux colonnes.

Leçon suivante : Sections et hiérarchie