Aller au contenu
English

Types de documents

  • Leçon 2
  • 50 min
  • Module 1 : Comprendre les documents en entrée

Où nous en sommes

Dans la dernière leçon, nous avons créé les 65 documents du cours et ouvert un reçu en PDF, en numérisation et en photo. Pour une personne, ils se ressemblent presque. Mais le nom et l'apparence d'un fichier ne disent pas ce qu'il contient, et chaque type demande une façon différente de le lire. Dans cette leçon, nous examinons le contenu de chaque fichier et choisissons le chemin de chaque page, en partant d'un livre et d'une photo d'un livre.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité

Ce que vous saurez faire

Examinez le contenu de chaque fichier avant de le lire. Déterminez sa vraie nature : un PDF contenant son texte, une image de page, une photo de téléphone ou une feuille de calcul. Choisissez ensuite la méthode de lecture, page par page.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 50 minutes

Ce que vous devez savoir

  • L’ensemble de documents du cours et ses valeurs de référence, présentés dans Le jeu de documents de Larkfield, dans Préparer le projet d’extraction.
  • Comment un PDF stocke le texte sous forme de caractères avec leurs positions, présenté dans Analyser et normaliser, dans RAG : créer une IA qui utilise vos données.

Ce qu’il vous faut sur votre ordinateur

  • Votre dossier doc-extract avec son environnement virtuel actif, et python -m pytest -q qui affiche 9 passed (9 tests réussis).
  • Le dossier des exercices nextia-learning-labs à côté. Vous y copierez un nouveau fichier du projet.

Testé avec Python 3.12 sur macOS (Apple silicon). Les commandes Windows (PowerShell) et Linux sont fournies, mais n’ont pas été testées.

Pensez à un livre que vous lisez sur une tablette. Vous pouvez chercher un mot, et la tablette vous y amène. Vous pouvez copier une phrase et la coller dans un message. La tablette connaît chaque lettre, car le fichier du livre contient les lettres.

Maintenant, prenez une photo d’une page imprimée avec votre téléphone. À l’écran, elle semble presque identique. Mais vous ne pouvez pas y chercher un mot ni copier une phrase. La photo contient seulement des points de couleur. Pour obtenir les mots, une personne ou un programme doit examiner les points et reconnaître les lettres une par une.

Les deux vous semblent identiques. À l’intérieur, ce sont deux choses différentes, qui demandent chacune une méthode de lecture différente.

Le problème : le nom et l’apparence ne révèlent pas la nature d’un fichier

Section intitulée « Le problème : le nom et l’apparence ne révèlent pas la nature d’un fichier »

Les documents de Larkfield arrivent en pièces jointes. Leurs noms disent peu de choses : scan0001.pdf, IMG_4817.jpg, receipt-scan.pdf. La leçon précédente montrait que deux reçus peuvent se ressembler, mais que l’un peut être cent fois plus volumineux.

Tomás a un plan simple. « Chaque PDF est juste une image. Envoyons chaque page à un modèle de vision, et il lit tout. » Un modèle de vision est un modèle de langage qui accepte aussi des images. C’est un type de modèle multimodal : un modèle qui traite plusieurs types d’entrées, comme du texte et des images. Le plan semble facile. Regardez ce qu’il coûte et ce qu’il produit sur un PDF de caisse.

  • Temps. Lire directement le texte d’un PDF de caisse prend environ 5,4 millisecondes par page sur l’ordinateur de l’équipe du cours. Le modèle de vision a pris 7,35 secondes par page (médiane). C’est plus de mille fois plus lent.
  • Argent. Le modèle de vision coûte environ 0,0113 $ US par page. Lire le texte du PDF ne coûte rien.
  • Erreurs. Sur le reçu D009, un reçu PDF en français, le modèle a lu le nom du magasin comme « LARKEFIELD ». Le PDF contient exactement les lettres « LARKFIELD ». Le modèle a ajouté une lettre qui n’a jamais été là.

Le plan de Tomás traite un fichier qui contient déjà son texte comme une image de texte. Il coûte plus cher, prend plus de temps et produit une valeur erronée que le fichier contenait correctement.

L’erreur inverse échoue aussi. Mei essaie un lecteur de texte PDF sur chaque fichier dont le nom finit par .pdf. Sur le reçu numérisé D019, il ne renvoie aucun texte : zéro ligne. Et sur receipt-scan.pdf (D064), il s’arrête avec une erreur :

pdfplumber.utils.exceptions.PdfminerException: No /Root object! - Is this really a PDF?

D064 n’est pas un PDF. C’est une photo JPEG que quelqu’un a enregistrée avec un nom en .pdf. Le nom était trompeur, et le lecteur s’y est fié.

La règle de Mei est : ne jamais décider selon le nom ou l’apparence; décider selon le contenu du fichier. Elle pose trois questions.

  1. Quel est son vrai format? Les premiers octets d’un fichier le révèlent. La plupart des formats commencent par une signature fixe, appelée nombre magique. Un PDF commence par %PDF-. Un JPEG commence par les octets FF D8 FF. Un fichier Excel est une archive ZIP. Il commence donc par PK et contient un dossier xl/.
  2. Pour un PDF : chaque page contient-elle son texte? Un PDF créé par un programme stocke ses caractères, avec leur police et leur position. C’est la couche de texte. Un PDF numérisé stocke seulement une image de la page, sans caractères. Une page contenant au moins 30 caractères dans sa couche de texte est lue comme du texte. Une page qui en contient moins est une image.
  3. Pour une image : est-ce une numérisation ou une photo de téléphone? Une numérisation présente du texte gris sur une page blanche. Une photo de téléphone montre un arrière-plan autour du papier : une table, une main, une ombre. Elles demandent des préparations différentes, dans le module 2.

La réponse est une voie : la méthode pour lire le fichier, ou chacune de ses pages. Il existe quatre voies :

  • text (texte) : lire directement la couche de texte.
  • ocr (reconnaissance optique de caractères) : la page est une image; il faut donc y reconnaître les lettres. La reconnaissance optique de caractères, ou OCR, repère le texte dans une image et renvoie chaque morceau avec sa position.
  • sheet (feuille de calcul) : lire les cellules d’une feuille de calcul.
  • stop (arrêt) : le fichier ne peut pas être lu tel quel; indiquer pourquoi.

Choisir une voie pour chaque entrée s’appelle l’acheminement. Un bureau de poste achemine chaque lettre selon son adresse, pas selon la couleur de l’enveloppe.

Un petit exemple : les premiers octets de cinq fichiers

Section intitulée « Un petit exemple : les premiers octets de cinq fichiers »

Ouvrez l’invite Python dans le dossier de votre projet (tapez python) et lisez les 8 premiers octets de cinq fichiers :

>>> from pathlib import Path
>>> for name in ["receipt-lk-103119.pdf", "scan0002.jpg", "aquaflow-price-list.xlsx", "receipt-scan.pdf", "notes.txt"]:
... print(f"{name:<26}", Path("data/documents", name).read_bytes()[:8])
...
receipt-lk-103119.pdf b'%PDF-1.3'
scan0002.jpg b'\xff\xd8\xff\xe0\x00\x10JF'
aquaflow-price-list.xlsx b'PK\x03\x04\x14\x00\x00\x00'
receipt-scan.pdf b'\xff\xd8\xff\xe0\x00\x10JF'
notes.txt b'Customer'

Tapez exit() pour quitter l’invite. Lisez les cinq lignes une à la fois :

  • receipt-lk-103119.pdf commence par %PDF-1.3 : un vrai PDF, version 1,3.
  • scan0002.jpg commence par \xff\xd8\xff : une image JPEG. Les lettres JF sont le début de « JFIF », une forme courante de JPEG.
  • aquaflow-price-list.xlsx commence par PK : une archive ZIP, comme tout fichier .xlsx.
  • receipt-scan.pdf commence par \xff\xd8\xff, exactement comme le JPEG. Son nom indique PDF; ses octets indiquent JPEG. Les octets ont le dernier mot.
  • notes.txt commence par le mot Customer (client) : du texte brut, sans signature connue. Aucune voie ne le lit.

Les premiers octets répondent à la question 1. Pour la question 2, examinez le contenu de deux PDF. L’image ci-dessous illustre ce qu’un lecteur PDF trouve sur deux pages de reçus. Chaque ligne de la couche de texte a un cadre bleu; chaque image a un cadre orange.

Deux pages de reçus côte à côte. À gauche : D011, un reçu de caisse PDF. Chaque ligne de texte est entourée d'un mince cadre bleu : LARKFIELD, Home and Garden (maison et jardin), l'adresse, la date, le numéro de commande, chaque article, le sous-total, les taxes, TOTAL CAD 211.68 (total de 211,68 $ CA) et le paiement. 29 cadres en tout, sans cadre orange. À droite : D019, un PDF numérisé. Un cadre orange épais couvre toute la page. À l'intérieur, un petit reçu est visible, mais aucune ligne n'a de cadre bleu, car la page ne contient aucun caractère.
Ce qu'un lecteur PDF trouve dans deux reçus. Le reçu de caisse D011 contient 467 caractères sur 29 lignes, chacune avec son cadre (bleu). La numérisation D019 contient une image qui couvre la page (orange), sans aucun caractère.
Description textuelle du diagramme

À gauche, le reçu de caisse D011. Un lecteur PDF y trouve 29 lignes de texte, et l’image trace le cadre de chaque ligne en bleu. Les lignes contiennent le nom du magasin, l’adresse, la date, les nombres, l’article, les taxes, le total et le paiement. Il n’y a aucune image sur la page. À droite, le reçu numérisé D019. La page ressemble à un petit reçu sur une page grise. Mais le lecteur PDF trouve une image, en orange, qui couvre toute la page, sans aucun caractère. Pour le lecteur, le nom du magasin et le total sont des points, pas des lettres.

Pour vous, les deux pages montrent un reçu. Pour un programme, D011 est du texte avec des positions, et D019 est une image. Un lecteur de texte obtient tout de D011 et rien de D019. L’OCR peut lire D019, mais ce serait du gaspillage sur D011 : le PDF fournit le texte exact gratuitement. L’image montre aussi des rectangles englobants. Un rectangle englobant entoure un morceau de texte; ses bords gauche, supérieur, droit et inférieur le définissent. La prochaine leçon utilise ces rectangles.

Mei traduit les trois questions en code : route.py. Le diagramme montre ses décisions.

Un flux de gauche à droite. Un fichier joint à un billet de soutien, avec n'importe quel nom, arrive à l'étape : lire les premiers octets. Quatre branches. %PDF-, un PDF, mène à une question pour chaque page : au moins 30 caractères dans la couche de texte? Oui mène à la voie text, lire la couche de texte, 25 fichiers numériques. Non, une image de page, mène à la voie ocr. FF D8 FF, 89 PNG ou II étoile, une image JPEG, PNG ou TIFF, mène à la question : arrière-plan autour du papier? Oui indique une photo, non une numérisation; les deux mènent à la voie ocr, lire l'image, 20 numérisations et 15 photos. PK avec un dossier xl, une feuille de calcul, mène à la voie sheet, lire les cellules, 1 feuille de calcul. Tout autre format, ou un fichier impossible à ouvrir, mène à la voie stop, indiquer pourquoi, 3 fichiers. Une note : un PDF mixte est acheminé page par page; la demande de garantie D058 a la page 1 en text et la page 2 en ocr.
Acheminement selon le type de document. Les premiers octets donnent le format; un PDF est ensuite acheminé page par page, et une image est classée comme numérisation ou photo. Les nombres représentent les 65 fichiers du cours.
Description textuelle du diagramme

Un fichier arrive avec n’importe quel nom. Le programme d’acheminement lit ses premiers octets et suit l’une des quatre branches. Si le fichier commence par %PDF-, c’est un PDF, et chaque page reçoit sa propre question : contient-elle au moins 30 caractères dans sa couche de texte? Si oui, la voie de la page est text. Dans l’ensemble, 25 PDF ont une couche de texte sur chaque page. Sinon, la page est une image de page, et sa voie est ocr. Si le fichier commence par la signature d’un JPEG, d’un PNG ou d’un TIFF, c’est une image. Le programme demande ensuite s’il y a un arrière-plan autour du papier : oui indique une photo de téléphone, non une numérisation. Les deux vont vers ocr : 20 numérisations et 15 photos dans l’ensemble. Si le fichier est une archive ZIP contenant un dossier xl/, c’est une feuille de calcul, et la voie est sheet. Tout autre format, ou un fichier impossible à ouvrir, reçoit la voie stop, avec la raison : 3 fichiers de l’ensemble. Une note : un PDF mixte est acheminé page par page. La demande de garantie D058 a la page 1 sur la voie text et la page 2 sur la voie ocr.

  1. Dans ~/projects/doc-extract, avec l’environnement virtuel actif, copiez le programme d’acheminement et ses tests depuis l’instantané end-of-m01 :

    Fenêtre de terminal
    S=../nextia-learning-labs/C13/snapshots/end-of-m01
    cp $S/doc_extract/route.py doc_extract/
    cp $S/tests/test_route.py tests/
  2. Exécutez les tests :

    Fenêtre de terminal
    python -m pytest -q
    ............. [100%]
    13 passed in 6.12s

    Les quatre nouveaux tests vérifient la règle des premiers octets, la voie de chaque type de fichier, la distinction numérisation-photo et le JPEG nommé PDF.

  3. Acheminez chaque document :

    Fenêtre de terminal
    python -m doc_extract.route

    Le tableau contient une ligne par document. Voici ses premières lignes, quelques lignes du milieu et sa fin :

    ID file format kind routes
    D001 receipt-lk-986875.pdf pdf digital text
    D019 scan0001.pdf pdf scan ocr
    D020 scan0002.jpg jpeg scan ocr
    D036 IMG_4817.jpg jpeg photo ocr
    D054 returns-policy-v4.pdf pdf digital text text
    D057 aquaflow-price-list.xlsx xlsx spreadsheet sheet
    D058 warranty-claim-wc-2026-0418.pdf pdf mixed text ocr
    D061 receipt-download.pdf pdf unreadable stop
    D062 receipt-protected.pdf pdf unreadable stop
    D063 scan-raw.tif tiff scan ocr
    D064 receipt-scan.pdf jpeg scan ocr (wrong extension)
    D065 notes.txt unknown unreadable stop
    digital 25, mixed 1, photo 15, scan 20, spreadsheet 1, unreadable 3

    routes (voies) contient un mot par page : D054 a deux pages, toutes deux text. Le type est ce qu’une personne appellerait le fichier. La dernière ligne compte les types. Produire le tableau complet prend environ une demi-seconde.

  4. Examinez un document page par page. La demande de garantie D058 est un formulaire avec un reçu numérisé en page 2 :

    Fenêtre de terminal
    python -m doc_extract.route D058
    D058 warranty-claim-wc-2026-0418.pdf: format pdf, 2 page(s), kind mixed
    page 1: route text (230 characters in the text layer; pictures cover 0%)
    page 2: route ocr (a picture covers the page, no text layer; pictures cover 100%)

Le graphique montre la dernière ligne du tableau :

  • voie texte
  • voie OCR
  • texte + OCR, ou feuille de calcul
  • arrêt
Les 65 documents par type, tels que route.py les identifie en examinant le contenu de chaque fichier. 35 sont des images qui nécessitent l'OCR; 25 contiennent leur texte.
Description textuelle du graphique

Un graphique à six colonnes. PDF numériques, dont toutes les pages vont vers la voie texte : 25. Numérisations : 20, et photos de téléphone : 15, toutes sur la voie OCR. Un PDF mixte, avec une page de texte et une page OCR. Une feuille de calcul, sur la voie feuille de calcul. Trois fichiers illisibles sur la voie arrêt. Ainsi, plus de la moitié de l’ensemble, soit 35 documents, sont des images, et 25 contiennent leur texte.

Les 25 documents qui contiennent leur texte n’ont pas besoin d’OCR : leur couche de texte est exacte, rapide et gratuite. Une seule méthode pour les 65 serait inadaptée à l’un des deux groupes.

La demande mixte montre pourquoi la voie appartient à une page, pas à un fichier. La page 1 contient 230 caractères : le numéro de demande, le client, le produit et le problème. La page 2 est un reçu numérisé collé dans le PDF. Un programme qui examinerait seulement la page 1 enverrait la page 2 à un lecteur de texte. Le total du reçu disparaîtrait alors, sans aucune erreur.

Les deux pages de la demande de garantie D058. Page 1, à gauche : un formulaire tapé, Larkfield Warranty claim form (formulaire de demande de garantie Larkfield), avec des étiquettes et des valeurs : numéro de demande WC-2026-0418, client C-0022, produit Garden hose (25 m) (tuyau d'arrosage de 25 m), numéro de commande LK-921048, problème The motor stops after two minutes (le moteur s'arrête après deux minutes), reçu joint en page 2. Chaque ligne a un cadre bleu. Page 2, à droite : une page grise avec un petit reçu de caisse numérisé dans la moitié inférieure; un cadre orange épais couvre toute la page.
Un fichier, deux voies. La page 1 de la demande D058 est du texte (cadres bleus, provenant de sa couche de texte); la page 2 est une image de reçu numérisé (orange), donc elle va vers l'OCR.
Description textuelle du diagramme

La page 1 de la demande est un formulaire tapé à l’ordinateur. Le lecteur PDF trouve ses lignes, tracées en bleu. Elles contiennent le titre « Larkfield · Warranty claim form » (formulaire de demande de garantie Larkfield), le numéro de demande WC-2026-0418, le client C-0022 et le produit, un tuyau d’arrosage. Viennent ensuite le numéro de commande LK-921048, le problème, « The motor stops after two minutes » (le moteur s’arrête après deux minutes), et « Receipt : attached on page 2 » (reçu joint en page 2). La page 2 est une page numérisée grise avec un petit reçu de caisse dans sa moitié inférieure. Le lecteur PDF trouve une image, en orange, qui couvre toute la page, sans texte. Le total du reçu, CAD 307.45 (307,45 $ CA), est sur la page 2; seule l’OCR peut donc le trouver.

Les deux vont vers ocr, alors pourquoi le programme les distingue-t-il? Parce qu’elles posent des problèmes différents. Une numérisation est généralement plane et éclairée uniformément, mais elle peut être tournée, pâle ou à faible résolution. Une photo a un arrière-plan, un angle, une ombre et du flou. Le module 2 prépare chacune différemment avant l’OCR.

Le programme utilise un indice simple dans _looks_like_photo : il réduit l’image à 64 × 64 pixels et examine la bordure. La bordure d’une numérisation est blanche ou gris clair. La bordure d’une photo est la table ou le plancher : colorée ou sombre. Cette règle est correcte pour chaque numérisation et photo de l’ensemble; un test le vérifie. Sur de vraies photos, une table blanche peut la tromper. Le coût est alors faible : la photo reçoit la préparation d’une numérisation, et le module 2 mesure l’effet de la préparation.

Acheminez vos entrées dès qu’elles proviennent de plusieurs sources. Un service de soutien reçoit des PDF de caisses, des numérisations de bureaux et des photos de téléphones, tous mélangés. Acheminez page par page, car un PDF peut contenir les deux types de pages.

Le programme d’acheminement coûte peu. Il lit les premiers octets et, pour un PDF, compte les caractères sur chaque page. Pour les 65 documents, il a pris environ une demi-seconde sur l’ordinateur de l’équipe du cours, sans modèle ni frais.

L’acheminement n’est pas une vérification complète du fichier. D061, un téléchargement interrompu à mi-chemin, et D062, un PDF verrouillé, reçoivent tous deux stop avec la même raison : « cannot open » (impossible à ouvrir). Le programme sait qu’il ne peut pas les lire, mais pas pourquoi. La première leçon du module 2 ajoute des vérifications à la réception qui expliquent pourquoi et arrêtent le fichier avec un message clair.

Vous n’avez pas forcément besoin d’un programme d’acheminement si tous les fichiers proviennent d’une seule source. Par exemple, un système qui reçoit seulement des PDF de sa propre caisse. Même alors, gardez la vérification des premiers octets : un seul JPEG nommé .pdf suffit à faire planter un lecteur PDF.

Erreur courante

Déterminer le format selon le nom du fichier

Symptôme : un lecteur PDF s’arrête sur un fichier dont le nom finit par .pdf :

pdfplumber.utils.exceptions.PdfminerException: No /Root object! - Is this really a PDF?

Une autre bibliothèque PDF, PDFium, produit PdfiumError: Failed to load document (PDFium: Data format error). (échec du chargement du document : erreur de format) pour le même fichier.

Cause : le fichier n’est pas un PDF. D064 est un JPEG que quelqu’un a enregistré sous le nom receipt-scan.pdf. Le code a choisi le lecteur selon le nom.

Diagnostic : lisez les premiers octets. route D064 l’indique immédiatement :

D064 receipt-scan.pdf: format jpeg <- the name says .pdf, 1 page(s), kind scan
page 1: route ocr (a scanned image (white page); pictures cover 100%)

Correction : choisissez partout le lecteur selon les premiers octets. Dans ce projet, route.sniff et files.is_pdf le font tous deux. Gardez le nom d’origine dans l’enregistrement, pour qu’une personne puisse voir que le nom était incorrect.

Erreur courante

Un lecteur de texte qui ne renvoie rien, sans erreur

Symptôme : le lecteur de texte traite le PDF numérisé D019 et renvoie zéro ligne. Aucune erreur n’apparaît. Plus tard, tous les champs de D019 sont vides.

Cause : D019 est un PDF, mais sa page contient seulement une image. Un lecteur de texte lit les caractères, et il n’y en a aucun.

Correction : acheminez avant de lire. Une couche de texte vide sur une page contenant une grande image signifie ocr, pas « aucun texte ». Une page au résultat vide doit toujours déclencher un signal, jamais passer silencieusement.

Changez une chose : acheminez des documents que vous n’avez pas encore vus. Pour chacun, prédisez le format, le type et le chemin. Utilisez seulement le nom du fichier et ce que vous savez du jeu de données. Ensuite, exécutez python -m doc_extract.route avec chaque identifiant.

  1. D021 scan0003.pdf
  2. D033 scan-partner-1.jpg
  3. D055 garantie-legale-quebec.pdf (2 pages; la page 2 est un tableau tourné sur le côté)
  4. D063 scan-raw.tif
Afficher la réponse
D021 scan0003.pdf: format pdf, 1 page(s), kind scan
page 1: route ocr (a picture covers the page, no text layer; pictures cover 100%)
D033 scan-partner-1.jpg: format jpeg, 1 page(s), kind scan
page 1: route ocr (a scanned image (white page); pictures cover 100%)
D055 garantie-legale-quebec.pdf: format pdf, 2 page(s), kind digital
page 1: route text (1079 characters in the text layer; pictures cover 0%)
page 2: route text (186 characters in the text layer; pictures cover 0%)
D063 scan-raw.tif: format tiff, 1 page(s), kind scan
page 1: route ocr (a scanned image (white page); pictures cover 100%)
  • D021 est un PDF, mais un PDF numérisé : ocr (reconnaissance optique des caractères). L’extension .pdf ne vous disait rien sur le chemin.
  • D033 est une numérisation provenant du magasin partenaire. Son chemin est le même que celui des numérisations de Larkfield. Sa mise en page est différente. Ce sera important plus tard, mais pas ici.
  • D055 surprend beaucoup d’apprenants. La page 2 est tournée sur le côté, alors elle ressemble à une image. Mais le PDF contient son texte et indique simplement au logiciel de visualisation de tourner la page. Les deux pages suivent donc le chemin text (texte). La prochaine leçon examine les pages tournées.
  • D063 est une numérisation TIFF. Le chemin est ocr, mais le fichier fait 9,1 Mo. Le traitement des entrées du module 2 bloque les fichiers de plus de 8 Mo avant tout acheminement.

Vérifiez votre compréhension

Tomás dit : « Chaque PDF est une image. Envoyez chaque page au modèle de vision. » Donnez deux raisons chiffrées montrant pourquoi c'est incorrect pour les PDF de caisse de Larkfield. Dites quoi faire à la place.

Afficher la réponse
  • Temps et argent. La lecture de la couche de texte a pris environ 5,4 ms par page. Le modèle de vision a pris environ 7,35 s par page (médiane) et coûté environ 0,0113 $ US par page. C’est plus de mille fois plus lent, pour une valeur que le fichier contient déjà.
  • Erreurs. Sur D009, le modèle a lu « LARKEFIELD »; la couche de texte contient exactement « LARKFIELD ». Un modèle peut mal lire une page nette; une couche de texte ne le peut pas.

À la place, choisissez le chemin selon le contenu. Une page avec une couche de texte suit le chemin text. Seules les pages constituées d’images passent par l’OCR. Réservez le modèle de vision aux pages où il apporte quelque chose, ce que le module 2 mesure.

Vérifiez votre compréhension

Faites une prédiction : un client joint « invoice.pdf ». Ses premiers octets sont %PDF-1.7. La page 1 contient 1 200 caractères dans sa couche de texte. La page 2 contient 4 caractères et une image qui couvre la page. Quels sont le type et les chemins, et pourquoi la page est-elle importante?

Afficher la réponse

Le format est PDF (selon les premiers octets). La page 1 contient 1 200 caractères, soit plus de 30 : chemin text. La page 2 contient seulement 4 caractères et une image qui couvre la page : chemin ocr. Le type est donc mixte, avec les chemins text ocr, comme la réclamation D058. La page est importante. Une décision pour le fichier entier ferait lire la page 2 par le lecteur de texte, qui obtiendrait 4 caractères. Le contenu de l’image serait perdu, sans erreur.

Vérifiez votre compréhension

Vérification pratique : après cette leçon, combien de tests réussissent? Quelle est la dernière ligne de `python -m doc_extract.route`, et qu'affiche cette commande pour D064?

Afficher la réponse

python -m pytest -q affiche 13 passed (13 tests réussis). La dernière ligne du tableau est digital 25, mixed 1, photo 15, scan 20, spreadsheet 1, unreadable 3 (25 numériques, 1 mixte, 15 photos, 20 numérisations, 1 feuille de calcul, 3 illisibles). Pour D064, le tableau affiche jpeg scan ocr (wrong extension) (JPEG, numérisation, OCR, mauvaise extension). La commande route D064 indique format jpeg <- the name says .pdf (format JPEG, mais le nom indique .pdf) : le fichier est un JPEG nommé comme un PDF, acheminé vers l’OCR.

Récapitulatif

  • Le nom et l’apparence d’un fichier ne disent pas ce qu’il est. Décidez selon son contenu. Les premiers octets donnent le format. Pour un PDF, la couche de texte de chaque page indique si elle contient des caractères.
  • Quatre chemins : text (lire la couche de texte), ocr (reconnaître les lettres dans une image), sheet (lire les cellules), stop (arrêter et dire pourquoi). L’acheminement se fait par page : la réclamation D058 suit text ocr.
  • Le jeu de données contient 25 fichiers numériques, 20 numérisations, 15 photos, 1 fichier mixte, 1 feuille de calcul et 3 fichiers illisibles. Le routeur prend environ une demi-seconde pour les 65 fichiers.
  • Utiliser un modèle de vision sur chaque page est plus lent (7,35 s contre 5,4 ms par page). Cela coûte aussi 0,0113 $ US par page. Le modèle peut également mal lire une page nette (« LARKEFIELD » sur D009).
  • python -m pytest -q affiche 13 passed.

Ensuite, vous lirez la couche de texte avec ses zones délimitées. Vous verrez comment l’ordre des lignes change le sens d’une page.

Leçon suivante : Mise en page et sens