Aller au contenu
English

Préparer le projet d'extraction

  • Leçon 1
  • 45 min
  • Module 1 : Comprendre les documents en entrée

Où nous en sommes

Dans RAG : créer une IA qui utilise vos données, vous avez analysé les politiques de Larkfield à partir de PDF numériques et relié chaque réponse à sa source. Mais les clients envoient leurs reçus en numérisations et en photos de téléphone de travers, et une image ne contient aucun texte. Dans ce cours, nous lisons ces documents et gardons la source de chaque valeur. D'abord, pensez à une boîte à chaussures remplie de reçus à la fin de l'année.

Ce que vous saurez faire

Installez le projet du cours, doc-extract, sur votre ordinateur. Créez les 65 documents du cours, lancez les tests et ouvrez un reçu en PDF, en numérisation et en photo de téléphone. Vous apprendrez aussi pourquoi le cours crée ses propres documents. Chaque bonne réponse est connue avant que la première ligne de code lise les documents.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 45 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

  • Python 3.12 ou une version plus récente, VS Code (ou tout autre éditeur de texte) et un terminal.
  • Environ 450 Mo d’espace disque libre : environ 430 Mo pour l’environnement virtuel et 17 Mo pour les documents.
  • Une connexion Internet pour l’installation. Ensuite, tout fonctionne hors ligne.
  • Aucun compte, aucune clé et aucun paiement. La couche de texte et l’OCR fonctionnent sur le processeur de votre ordinateur. L’équipe du cours a enregistré les réponses du modèle de vision, et le projet les rejoue.

Testé avec Python 3.12 sur macOS (Apple silicon). Les commandes Windows (PowerShell) et Linux sont fournies, mais n’ont pas été testées.

Pensez à la fin de l’année, quand vous remplissez un rapport de dépenses. Vous videz une boîte à chaussures sur la table. Un reçu est un PDF qu’un magasin vous a envoyé par courriel. Un autre est une numérisation faite par votre banque. Un autre est une photo prise avec votre téléphone, sur la table de cuisine, un peu de travers. Deux sont en français, parce que vous avez passé une semaine à Montréal.

Vous tapez la date et le total de chaque reçu dans une feuille de calcul. C’est lent, mais ça fonctionne, pour une raison : vous avez le papier en main. Si un nombre semble étrange, vous regardez le reçu à nouveau. Vous savez d’où vient chaque nombre.

Imaginez maintenant qu’un programme tape les nombres pour vous. Vous obtenez une feuille de calcul très rapidement. Est-elle correcte? Pour répondre, vous avez besoin de deux choses. Il vous faut la bonne réponse pour chaque reçu, afin de comparer. Il faut aussi savoir où le programme a trouvé chaque nombre sur le reçu, pour pouvoir le regarder.

Le problème : des valeurs sans source et aucune bonne réponse

Section intitulée « Le problème : des valeurs sans source et aucune bonne réponse »

Le service de soutien de Larkfield reçoit des documents avec ses billets de soutien. Les clients joignent des reçus aux demandes de garantie et de remboursement : PDF des caisses des jardineries que Larkfield a achetées en 2026, numérisations, photos de téléphone, parfois en français. L’équipe des achats reçoit des listes de prix et des feuilles de calcul des fournisseurs. Aujourd’hui, un agent ouvre chaque fichier et tape à la main le numéro de commande, la date, le total et les articles.

C’est lent. Des erreurs passent aussi inaperçues. Le mois dernier, le même reçu est arrivé dans deux billets, et deux agents l’ont saisi. L’un a tapé un total de 211,68, l’autre de 211,86. Les deux valeurs semblent correctes. Personne ne peut dire laquelle est bonne sans rouvrir le fichier, car la feuille de calcul ne donne pas la source.

Grace dirige l’équipe de soutien. Elle demande : « Le système peut-il lire le reçu et nous montrer exactement d’où vient chaque valeur? Peut-il nous envoyer seulement ceux dont il n’est pas sûr? »

Mei est l’ingénieure de données responsable des fichiers reçus. Avant d’écrire du code, elle voit un deuxième problème. Comment l’équipe saura-t-elle si le système donne les bonnes réponses? Les vrais reçus contiennent des noms, des adresses et des numéros de carte. L’équipe ne peut donc pas les partager librement. Et personne n’a noté la bonne réponse pour chacun. Un test sans bonnes réponses peut seulement dire « ça a fonctionné », pas « c’était correct ».

L’idée : des documents dont les vraies valeurs sont connues

Section intitulée « L’idée : des documents dont les vraies valeurs sont connues »

La solution de Mei consiste à créer les documents. Un programme écrit d’abord les vraies valeurs : le magasin, la date, les articles, les taxes et le total. Ensuite, il dessine un reçu qui affiche ces valeurs. Puis il crée des copies plus difficiles à lire, comme le ferait un numériseur ou un téléphone. Une copie peut avoir une faible résolution, être de travers, pâle, dans l’ombre ou partiellement coupée.

Le programme écrit chaque valeur avant de dessiner le reçu. La bonne réponse est donc connue exactement. On l’appelle la vérité terrain : les vraies valeurs de chaque document, auxquelles vous comparez les résultats d’un lecteur. Ce nom vient de la cartographie. Un cartographe compare une photo aérienne aux mesures prises au sol.

Un flux de gauche à droite. 1, les vraies valeurs : magasin, date, articles, taxes et total, à partir de la graine 13. Elles vont dans truth.jsonl, une ligne par document, et vers 2, dessiner un reçu : un PDF avec une couche de texte. À partir du PDF, 3a, créer une numérisation : une image de la page à faible résolution, de travers ou pâle; et 3b, créer une photo : angle, ombre, flou, partie coupée. Les PDF, numérisations et photos vont dans data/documents, soit 65 fichiers. Une vérification compare leurs octets à SHA256SUMS : oui donne All 65 files match (les 65 fichiers correspondent); non signifie copier les fichiers du dépôt des exercices.
Le générateur écrit d'abord la vérité terrain, puis dessine les documents à partir de celle-ci. La bonne réponse de chaque document est donc connue avant l'exécution d'un lecteur.
Description textuelle du diagramme

Le flux commence par les vraies valeurs d’un reçu : le magasin, la date, les articles, les taxes et le total. Le générateur les choisit avec une graine aléatoire fixe, 13. Chaque exécution choisit donc les mêmes valeurs. Les valeurs suivent deux chemins. Elles sont écrites dans truth.jsonl, une ligne par document. Elles sont aussi dessinées sous forme de reçu : un PDF qui contient son texte. À partir de certains PDF, le générateur crée une numérisation, une image de la page à faible résolution, de travers ou pâle. À partir d’autres, il crée une photo de téléphone avec un angle, une ombre, du flou ou une partie coupée. Les 65 fichiers vont dans data/documents/. Ensuite, --check compare les octets de chaque fichier à la liste de sommes de contrôle fournie avec le cours, SHA256SUMS. S’ils correspondent tous, vous avez exactement les fichiers du cours. Si certains diffèrent, vous copiez les fichiers du dépôt des exercices.

Une somme de contrôle est une courte empreinte des octets d’un fichier. Si un octet change, l’empreinte change. Le projet fournit les empreintes des fichiers du cours. Ainsi, --check peut vérifier si votre ordinateur a créé exactement les mêmes documents que celui de l’équipe du cours. Si oui, vos nombres correspondent à ceux des leçons.

Voici le reçu D011, un PDF de la caisse de la jardinerie de Larkfield à Vancouver. C’est la première image plus bas sur cette page. Le reçu affiche une laveuse à pression à 189,00, deux taxes et un total. Le générateur a écrit cette vérité terrain pour ce reçu :

Champ Vraie valeur Ce que le reçu affiche
vendor Larkfield LARKFIELD
order_number LK-103119 Order: LK-103119 (commande)
date 2026-08-22 Date: 2026-08-22 (date)
subtotal 189,00 Subtotal 189.00 (sous-total)
tax 22,68 GST 5% 9.45 (TPS) et PST 7% 13.23 (taxe de vente provinciale)
total 211,68 TOTAL CAD 211.68 (total en dollars canadiens)
shipping (absent du document) rien : un reçu de caisse n’a pas de ligne de livraison

Vérifiez la somme vous-même : 189,00 + 9,45 + 13,23 = 211,68. Les taxes sont de 22,68, car le reçu affiche deux lignes de taxes et la vérité terrain les additionne. La livraison est « absente du document », et la vérité terrain l’indique. Elle n’indique pas 0,00, car le reçu n’affiche pas 0,00.

L’agent qui a tapé 211,86 a maintenant une réponse claire : la vérité terrain indique 211,68. Dans le vrai service de soutien, il n’y a pas de fichier de vérité terrain. Le système montrera plutôt à l’agent où il a lu 211,68 sur le reçu. C’est l’autre moitié de la question de Grace, et ce cours construit cette fonction.

Le générateur du cours crée 65 documents. Tous les documents de ce cours sont créés par ce générateur; aucun client ni magasin réel n’y figure.

Type Nombre Description
Reçus 53 Reçus de caisse des jardineries de Larkfield et commandes en ligne, en PDF, en numérisations et en photos de téléphone; 10 en français; 6 d’un autre magasin, Maple & Pine Hardware, partenaire de Larkfield
Politiques 2 la politique de retour sur deux colonnes; la garantie légale du Québec, en français
Liste de prix 1 la liste de prix d’un fournisseur dont le tableau continue à la page 2
Feuille de calcul 1 la même liste de prix dans un fichier Excel
Demande de garantie 1 page 1 : un formulaire; page 2 : un reçu numérisé
Fichiers problématiques 7 une copie, une deuxième numérisation, un téléchargement endommagé, un PDF verrouillé, un fichier trop volumineux, une photo avec un nom en .pdf, un fichier texte

Chaque document a un identifiant selon son ordre d’arrivée, de D001 à D065. Les leçons utilisent ces identifiants. L’équipe les utilise aussi.

Mei est responsable de ce jeu et des fichiers reçus. Grace et ses agents ont besoin des champs. Camille, une agente à Montréal, apporte les reçus en français. Priya, la scientifique de données, vérifie les vraies valeurs et mesurera ensuite le pipeline. Amira, une développeuse, relie le pipeline au système de billets. Omar, le gestionnaire de produit, demande combien coûte chaque page. Tomás, un ingénieur en IA, veut tout envoyer à un modèle de vision. Sam vient de rejoindre l’équipe et pose les questions d’un débutant.

Vous copiez l’instantané start (départ) du projet dans un nouveau dossier, créez un environnement virtuel, créez les documents et lancez les tests. Un instantané est une copie du projet à un moment du cours. Si votre projet ne fonctionne plus, copiez l’instantané du dernier module terminé, puis continuez.

  1. Ouvrez un terminal et allez dans votre dossier de projets, par exemple ~/projects. Si vous avez Git, clonez le dépôt des exercices une seule fois. Si vous avez déjà le clone, lancez plutôt git -C nextia-learning-labs pull.

    Fenêtre de terminal
    cd ~/projects
    git clone https://github.com/Nextia-Intelligence/nextia-learning-labs.git

    Sans Git, téléchargez le fichier ZIP du dépôt et décompressez-le dans ~/projects. Son dossier s’appelle alors nextia-learning-labs-main. Utilisez ce nom dans les prochaines étapes.

  2. Copiez l’instantané start dans un nouveau dossier doc-extract, puis ouvrez ce dossier :

    Fenêtre de terminal
    cp -R nextia-learning-labs/C13/snapshots/start doc-extract
    cd doc-extract
  3. Ouvrez le dossier doc-extract dans VS Code. Toutes les commandes de ce cours s’exécutent dans ce dossier.

  4. Créez l’environnement virtuel et activez-le :

    Fenêtre de terminal
    python3 -m venv .venv
    source .venv/bin/activate

    L’invite commence maintenant par (.venv).

  5. Installez les paquets. Cette étape télécharge plusieurs centaines de mégaoctets et peut prendre quelques minutes avec une connexion lente.

    Fenêtre de terminal
    python -m pip install -r requirements-dev.txt

    C’est la seule installation du cours. Le moteur OCR figure déjà dans la liste, même si le module 2 est le premier à l’utiliser. Ses modèles sont inclus dans le paquet. L’OCR ne nécessite donc aucun téléchargement par la suite.

  6. Créez les documents et comparez-les aux sommes de contrôle du cours :

    Fenêtre de terminal
    python -m doc_extract.generate --check
    Wrote 65 documents to data/documents (17.3 MB) and data/truth.jsonl
    receipt 53, policy 2, price_list 1, spreadsheet 1, claim 1, bad 7
    All 65 files match the course's checksums.

    Cela prend environ 10 secondes. « bad » (problématiques) est le nom que le générateur donne aux sept fichiers problématiques.

  7. Lancez les tests :

    Fenêtre de terminal
    python -m pytest -q
    ......... [100%]
    9 passed in 5.61s

    Votre durée peut varier. Les tests vérifient le jeu : 65 documents de tous les types, et les mêmes octets à partir de la même graine. Ils vérifient aussi que les vrais totaux correspondent aux sommes. Deux reçus font exception : ils affichent volontairement un total erroné.

Vous avez maintenant un projet fonctionnel, les 65 documents et leur vérité terrain. Le projet ne lit encore aucun document. Il sait seulement ce qu’il a créé.

Commencez par la liste des documents :

Fenêtre de terminal
python -m doc_extract.documents

Elle affiche une ligne par document. Voici quatre des 65 documents :

ID file kind source lang pages
D011 receipt-lk-103119.pdf receipt digital_pdf en 1
D020 scan0002.jpg receipt scan_image en 1
D036 IMG_4817.jpg receipt photo fr 1
D058 warranty-claim-wc-2026-0418.pdf claim mixed_pdf en 2

La colonne source indique comment le générateur a créé chaque fichier. Un vrai service de soutien ne reçoit pas cette colonne. Un client envoie un fichier nommé scan0002.jpg ou IMG_4817.jpg, et rien d’autre. Dans la prochaine leçon, vous trouverez la même réponse en regardant à l’intérieur du fichier.

Regardez maintenant un document et sa vérité terrain. D036 est le genre de reçu qu’apporte Camille : une photo de téléphone d’un reçu de caisse de Montréal.

Fenêtre de terminal
python -m doc_extract.documents D036
D036 IMG_4817.jpg
kind receipt, source photo, language fr, pages 1, 186,813 bytes
how it was made: {"tilt": 0.07, "angle": -5.0, "layout": "till"}
vendor Larkfield
order_number LK-706142
date 2026-08-09
currency CAD
subtotal 880.00
shipping (not on the document)
tax 131.78
total 1011.78
payment_method Cash
item: 1 x Bac à compost @ 64.00 = 64.00
item: 1 x Nettoyeur haute pression PW-2200 @ 189.00 = 189.00
item: 1 x Barbecue au gaz Ember GR-310 @ 449.00 = 449.00
item: 2 x Jardinière en cèdre @ 89.00 = 178.00

La ligne « how it was made » (comment il a été créé) indique un angle de −5 degrés, avec une certaine inclinaison. La vérité terrain utilise la même forme pour tous les reçus : des dates comme 2026-08-09, des montants avec un point et deux décimales. La photo les affiche en français : 09/08/2026 et 1 011,78 $. Transformer le texte affiché dans la forme de la vérité terrain est le sujet de Définir le contrat d’extraction.

Créez une image de trois reçus : le PDF D011, la numérisation D020 et la photo D036.

Fenêtre de terminal
python -m doc_extract.show D011
python -m doc_extract.show D020
python -m doc_extract.show D036
D011 receipt-lk-103119.pdf (2,249 bytes, digital_pdf)
page 1: 315 x 471 pixels at 100 dpi -> out/show/D011-p1.png
D020 scan0002.jpg (224,481 bytes, scan_image)
page 1: 1275 x 1650 pixels at 100 dpi -> out/show/D020-p1.png
D036 IMG_4817.jpg (186,813 bytes, photo)
page 1: 1200 x 1600 pixels at 100 dpi -> out/show/D036-p1.png

Ouvrez les trois images dans out/show/ dans VS Code. Elles ressemblent à ceci :

Trois reçus côte à côte. À gauche : D011, un reçu de caisse étroit de Larkfield à Vancouver, texte noir net sur blanc : une laveuse à pression à 189,00, TPS 9,45, taxe de vente provinciale 13,23, total de 211,68 dollars canadiens, payé comptant. Au centre : D020, une commande en ligne numérisée sur une page de format lettre, légèrement grise et un peu de travers : trois articles, sous-total 368,85, livraison 0,00, TVH 47,95, total 416,80. À droite : D036, une photo de téléphone d'un reçu de caisse en français de Montréal sur une table en bois, tourné de quelques degrés : quatre articles, sous-total 880,00, TPS et TVQ, total de 1 011,78 dollars.
Trois reçus du jeu : un PDF de caisse (D011), une numérisation d'une commande en ligne (D020) et une photo de téléphone d'un reçu de caisse en français (D036). Pour une personne, les trois sont faciles à lire.
Description textuelle du diagramme

À gauche, D011 : un reçu étroit de la caisse de Larkfield à Vancouver. Le texte est net, noir sur blanc. Il affiche une laveuse à pression à 189,00, une TPS de 9,45 et une taxe de vente provinciale de 13,23. Le total est de 211,68 dollars canadiens, payé comptant. Au centre, D020 : une confirmation de commande en ligne sur une page de format lettre, numérisée. La page est un peu grise et tournée de 1,5 degré. Elle présente trois articles et un total de 416,80. À droite, D036 : une photo de téléphone d’un reçu de caisse en français de Montréal. Le reçu repose sur une table en bois et est tourné d’environ 5 degrés. Il présente quatre articles en français, un sous-total de 880,00, deux taxes, TPS et TVQ, et un total de 1 011,78 dollars.

Sam regarde les trois images. « Elles sont toutes faciles à lire. Pourquoi un programme a besoin de trois façons différentes? » Regardez les tailles des fichiers dans la sortie. Le PDF D011 contient 2 249 octets. La numérisation D020 contient 224 481 octets : cent fois plus, pour à peu près la même quantité de texte. Ces nombres donnent un indice sur le contenu de chaque fichier. La prochaine leçon ouvre les fichiers et le montre.

Fichier ou dossier Description
doc_extract/generate.py le générateur : les 65 documents et leur vérité terrain
doc_extract/documents.py liste les documents et affiche la vérité terrain de l’un d’eux
doc_extract/show.py dessine chaque page d’un document sous forme d’image dans out/show/
doc_extract/files.py ouvre une page sous forme d’image; détermine « est-ce un PDF? » à partir des premiers octets
data/SHA256SUMS les sommes de contrôle des 65 fichiers du cours
data/dataset.md la fiche du jeu de données : sa création, sa licence (CC0) et ses limites
tests/ 9 tests du jeu
README.md toutes les commandes et la procédure de réinitialisation

Le dossier out/ contient tout ce que les commandes écrivent. Vous pouvez le supprimer à tout moment; les commandes le recréent.

Utilisez-en un quand vous avez besoin de bonnes réponses exactes et que vous ne pouvez pas partager de vrais documents. C’est aussi la meilleure façon de tester un problème à la fois. Dans ce jeu, D025 est une numérisation tournée de 90 degrés, sans autre problème. Un échec sur D025 a donc une seule cause.

Ne vous y fiez pas pour connaître la fréquence de chaque problème. Les vrais reçus varient beaucoup plus : autres polices, papier plié, tampons, écriture manuscrite, reflets. Un lecteur qui fonctionne sur ces 65 documents peut encore échouer sur de vrais reçus. C’est pourquoi le cours se termine par une étude de cas sur un jeu public de vraies photos de reçus, avec leurs propres étiquettes.

Le coût est le générateur lui-même : environ 1 200 lignes de code que quelqu’un doit écrire et vérifier. Et quelqu’un doit encore lire les documents. L’auteur du cours a ouvert chaque type de document et comparé les valeurs affichées à la vérité terrain.

Erreur courante

Certains fichiers ont des sommes de contrôle différentes de celles du cours

Symptôme : generate --check affiche des lignes comme celles-ci (les noms de fichiers sont des exemples), puis s’arrête avec une erreur :

2 files differ from the course's files: IMG_4810.jpg, IMG_4817.jpg
Your numbers can differ a little. To use the course's files, copy them from the labs repository.

Cause : un autre système d’exploitation ou une autre version d’une bibliothèque d’images peut produire une image différente de quelques octets. Les documents restent des reçus valides. Mais les nombres d’une leçon suivante peuvent alors différer un peu des vôtres.

Solution : copiez les fichiers du cours. Copiez le dossier documents et le fichier truth.jsonl de nextia-learning-labs/C13/data/ dans le dossier data/ de votre projet. Remplacez les fichiers qui s’y trouvent. Ensuite, exécutez de nouveau python -m pytest -q.

Erreur courante

Le module pytest est introuvable, ou truth.jsonl n'existe pas

Symptôme : une commande affiche l’une de ces lignes, puis s’arrête. Les chemins sont abrégés ici.

…/bin/python3.12: No module named pytest
…/doc-extract/data/truth.jsonl does not exist. Make the documents first: python -m doc_extract.generate

Cause : « No module named pytest » (aucun module nommé pytest) signifie que l’environnement virtuel n’est pas actif. Le second message signifie que vous n’avez pas encore créé les documents, ou que le terminal est dans un autre dossier.

Solution : allez dans le dossier avec cd ~/projects/doc-extract. Activez l’environnement : source .venv/bin/activate sur macOS et Linux, .venv\Scripts\Activate.ps1 sur Windows. Ensuite, exécutez python -m doc_extract.generate --check.

Réinitialisation. Si votre projet ne fonctionne plus, renommez le dossier et refaites les étapes ci-dessus avec une nouvelle copie de start. Pour réinitialiser seulement les sorties, supprimez le dossier out/. Le README des instantanés présente les mêmes étapes pour chaque instantané suivant.

À vous de jouer : une photo avec une partie manquante

Section intitulée « À vous de jouer : une photo avec une partie manquante »

Changez une seule chose : regardez une autre photo. D045 est une photo de reçu de caisse prise avec un téléphone. Le bas du reçu manque dans la photo. Avant d’exécuter quoi que ce soit, faites une prédiction : quels champs la vérité terrain indique-t-elle comme « absents du document »? Ensuite, exécutez python -m doc_extract.documents D045 et python -m doc_extract.show D045, puis ouvrez l’image.

Afficher la réponse
subtotal 358.95
shipping (not on the document)
tax 46.66
total (not on the document)
payment_method (not on the document)

La photo s’arrête juste après la ligne de taxe. Le total et le paiement n’y figurent donc pas. Le reçu les affichait, mais la photo les a coupés. La vérité terrain les indique comme « absents du document », car personne ne peut les voir dans ce fichier. La livraison est aussi absente du document, pour une autre raison : un reçu de caisse n’affiche jamais de ligne de livraison.

Un lecteur qui « trouve » un total pour D045 l’invente. Vous pourriez calculer 358,95 + 46,66 = 405,61, et c’est probablement le total. Mais c’est une supposition, pas une valeur lue sur la page. Le contrat d’extraction, dans la dernière leçon de ce module, indique comment écrire un tel champ.

Vérifiez votre compréhension

Pourquoi le cours crée-t-il ses propres documents au lieu d'utiliser un dossier de vrais reçus? Donnez deux raisons et une limite de ce choix.

Afficher la réponse
  • Les bonnes réponses sont connues avec exactitude. Le générateur écrit d’abord les vraies valeurs, puis dessine le document à partir de celles-ci. On peut donc évaluer chaque lecteur, champ par champ. Un dossier de vrais reçus n’a aucune vérité terrain avant qu’une personne la saisisse, et cette saisie peut contenir des erreurs.
  • Aucune donnée personnelle. Les vrais reçus contiennent des noms, des adresses et des numéros de carte. On peut partager les reçus générés, les publier (CC0) et les utiliser dans des tests.
  • Autre bonne raison : chaque problème apparaît seul (une numérisation tournée, une photo coupée), donc un échec a une seule cause.

Limite : les documents générés sont moins variés que les vrais documents. Un résultat indique comment une méthode traite ces problèmes, pas leur fréquence. L’étude de cas sur les vrais reçus vérifie cela.

Vérifiez votre compréhension

Faites une prédiction : Tomás dit « le PDF D011 et la numérisation D020 sont tous deux des reçus, donc c'est le même type de fichier ». Le PDF fait 2 249 octets; la numérisation, 224 481. Que suggèrent ces tailles sur le contenu de chaque fichier?

Afficher la réponse

Le PDF est petit parce qu’il stocke le texte lui-même : quelques centaines de caractères avec leurs polices et leurs positions. La numérisation est cent fois plus volumineuse parce qu’elle stocke une image : environ deux millions de pixels, peu importe leur contenu. Le PDF contient donc déjà son texte, et un programme peut le lire directement. La numérisation contient seulement des points de couleur, et un programme doit d’abord y reconnaître les lettres. La prochaine leçon vérifie cela en examinant l’intérieur des fichiers.

Vérifiez votre compréhension

Vérification pratique : montrez que votre projet fonctionne. Qu'affichent `generate --check` et les tests? Quelles valeurs `documents D036` donne-t-il pour la date et le total?

Afficher la réponse

generate --check affiche Wrote 65 documents to data/documents (17.3 MB) and data/truth.jsonl (65 documents écrits dans ces emplacements, pour 17,3 Mo) et All 65 files match the course's checksums. (les 65 fichiers correspondent aux sommes de contrôle du cours). Sinon, il affiche une liste de fichiers différents, que vous corrigez en copiant ceux du cours. Les tests affichent 9 passed (9 tests réussis). documents D036 donne la date 2026-08-09 et le total 1011.78. La photo les affiche sous les formes 09/08/2026 et 1 011,78 $ : la vérité terrain utilise toujours une seule forme.

Études de cas de ce cours

À la fin du cours, vous appliquez ce que vous avez appris à un projet réaliste, des données jusqu’à la recommandation. Terminez-en au moins une pour obtenir le certificat; les autres sont facultatives.

  • Lire de vrais reçusExécuter le pipeline du cours sur un ensemble public d'images de reçus étiquetés, et mesurer l'exactitude de chaque champ par rapport aux étiquettes publiées.
  • Extraire un tableau d'un rapport publicRetrouver un tableau de plusieurs pages dans un rapport statistique du domaine public, avec sa provenance, et vérifier chaque cellule avec le fichier de données publié par l'organisme.

Récapitulatif

  • Grace veut les valeurs avec leur source, et seulement les valeurs incertaines à réviser. Pour tester un lecteur, vous avez aussi besoin de la bonne réponse pour chaque document.
  • Le générateur du cours écrit d’abord la vérité terrain, puis dessine chaque document à partir de celle-ci : 65 documents, 17,3 Mo, avec truth.jsonl. --check compare leurs sommes de contrôle avec celles du cours.
  • Dans D011, la vérité terrain additionne les deux lignes de taxe : 9,45 + 13,23 = 22,68. Ensuite, 189,00 + 22,68 = 211,68. Une valeur que le document ne montre pas est indiquée comme « absente du document », et non comme 0,00.
  • Votre projet fonctionne : python -m pytest -q affiche 9 passed (9 tests réussis), et show dessine n’importe quelle page dans out/show/.
  • Un PDF, une numérisation et une photo peuvent sembler identiques à une personne, mais leurs tailles peuvent varier d’un facteur cent.

Ensuite, vous examinerez l’intérieur de chaque fichier et choisirez la bonne façon de le lire.

Leçon suivante : Types de documents