Extraire un tableau d'un rapport public
- Étude de cas 2
- 120 min
- Facultative · 1 étude de cas requise pour le certificat
Où nous en sommes
Cette étude de cas applique la reconstitution de tableaux du module 3 et les vérifications par champ du module 6 à un vrai rapport gouvernemental. Vous copiez un tableau sur deux pages dans des enregistrements propres, et vous prouvez qu'il est exact, cellule par cellule.
Étude de cas 2 sur 2 · IA documentaire et multimodaleExtraire un tableau d'un rapport public
1. Comprendre les documents en entrée
2. Préparer et extraire le contenu
3. Retrouver la structure et les tableaux
4. Utiliser les modèles multimodaux de façon réfléchie
5. Valider et réviser les résultats
6. Évaluer et livrer le pipeline
7. Études de cas
Ce que vous saurez faire
Copiez un tableau statistique sur deux pages d’un vrai rapport gouvernemental dans des enregistrements propres. Chaque cellule conserve sa valeur, son unité, sa page et son cadre. Puis prouvez que la copie est exacte, cellule par cellule, avec les fichiers de données de l’organisme. Enfin, relancez le traitement sur le rapport du mois suivant.
Cette étude de cas est un carnet (notebook) Jupyter. Le travail consiste à lire un tableau, à le noter et à expliquer le résultat. Un carnet montre chaque étape et sa sortie. Il télécharge les deux rapports de l’organisme (ou les mêmes octets du dépôt de laboratoires Nextia) et installe pdfplumber. Son exécution prend environ 30 secondes. Aucun compte ni aucune clé n’est nécessaire : les réponses du modèle de vision sont enregistrées.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
Cette étude de cas utilise l’ensemble du cours. Ces leçons sont les plus importantes :
- Les lignes d’en-tête, les cellules fusionnées, les unités dans l’en-tête et les tableaux sur deux pages, dans Tableaux et feuilles de calcul.
- Les cadres en points et les preuves de chaque valeur, dans Représenter la provenance.
- Les appels de note et les éléments récurrents des pages, dans Sections et hiérarchie.
- Les vérifications de la somme d’un total, dans Validation selon les règles d’affaires.
- Les scores avec des valeurs manquantes et inventées, dans Métriques par champ.
Ce qu’il vous faut sur votre ordinateur (seulement pour l’exécution locale; le carnet n’en a pas besoin)
- Un environnement virtuel avec pdfplumber 0.11.10. L’environnement du projet
doc-extractl’inclut; cette étude de cas ne modifie pas le projet. - Le carnet, téléchargé depuis le lien ci-dessus, dans VS Code ou JupyterLab. Sa cellule de préparation crée un dossier
public-report-table. Pour recommencer, supprimez ce dossier.
Testé sur macOS (Apple silicon) avec Python 3.12.13 et pdfplumber 0.11.10, dans Jupyter après un démarrage à neuf. Windows et Linux n’ont pas été testés.
La situation
Section intitulée « La situation »Ruth Adeyemi planifie l’espace de stockage et les camions pour une coopérative céréalière. Chaque mois, le US Department of Agriculture publie Crop Production, ses prévisions de récolte. L’équipe de Ruth copie un tableau du rapport dans la feuille de planification du conseil d’administration. Il donne la superficie, le rendement et la production de chaque culture. Le tableau s’étend sur deux pages, et l’équipe saisit environ 370 nombres à la main.
Au printemps dernier, un nombre s’est retrouvé dans la mauvaise colonne. Le conseil l’a utilisé pendant un mois avant que quelqu’un remarque l’erreur. Ruth demande à son analyste, Kofi Mensah :
« Est-ce qu’un programme peut copier le tableau? Je veux deux choses. Le conseil doit voir où chaque nombre est imprimé dans le rapport. Et je veux une preuve que la copie est exacte, pas une promesse. »
Kofi a un corrigé pour établir cette preuve. L’organisme publie aussi le même tableau en fichiers CSV, dans une archive zip à côté du PDF. On peut donc vérifier chaque cellule lue dans le PDF avec le fichier de l’organisme.
Sam, un nouveau membre de l’équipe de Kofi, pose la question évidente : « Si le CSV existe, pourquoi lire le PDF? » Kofi donne trois raisons. Le PDF est le document officiel publié, et le conseil cite ses pages. Le CSV n’a ni page ni cadre. Et la plupart des rapports que Ruth lit n’ont pas de CSV. Un lecteur éprouvé sur ce tableau pourra servir pour ces rapports. C’est le CSV qui fait de ce rapport un test équitable.
Ce que vous allez créer
Section intitulée « Ce que vous allez créer »Vous allez créer un lecteur de tableau pour un tableau sur deux pages. Il trouve le tableau par son titre, lit les deux pages et les joint en 41 lignes et 9 colonnes. Chaque cellule conserve son texte imprimé, son unité, sa page et son cadre. Ensuite, vous le notez cellule par cellule avec le CSV de l’organisme. Vous le comparez à quatre autres façons de lire les mêmes pages. Vous ajoutez deux vérifications qui ne nécessitent aucun CSV. Enfin, vous exécutez tout sur le rapport du mois suivant sans modifier une ligne.
Les compétences viennent de l’ensemble du cours. Vous utilisez la récupération des tableaux, les cadres de preuve et le chemin vision de Chemins texte et OCR. Vous utilisez aussi les vérifications selon les règles d’affaires et les scores par champ.
Description textuelle du diagramme
Le PDF du rapport contient 47 pages. Le lecteur trouve les pages du tableau par son titre : les pages 25 et 26. Il lit chaque page. Les traits imprimés déterminent les colonnes, et les lignes de texte déterminent les lignes. Il retrouve les noms des en-têtes, les unités, les groupes, les parties et les appels de note. Puis il joint les deux pages par l’étiquette de la ligne, en 41 lignes et 9 colonnes. Chaque cellule du résultat possède une valeur, une unité, une page et un cadre. Le tableau est ensuite comparé cellule par cellule aux fichiers CSV de l’organisme. Il est aussi vérifié selon sa propre logique : les parties s’additionnent, et la superficie multipliée par le rendement donne la production. Chaque cellule devient une correspondance, une valeur incorrecte, une valeur manquante ou une valeur supplémentaire.
Les données
Section intitulée « Les données »Le rapport est Crop Production, du USDA National Agricultural Statistics Service (NASS). L’étude de cas utilise deux publications : septembre 2026 (47 pages) et octobre 2026 (48 pages). Chaque publication comprend un PDF et une archive zip de fichiers CSV, un CSV par partie de tableau.
Le tableau est « Crop Area Planted and Harvested, Yield, and Production in Domestic Units – United States : 2025 and 2026 » (superficie semée et récoltée, rendement et production des cultures en unités nationales — États-Unis : 2025 et 2026). En septembre, il se trouve aux pages 25 et 26. Chaque ligne représente une culture aux États-Unis, comme Barley (orge), ou Alfalfa (luzerne), une partie de « Hay, all » (tout le foin). Les valeurs de 2026 sont des prévisions à la date du rapport.
Source et licence. Crop Production, publié les 11 septembre et 9 octobre 2026 par le USDA National Agricultural Statistics Service. Le rapport est une œuvre du gouvernement des États-Unis et appartient au domaine public. L’USDA demande une mention de source; utilisez « USDA National Agricultural Statistics Service ». Nextia Learning n’a rien modifié dans les fichiers. La fiche du jeu de données contient les liens et les sommes de contrôle SHA-256.
Kofi a comparé quatre rapports avant de choisir celui-ci. Les deux rapports du Census sur le revenu et la pauvreté offrent leurs tableaux en ligne sous forme de feuilles de calcul. Leurs PDF n’ont donc aucun tableau sur deux pages. Le rapport sur l’emploi du Bureau of Labor Statistics a la bonne structure, mais son serveur refuse les scripts (403 Forbidden, accès interdit). Le carnet d’un apprenant ne pourrait pas le télécharger. Crop Production offre le tableau sur deux pages, le même tableau en CSV et un serveur qui répond aux scripts. Une nouvelle version est publiée chaque mois.
Le dictionnaire de données
Section intitulée « Le dictionnaire de données »Les colonnes, en mots simples. Les unités sont imprimées dans le tableau, et le lecteur les prend à cet endroit.
| Colonne | Signification | Unité |
|---|---|---|
| Area planted / 2025, 2026 (superficie semée) | Terres semées avec la culture | 1 000 acres |
| Area harvested / 2025, 2026 (superficie récoltée) | Terres récoltées | 1 000 acres |
| Unit (unité) | Un mot imprimé après l’étiquette à la page 26 : bushels (boisseaux), tons (tonnes), pounds (livres), cwt (quintaux américains), bales (balles), gallons | — |
| Yield per acre / 2025, 2026 (rendement par acre) | Récolte par acre récoltée | unité de la ligne par acre, ou livres (note 2) |
| Production / 2025, 2026 | Récolte totale | 1 000 unités de la ligne |
Deux codes remplacent des nombres : (NA) non disponible et (X) sans objet. Une cellule peut aussi être vide. La note du tableau précise le sens d’une cellule vide : « estimation period has not yet begun » (la période d’estimation n’a pas encore commencé).
Premier regard sur la page
Section intitulée « Premier regard sur la page »Avant d’écrire du code, Kofi lit la page 25 comme une personne le ferait. Six éléments comptent pour un programme. L’image les indique sur la vraie page, avec les cadres trouvés par le lecteur terminé.

Description textuelle du diagramme
L’image montre le haut de la page 25, avec l’en-tête des colonnes et les neuf premières lignes de cultures. Numéro 1 : quatre traits verticaux fins séparent la colonne des étiquettes et les quatre colonnes de valeurs. Numéro 2 : les mots « Area planted » se trouvent au-dessus de deux colonnes, 2025 et 2026. Ils forment donc l’en-tête des deux. En dessous, une ligne d’unité indique « 1,000 acres » (1 000 acres) pour chaque colonne. Numéro 3 : « Grains and hay » est en gras et n’a aucun nombre : c’est un nom de groupe. Numéro 4 : Alfalfa et All other sont en retrait sous « Hay, all » : ce sont ses parties. Numéro 5 : l’étiquette « Corn for grain » finit par un petit 1, un appel de note imprimé en 5 points. Le texte est en 8 points. Numéro 6 : Corn for silage n’a aucune valeur sous 2026, pour les deux superficies. Les emplacements vides restent en place, donc 6 208 reste sous « Area harvested / 2025 ».
La page 26 fait quelque chose que la liste de prix de Tableaux et feuilles de calcul ne faisait pas. Elle n’ajoute pas de lignes. Elle imprime les mêmes 41 lignes à nouveau, avec de nouvelles colonnes : l’unité, le rendement et la production. Un tableau large a été divisé sur deux pages, de gauche à droite.

Description textuelle du diagramme
À gauche, la page 25 montre les colonnes de superficie. La ligne Rice est surlignée, avec ses quatre valeurs de superficie : 2 812, 2 102, 2 740 et 2 057 milliers d’acres. À droite, la page 26 montre les colonnes d’unité, de rendement et de production pour les mêmes lignes. Rice est de nouveau surligné, avec un petit appel 2 après son étiquette et l’unité cwt. Ses rendements sont 7 544 et 7 690, et sa production, 206 707 et 158 180. Sous le tableau, la note « 2 Yield in pounds. » est encadrée en rouge. Le rendement de Rice est donc en livres par acre, même si sa colonne d’unité indique cwt. Sa production reste en milliers de cwt.
Le corrigé a aussi des pièges
Section intitulée « Le corrigé a aussi des pièges »L’archive zip de l’organisme contient un fichier CSV par partie du tableau : crop_p25_t195.csv et crop_p26_t196.csv. Un fichier d’aide explique le format. La première valeur est un numéro de tableau, et la deuxième est un type de ligne : t titre, h en-tête, u unités, d données, f note. Kofi lit la partie de la page 26 (quelques-unes de ses lignes) :
Not UTF-8: 'utf-8' codec can't decode byte 0x96 in position 274: invalid start byte196,"h","","","Yield per acre","Yield per acre","Production","Production"196,"u","","","","(1,000)","(1,000)"196,"d","Corn for silage","tons",21.8,,135540,196,"d","Spearmint oil","pounds",139,"",1609196,"f","2/ Yield in pounds."Ce que cela nous apprend. Il faut aussi lire le corrigé avec soin :
- Les fichiers sont du texte Windows-1252, pas UTF-8. L’octet 0x96 est le tiret du titre. La lecture en UTF-8 s’arrête avec une erreur.
- Les appels de note sont écrits
2/, et non en petits chiffres. Les lignes en retrait commencent par deux espaces. - La dernière ligne de données, Spearmint oil (huile de menthe verte), a une valeur de moins que les autres. Le fichier omet la cellule vide à la fin. Chacune des deux parties contient une telle ligne.
- La ligne des unités manque d’une valeur. Avec une lecture par position,
(1,000)arrive sous « Yield per acre / 2026 ». « Production / 2026 » n’obtient aucune unité. Sur la page,(1,000)se trouve au-dessus des deux colonnes de production.
Le CSV est donc un bon corrigé pour les valeurs, mais un mauvais corrigé pour les unités. read_reference() dans le script de l’étude de cas trouve les deux parties par leur titre, les joint et traite les lignes courtes comme contenant des cellules vides. Cela donne 41 lignes × 9 colonnes = 369 cellules à vérifier.
Définir le problème
Section intitulée « Définir le problème »La mesure est simple : les cellules qui correspondent au CSV de l’organisme, sur 369. Une cellule correspond lorsque les deux contiennent le même nombre (2,299 et 2299 sont équivalents), le même code, ou sont vides. Toute autre cellule est l’une de trois erreurs, comme dans Métriques par champ :
- manquante : l’organisme a une valeur, mais la lecture n’en a aucune, ou n’a pas trouvé la ligne du tout;
- supplémentaire : la lecture a une valeur là où l’organisme a une cellule vide;
- incorrecte : les deux ont une valeur, mais elles diffèrent.
Pour Ruth, une valeur supplémentaire ou incorrecte est pire qu’une valeur manquante. Une valeur manquante apparaît comme un vide dans la feuille. Une valeur dans la mauvaise cellule semble normale, et le conseil l’utilise pour planifier.
Deux autres éléments comptent, en dehors du score. Provenance : la lecture peut-elle montrer la page et le cadre de chaque cellule? Et coût : combien coûte l’exécution mensuelle, en argent et en temps?
Une référence de base : la page en texte brut
Section intitulée « Une référence de base : la page en texte brut »La lecture la plus rapide prend le texte de la page, une ligne par rangée. L’étiquette se termine aux points de suite, et les nombres remplissent les colonnes de gauche à droite. Voici trois lignes de la page 25, telles que la bibliothèque PDF les fournit :
Corn for grain 1 ....................................................................... 98,788 96,777 91,258 88,506Corn for silage ........................................................................ (NA) 6,208Proso millet ............................................................................. 442 500 397Faites une prédiction avant de continuer : où arrive 6,208? Le texte n’a aucune cellule vide, seulement une espace. Donc 6,208 devient le deuxième nombre, « Area planted / 2026 », là où l’organisme n’a rien.
Plain text, split at spaces 287 of 369 cells match (wrong 0, missing 65, extra 17) Corn for grain Area planted / 2025 ours None agency '98788' Corn for silage Area planted / 2026 ours '6,208' agency '' Corn for silage Area harvested / 2025 ours None agency '6208'Ce que cela nous apprend. 82 cellules sont perdues, sans qu’un seul caractère ait été mal lu :
- 34 cellules se déplacent à gauche, au-delà d’une cellule vide, dans des lignes comme Corn for silage, Proso millet (millet commun) et Spearmint oil. Chaque déplacement crée une valeur supplémentaire dans une cellule et une valeur manquante dans une autre. Ce sont les erreurs que l’équipe de Ruth faisait à la main.
- 48 cellules sont dans des lignes que la lecture ne trouve pas. « Corn for grain 1 » n’est pas « Corn for grain » : l’appel de note reste attaché à l’étiquette. Dix lignes ont un appel de note.
Autres approches
Section intitulée « Autres approches »Le détecteur de tableaux de la bibliothèque PDF
Section intitulée « Le détecteur de tableaux de la bibliothèque PDF »pdfplumber, la bibliothèque PDF du cours, possède un détecteur de tableaux. Avec ses paramètres par défaut, il cherche des lignes autour de chaque cellule. Cette page a des traits verticaux, mais aucune ligne entre les rangées. Le détecteur renvoie donc 3 rangées. Chaque colonne de valeurs forme une grande cellule qui contient toute la colonne. La colonne des libellés et la dernière colonne manquent, car aucun trait ne délimite les bords extérieurs du tableau. 0 cellule sur 369 peut être reliée à une zone découpée.
Kofi indique ensuite au détecteur ce que contient la page : les colonnes définies par les traits, les rangées de texte et les deux bords extérieurs du tableau. Cette fois, il obtient 321 cellules sur 369. Toutes les cellules vides sont correctes. Les 48 cellules perdues correspondent aux dix mêmes rangées avec des appels de note. Dans le texte de la bibliothèque, « Rice ² » devient « Rice 2 ».
Les colonnes par les traits, les rangées par les mots
Section intitulée « Les colonnes par les traits, les rangées par les mots »Pensez aux lignes qu’un tailleur trace à la craie sur du tissu. Le tailleur ne devine pas où couper : les lignes sont déjà là. Un tableau imprimé trace aussi ses propres lignes. Le problème : un programme qui lit le texte ne voit aucune ligne, seulement des caractères dans l’ordre. Une cellule vide disparaît donc, et un petit appel de note semble faire partie du libellé.
L’idée consiste à utiliser les tracés de la page. pdfplumber fournit chaque mot avec son rectangle et sa taille de police, ainsi que chaque rectangle mince dessiné sur la page. Le lecteur fait donc trois choses :
- Les colonnes par les traits. Les traits verticaux minces donnent les limites des colonnes. Un mot appartient à la colonne qui contient le milieu de son rectangle. Une colonne sans mot sur une ligne est une cellule vide, qui garde sa place.
- Les appels de note par la taille. Un mot de moins de 6 points est un appel de note, conservé séparément du libellé.
- Les groupes et les parties par le style. Une ligne en gras sans nombres est un groupe, répété vers le bas comme une cellule de catégorie fusionnée. Un libellé en retrait est une partie de la rangée au-dessus.
Voici un petit exemple, sur la ligne « Corn for silage » (maïs à ensiler) de la page 25 :
column edges: [36, 261, 340, 419, 497, 576]Corn x 37.8 to 55.1 middle 46.5 size 8(NA) x 318.6 to 335.0 middle 326.8 size 86,208 x 472.4 to 492.5 middle 482.4 size 8Faites-le à la main. 326,8 se situe entre 261 et 340. Donc, (NA) se trouve dans la première colonne de valeurs, « Area planted / 2025 » (superficie ensemencée / 2025). 482,4 se situe entre 419 et 497. Donc, 6,208 se trouve dans la troisième, « Area harvested / 2025 » (superficie récoltée / 2025). Aucun mot n’a son milieu entre 340 et 419, ni entre 497 et 576. Ces deux cellules sont vides et gardent leur place.
Le lecteur joint ensuite les pages par le libellé de la rangée et son parent, plutôt que de les empiler. Il prend les unités dans l’en-tête (« 1,000 acres », soit milliers d’acres) et dans la rangée de la page 26. Ainsi, « bushels » (boisseaux) donne « bushels per acre » (boisseaux par acre) et « 1,000 bushels » (milliers de boisseaux). Une note indiquant « Yield in pounds » (rendement en livres) change l’unité du rendement pour les rangées qui portent son appel. Voici quelques cellules de Rice, telles que le lecteur les renvoie :
Rice | group Grains and hay | marks ['2'] Area harvested / 2025 2,740 1,000 acres page 25 box [472.4, 211.3, 492.5, 219.4] Unit cwt None page 26 box [246.5, 210.4, 258.6, 218.4] Yield per acre / 2025 7,544 pounds per acre page 26 box [314.2, 210.4, 334.3, 218.4] Production / 2025 206,707 1,000 cwt page 26 box [462.8, 210.4, 491.8, 218.4]Rules and word positions 369 of 369 cells match (wrong 0, missing 0, extra 0)Les 369 cellules concordent. Chaque cellule possède sa page et son rectangle en points. La feuille du conseil peut donc relier chaque nombre à son emplacement dans le rapport.
Quand l’utiliser : pour des tableaux imprimés avec des traits, dans un PDF avec une couche de texte. Quand ne pas l’utiliser : pour un tableau numérisé, car l’OCR donne des lignes de texte, pas des mots avec des tailles de police. Le cours ne contient aucun tableau numérisé, donc ce cas n’est pas testé. Un tableau sans traits est aussi plus difficile. Il faut déterminer les limites à partir des espaces entre les mots, ce qui est moins fiable. Son coût : aucun coût monétaire, et environ 3 secondes par rapport sur l’ordinateur de l’auteur. Presque tout ce temps sert à trouver les pages par leur titre. La lecture des deux pages prend environ 0,01 seconde.
Le modèle de vision
Section intitulée « Le modèle de vision »Le modèle de vision du cours a lu les deux pages sous forme d’images, avec un schéma JSON strict. Il a renvoyé chaque rangée, ses appels de note, son unité et ses valeurs exactement comme dans le document imprimé. Il utilise "" pour une cellule vide. Les réponses ont été enregistrées deux fois, sur les mêmes pages :
pass1 page 25: 2532 + 1590 tokens, 18.07 s, US$0.02096pass1 page 26: 2532 + 1591 tokens, 18.09 s, US$0.02097Vision model (pass1, recorded) 369 of 369 cells match (wrong 0, missing 0, extra 0)Vision model (pass2, recorded) 369 of 369 cells match (wrong 0, missing 0, extra 0)a box for Rice's yield? NoneLe modèle lit correctement chaque valeur sur ces pages imprimées nettes. Le deuxième passage a donné les mêmes rangées. Il a aussi renvoyé les appels de note des 41 rangées comme dans le CSV. Mais il donne des valeurs, pas des emplacements : aucune cellule n’a de rectangle. La lecture d’un mois coûte environ 0,04 $ US et prend 36 secondes, au tarif affiché utilisé dans le cours. Les prix changent : consultez la page actuelle de votre fournisseur.
Une comparaison équitable
Section intitulée « Une comparaison équitable »Voici les cinq lectures, avec les mêmes 369 cellules et la même règle de concordance :
- Références de base
- Modèle de vision (enregistré)
- Traits et positions des mots
Description textuelle du graphique
Texte brut, séparé aux espaces : 287 sur 369 (77,8 %). Détecteur de tableaux par défaut de la bibliothèque : 0 sur 369. Bibliothèque avec les traits, les rangées de texte et les bords du tableau : 321 sur 369 (87,0 %). Traits et positions des mots : 369 sur 369 (100 %). Modèle de vision, enregistré : 369 sur 369 (100 %), aux deux passages.
| Lecture | Cellules qui concordent | Erreurs | Page et rectangle par cellule | Coût par rapport |
|---|---|---|---|---|
| Texte brut | 287 | 65 manquantes, 17 en trop | non | aucun |
| Bibliothèque, paramètres par défaut | 0 | 369 manquantes | non | aucun |
| Bibliothèque, traits et bords | 321 | 48 manquantes | seulement la cellule de la grille | aucun |
| Traits et positions des mots | 369 | aucune | oui, le rectangle des mots imprimés | aucun, environ 3 s |
| Modèle de vision (enregistré) | 369 | aucune | non | environ 0,04 $ US, 36 s |
Ce que cela nous apprend. Aucune lecture n’a mal lu un caractère. Chaque erreur venait de la structure : une cellule vide perdue ou un appel de note collé à un libellé. Pour les valeurs, deux lectures arrivent à égalité avec 369. La différence se trouve dans tout le reste. Seule la lecture par position des mots donne l’emplacement imprimé de chaque cellule. Et son exécution chaque mois ne coûte rien.
La recommandation
Section intitulée « La recommandation »Kofi écrit à Ruth dans les mots qu’elle utilise :
- Utilisez le lecteur par position des mots pour le tableau mensuel. Pour le rapport de septembre, il a copié les 369 cellules exactement comme dans le fichier de l’agence. Chaque nombre dans la feuille du conseil peut pointer vers sa page et son emplacement dans le rapport.
- Comparez chaque mois au CSV de l’agence, tant que l’agence le publie. Une différence arrête la copie, et une personne regarde la page.
- Exécutez aussi les deux vérifications du tableau. Elles fonctionnent sans CSV et restent donc utiles pour les rapports qui n’en ont pas.
- Gardez le modèle de vision comme deuxième lecteur, pas comme premier. Il concordait pour chaque cellule, mais ne peut pas montrer où un nombre est imprimé. Utilisez-le pour confirmer une page ou lire une page sans couche de texte.
Et ce qu’il ne faut pas en faire :
- Ne traitez pas les nombres de 2026 comme définitifs. Ce sont des prévisions, et le rapport suivant les révise.
- Ne dirigez pas le lecteur vers un autre tableau sans vérification. Un nouveau tableau exige sa propre comparaison avec des valeurs connues.
Des vérifications sans CSV
Section intitulée « Des vérifications sans CSV »La plupart des rapports que Ruth lit n’ont pas de CSV. Le tableau peut tout de même se vérifier avec deux règles tirées de sa propre logique. Validation selon les règles d’affaires vérifiait que les montants d’un reçu donnaient le total. Ces vérifications font la même chose pour un tableau :
- Les parties donnent le total. Alfalfa + All other = « Hay, all », pour chaque colonne de superficie et de production. Même chose pour le blé et le coton : 16 vérifications.
- Superficie × rendement = production, après conversion des unités. Pour Rice : 2 740 milliers d’acres × 7 544 livres par acre ÷ 100 livres par cwt = 206 705,6 milliers de cwt. La page affiche 206 707. Une balle de coton pèse 480 livres. Cela donne 63 vérifications.
Les valeurs imprimées sont arrondies. Une vérification tolère donc l’arrondi de chaque valeur : la moitié de sa dernière unité affichée. Pour Rice, cela représente 51,9 milliers de cwt. Dans le tableau de septembre, 79 vérifications sur 79 réussissent. Trois rangées n’ont aucune vérification : Cottonseed, Maple syrup et Mushrooms, dont les rendements sont (X) ou (NA).
Erreur courante
Deux chiffres inversés dans un grand nombre
Symptôme : La feuille du conseil affiche une production de blé de 1 948 537 milliers de boisseaux pour 2025. Rien ne semble étrange : le nombre est plausible.
Cause : C’est un cas construit : quelqu’un a saisi 1 948 537 au lieu de 1 984 537. Deux chiffres ont changé de place, le genre d’erreur que l’équipe faisait à la main.
Diagnostic : Exécutez les vérifications. Deux échouent, et les deux pointent vers la même cellule :
parts add up | Wheat, all Production / 2025 | printed 1948537.0 computed 1984537.0 allowed 2.0area x yield | Wheat, all Production / 2025 | printed 1948537.0 computed 1984945.3 allowed 1889.2Les parties (Winter + Durum + Other spring) donnent 1 984 537. Superficie × rendement donne environ 1 984 945.
Correction : Ouvrez le rectangle de la cellule à la page 26 et lisez la valeur imprimée. Une vérification peut signaler une erreur, mais pas dire quel côté est incorrect. Le rectangle indique à une personne où regarder.
Conséquence pour le travail en IA : un tableau extrait qui n’est jamais vérifié échoue sans le signaler. Un modèle à qui l’on demande « combien de blé en 2025? » cite la mauvaise cellule avec une confiance totale. Les vérifications tirées de la logique des données détectent des erreurs qu’aucun score de confiance ne révèle.
De bout en bout sur une nouvelle entrée : le rapport d’octobre
Section intitulée « De bout en bout sur une nouvelle entrée : le rapport d’octobre »Un mois plus tard, l’agence publie le prochain Crop Production. Kofi exécute le même lecteur, sans changer le code :
pages [26, 27]October, rules and word positions 369 of 369 cells match (wrong 0, missing 0, extra 0)82 of 82 checks pass111 cells changed since September Corn for grain | Yield per acre / 2026: 178.5 -> 181.2 (page 27, box [393.7, 145.9, 413.8, 154.0]) Corn for grain | Production / 2026: 15,799,759 -> 16,033,944 (page 27, box [531.4, 145.9, 571.4, 154.0])Ce que cela nous apprend. Le tableau a avancé d’une page, aux pages 26 et 27. Le lecteur l’a trouvé par son titre. Un lecteur utilisant les numéros de page aurait lu les mauvaises pages. Les fichiers CSV ont aussi changé d’emplacement, de crop_p25_t195.csv à crop_p26_t195.csv. Le lecteur de référence les a également trouvés par leur titre. Les 369 cellules concordent avec le CSV d’octobre. Les 82 vérifications sur 82 réussissent : 3 de plus qu’en septembre, car de nouvelles prévisions ont rempli des cellules vides.
La nouvelle exécution répond aussi à la vraie question du conseil : qu’est-ce qui a changé? 111 cellules ont changé depuis septembre. La prévision de maïs pour 2026 a augmenté, de 15 799 759 à 16 033 944 milliers de boisseaux. Six cellules vides ont reçu des valeurs, comme les premières prévisions de 2026 pour le seigle, le canola et le tournesol. Chaque changement comprend sa page et son rectangle dans le nouveau rapport. Le modèle de vision enregistré concordait aussi avec les 369 cellules du tableau d’octobre.
Le même lecteur a aussi lu la version métrique du tableau, sur les deux pages suivantes. Il concordait avec 328 cellules sur 328, dans les deux publications. Ce tableau présente ses unités dans l’en-tête (hectares, tonnes métriques) et n’a aucune colonne d’unités. Le lecteur n’avait pas été conçu pour lui.
Constats et limites
Section intitulée « Constats et limites »- La structure, pas les caractères. Toutes les lectures qui ont échoué voyaient correctement chaque caractère. Les pertes venaient des cellules vides et des appels de note. C’est encore la leçon de Tableaux et feuilles de calcul, sur un vrai rapport.
- Un rapport net est un test facile. Ces pages sont créées en format numérique, avec une couche de texte et des traits imprimés. Le résultat de 369 sur 369 du modèle de vision est réel, mais ne dit rien sur une numérisation ou une photo.
- Le lecteur connaît les habitudes de ce rapport. Il exige des traits verticaux, des libellés terminés par des points de suite et des appels de note de moins de 6 points. Il exige aussi une page « (continued) » (suite) avec les mêmes rangées. Un rapport avec une autre mise en page exige une nouvelle comparaison avec des valeurs connues.
- Le CSV vérifie l’extraction, pas les statistiques. Le PDF et le CSV proviennent du même système de l’agence. Leur concordance prouve que la copie est correcte, pas que la prévision est correcte.
- Les vérifications ont des angles morts. Une mauvaise valeur dans Cottonseed, Maple syrup ou Mushrooms passe toutes les vérifications. Un mauvais rendement et une mauvaise production qui concordent entre eux passeraient aussi.
Utilisation responsable
Section intitulée « Utilisation responsable »- Citez la source. Le rapport appartient au domaine public, et l’USDA demande cette mention : « USDA National Agricultural Statistics Service ». Indiquez de quelle publication provient chaque nombre.
- Dites « prévision » quand c’est une prévision. Une décision du conseil fondée sur une prévision de septembre doit le préciser. Elle doit aussi être révisée après la prochaine publication.
- Respectez le serveur de l’agence. Téléchargez chaque publication une seule fois, gardez une copie avec sa somme de contrôle et ne téléchargez pas en boucle. Pour cette raison, le carnet (notebook) Jupyter utilise une copie des laboratoires comme solution de repli.
- Faites intervenir une personne en cas de différence. Quand le lecteur et le CSV divergent, ou qu’une vérification échoue, une personne ouvre la page. Le lecteur ne doit jamais « corriger » un nombre lui-même.
Faites-en un projet de portfolio
Section intitulée « Faites-en un projet de portfolio »Cette étude de cas montre à un employeur que vous savez transformer un vrai PDF public en données vérifiées. Vous fournissez aussi une preuve pour chaque valeur. Personnalisez-la avec un changement : un autre tableau de ce rapport, un rapport d’une autre agence avec un CSV ou un tableau sans traits. Rendez ensuite le projet public et facile à lire en cinq minutes.
Quoi mettre dans le dépôt :
README.md, la page que les gens lisent en premier (modèle ci-dessous).- Le carnet, exécuté du début à la fin, avec ses sorties, et
report_table.py. results.csv: une ligne par cellule avec la valeur, l’unité, la page, le rectangle et le résultat de concordance.- La source et la licence des données : le nom du rapport, sa date de publication, l’agence, « domaine public » et les sommes de contrôle. Le domaine public vous permet de garder une copie.
Un modèle de README :
# Extracting a two-page table from a USDA report, with evidence per cell
## ProblemA planning team copies ~370 numbers a month from the USDA Crop Production report,a table over two pages. Typing errors go unseen. Goal: copy it automatically, with thepage and box of every number, and prove the copy right.
## Data and licenceUSDA NASS, Crop Production, September and October 2026 releases (PDF + the agency'sCSV of the same table). US Government work, public domain. SHA-256 in data/SHA256SUMS.
## ApproachFind the table by its title. Columns from the printed rules, rows from the words,footnote marks by font size, groups and parts by style. Join the pages by row label.Units from the header, the row and the footnotes. Compare cell by cell with the CSV.
## Results (369 cells)Plain text 287; PDF library default 0; library with rules 321; word positions 369;vision model (recorded) 369, but no boxes and US$0.04 per report.New input (October): 369/369, 82/82 checks, 111 cells changed.
## LimitsOne report layout; born-digital pages only; the CSV checks the copy, not the statistics.Comment le décrire en entrevue, en trois phrases : « J’ai créé un lecteur qui extrait un tableau de deux pages d’un rapport de l’USDA avec la page et le rectangle de chaque cellule. Vérifié cellule par cellule avec le CSV de l’agence, il a obtenu 369 sur 369, contre 287 pour le texte brut. Il a fonctionné sans changement sur le rapport du mois suivant, et les sommes du tableau ont détecté deux chiffres inversés. »
Pour aller plus loin :
- Ajoutez une vérification qui compare les appels de note du CSV à ceux du PDF. Ajoutez-en une qui prend chaque unité sur la page, et non dans la ligne d’unités du CSV.
- Lisez le tableau sans ses traits : trouvez les limites des colonnes à partir des espaces entre les nombres, puis comparez le score.
- Exécutez le lecteur sur la publication d’un an plus tôt et dressez la liste de ce qui ne fonctionne plus.
- Convertissez les deux pages en images, exécutez l’OCR du cours et examinez les besoins de l’approche par position des mots sans couche de texte.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Le texte brut et la bibliothèque avec les lignes lisent tous les caractères correctement, mais obtiennent 287 et 321. Expliquez où chacun perd des cellules.
Afficher la réponse
Le texte brut n’a pas de colonnes, seulement des mots dans l’ordre. Une cellule vide devient une seule espace. La valeur suivante se déplace donc vers la gauche, dans la mauvaise colonne. Cela ajoute ou supprime 34 cellules, dans des lignes comme Corn for silage (maïs à ensilage). La bibliothèque avec les lignes conserve les colonnes, donc ses cellules vides sont correctes. Les deux perdent les dix lignes avec un appel de note, soit 48 cellules. L’appel de note est un petit nombre après l’étiquette. Dans le texte, il fait partie de l’étiquette. Ainsi, « Corn for grain 1 » ne correspond pas à « Corn for grain » (maïs-grain). Le lecteur basé sur la position des mots sépare les appels de note grâce à leur taille de police.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Le modèle de vision a aussi fait correspondre 369 cellules sur 369, deux fois. Ruth demande pourquoi Kofi ne l'utilise pas comme lecteur. Que répond-il?
Afficher la réponse
Le conseil veut voir où chaque nombre est imprimé, mais le modèle renvoie des valeurs sans cadres. Le lecteur basé sur la position des mots fournit la page et le cadre de chaque cellule. Il le fait sans frais, en environ 3 secondes. Le modèle coûte environ 0,04 $ US et prend 36 secondes par rapport. Sa réponse pourrait changer sur une page plus difficile. Il obtient son score parfait uniquement sur des pages propres, créées au format numérique. Kofi le garde donc comme deuxième lecteur. Il peut confirmer une page, ou lire une page sans couche de texte, donc sans positions des mots.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
L'an prochain, l'agence cesse de publier le CSV. Quelles parties de l'étude de cas protègent encore la feuille de Ruth, et que perd-on?
Afficher la réponse
Le lecteur fonctionne toujours : il a seulement besoin du PDF. Les deux vérifications fonctionnent encore : les parties s’additionnent, et superficie × rendement donne la production, à l’arrondi près. Elles ont détecté deux chiffres intervertis dans le cas construit. Les cadres permettent encore à une personne de vérifier n’importe quel nombre sur la page. Ce qui disparaît, c’est la preuve cellule par cellule. Une valeur erronée dans Cottonseed (graines de coton), Maple syrup (sirop d’érable) ou Mushrooms (champignons) passe toutes les vérifications. C’est aussi le cas d’un rendement et d’une production erronés qui concordent. Kofi devrait vérifier à la main un échantillon de cellules chaque mois. Il devrait aussi utiliser le modèle de vision comme deuxième lecteur pour ces lignes.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Vous avez trouvé un tableau par son titre, pas son numéro de page : pages 25–26 en septembre, 26–27 en octobre.
- Le texte brut a fait correspondre 287 cellules sur 369 : les cellules vides déplacent les valeurs vers la gauche. Les appels de note restent collés aux étiquettes. L’outil de détection par défaut de la bibliothèque en a fait correspondre 0. Avec les lignes et les bordures de la page, il en a fait correspondre 321.
- Les colonnes à partir des lignes, les rangées à partir des mots, les appels de note par taille et les groupes par style ont permis de faire correspondre 369 cellules sur 369. Chaque cellule a une unité, une page et un cadre. Le résultat enregistré du modèle de vision comptait aussi 369 correspondances, mais sans cadres.
- Le CSV de l’agence sert de corrigé pour les valeurs. Il a ses propres pièges : Windows-1252, une dernière ligne courte et une ligne d’unités à laquelle il manque une cellule.
- Deux vérifications n’ont pas besoin du CSV : les parties s’additionnent et superficie × rendement. Elles ont détecté deux chiffres intervertis. Le rapport d’octobre a été traité sans modification : 369 correspondances sur 369, et 111 cellules avaient changé.
Ensuite, le travail final : créez et évaluez votre propre pipeline d’extraction.
Leçon suivante : Travail final