Aller au contenu
English

Tableaux et feuilles de calcul

  • Leçon 9
  • 55 min
  • Module 3 : Retrouver la structure et les tableaux

Où nous en sommes

Dans la dernière leçon, nous avons transformé une politique en blocs qui gardent leur chemin de section. Mais un tableau n'est pas fait de paragraphes. La liste de prix d'un fournisseur continue sur une deuxième page, répète son en-tête et imprime chaque catégorie une seule fois : une lecture ligne par ligne perd des cellules sans un seul caractère erroné. Dans cette leçon, nous reconstituons le tableau avec un enregistrement par produit, et nous lisons la même liste sous forme de feuille de calcul.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité

Ce que vous saurez faire

Lisez la liste de prix d’un fournisseur sous forme d’un seul tableau propre, avec un enregistrement par produit. Le tableau continue sur une deuxième page, répète son en-tête et imprime chaque catégorie une seule fois. Lisez ensuite la même liste sous forme de feuille de calcul. Chaque cellule conserve sa valeur, son unité et sa position : une page et un rectangle, ou une feuille et une adresse.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 55 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

  • Votre projet à la fin de la leçon précédente : python -m pytest -q affiche 68 passed (68 tests réussis).
  • Le dépôt des exercices dans ~/projects/nextia-learning-labs, à jour.

Testé avec Python 3.12.13, pdfplumber 0.11.10 et openpyxl 3.1.5 sur macOS (Apple silicon). Les commandes Windows et Linux ne sont pas testées. Le fournisseur, AquaFlow Supply, et ses prix sont inventés par le générateur du cours.

  1. Dans le dossier du projet, copiez les deux modules et leurs tests depuis l’instantané :

    Fenêtre de terminal
    S=../nextia-learning-labs/C13/snapshots/end-of-m03
    cp $S/doc_extract/tables.py $S/doc_extract/sheets.py doc_extract/
    cp $S/tests/test_tables.py $S/tests/test_sheets.py tests/

    tables.py lit les tableaux d’un PDF; sheets.py lit les feuilles de calcul.

  2. Exécutez les tests :

    Fenêtre de terminal
    python -m pytest -q

    La dernière ligne est 74 passed (74 tests réussis).

Pensez au catalogue papier d’un fournisseur de jardinage. Les prix sont dans un tableau. La catégorie « Hose reels » (dévidoirs) apparaît une seule fois, dans un grand rectangle à côté de ses quatre produits. Le tableau ne tient pas sur une page. La page 2 répète donc les titres des colonnes et affiche « Sprinklers (cont.) » (arroseurs, suite) en haut.

Copiez maintenant le catalogue dans un cahier, une ligne par produit. Vous faites trois choses sans y penser. Vous écrivez « Hose reels » sur chacune des quatre lignes, car chaque produit appartient à cette catégorie. Vous ne copiez pas les titres des colonnes de la page 2 comme s’il s’agissait d’un produit. Et vous écrivez « Sprinklers », pas « Sprinklers (cont.) » : c’est le même groupe. Un programme doit faire les mêmes trois choses, et il faut lui dire de les faire.

Le problème : le tableau tel que la bibliothèque PDF le fournit

Section intitulée « Le problème : le tableau tel que la bibliothèque PDF le fournit »

D056 est la liste de prix d’AquaFlow pour l’équipe des achats de Larkfield. Son tableau de 41 produits commence à la page 1 et continue à la page 2. La bibliothèque PDF, pdfplumber, trouve le tableau sur chaque page et renvoie ses lignes. Voici ce premier aperçu rapide :

Fenêtre de terminal
python -m doc_extract.tables D056 --naive
['Category', 'SKU', 'Description', 'Unit', 'Price (CAD)', None]
[None, None, None, None, 'Each', 'Case of 6']
['Hose reels', 'HR-30', 'Wall hose reel, 30 m', 'each', '59.00', '318.60']
[None, 'HR-50', 'Hose reel cart, 50 m', 'each', '119.00', '642.60']
[None, 'HR-15C', 'Compact reel, 15 m', 'each', '34.00', '183.60']
['...']
[None, 'SP-PUL', 'Pulse sprinkler on spike', 'each', '23.50', '126.90']
[None, 'SP-DRIP', 'Drip kit, 20 plants', 'kit', '44.00', '237.60']
[None, 'SP-MIST', 'Misting kit, patio', 'kit', '36.00', '194.40']
['Category', 'SKU', 'Description', 'Unit', 'Price (CAD)', None]
[None, None, None, None, 'Each', 'Case of 6']
['Sprinklers (cont.)', 'SP-TRV', 'Travelling sprinkler', 'each', '89.00', '480.60']
45 rows (header rows counted as data), cells correct: 172 of 246 (70%)

Chaque ligne est lue sans une seule erreur de caractère. Pourtant, seulement 172 des 246 cellules nécessaires à l’équipe des achats sont correctes : 41 produits × 6 colonnes. Quelles cellules sont perdues? Une courte vérification compte les cellules incorrectes par colonne :

{'Category': 34, 'Price (CAD) / Case of 6': 40}
  • La catégorie est perdue 34 fois. « Hose reels » est une cellule fusionnée : un rectangle qui couvre quatre lignes. La bibliothèque donne son texte à la première ligne seulement, et None (aucune valeur) aux trois lignes suivantes. Cela fait 33 cellules vides dans tout le tableau. La 34e est « Sprinklers (cont.) », qui n’est pas un nom de catégorie.
  • Le prix par caisse est perdu 40 fois. L’en-tête a deux lignes. « Price (CAD) » (prix en dollars canadiens) est une cellule fusionnée sur deux colonnes. La dernière colonne n’a donc aucun nom dans la première ligne, seulement None. Un programme qui prend la ligne 1 comme en-tête ne peut pas trouver une colonne « Case of 6 » (caisse de 6). Le 41e prix par caisse est « n/a » (sans objet), car le tuyau au mètre n’a pas de prix par caisse. Il est correct par hasard.
  • Il y a 45 lignes pour 41 produits. Les deux lignes d’en-tête sont comptées comme des lignes de données, sur les deux pages.

La question d’Omar, « combien payons-nous pour une caisse de SP-HOSE? », reste donc sans réponse. Et le nombre de produits par catégorie est incorrect.

L’idée : un tableau, un enregistrement par ligne, une position par cellule

Section intitulée « L’idée : un tableau, un enregistrement par ligne, une position par cellule »

La récupération de tableaux transforme les morceaux renvoyés par la bibliothèque en un seul tableau avec des colonnes nommées. Elle fait quatre choses, les mêmes que la personne avec le cahier :

  1. Joindre les lignes d’en-tête pour obtenir un nom par colonne. Une cellule vide dans la première ligne d’en-tête appartient à la cellule fusionnée à sa gauche. Une cellule vide dans une ligne inférieure appartient à la cellule au-dessus. « Price (CAD) » au-dessus de « Each » (à l’unité) donne le nom Price (CAD) / Each.
  2. Prendre les unités dans l’en-tête. Le texte entre parenthèses à la fin d’un nom, comme (CAD), est l’unité de toute la colonne. Chaque cellule de prix contient seulement un nombre.
  3. Remplir les cellules fusionnées. Une cellule sans texte et sans rectangle propre se trouve dans une cellule fusionnée. Elle reçoit la valeur de la cellule fusionnée au-dessus et conserve son rectangle, avec un indicateur filled (remplie). Vous verrez dans la prochaine leçon pourquoi ce rectangle compte.
  4. Joindre les pages. Un tableau sur la page suivante avec les mêmes lignes d’en-tête continue le même tableau. Le programme ignore ses lignes d’en-tête et retire « (cont.) » d’une valeur.

Chaque cellule du résultat est un petit enregistrement : la valeur, la page, le rectangle en points et filled.

Un petit exemple : deux lignes d’en-tête et une cellule fusionnée

Section intitulée « Un petit exemple : deux lignes d’en-tête et une cellule fusionnée »

Prenez les deux lignes d’en-tête exactement comme la bibliothèque les a fournies, et joignez-les :

from doc_extract import tables
header = [['Category', 'SKU', 'Description', 'Unit', 'Price (CAD)', None],
[None, None, None, None, 'Each', 'Case of 6']]
names = tables.column_names(header)
print(names)
print({n: tables.unit_of(n) for n in names})
['Category', 'SKU', 'Description', 'Unit', 'Price (CAD) / Each', 'Price (CAD) / Case of 6']
{'Category': None, 'SKU': None, 'Description': None, 'Unit': None, 'Price (CAD) / Each': 'CAD', 'Price (CAD) / Case of 6': 'CAD'}

Suivez la dernière colonne à la main. Dans la ligne 1, sa cellule vaut None. Elle prend donc la valeur à sa gauche : « Price (CAD) ». Dans la ligne 2, elle contient « Case of 6 ». Le nom réunit les deux parties : Price (CAD) / Case of 6. L’unité est le texte entre parenthèses, CAD. Les quatre premières colonnes ont None dans la ligne 2. Elles conservent donc leur nom de la ligne 1.

Passons à la catégorie fusionnée. Voici les deux premiers produits, après récupération :

HR-30 Category = Hose reels | page 1 | box [40, 138, 150, 214] | filled False
HR-30 Price (CAD) / Each = 59.00 | page 1 | box [440, 138, 505, 157] | filled False
HR-50 Category = Hose reels | page 1 | box [40, 138, 150, 214] | filled True
HR-50 Price (CAD) / Each = 119.00 | page 1 | box [440, 157, 505, 176] | filled False

Regardez les rectangles. Une cellule de prix a la hauteur d’une ligne : de 138 à 157 points, puis de 157 à 176. Le rectangle de catégorie de HR-30 va de 138 à 214 points : 76 points, soit quatre lignes de 19. C’est la cellule fusionnée. La catégorie de HR-50 a le même rectangle et filled True (remplie, vrai). Sa valeur vient de la cellule fusionnée, pas de sa propre ligne.

Parties des deux pages de la liste de prix d'AquaFlow. Page 1 : les deux lignes d'en-tête dans un cadre bleu, avec Price (CAD) dans une cellule au-dessus de Each et Case of 6; la catégorie Hose reels dans un cadre orange haut de quatre lignes, à côté de HR-30, HR-50, HR-15C et HR-30P; puis, après 26 autres lignes, les trois dernières lignes de la page 1 avec une colonne de catégorie vide. Page 2 : les deux lignes d'en-tête répétées, barrées en rouge; Sprinklers (cont.) dans un cadre orange à côté de SP-TRV, SP-HOSE et SP-BASE. Une légende numérotée explique les quatre problèmes.
La liste de prix de part et d'autre du saut de page. (1) Deux lignes d'en-tête avec une cellule fusionnée; (2) une catégorie imprimée une fois pour quatre lignes; (3) l'en-tête répété sur la page 2; (4) un groupe qui continue sur la page 2.
Description textuelle du diagramme

Numéro 1 : l’en-tête a deux lignes, et « Price (CAD) » est une cellule fusionnée au-dessus de « Each » et « Case of 6 ». Les noms des colonnes sont « Price (CAD) / Each » et « Price (CAD) / Case of 6 ». L’unité CAD vient de l’en-tête. Numéro 2 : la catégorie « Hose reels » est une cellule fusionnée haute de quatre lignes. La bibliothèque PDF donne la valeur seulement à la première ligne. Les trois lignes suivantes la reçoivent de la cellule fusionnée. Dans tout le tableau, 33 cellules sont remplies ainsi. Numéro 3 : la page 2 répète les deux lignes d’en-tête. Ce ne sont pas des produits, donc le programme les ignore. Numéro 4 : « Sprinklers (cont.) » en haut de la page 2 continue le groupe de la page 1. La valeur est donc « Sprinklers ».

  1. Récupérez le tableau :

    Fenêtre de terminal
    python -m doc_extract.tables D056
    aquaflow-price-list.pdf: one table on pages [1, 2], 2 header rows, 41 products
    columns: ['Category', 'SKU', 'Description', 'Unit', 'Price (CAD) / Each', 'Price (CAD) / Case of 6']
    units from the header: {'Price (CAD) / Each': 'CAD', 'Price (CAD) / Case of 6': 'CAD'}
    Category=Sprinklers* (p1), SKU=SP-MIST (p1), Description=Misting kit, patio (p1), Unit=kit (p1), Each=36.00 (p1), Case of 6=194.40 (p1)
    Category=Sprinklers (p2), SKU=SP-TRV (p2), Description=Travelling sprinkler (p2), Unit=each (p2), Each=89.00 (p2), Case of 6=480.60 (p2)
    Category=Sprinklers* (p2), SKU=SP-HOSE (p2), Description=Sprinkler hose 7.5 m (p2), Unit=each (p2), Each=16.00 (p2), Case of 6=86.40 (p2)
    Category=Sprinklers* (p2), SKU=SP-BASE (p2), Description=Sprinkler base, heavy (p2), Unit=each (p2), Each=12.50 (p2), Case of 6=67.50 (p2)
    Category=Spare parts (p2), SKU=SPR-WASH (p2), Description=Tap washers (10) (p2), Unit=bag (p2), Each=3.20 (p2), Case of 6=17.28 (p2)
    Category=Spare parts* (p2), SKU=SPR-ORING (p2), Description=O-rings for connectors (12) (p2), Unit=bag (p2), Each=4.10 (p2), Case of 6=22.14 (p2)
    (* = from a merged cell; the box is the merged cell's box)
    cells correct: 246 of 246 (100%)
  2. Lisez les six lignes autour du saut de page : les produits 31 à 36 sur 41. SP-MIST est le dernier produit de la page 1, et SP-TRV le premier de la page 2. Le groupe « Sprinklers » continue après le saut de page, sans « (cont.) ». Un * marque une valeur qui vient d’une cellule fusionnée. Chaque cellule connaît aussi sa page, p1 ou p2.

  3. Lisez le score. Les 246 cellules correspondent toutes à la vérité, contre 172 dans l’aperçu rapide. Les unités des deux colonnes de prix viennent de l’en-tête, pas des cellules.

  4. Ouvrez doc_extract/tables.py et trouvez recover(). Repérez les quatre étapes. _header_rows compte les lignes du haut qui se répètent sur chaque page. column_names les joint. Une boucle ignore l’en-tête sur chaque page. Et le test text is None and box is None trouve une cellule à l’intérieur d’une cellule fusionnée.

Sam demande : « Comment le programme sait-il que la page 2 contient le même tableau, et pas un nouveau? » Mei répond : « Il compare les premières lignes du tableau de chaque page. Ici, les deux premières lignes sont identiques sur les deux pages. C’est donc l’en-tête, et le tableau continue. Un nouveau tableau aurait d’autres noms de colonnes. Pour un fournisseur qui ne répète pas l’en-tête, il faudrait un autre indice : autant de colonnes, aux mêmes positions. »

Feuilles de calcul : lire les cellules, jamais une image

Section intitulée « Feuilles de calcul : lire les cellules, jamais une image »

D057 est la même liste de prix dans un fichier Excel (.xlsx). Tomás propose : « Transformons-la en image et passons-la dans l’OCR, comme tout le reste. » Cela éliminerait le meilleur atout d’une feuille de calcul : ses cellules contiennent déjà les valeurs exactes. La cellule E6 contient le nombre 119, pas une image de « 119.00 » que l’OCR pourrait mal lire. Une feuille de calcul est la seule entrée de ce cours qui n’a besoin d’aucune lecture.

Elle demande quand même de l’attention, car les gens créent des feuilles de calcul pour les yeux, pas pour les programmes :

  • L’en-tête n’est pas à la ligne 1. La ligne 1 est un titre, la ligne 2 une note, et la ligne 3 est vide. L’en-tête est à la ligne 4. Le projet prend la première ligne contenant au moins trois cellules de texte et un nombre dans la ligne suivante.
  • Les unités sont dans les noms d’en-tête : « Price each (CAD) » (prix unitaire en dollars canadiens), « Pack weight (kg) » (poids du paquet en kilogrammes). Les cellules contiennent seulement des nombres. Sans l’en-tête, 6,2 pourrait désigner des kilogrammes ou des livres.
  • Les catégories sont des plages fusionnées. « Hose reels » est la plage fusionnée A5:A8. Sa valeur est stockée seulement dans la cellule supérieure gauche, A5. Les cellules A6, A7 et A8 sont vides dans le fichier.
Les 11 premières lignes de la feuille de calcul, dessinées avec les lettres de colonne A à G et les numéros de ligne. La ligne 1 est une cellule de titre fusionnée de A à G. La ligne 2 est une note, la ligne 3 est vide. La ligne 4 est l'en-tête, en bleu pâle : Category, SKU, Description, Unit, Price each (CAD), Price per case (CAD), Pack weight (kg), avec les unités soulignées en orange. Un cadre orange marque la plage fusionnée A5 à A8, avec Hose reels dans A5. Un cadre vert marque E6, qui contient 119. Hoses commence dans A9. Une légende numérotée explique les quatre points.
D057 tel que la feuille de calcul le stocke. (1) Un titre au-dessus de l'en-tête; (2) l'en-tête à la ligne 4, avec les unités dans les noms; (3) une plage fusionnée dont la valeur existe seulement dans A5; (4) un nombre avec sa propre adresse.
Description textuelle du diagramme

Le dessin montre les 11 premières lignes de la feuille Prices. Les lettres de colonne A à G sont en haut, et les numéros de ligne à gauche. Numéro 1 : la ligne 1 est un titre, une cellule fusionnée de A1 à G1. La ligne 2 est une note. L’en-tête n’est donc pas à la ligne 1. Numéro 2 : l’en-tête est à la ligne 4, et les unités sont dans les noms : CAD pour les deux prix, kg pour le poids. Numéro 3 : la catégorie « Hose reels » est la plage fusionnée A5:A8. Sa valeur est stockée seulement dans A5; les cellules A6, A7 et A8 sont vides. Numéro 4 : la cellule E6 contient le nombre 119, le prix de HR-50. Son adresse complète est Prices!E6 : la feuille, puis la cellule.

  1. Lisez la feuille de calcul :

    Fenêtre de terminal
    python -m doc_extract.sheets D057
    aquaflow-price-list.xlsx: sheet Prices, header on row 4
    columns: ['Category', 'SKU', 'Description', 'Unit', 'Price each (CAD)', 'Price per case (CAD)', 'Pack weight (kg)']
    units from the header: {'Price each (CAD)': 'CAD', 'Price per case (CAD)': 'CAD', 'Pack weight (kg)': 'kg'}
    Category=Hose reels [Prices!A5], SKU=HR-30 [Prices!B5], Price each=59 [Prices!E5]
    Category=Hose reels [Prices!A6 from A5:A8], SKU=HR-50 [Prices!B6], Price each=119 [Prices!E6]
    Category=Hose reels [Prices!A7 from A5:A8], SKU=HR-15C [Prices!B7], Price each=34 [Prices!E7]
    Category=Hoses [Prices!A9], SKU=HS-15 [Prices!B9], Price each=21.5 [Prices!E9]
    Category=Hoses [Prices!A10 from A9:A14], SKU=HS-25 [Prices!B10], Price each=34.5 [Prices!E10]
    41 products; cells correct: 164 of 164 (100%)

    Chaque valeur porte son adresse, comme Prices!E6. Une catégorie remplie depuis une plage fusionnée l’indique : A6 from A5:A8 (A6 depuis A5:A8). Le score vérifie 4 colonnes de 41 produits : la catégorie, les deux prix et le poids.

  2. Relisez-la sans remplir les plages fusionnées :

    Fenêtre de terminal
    python -m doc_extract.sheets D057 --naive

    La dernière ligne est 41 products; cells correct: 130 of 164 (79%) (41 produits; cellules correctes : 130 sur 164, soit 79 %). Les 34 cellules perdues sont des catégories : Category=None [Prices!A6] (catégorie sans valeur dans Prices!A6). Seules les 7 cellules du haut des 7 groupes conservent leur catégorie.

Les deux fichiers de la même liste racontent la même histoire. Chaque fois, la lecture rapide perd environ un quart des cellules, et la récupération les retrouve toutes :

  • Lecture rapide
  • Après récupération
Cellules correctes avant et après récupération, pour la même liste de prix en tableau PDF (246 cellules) et en feuille de calcul (164 cellules). La lecture rapide perd les cellules fusionnées et, dans le PDF, la colonne sans nom.
Description textuelle du graphique

Tableau PDF D056 : la lecture rapide obtient 172 cellules correctes sur 246 (69,9 %), la récupération 246 sur 246 (100 %). Feuille de calcul D057 : sans les plages fusionnées, 130 sur 164 (79,3 %); avec elles, 164 sur 164 (100 %).

Ce que cela nous dit : aucune cellule perdue ne venait d’une erreur de lecture. Chaque caractère était correct dans les deux lectures rapides. Les pertes viennent seulement de la structure : cellules fusionnées, en-tête sur deux lignes, en-tête imprimé deux fois. Un meilleur moteur OCR ou un modèle ne les corrigerait donc pas; la récupération de la structure le fait.

Récupérez les tableaux dès que leurs valeurs sont utilisées une par une : prix, quantités, durées. Les deux commandes prennent environ 0,1 seconde, sans modèle.

Préférez la feuille de calcul quand le fournisseur envoie les deux fichiers. Ses cellules sont des nombres exacts, avec des adresses. Elle possède aussi une colonne que le PDF n’imprime pas : le poids. Utilisez le tableau PDF quand vous n’avez que le PDF.

Sachez ce que ces règles ne peuvent pas faire :

  • tables.py exige des tableaux avec des lignes tracées. pdfplumber trouve un tableau grâce à ses lignes. Le petit tableau de D055, à la page 2, n’a pas de lignes. La commande s’arrête : garantie-legale-quebec.pdf: no table found (aucun tableau trouvé). pdfplumber peut aussi deviner les colonnes à partir des espaces entre les mots, avec sa stratégie « text » (texte). Sur D055, elle trouve les quatre lignes, mais coupe aussi le titre en deux et perd un mot de l’en-tête :

    ['Durées de garantie Larkfield (ex', 'emples)', '']
    ['Code', 'Produit', 'Garantie']
    ['PW-2200', 'Nettoyeur haute pression', '2 ans']

    Chaque nouveau type de tableau demande donc une vérification avec quelques lignes connues.

  • Les tableaux numérisés ne sont pas couverts. L’OCR fournit des lignes, pas des cellules. Le cours n’a aucun tableau numérisé, donc ce cas n’a pas été testé.

  • Une cellule de formule fournit la valeur calculée et enregistrée par le tableur, pas la formule. Un fichier enregistré par un programme qui ne stocke pas cette valeur donne une cellule vide. D057 n’a aucune formule.

Erreur courante

Une colonne sans nom

Symptôme : Le rapport des achats contient tous les prix unitaires, mais aucun prix par caisse. Aucune erreur n’apparaît : les 41 prix par caisse sont absents des enregistrements.

Cause : L’en-tête a deux lignes, et « Price (CAD) » est une cellule fusionnée sur deux colonnes. Le code a pris la première ligne comme en-tête. La dernière colonne s’appelait donc None, et personne n’a demandé une colonne appelée None.

Diagnostic : Affichez les lignes d’en-tête telles que la bibliothèque les renvoie : tables.raw_tables(path)[0][1][:3]. Cherchez None dans la première ligne et du texte en dessous. Comptez les valeurs par colonne : une colonne toujours absente indique un problème d’en-tête, pas de lecture.

Correction : Trouvez combien de lignes du haut se répètent sur chaque page (ici 2). Joignez-les en un nom par colonne avec column_names. Vérifiez que chaque nom de colonne attendu existe, comme le fait test_one_table_over_two_pages_with_a_two_row_header.

Conséquence dans le travail en IA : une colonne manquante est une erreur silencieuse. Demandez à un modèle « quel est le prix par caisse de SP-HOSE? » avec ces enregistrements. Il n’a rien à citer et pourrait calculer 6 × 16,00 = 96,00. Le vrai prix par caisse est 86,40, avec une réduction.

Le classeur possède une deuxième feuille, Discounts, avec trois niveaux de réduction. Changez une condition : lisez cette feuille plutôt que Prices. Prédisez la ligne d’en-tête, les unités et l’adresse de la réduction pour une commande de 2 000 CAD. Vérifiez ensuite dans Python :

from doc_extract import documents, sheets
names, units, recs = sheets.read(documents.get("D057").path, sheet="Discounts")
print(names, units)
for r in recs:
print({k: (c.value, c.cell) for k, c in r.items()})
Afficher la réponse
['Order value (CAD)', 'Discount (%)'] {'Order value (CAD)': 'CAD', 'Discount (%)': '%'}
{'Order value (CAD)': ('0 - 999.99', 'A2'), 'Discount (%)': (0, 'B2')}
{'Order value (CAD)': ('1000 - 4999.99', 'A3'), 'Discount (%)': (5, 'B3')}
{'Order value (CAD)': ('5000 and more', 'A4'), 'Discount (%)': (8, 'B4')}

L’en-tête est à la ligne 1, et les unités sont CAD et %. Une commande de 2 000 CAD est dans la plage « 1000 - 4999.99 ». La réduction est donc de 5 %, depuis Discounts!B3.

Regardez bien pourquoi l’en-tête a été trouvé. La règle d’en-tête exige au moins trois cellules de texte dans une ligne, et cette feuille a seulement deux colonnes. La règle n’a donc rien trouvé et a utilisé sa valeur par défaut, la ligne 1, correcte par hasard. Sur une feuille à deux colonnes avec un titre au-dessus de l’en-tête, elle se tromperait. Remarquez aussi que les valeurs de commande sont des plages de texte, pas des nombres. Pour les utiliser, un programme doit encore analyser « 1000 - 4999.99 ».

Vérifiez votre compréhension

Expliquez : pourquoi une cellule remplie garde-t-elle le cadre de la cellule fusionnée et un indicateur de remplissage, plutôt qu'un cadre propre?

Afficher la réponse

Une cellule à l’intérieur d’une cellule fusionnée n’a ni texte ni cadre propre. Sur la page, le fournisseur a imprimé la valeur une seule fois, dans le cadre fusionné. La catégorie « Hose reels » (enrouleurs de tuyau) de HR-50 se trouve donc dans le cadre [40, 138, 150, 214], page 1. Pointer ailleurs montrerait une zone vide à la personne. L’indicateur filled (rempli) indique qu’une règle a copié la valeur, au lieu de la lire sur cette ligne. Un réviseur peut alors vérifier la règle si une catégorie semble incorrecte.

Vérifiez votre compréhension

Prédisez : le mois prochain, la liste d'AquaFlow compte 70 produits sur trois pages. L'en-tête se répète aux pages 2 et 3. Un groupe commence à la page 2 et continue à la page 3. Faut-il modifier tables.py?

Afficher la réponse

Non. _header_rows compare les premières lignes du tableau de chaque page. Il trouve donc les deux lignes d’en-tête répétées sur trois pages comme sur deux. La boucle les ignore sur chaque page. Elle traite aussi les cellules fusionnées et « (cont.) » (suite) de la même façon sur chaque page. Vérifiez tout de même : exécutez la commande et comparez quelques lignes de chaque page avec le PDF. Si AquaFlow modifie l’en-tête sur une page, celui-ci ne se répète plus. La règle ne compterait alors qu’une seule ligne d’en-tête.

Vérifiez votre compréhension

Vérification pratique : exécutez python -m doc_extract.tables D056 --naive. Expliquez les 74 cellules mal lues par la lecture rapide, ainsi que ses 45 lignes.

Afficher la réponse

La lecture rapide lit correctement 172 cellules sur 246. Elle se trompe sur 34 catégories : 33 cellules dans des cellules fusionnées reviennent vides, et une contient « Sprinklers (cont.) » (arroseurs, suite). Elle perd 40 prix par caisse, car la dernière colonne n’a pas de nom dans la première ligne d’en-tête. Le 41e est « n/a » (sans objet), correct par hasard. 34 + 40 = 74. Il y a 45 lignes pour 41 produits, car les deux lignes d’en-tête sont comptées comme données sur les deux pages : 41 + 2 × 2 = 45. Aucun caractère n’est mal lu : toutes les pertes viennent de la structure.

Récapitulatif

  • Lire un tableau ligne par ligne, tel que la bibliothèque le renvoie, fait perdre des cellules sans mal lire un seul caractère. Pour D056 : 172 cellules correctes sur 246, et 45 lignes pour 41 produits.
  • La reconstruction du tableau réunit les lignes d’en-tête pour donner un seul nom par colonne et tire les unités de l’en-tête. Elle remplit les cellules fusionnées, en gardant le cadre fusionné et un indicateur filled. Elle réunit les pages et ignore l’en-tête répété. D056 : 246 cellules sur 246, dont 33 remplies à partir de cellules fusionnées.
  • Une feuille de calcul contient des valeurs exactes : lisez ses cellules, jamais une image de la feuille. Trouvez la ligne d’en-tête, les unités dans les noms et les plages fusionnées. D057 : 164 cellules sur 164; sans les plages fusionnées, 130.
  • Chaque cellule garde son emplacement : une page et un cadre en points, ou une feuille et une adresse comme Prices!E6.
  • tables.py exige des tableaux avec des lignes de séparation. Un tableau sans lignes demande une autre méthode, vérifiée à l’aide de lignes connues.

Ensuite, vous consignerez l’origine de chaque valeur et tracerez son emplacement sur la page.

Leçon suivante : Représenter la provenance