Aller au contenu
English

Mise en page et sens

  • Leçon 3
  • 50 min
  • Module 1 : Comprendre les documents en entrée

Où nous en sommes

Dans la dernière leçon, nous avons choisi le chemin de chaque page : les PDF numériques vont à la couche de texte. Mais la couche de texte nous donne des lignes, pas l'ordre dans lequel une personne les lit. Sur une page à deux colonnes, les bons mots dans le mauvais ordre changent ce que dit le document. Dans cette leçon, nous lisons la couche de texte avec le cadre de chaque ligne et plaçons les lignes dans l'ordre de lecture, comme un journal lu colonne par colonne.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité

Ce que vous saurez faire

Lisez la couche de texte d’un PDF avec le cadre de chaque ligne. Placez les lignes dans l’ordre où une personne les lit. Voyez comment un mauvais ordre, une note perdue ou une page tournée change ce que dit un document.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 50 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

  • Votre dossier doc-extract avec son environnement virtuel actif, et python -m pytest -q qui affiche 13 passed (13 tests réussis).
  • Le dossier des exercices nextia-learning-labs à côté. Vous y copiez trois nouveaux fichiers du projet.

Testé avec Python 3.12 sur macOS (Apple silicon). Les commandes Windows (PowerShell) et Linux sont fournies, mais non testées.

Ouvrez un journal imprimé. Une page contient quatre ou cinq colonnes de texte, un grand titre, une photo avec une légende et une petite note en bas. Vous ne la lisez jamais directement du bord gauche au bord droit. Vous lisez le titre, puis une colonne de haut en bas, puis la suivante.

Personne ne vous a enseigné cette règle avec des mots. La page la montre : l’espace blanc entre les colonnes, les grandes lettres du titre, les petits caractères de la note. La position d’un élément sur la page et son apparence indiquent ce qu’il est et quand le lire.

Imaginez maintenant que vous lisez en travers des colonnes. « Le conseil a voté mardi pour » est suivi de « On prévoit de la pluie sur la majeure partie de ». Tous les mots sont là. Le sens a disparu.

La politique de retour de Larkfield, version 4 (D054), a deux colonnes à la page 1. C’est la même politique que l’assistant documentaire du cours sur le RAG utilise pour répondre. Un lecteur simple prend les lignes de haut en bas, et chaque rangée de gauche à droite. Sur D054, il donne ceci :

This policy applies to orders delivered in
Go to Orders in your account, choose the item
Canada.
and select Return an item. Or contact the help
desk.

Lisez le résultat comme une phrase : « Cette politique s’applique aux commandes livrées au Allez dans les commandes de votre compte, choisissez l’article Canada. » Chaque ligne est correcte. L’ordre est mauvais, car le lecteur a traversé les deux colonnes.

Cela compte plus loin dans le pipeline. L’assistant RAG découpe le texte en segments et s’en sert pour répondre. Un segment qui mélange deux colonnes peut joindre le délai de retour d’une section à la condition d’une autre. Le client reçoit alors une réponse que la politique n’a jamais donnée, avec une citation qui semble correcte.

La politique compte 25 paragraphes et éléments de liste. Dans cet ordre naïf, seuls 10 sur 25 restent entiers, mot pour mot. Les 15 autres sont coupés et mélangés avec des lignes de l’autre colonne.

L’idée : la mise en page indique l’ordre et le rôle de chaque ligne

Section intitulée « L’idée : la mise en page indique l’ordre et le rôle de chaque ligne »

La mise en page décrit la position de chaque morceau de texte et son apparence. Cela comprend sa position, sa taille, sa police et les espaces autour. Un lecteur utilise la mise en page pour trouver deux choses :

  • L’ordre de lecture : quelle ligne vient après quelle autre. Sur une page à colonnes, on descend une colonne, puis la suivante.
  • Le rôle de chaque ligne : un titre, un titre de section, un paragraphe, un élément de liste ou une note de bas de page. L’en-tête courant et le pied de page sont des lignes qui se répètent sur chaque page. Un tableau est aussi une mise en page : ses rangées et ses colonnes indiquent quelle valeur appartient à quel produit.

Un programme ne peut voir la mise en page que s’il conserve le cadre de chaque ligne : ses bords gauche, supérieur, droit et inférieur. Vous avez rencontré ce cadre englobant dans la leçon précédente. Avec les cadres, un programme peut trouver l’espace blanc entre deux colonnes, comme le fait votre œil.

Le projet conserve donc une seule forme pour chaque page, quel que soit le chemin utilisé pour la lire. Une page est une liste de lignes. Chaque ligne contient son texte, son cadre, son unité et le degré de certitude du lecteur. La couche de texte donne les cadres en points : 1/72 de pouce, mesuré depuis le coin supérieur gauche de la page. L’OCR, au module 2, donne les cadres en pixels de l’image. Avec le fichier, le numéro de page et le cadre, vous pouvez toujours retrouver l’endroit d’où vient une valeur.

Commencez par une page à une colonne : le reçu de caisse D011. La couche de texte donne chaque ligne avec son cadre [x0 top x1 bottom] en points. Voici six de ses 29 lignes :

receipt-lk-103119.pdf, page 1: 29 lines from the text layer (227 x 339 pt)
[ 75.6 22.7 151.2 36.7] LARKFIELD
[ 14.2 101.8 100.6 110.8] Order: LK-103119
[ 14.2 189.3 57.4 198.3] Subtotal
[ 180.2 189.3 212.6 198.3] 189.00
[ 14.2 226.8 41.2 235.8] TOTAL
[ 158.6 226.8 212.6 235.8] CAD 211.68

Lisez les nombres. La page mesure 227 points de large et 339 de haut : environ 8 cm sur 12 cm, un reçu de caisse étroit. LARKFIELD commence à 75,6 points du bord gauche, donc il est centré. TOTAL et CAD 211.68 ont le même bord supérieur, 226,8, et le même bord inférieur, 235,8. Ils sont donc sur une même rangée. TOTAL est au bord gauche, à 14,2; le montant se termine à 212,6, près du bord droit.

Pourquoi TOTAL forme-t-il une ligne et CAD 211.68 une autre? Parce qu’un grand espace les sépare, environ 117 points. Le projet commence une nouvelle ligne lorsqu’il rencontre un grand espace, comme le fait aussi un moteur OCR. Ensuite, pages.rows place les lignes de même hauteur sur une rangée, de gauche à droite. Ainsi, « TOTAL » trouve son montant par sa position, pas parce qu’ils forment une seule chaîne de caractères.

Sur ce reçu, l’ordre naïf est correct : une colonne, de haut en bas. Sur la politique, il ne l’est pas.

Le fichier layout.py de Mei trouve les colonnes à partir des cadres. Il cherche une bande verticale vide entre 30 % et 70 % de la largeur de la page. Aucune ligne ne doit traverser cet espace. La bande doit mesurer au moins 8 points de large, avec au moins trois lignes de chaque côté. Elle constitue alors l’espace entre deux colonnes. Les lignes qui traversent cet espace, comme le titre, occupent toute la largeur de la page. Elles découpent la page en bandes. Dans chaque bande, la colonne gauche est lue avant la colonne droite.

  1. Dans ~/projects/doc-extract, avec l’environnement virtuel actif, copiez les trois fichiers de cette leçon et leurs tests depuis l’instantané end-of-m01 :

    Fenêtre de terminal
    S=../nextia-learning-labs/C13/snapshots/end-of-m01
    cp $S/doc_extract/pages.py $S/doc_extract/textlayer.py $S/doc_extract/layout.py doc_extract/
    cp $S/tests/test_textlayer.py $S/tests/test_layout.py tests/

    pages.py contient les enregistrements des lignes et des pages. textlayer.py lit la couche de texte. layout.py trouve l’ordre de lecture.

  2. Lancez les tests :

    Fenêtre de terminal
    python -m pytest -q
    .................... [100%]
    20 passed in 6.04s
  3. Lisez la couche de texte du reçu D011 :

    Fenêtre de terminal
    python -m doc_extract.textlayer D011

    La commande affiche les 29 lignes, chacune avec son cadre. Vous en avez vu six dans le petit exemple.

  4. Essayez la même chose sur le reçu numérisé D019 :

    Fenêtre de terminal
    python -m doc_extract.textlayer D019
    scan0001.pdf, page 1: 0 lines from the text layer (612 x 792 pt)
    (no text layer: this page is a picture. Use OCR.)

    Le routeur a envoyé D019 vers ocr, et voici pourquoi : sa page est une image de format lettre, de 612 × 792 points, sans caractères.

  5. Lisez la politique D054 dans les deux ordres :

    Fenêtre de terminal
    python -m doc_extract.layout D054
    returns-policy-v4.pdf, page 1: two columns, gap at x = 306 pt
    returns-policy-v4.pdf, page 2: one column
    First 12 lines, naive order (top to bottom across the page):
    Larkfield · Returns policy · version 4
    Page 1
    Returns policy
    Who this policy is for
    How to start a return
    This policy applies to orders delivered in
    Go to Orders in your account, choose the item
    Canada.
    and select Return an item. Or contact the help
    desk.
    The version that applies is the one in force on
    the date the order was delivered. Orders
    First 12 lines, reading order (column by column):
    Larkfield · Returns policy · version 4
    Returns policy
    Who this policy is for
    This policy applies to orders delivered in
    Canada.
    The version that applies is the one in force on
    the date the order was delivered. Orders
    delivered before 1 November 2026 follow version
    3 (30 days).
    Return window
    You can return an unused item within 45 days of
    delivery¹ for a full refund of the item price.
    Paragraphs kept whole: naive 10 of 25, reading order 25 of 25

L’espace se trouve à x = 306 points : le milieu d’une page de 612 points de large. Dans l’ordre de lecture, les 25 paragraphes et éléments de liste restent entiers. Le fichier de vérité contient les paragraphes de la politique, ce qui permet au projet de les compter exactement. L’image montre les deux ordres comme un trajet d’une ligne à l’autre.

La page 1 de la politique de retour, deux fois. À gauche, en rouge : l'ordre naïf. Un trajet part de l'en-tête courant, va à droite vers Page 1, revient au titre, puis zigzague entre les colonnes gauche et droite sur presque chaque rangée, jusqu'en bas de la page, puis vers les notes et le pied de page. À droite, en vert : l'ordre de lecture. Une ligne verticale pointillée marque l'espace entre les colonnes à x = 306 points. Le trajet descend la colonne gauche, du titre à la liste des articles non retournables, puis aux notes et au pied de page. Une ligne fine remonte ensuite vers Page 1 et le haut de la colonne droite, puis descend cette colonne jusqu'aux échanges.
Page 1 de la politique de retour (D054), ordre naïf (rouge) et ordre de lecture (vert). Le trajet naïf traverse l'espace sur presque chaque rangée; l'ordre de lecture trouve l'espace à x = 306 pt et lit une colonne, puis l'autre.
Description textuelle du diagramme

Les deux copies montrent la page 1 de la politique de retour. Un cadre gris pâle entoure chaque ligne de la couche de texte. À gauche, le trajet rouge relie les lignes dans l’ordre naïf. Il part de l’en-tête courant, « Larkfield · Politique de retour · version 4 », saute à droite vers « Page 1 » et revient au titre. Il passe ensuite de la colonne gauche à la colonne droite et revient sur presque chaque rangée. Le trajet mélange donc les phrases des deux colonnes. À droite, le trajet vert relie les lignes dans l’ordre de lecture. Une ligne pointillée marque l’espace entre les colonnes, à x = 306 points. Le trajet descend toute la colonne gauche, de « À qui s’adresse cette politique » au dernier élément de la liste « Articles non retournables ». Il continue avec les deux notes de bas de page et le pied de page. Une ligne fine remonte ensuite vers « Page 1 » et le haut de la colonne droite. Le trajet descend la colonne droite, de « Comment demander un retour » à « Échanges ».

Regardez la fin du trajet vert. Après la colonne gauche, l’ordre de lecture prend les notes, le pied de page, puis « Page 1 », avant la colonne droite. Le texte des colonnes est correct, mais l’en-tête courant et le pied de page restent dans le flux comme du texte ordinaire. Les parties répétées d’une page, appelées éléments récurrents de page, ont besoin de leur propre règle. La première leçon du module 3 les retire.

L’ordre de lecture est un aspect de la mise en page. L’image ci-dessous colore chaque ligne de la même page selon son rôle. Les rôles viennent uniquement de la couche de texte : position sur la page, taille de police et caractères gras.

Page 1 de la politique de retour avec un cadre coloré autour de chaque ligne. Gris : l'en-tête courant Larkfield, Politique de retour, version 4, et Page 1 en haut, ainsi que le pied de page Larkfield, Document fictif pour un cours, en bas. Bleu : le titre Politique de retour et les huit titres de section, comme À qui s'adresse cette politique, Délai de retour et Échanges. Vert : les lignes des paragraphes. Violet : les cinq éléments de la liste Articles non retournables. Orange : les deux notes en bas, Les jours ouvrables et les fins de semaine comptent, et Prix en dollars canadiens, taxes comprises; ainsi que deux cercles orange sur les petits appels de note 1 après livraison et 2 après 12,95 dollars.
Les rôles sur la page 1 de la politique de retour : en-tête courant et pied de page (gris), titre et titres de section (bleu), paragraphes (vert), éléments de liste (violet), notes de bas de page et appels de note (orange).
Description textuelle du diagramme

Chaque ligne de la page 1 a un cadre coloré selon son rôle. Gris : l’en-tête courant en haut, « Larkfield · Politique de retour · version 4 » et « Page 1 ». Également gris : le pied de page, « Larkfield · Document fictif pour un cours. » Ils se répètent à la page 2. Bleu : le titre, « Politique de retour », et les huit titres de section en gras, comme « Délai de retour » et « Échanges ». Vert : les lignes des paragraphes. Violet : les cinq éléments de la liste « Articles non retournables », chacun commençant par une puce. Orange : les deux notes en petits caractères au bas de la page. Deux cercles orange marquent les petits chiffres en exposant qui renvoient à ces notes. L’appel 1 suit « dans les 45 jours suivant la livraison », et l’appel 2 suit « 12,95 dollars ».

La perte de chaque rôle change le sens :

  • Titres de section : ils donnent le contexte. « 45 jours » se trouve sous « Délai de retour »; sans ce titre, un segment ne précise pas à quoi servent ces 45 jours.
  • Notes de bas de page : elles modifient la phrase à laquelle elles se rattachent. « Vous pouvez retourner un article inutilisé dans les 45 jours suivant la livraison¹ » dépend de la note 1 : « Les jours ouvrables et les fins de semaine comptent. » Si le lien disparaît, un lecteur peut compter seulement les jours ouvrables. Les 45 jours deviennent alors environ neuf semaines au lieu de six semaines et demie.
  • En-têtes courants et pieds de page : ils se répètent sur chaque page. Si on les laisse dans le texte, « Page 1 » arrive au milieu d’un paragraphe, comme l’a montré le cours sur le RAG.
  • Tableaux : ils gardent une valeur avec sa rangée et sa colonne. La liste de prix du fournisseur D056 continue à la page 2, avec sa rangée d’en-tête répétée. Lors d’une lecture ligne par ligne, le deuxième en-tête ressemble à un produit. La deuxième leçon du module 3 récupère le tableau cellule par cellule.
  • Pages tournées : elles changent le sens des lignes. La page 2 de D055, la garantie du Québec, est un tableau enregistré sur le côté. Le PDF indique « tourner cette page de 90 degrés ». La couche de texte donne les lignes à l’endroit, avec une page de 792 × 612 points. Une numérisation tournée est différente : l’image elle-même est sur le côté, et l’OCR la lit mal jusqu’à sa rotation. Le module 2 mesure cet effet.

Quand tenir compte de la mise en page, et ce qu’elle coûte

Section intitulée « Quand tenir compte de la mise en page, et ce qu’elle coûte »

Tenez compte de l’ordre de lecture dès qu’une page contient plusieurs colonnes, un encadré ou du texte à côté d’un tableau. C’est souvent le cas des politiques, rapports, catalogues et formulaires. Tenez compte des rôles quand le sens dépend du contexte : titres pour la recherche et les citations, notes pour les conditions, cellules pour les prix.

Les reçus de Larkfield ont généralement une seule colonne. La mise en page importante est alors la rangée : une étiquette à gauche et son montant à droite. Le composant rows du projet conserve cette paire, même sur une photo inclinée. Ici, « la même rangée » signifie « la même hauteur le long de la pente du reçu ». Un test le vérifie avec un reçu tourné de 5 degrés.

Les règles de mise en page ont un coût : ce sont des suppositions sur la construction des pages. L’espace doit se trouver entre 30 % et 70 % de la largeur, et mesurer au moins 8 points de large. Une page à trois colonnes, une photo dans une colonne ou un titre dans l’espace peut faire échouer la règle. Gardez donc une règle simple, testez-la sur vos documents et comptez ce qu’elle conserve, comme layout avec « 25 sur 25 ». Ne faites jamais confiance à une règle que vous n’avez pas mesurée.

Erreur courante

Des phrases qui mélangent deux colonnes

Symptôme : le texte d’une politique ressemble à la phrase ci-dessous, et un assistant donne des réponses étranges à partir de ce texte : « Cette politique s’applique aux commandes livrées au Allez dans les commandes de votre compte, choisissez l’article Canada. »

Cause : le code a pris les lignes de haut en bas sur toute la page. Chaque rangée a donc joint une ligne de la colonne gauche à une ligne de la colonne droite.

Diagnostic : lancez python -m doc_extract.layout sur le document. Si la commande indique « two columns » (deux colonnes) et « naive 10 of 25 » (ordre naïf, 10 sur 25), l’ordre naïf coupe la plupart des paragraphes. Si elle indique « one column » (une colonne) pour une page visiblement à deux colonnes, la règle de l’espace ne convient pas : examinez les cadres avec textlayer.

Correction : utilisez layout.reading_order(page), pas l’ordre des lignes dans le fichier. Vérifiez le résultat en comptant les paragraphes entiers, comme le fait la commande.

Erreur courante

Un cadre en points dessiné sur une image en pixels

Symptôme : vous dessinez le cadre de TOTAL dans D011, [14.2 226.8 41.2 235.8], sur l’image out/show/D011-p1.png. Le rectangle arrive au-dessus et à gauche du mot, et il est trop petit.

Cause : la couche de texte mesure en points, à raison de 72 par pouce. L’image de show compte 100 pixels par pouce (100 dpi) : 315 × 471 pixels pour une page de 227 × 339 points. Les deux unités diffèrent d’un facteur de 100/72, soit environ 1,39.

Correction : multipliez chaque nombre par 100/72 avant de dessiner : TOTAL devient environ [19.7 315.0 57.2 327.5] pixels. Conservez toujours l’unité avec le cadre. C’est pourquoi chaque Page du projet possède une unit (unité), pt ou px.

Changez une chose : lancez la même commande sur un reçu. Avant de la lancer, faites une prédiction : pour D011, layout trouve-t-il deux colonnes? L’ordre naïf et l’ordre de lecture sont-ils identiques? Lancez ensuite python -m doc_extract.layout D011.

Afficher la réponse
receipt-lk-103119.pdf, page 1: one column
First 12 lines, naive order (top to bottom across the page):
LARKFIELD
Home & Garden
1020 Main St
Vancouver BC V6A 2W1
------------------------------------
Date: 2026-08-22
19:39
Order: LK-103119
Transaction: 0349-224
Till 03
------------------------------------
PW-2200 pressure washer

L’ordre de lecture affiche les mêmes 12 lignes. Un reçu a une seule colonne, donc aucun espace à trouver, et l’ordre de lecture utilise l’ordre naïf par défaut. La commande n’affiche aucune ligne « Paragraphs kept whole » (paragraphes conservés entiers), car la vérité du reçu ne contient aucun paragraphe.

Regardez Date: 2026-08-22 et 19:39 : deux lignes sur une rangée, comme TOTAL et son montant. Sur un reçu, la rangée compte plus que la colonne.

Vérifiez votre compréhension

Expliquez, avec la politique de retour, comment un mauvais ordre de lecture change le sens, même si chaque ligne est lue correctement. Nommez ensuite un autre élément de mise en page dont la perte change le sens.

Afficher la réponse

Dans l’ordre naïf, le lecteur lit chaque ligne en traversant les deux colonnes. « Cette politique s’applique aux commandes livrées au » est suivi de « Allez dans Orders dans votre compte, choisissez l’article », dans la colonne de droite, puis de « Canada. » Chaque ligne est correcte, mais la phrase relie maintenant deux sections. Seulement 10 des 25 paragraphes restent entiers; dans l’ordre de lecture, 25 sur 25.

Un autre élément : la note de bas de page. « dans les 45 jours suivant la livraison¹ » dépend de la note 1 : « Les jours ouvrables et les fins de semaine comptent tous. » Sans ce lien, un lecteur peut compter seulement les jours ouvrables et accorder un délai de retour plus long. (Autres bonnes réponses : un titre, qui indique à quoi servent les « 45 jours »; ou un en-tête de tableau, qui indique dans quelle colonne se trouve un prix.)

Vérifiez votre compréhension

Prédisez : sur D011, `CAD 211.68` a pour cadre [158,6 226,8 212,6 235,8], en points. Où se trouve-t-il, en pixels, sur l'image à 100 ppp produite par `show` (afficher)? Et sur une image produite à 200 ppp?

Afficher la réponse

À 100 ppp, multipliez par 100/72 (environ 1,389) : [220.3 315.0 295.3 327.5] pixels. À 200 ppp, multipliez par 200/72 (environ 2,778) : [440.6 630.0 590.6 655.0] pixels. Le cadre occupe le même endroit sur la page; seule l’unité change. C’est pourquoi un cadre est inutile sans son unité et, pour l’image d’une page PDF, sans sa résolution en ppp.

Vérifiez votre compréhension

Vérification pratique : après cette leçon, combien de tests réussissent? Qu'affichent `textlayer D019` et la dernière ligne de `layout D054`?

Afficher la réponse

python -m pytest -q affiche 20 passed (20 tests réussis). textlayer D019 affiche scan0001.pdf, page 1: 0 lines from the text layer (612 x 792 pt) (scan0001.pdf, page 1 : 0 ligne provenant de la couche de texte, 612 × 792 points) et (no text layer: this page is a picture. Use OCR.) (aucune couche de texte : cette page est une image. Utilisez l’OCR.). La dernière ligne de layout D054 est Paragraphs kept whole: naive 10 of 25, reading order 25 of 25 (paragraphes conservés entiers : ordre naïf, 10 sur 25; ordre de lecture, 25 sur 25).

Récapitulatif

  • La mise en page indique où se trouve le texte sur la page et à quoi il ressemble. Elle donne l’ordre de lecture et le rôle de chaque ligne : titre, titre de section, paragraphe, élément de liste, note de bas de page, en-tête ou pied de page courant, cellule de tableau.
  • Le projet conserve chaque page sous forme de lignes avec un cadre [x0 top x1 bottom] et une unité : points (1/72 de pouce) pour la couche de texte, pixels pour une image. Pour tracer un cadre en points sur une image à 100 ppp, multipliez par 100/72.
  • Pour la politique à deux colonnes D054, l’ordre naïf conserve 10 paragraphes sur 25 entiers. L’ordre de lecture trouve l’espace à x = 306 points et en conserve 25 sur 25.
  • La perte d’une note de bas de page, d’un titre de section ou d’un en-tête de tableau change le sens. Les éléments pivotés et répétés nécessitent leurs propres règles, dans les modules 2 et 3.
  • python -m pytest -q affiche 20 passed.

Ensuite, avant d’extraire un champ, vous notez exactement ce dont Larkfield a besoin dans un reçu et ce qui peut manquer.

Leçon suivante : Définir le contrat d'extraction