Aller au contenu
English

Conception des entrées et des requêtes

  • Leçon 11
  • 55 min
  • Module 4 : Utiliser les modèles multimodaux de façon réfléchie

Où nous en sommes

Dans le module 3, nous avons retrouvé la structure des documents plus longs et donné sa preuve à chaque valeur. Jusqu'ici, le modèle de vision recevait une demande simple. Avec une demande simple, il remplit un champ vide avec un nombre plausible, et nous payons pour toute l'image. Dans cette leçon, nous concevons exactement ce que le modèle reçoit : la page, la zone de l'image, les champs, et quoi écrire quand une valeur manque.

Ce que vous saurez faire

Décidez exactement ce que reçoit un modèle de vision : la page, la zone de l’image, les champs et leurs formats. Dites-lui aussi quoi écrire quand une valeur manque. Une demande simple pousse le modèle à remplir un champ vide avec un nombre plausible. Une demande précise fait d’« absent » une réponse normale. Le recadrage réduit aussi le coût de nombreuses pages.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 55 minutes

Ce que vous devez savoir

  • Le chemin de vision, les jetons (tokens) et le coût d’une page, vus dans Chemins texte et OCR.
  • Le contrat d’extraction et ses trois statuts (trouvé, inféré, absent avec une raison), vus dans Définir le contrat d’extraction.
  • Un schéma JSON pour la réponse d’un modèle, vu dans Définir un schéma, dans Créer des applications fiables avec les API de LLM.

Ce qu’il vous faut sur votre ordinateur

  • Votre projet à la fin du module 3 : python -m pytest -q affiche 77 passed (77 tests réussis). Si votre projet ne fonctionne plus, copiez l’instantané end-of-m03, comme l’indique le README des instantanés.
  • Le dépôt des exercices dans ~/projects/nextia-learning-labs, à jour.
  • Aucune clé et aucun compte. Chaque réponse du modèle dans cette leçon est un enregistrement que le projet rejoue.

Testé avec Python 3.12.13 sur macOS (Apple silicon). Les commandes Windows et Linux ne sont pas testées. Le générateur du cours crée tous les documents de ce cours. Aucun client ni magasin réel n’y figure.

Le cours a enregistré d’autres réponses du modèle pour ce module. Elles portent sur les numérisations recadrées, six images de tailles réduites et un second passage de chaque page. Ce sont des fichiers de données, pas du code.

  1. Dans le dossier du projet, copiez les quatre enregistrements et les notes de conception depuis l’instantané :

    Fenêtre de terminal
    S=../nextia-learning-labs/C13/snapshots/end-of-m04
    cp $S/recordings/vision-v2-crop.jsonl $S/recordings/vision-v2-half.jsonl recordings/
    cp $S/recordings/vision-v2-quarter.jsonl $S/recordings/vision-v2-pass2.jsonl recordings/
    cp $S/docs/vision-prompt.md docs/
  2. Lancez les tests :

    Fenêtre de terminal
    python -m pytest -q

    La dernière ligne reste 77 passed. Cette leçon ajoute des données, pas du code.

Imaginez que vous embauchez un collègue temporaire pour saisir des reçus dans un formulaire. Vous lui dites : « Notez le numéro de commande. » Un reçu de caisse du magasin ne porte aucun numéro de commande. Il porte un numéro de transaction. Votre collègue veut aider, et une case vide ressemble à un échec. Il copie donc le numéro de transaction. Personne ne lui a dit qu’une case vide était une réponse correcte.

Donnez-lui maintenant un meilleur formulaire. Chaque case a un nom et un format. Une note indique : « Un numéro de transaction n’est pas un numéro de commande. Si une valeur n’est pas imprimée, écrivez non imprimé. Ne devinez jamais. » Vous découpez aussi le reçu dans la grande page numérisée, pour lui éviter de le chercher sur une page blanche. Le collègue reste la même personne. La demande a changé, et le résultat aussi.

Un modèle de vision est ce collègue. Il lit ce que vous envoyez et fait ce que vous demandez. Vous concevez donc deux choses : l’entrée (l’image) et la requête (prompt, la demande et la structure de la réponse).

Le problème : une demande simple invente des valeurs

Section intitulée « Le problème : une demande simple invente des valeurs »

La première requête du cours, v1, était une demande simple : « Extrayez les données de ce reçu en JSON avec les clés vendor, order_number, date… ». Regardez sa réponse enregistrée pour D003, un reçu de caisse pour un achat en magasin :

Fenêtre de terminal
python -m doc_extract.vision D003 --prompt v1
recorded answer (replayed; nothing was sent)
D003 receipt-t0693-220.pdf page 1, prompt v1: gpt-6.1-sol-2026-09-29, 469 tokens in, 220 out, 4.951 s, about US$0.0031
vendor LARKFIELD Home & Garden
order_number 0693-220
date 2026-09-23
currency CAD
subtotal 406.0
shipping absent (not_given)
tax 52.78
total 458.78
payment_method Debit ****3310
item: 1 x Tool chest @ 119.0 = 119.0
item: 1 x Patio parasol @ 129.0 = 129.0
item: 2 x Step ladder @ 79.0 = 158.0

Le numéro de commande est 0693-220. Lisez maintenant le haut du reçu dans sa couche texte, avec le cadre de chaque ligne en points :

Fenêtre de terminal
python -m doc_extract.textlayer D003
receipt-t0693-220.pdf, page 1: 31 lines from the text layer (227 x 351 pt)
[ 75.6 22.7 151.2 36.7] LARKFIELD
[ 80.2 39.7 146.5 48.2] Home & Garden
[ -3.9 52.2 230.7 60.7] larkfield.example · help desk 1-800-555-0199
[ 14.2 64.3 208.6 73.3] ------------------------------------
[ 14.2 76.8 100.6 85.8] Date: 2026-09-23
[ 185.6 76.8 212.6 85.8] 20:43
[ 14.2 89.3 127.6 98.3] Transaction: 0693-220
[ 14.2 101.8 52.0 110.8] Till 03
[ 14.2 114.3 208.6 123.3] ------------------------------------

Il n’y a aucune ligne de commande. 0693-220 est le numéro de transaction de la caisse. Le modèle a fait comme le collègue temporaire : il a rempli une case vide avec le nombre le plus proche. C’est une valeur inventée : une valeur pour un champ que le document ne montre pas.

Le cours a vérifié les 54 pages de reçus de la même façon. Il a recensé tous les champs non imprimés sur un reçu, mais que le modèle a quand même remplis. À côté de chaque valeur figure la ligne imprimée dont elle provient :

D003 digital_pdf order_number 0693-220 | printed: Transaction: 0693-220
D007 digital_pdf order_number 0530-850 | printed: Transaction: 0530-850
D013 digital_pdf order_number 0838-785 | printed: Transaction: 0838-785
D017 digital_pdf order_number 0534560 | printed: INV# 0534560 Sep 6 2026
D018 digital_pdf order_number 0727251 | printed: INV# 0727251 Jul 13 2026
D028 scan_image order_number 0917-319 | printed: Transaction: 0917-319
D033 scan_image order_number 0587497 | printed: INV# 0587497 Jul 18 2026
D034 scan_image order_number 0866699 | printed: INV# 0866699 Jul 15 2026
D042 photo order_number 0272-973 | printed: Transaction: 0272-973
D048 photo order_number 0631658 | printed: INV# 0631658 Jun 6 2026
D049 photo order_number 0271480 | printed: INV# 0271480 Sep 23 2026
invented values: 11

Onze valeurs inventées, toutes des numéros de commande. Six sont des numéros de transaction de Larkfield. Cinq sont des numéros de facture du magasin partenaire, Maple & Pine Hardware. Chaque numéro est réellement imprimé. Il semble donc correct à une personne qui lit vite. Un agent qui cherche 0693-220 dans le système de commandes ne trouve rien, ou pire, trouve une autre commande.

Le score global cache ce problème. La requête v1 donne correctement 424 des 435 valeurs imprimées (97,5 %). Mais seuls 40 des 54 reçus sont complets : toutes les valeurs requises sont correctes, et aucune n’est inventée.

À gauche : le haut du reçu D003 : LARKFIELD, Home & Garden (maison et jardin), la ligne du service d'aide, Date 2026-09-23 20:43, Transaction 0693-220 dans un cadre orange et Till 03 (caisse 03). Aucune ligne de commande. À droite, deux cartes. Requête v1, une demande simple : order_number (numéro de commande) 0693-220 en rouge; une valeur que le reçu n'imprime pas comme numéro de commande : le numéro de transaction, copié. Requête v2, schéma et règles : order_number absent (not_printed, non imprimé) en vert; la règle : un numéro de transaction n'est PAS un numéro de commande; ne jamais deviner une valeur.
La même page, deux requêtes. La demande simple copie le numéro de transaction dans le champ de commande. La demande précise répond absent, avec la raison not_printed.
Description textuelle du diagramme

À gauche se trouve le haut du reçu D003. Il montre le nom du magasin, la date et l’heure, un numéro de transaction encadré en orange et le numéro de caisse. Il ne comporte aucune ligne de commande. À droite, la réponse à la requête v1 donne le numéro de commande 0693-220, qui est le numéro de transaction. La réponse à la requête v2 indique que le numéro de commande est absent, avec la raison not_printed. Ses règles précisent qu’un numéro de transaction n’est pas un numéro de commande et que le modèle ne doit jamais deviner.

Un modèle de vision répond à la demande que vous envoyez. Cette demande se conçoit donc en deux parties.

La conception de l’entrée consiste à choisir l’image. Envoyez la page qui contient le reçu, pas toutes les pages du fichier. Si le document occupe une petite partie de la page, envoyez seulement cette zone. Envoyez aussi une image dont le texte est lisible. Dans ce projet, les pages PDF sont rendues à 150 points par pouce. Le côté le plus long de chaque image mesure au maximum 1 600 pixels.

La conception de la requête comprend la demande et la structure de la réponse. La requête v2 comporte trois parties :

  • Un schéma JSON strict pour la réponse. Ici, le schéma est le contrat d’extraction écrit pour le modèle. Chaque champ est un objet à cinq clés : value (valeur normalisée), printed (texte imprimé sur la page), status (statut : found, trouvé, inferred, inféré, ou absent, absent), reason (raison) et confidence (confiance).
  • Des règles de format : les dates au format YYYY-MM-DD (année-mois-jour), et les montants avec deux décimales et un point. Sur les reçus du Québec, le jour vient en premier. La taxe est la somme de toutes les lignes de taxes.
  • Des règles pour les valeurs absentes : « Un numéro de transaction ou de facture n’est PAS un numéro de commande. » Et : « Si une valeur n’est pas imprimée, est coupée ou reste illisible, mettez value et printed à null, status à absent, et reason à not_printed, cut_off ou unreadable. Ne devinez, ne calculez et ne complétez jamais une valeur. »

La dernière règle est la note sur le formulaire du collègue. Elle fait d’« absent » une réponse prévue par le schéma, avec un endroit pour expliquer pourquoi. Pour voir un champ du schéma, lancez python dans le dossier du projet et tapez :

import json
from doc_extract import vision
s = vision.schema_v2()
print(s["required"])
print(json.dumps(s["properties"]["fields"]["properties"]["total"]))
['readable', 'fields', 'items']
{"type": "object", "additionalProperties": false, "properties": {"value": {"type": ["string", "null"]}, "printed": {"type": ["string", "null"]}, "status": {"type": "string", "enum": ["found", "inferred", "absent"]}, "reason": {"type": ["string", "null"]}, "confidence": {"type": "number"}}, "required": ["value", "printed", "status", "reason", "confidence"]}

value peut être null (sans valeur) : le schéma lui-même permet une case vide. status ne peut prendre que trois mots. En mode strict (strict), la réponse du modèle doit respecter exactement cette structure. Le projet n’analyse donc jamais de texte libre. Le niveau supérieur contient aussi readable (lisible) : le modèle peut indiquer que toute la page est illisible.

La requête v1 compte 32 mots. La requête v2 compte 218 mots, plus le schéma. Vous pouvez lire les deux dans doc_extract/vision.py. Le fichier docs/vision-prompt.md les compare côte à côte.

Rejouez la réponse enregistrée de la requête v2 pour D003 :

Fenêtre de terminal
python -m doc_extract.vision D003
recorded answer (replayed; nothing was sent)
D003 receipt-t0693-220.pdf page 1, prompt v2: gpt-6.1-sol-2026-09-29, 1359 tokens in, 327 out, 5.102 s, about US$0.0060
vendor LARKFIELD (confidence 1)
order_number absent (not_printed) (confidence 1)
date 2026-09-23 (confidence 1)
currency CAD (confidence 1)
subtotal 406.00 (confidence 1)
shipping absent (not_printed) (confidence 1)
tax 52.78 (confidence 1)
total 458.78 (confidence 1)
payment_method Debit (confidence 1)
item: 1 x Tool chest @ 119.00 = 119.00
item: 1 x Patio parasol @ 129.00 = 129.00
item: 2 x Step ladder @ 79.00 = 158.00

Comparez les deux réponses, champ par champ :

Champ Requête v1 Requête v2 Ce qui a fait la différence
order_number 0693-220 absent (not_printed, non imprimé) la règle sur les numéros de transaction et « ne jamais deviner »
subtotal 406.0 406.00 la règle de format : deux décimales
payment_method Debit ****3310 Debit la règle : aucun numéro de carte
shipping absent (not_given, non fourni) absent (not_printed) une raison tirée de la liste du contrat

La requête précise coûte plus cher. Suivez les nombres sur les deux lignes de coût. Le tarif affiché est de 2 $ US par million de jetons d’entrée et de 10 $ US par million de jetons de sortie :

  • v1 : 469 × 2 / 1 000 000 + 220 × 10 / 1 000 000 = 0,0009 $ US + 0,0022 $ US = environ 0,0031 $ US.
  • v2 : 1 359 × 2 / 1 000 000 + 327 × 10 / 1 000 000 = 0,0027 $ US + 0,0033 $ US = environ 0,0060 $ US.

Les 890 jetons d’entrée supplémentaires correspondent à la requête plus longue et au schéma. Les jetons de sortie supplémentaires sont les clés printed, status, reason et confidence de chaque champ. Sur les 54 pages, le coût médian par page est de 0,0060 $ US avec v1 et de 0,0113 $ US avec v2. Les prix changent : consultez la page des tarifs actuels de votre fournisseur.

Voici ce qu’apporte ce coût supplémentaire, sur les mêmes 54 pages :

Requête v1 Requête v2
Valeurs imprimées correctes 424 sur 435 (97,5 %) 425 sur 435 (97,7 %)
Valeurs inventées 11 0
Reçus complets 40 sur 54 51 sur 54

La proportion de valeurs correctes change à peine. Les valeurs inventées tombent à zéro, et onze reçus de plus sont complets. Les valeurs inventées étaient les erreurs coûteuses : plausibles, mais fausses dans le champ utilisé par les agents pour leurs recherches.

Chaque réponse de cette leçon est un enregistrement. Le cours a envoyé chaque page au modèle. Il a enregistré la réponse, le nom du modèle, les jetons et les secondes dans recordings/vision-*.jsonl. Par défaut, vision.py rejoue la réponse enregistrée. Vous n’avez donc besoin d’aucune clé et ne dépensez rien. Le schéma montre la construction d’une requête et les deux chemins de retour au pipeline :

Un flux de gauche à droite. Le document, fichier et page, mène à : choisir la page, seulement celle du reçu; puis la rendre à 150 points par pouce, recadrer ou non sur le reçu, au maximum 1 600 px; puis produire l'image en JPEG. L'image, la requête v2 avec ses règles de format et de valeurs absentes, et le schéma JSON avec value, printed, status, reason et confidence, mènent tous à une seule requête. Avec --live, votre clé et votre argent, la requête va au modèle de vision, qui donne la réponse : texte JSON, jetons et secondes. Une flèche pointillée indique que le cours a enregistré une réponse par page dans recordings/vision-v2*.jsonl. Depuis les enregistrements, la relecture est le mode par défaut, sans clé et sans coût. La réponse en direct et la réponse rejouée vont toutes deux à to_extraction, qui produit le même enregistrement que les autres chemins.
Une requête au modèle de vision : la page, l'image, la requête et le schéma. Le cours a enregistré une vraie réponse par page; le projet la rejoue, sauf si vous appelez vous-même un modèle avec --live.
Description textuelle du diagramme

La requête part du document. Le projet choisit seulement la page du reçu et la rend à 150 points par pouce. Il recadre l’image sur le reçu si vous le demandez et limite sa longueur à 1 600 pixels. L’image, la requête v2 et le schéma JSON forment une seule requête. Avec l’option –live, le projet l’envoie à un modèle de vision avec votre propre clé. Il reçoit du texte JSON, des jetons et des secondes. Le cours l’a fait pour chaque page et a enregistré les réponses dans le dossier recordings. Par défaut, le projet rejoue la réponse enregistrée, sans clé et sans coût. Dans les deux cas, to_extraction transforme la réponse en un enregistrement identique à celui de la couche texte et de l’OCR.

L’appel en direct est facultatif. Sans clé, il s’arrête avant tout envoi :

Fenêtre de terminal
python -m doc_extract.vision D036 --live
A live call needs VISION_BASE_URL, VISION_API_KEY and VISION_MODEL (see .env.example).

Vous pouvez définir ces trois valeurs dans .env pour votre propre point de terminaison compatible avec OpenAI. La même commande envoie alors la page et affiche une réponse en direct. Au tarif affiché plus haut, cela coûte environ un cent américain par page. Vos réponses peuvent différer un peu des enregistrements : un autre modèle, un autre jour.

À quel point les réponses changent-elles? Le cours a envoyé chaque page de reçu deux fois avec la requête v2 (vision-v2-pass2.jsonl). Il a ensuite comparé les deux réponses, champ par champ :

D028 vendor 'LARKFIELD' -> 'LARKFIELD Home & Garden'
486 values; changed after normalising: 0; written differently: 1

Lors de cet essai, aucune valeur normalisée n’a changé. Le modèle a écrit un nom de vendeur sous une forme plus longue. C’est une bonne nouvelle, mais cela reste une seule mesure d’un seul modèle. Un enregistrement a aussi une seconde utilité : des mois plus tard, un auditeur peut voir exactement ce que le modèle a dit.

D019 est un reçu numérisé : une étroite bande de papier sur une page de numérisation au format lettre. Le modèle lit toute l’image, y compris le papier blanc. La taille de l’image détermine la majeure partie des jetons d’entrée. Comparez les tailles des deux images que le projet peut envoyer. Dans python :

from doc_extract import documents, vision
d = documents.get("D019")
for crop in (False, True):
jpeg, size = vision.picture(d.path, 1, crop)
print("crop" if crop else "full", size)
full (1236, 1600)
crop (440, 624)

Le recadrage utilise prepare.content_box, la fonction qui recadre les images avant l’OCR dans Préparation des images. Comparez maintenant les deux réponses enregistrées :

  1. Affichez la réponse pour la page entière :

    Fenêtre de terminal
    python -m doc_extract.vision D019
    D019 scan0001.pdf page 1, prompt v2: gpt-6.1-sol-2026-09-29, 3194 tokens in, 622 out, 8.579 s, about US$0.0126
  2. Affichez la réponse pour l’image recadrée :

    Fenêtre de terminal
    python -m doc_extract.vision D019 --crop
    D019 scan0001.pdf page 1, prompt v2: gpt-6.1-sol-2026-09-29, 1281 tokens in, 686 out, 9.723 s, about US$0.0094

    Le reste des deux réponses est identique : neuf valeurs, toutes correctes.

Suivez le coût. Page entière : 3 194 × 2 / 1 000 000 + 622 × 10 / 1 000 000 = 0,0064 $ US + 0,0062 $ US = 0,0126 $ US. Image recadrée : 1 281 × 2 / 1 000 000 + 686 × 10 / 1 000 000 = 0,0026 $ US + 0,0069 $ US = 0,0094 $ US. Les jetons d’entrée ont diminué de 60 %, mais le coût a baissé de seulement 25 %. La réponse est un peu plus longue qu’avant. Un jeton de sortie coûte cinq fois plus qu’un jeton d’entrée.

Deux images à la même échelle. À gauche, la page entière : une page blanche au format lettre avec un reçu étroit au milieu, encadré en bleu; 1 236 x 1 600 px, 3 194 jetons d'entrée, 622 de sortie, 0,0126 $ US. À droite, l'image recadrée : seulement le reçu, beaucoup plus petit; 440 x 624 px, 1 281 jetons d'entrée, 686 de sortie, 0,0094 $ US.
Les deux images de D019, à la même échelle. Le recadrage conserve le reçu et retire la page de numérisation vide : 60 % moins de jetons d'entrée, 25 % moins de coût, les mêmes neuf valeurs.
Description textuelle du diagramme

À gauche se trouve la page numérisée entière de D019, de 1 236 par 1 600 pixels. Elle est surtout blanche, avec un reçu étroit au milieu, encadré en bleu. Le modèle a lu 3 194 jetons et en a écrit 622, pour 0,0126 $ US. À droite se trouve l’image recadrée, à la même échelle : seulement le reçu, de 440 par 624 pixels. Le modèle a lu 1 281 jetons et en a écrit 686, pour 0,0094 $ US.

Le cours a enregistré les réponses aux images recadrées pour les 17 reçus numérisés. Le graphique les répartit en deux groupes. Dans le premier groupe, le reçu est petit sur la page numérisée, et la zone recadrée représente moins de la moitié de l’image. Dans le second groupe, le papier remplit la majeure partie de la page.

  • Page entière
  • Image recadrée
Nombre médian de jetons d'entrée par page, pour la page entière et l'image recadrée, sur les 17 reçus numérisés. Le recadrage économise des jetons seulement quand le reçu est petit sur la page numérisée.
Description textuelle du graphique

Nombre médian de jetons d’entrée par page. Petit reçu sur une page numérisée, 10 numérisations : 3 194 pour la page entière, 1 273 pour l’image recadrée. Papier remplissant la majeure partie de la page, 7 numérisations : 3 194 pour la page entière, 3 206 pour l’image recadrée.

Sur les 17 numérisations, le recadrage fait passer la médiane par page de 3 194 à 1 297 jetons d’entrée. Le coût médian passe de 0,0120 $ US à 0,0094 $ US. Les valeurs correctes passent de 137 sur 137 à 136 sur 137. Le cas d’échec ci-dessous montre la seule valeur perdue.

Omar, le gestionnaire de produit, pose la question du coût : « Alors, on recadre tout? » Mei répond : « On recadre quand le document est petit sur la page. C’est peu coûteux à déterminer, parce que le cadre de recadrage est déjà calculé pour l’OCR. Sur une photo où le papier remplit le cadre, le recadrage ne change presque rien. »

La demande de garantie D058 comporte deux pages : un formulaire numérique et un reçu numérisé. Seule la page 2 contient les champs du reçu. Donc, vision.py envoie seulement receipt_page. Une demande coûte ainsi une image, pas deux. Dans votre propre pipeline, le chemin de chaque page détermine ce choix, comme dans Types de documents. La couche texte lit la page 1 gratuitement.

Quand utiliser ces approches et combien elles coûtent

Section intitulée « Quand utiliser ces approches et combien elles coûtent »
  • La requête précise et le schéma : toujours. Par page, ils ajoutent environ 900 jetons en entrée et 370 en sortie : environ le double du prix de la requête simple. Ils ont éliminé toutes les valeurs inventées dans le jeu de données du cours. Ils ne rendent pas le modèle parfait : la requête v2 lit encore « LARKEFIELD » sur le PDF net D009.
  • Un recadrage : quand le document est petit dans l’image. Sur 10 des 17 numérisations, il a économisé environ 60 % des jetons en entrée et un quart du coût. Quand le papier remplit le cadre, il n’économise rien.
  • Pas trop petit. Une image plus petite coûte moins de jetons, jusqu’à ce que le modèle ne puisse plus la lire. Gérer l’incertitude visuelle mesure à quel moment cela se produit.
  • Les enregistrements : pour l’enseignement, les tests et l’audit. En production, conservez chaque réponse de la même façon : le nom du modèle, les jetons, les secondes et la réponse. Vous pourrez ensuite expliquer une valeur et comparer un nouveau modèle sur les mêmes pages.

La clé confidence (confiance) reste dans le schéma parce que le cours la mesure. Ne l’utilisez pas encore pour prendre des décisions. Confiance et acheminement vers la révision montre ce qu’elle vaut.

Erreur courante

Le recadrage économise de l'argent et perd une lettre

Symptôme : D025 est un reçu numérisé couché sur le côté, tourné de 90°. Avec le recadrage, le modèle écrit le nom du fournisseur LARKEFIELD :

Fenêtre de terminal
python -m doc_extract.vision D025 --crop
D025 scan0007.pdf page 1, prompt v2: gpt-6.1-sol-2026-09-29, 1281 tokens in, 712 out, 9.613 s, about US$0.0097
vendor LARKEFIELD (confidence 0.99)

La réponse pour la page entière avait le bon nom. Le cours a comparé les deux réponses enregistrées : la taille de chaque image et le fournisseur écrit par le modèle.

full [1600, 1236] vendor LARKFIELD Home & Garden | printed 'LARKFIELD\nHome & Garden'
crop [620, 444] vendor LARKEFIELD | printed 'LARKEFIELD'

Cause : Ce n’est pas la résolution. Les deux images viennent de la page rendue à 150 ppp. Les lettres ont donc à peu près la même taille en pixels. Le recadrage retire seulement le papier vide. Le reçu est couché sur le côté dans les deux images. Le modèle a lu les mêmes lettres différemment avec moins de papier autour. La lecture d’un modèle peut changer selon son entrée, sans que l’image permette de prévoir ce changement. Sa confiance, à 0,99, ne donne aucun avertissement.

Diagnostic : Mesurez un changement d’entrée sur plusieurs pages, pas sur une seule. Comparez les valeurs avec les valeurs réelles, ou avec la couche texte ou l’OCR lorsque leur lecture est bonne. C’est ainsi que le cours a trouvé la seule valeur perdue sur 137.

Correction : Gardez les outils de lecture indépendants du modèle en amont de celui-ci. Dans la prochaine leçon, les règles lisent d’abord cette numérisation, et le modèle n’est même pas appelé. Vérifiez aussi les valeurs du modèle à partir de ce que vous savez. « LARKEFIELD » ne correspond pas à la liste des fournisseurs du contrat (contract.VENDORS). Donc, contract.normalise ne peut pas le transformer en « Larkfield ». La validation du cours ne vérifie pas la liste des fournisseurs. Confiance et acheminement vers la révision montre ce que cela coûte sur D009. Le cours n’a pas enregistré d’image redressée puis recadrée. Il ne peut donc pas dire si tourner l’image d’abord aide.

Conséquence pour le travail en IA : chaque économie sur l’entrée modifie l’entrée. Mesurez ce changement sur les mêmes pages, avec les mêmes scores, avant de l’adopter.

À vous de jouer : une numérisation qui remplit la page

Section intitulée « À vous de jouer : une numérisation qui remplit la page »

Changez une condition : utilisez la numérisation D020 au lieu de D019. Son papier remplit presque toute la page du numériseur. Prédisez les jetons en entrée et le coût du recadrage, par rapport à la page entière. Exécutez ensuite les deux commandes :

Fenêtre de terminal
python -m doc_extract.vision D020
python -m doc_extract.vision D020 --crop
Afficher la réponse
D020 scan0002.jpg page 1, prompt v2: gpt-6.1-sol-2026-09-29, 3194 tokens in, 561 out, 7.094 s, about US$0.0120
D020 scan0002.jpg page 1, prompt v2: gpt-6.1-sol-2026-09-29, 3206 tokens in, 561 out, 7.04 s, about US$0.0120

Le recadrage coûte autant et compte même 12 jetons de plus. La zone de recadrage mesure 1 275 × 1 560 pixels : presque toute la numérisation. La page entière est réduite pour tenir dans 1 600 pixels (1 236 × 1 600). Le recadrage n’est pas réduit, donc il est un peu plus grand. Les deux réponses donnent les neuf bonnes valeurs. Un recadrage aide seulement quand le document est petit dans l’image.

Vérifiez votre compréhension

Expliquez à Tomás pourquoi la requête v1 a donné 0693-220 comme numéro de commande de D003. Quelles parties de la requête v2 l'ont empêché?

Afficher la réponse

D003 est un reçu de magasin. Il affiche un numéro de transaction, 0693-220, et aucun numéro de commande. La requête v1 demandait une clé order_number (numéro de commande), sans rien préciser sur les valeurs absentes. Le modèle a donc rempli le champ avec le numéro le plus proche, comme le ferait un collègue serviable. La requête v2 a changé trois choses. Son schéma permet null (valeur nulle), avec le statut absent (absent) et une raison. Une règle précise qu’un numéro de transaction ou de facture n’est pas un numéro de commande. Une autre règle dit : « ne jamais deviner, calculer ou compléter une valeur ». Ensemble, elles font de « absent, not_printed » (absent, non imprimé) une réponse normale. Sur les 54 pages de reçus, le nombre de valeurs inventées est passé de 11 à 0.

Vérifiez votre compréhension

Prédisez : vous recadrez la photo D036 prise au téléphone avant de l'envoyer. Le papier remplit presque toute la photo. Le recadrage économisera-t-il autant que sur D019?

Afficher la réponse

Non, beaucoup moins. Sur D019, le reçu était une bande étroite sur une page de format lettre. Le recadrage a donc retiré la majeure partie de l’image et 60 % des jetons en entrée. Sur une photo prise au téléphone, le papier remplit presque tout le cadre. Avant l’OCR, le projet recadre D036 selon la zone [144, 32, 1088, 1548]. Cela donne 944 × 1 516 pixels sur une photo de 1 200 × 1 600. L’image reste grande, donc les jetons en entrée restent proches de ceux de la photo entière. La réponse garde aussi la même longueur. Le cours n’a pas enregistré de recadrages de photos. Il s’agit donc d’une prédiction basée sur les numérisations, pas d’une mesure.

Vérifiez votre compréhension

Vérification pratique : exécutez python -m doc_extract.vision D022 et python -m doc_extract.vision D022 --crop. Le recadrage utilise moins de jetons en entrée. Pourquoi coûte-t-il plus cher?

Afficher la réponse

La page entière compte 2 079 jetons en entrée et 297 en sortie : 2 079 × 2 / 1 000 000 + 297 × 10 / 1 000 000 = 0,0042 $ US + 0,0030 $ US = environ 0,0071 $ US. Le recadrage compte 1 101 jetons en entrée et 558 en sortie : 0,0022 $ US + 0,0056 $ US = environ 0,0078 $ US. Le recadrage a économisé 978 jetons en entrée, mais la réponse comptait 261 jetons de plus. Un jeton en sortie coûte cinq fois plus cher. La réponse plus longue a donc coûté plus que l’économie du recadrage. La longueur d’une réponse varie d’un appel à l’autre. Évaluez donc un recadrage sur plusieurs pages, pas sur une seule.

Récapitulatif

  • Un modèle de vision répond à la requête que vous envoyez. La conception des entrées choisit la page, la partie de l’image et sa taille. La conception des requêtes fournit un schéma strict, des règles de format et des règles pour les valeurs absentes.
  • Une requête simple a inventé 11 numéros de commande en copiant des numéros de transaction et de facture. La requête précise v2 n’en a inventé aucun, pour environ le double du prix par page.
  • Dans le schéma, value (valeur) peut être null, et status (statut) vaut found (trouvé), inferred (déduit) ou absent. Une valeur absente a une reason (raison). « Absent » est une réponse normale.
  • Recadrez quand le document est petit dans l’image. Sur 10 des 17 numérisations : environ 60 % moins de jetons en entrée et un quart de coût en moins. Mesurez chaque changement d’entrée sur plusieurs pages : le recadrage de D025 a perdu une lettre du nom du fournisseur.
  • Le projet rejoue les réponses enregistrées, sans clé ni coût. --live appelle un modèle avec votre propre clé.

Ensuite, vous appelez le modèle seulement là où les règles ne peuvent pas lire un reçu. Vous trouvez aussi un endroit sur la page pour chacune de ses valeurs.

Leçon suivante : Combiner les méthodes