Métriques par champ
- Leçon 17
- 55 min
- Module 6 : Évaluer et livrer le pipeline
Où nous en sommes
Dans le module 5, nous avons vérifié les valeurs, envoyé les documents incertains à une personne et conservé chaque correction. Maintenant, nous devons savoir à quel point le pipeline est bon. Mais un seul chiffre d'exactitude peut choisir le mauvais lecteur, car il cache les erreurs les plus importantes, comme les valeurs inventées. Dans cette leçon, nous mesurons champ par champ, par type de document, avec la nature de chaque erreur, comme quand on corrige un formulaire case par case.
Leçon 17 sur 19 · IA documentaire et multimodaleMétriques par champ
1. Comprendre les documents en entrée
2. Préparer et extraire le contenu
3. Retrouver la structure et les tableaux
4. Utiliser les modèles multimodaux de façon réfléchie
5. Valider et réviser les résultats
6. Évaluer et livrer le pipeline
7. Études de cas
Ce que vous saurez faire
Évaluez un lecteur de documents selon l’expérience de ses utilisateurs : champ par champ, par type de document, avec chaque catégorie d’erreur. Comptez séparément les correspondances exactes et normalisées, puis les documents complets. Un seul chiffre d’exactitude cache les erreurs les plus importantes, comme les valeurs inventées.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Le contrat d’extraction et ses raisons permises pour une valeur absente, présentés dans Définir le contrat d’extraction.
- Les six façons de lire un reçu que ce cours compare. Ce sont la couche texte, l’OCR brut et préparé, le modèle de vision avec deux requêtes et le pipeline combiné. Elles viennent de Chemins texte et OCR et de Combiner les méthodes.
- L’exactitude et les sous-groupes, présentés dans Métriques de prédiction et Incertitude et sous-groupes du cours Évaluer et tester les systèmes d’IA, si vous l’avez suivi. Cette leçon explique tous les décomptes qu’elle utilise.
Ce qu’il vous faut sur votre ordinateur
- Votre projet à la fin du module précédent :
python -m pytest -qaffiche98 passed(98 tests réussis). Si votre projet ne fonctionne plus, copiez l’instantanéend-of-m05, comme l’indique le README des instantanés. - Le dépôt des exercices dans
~/projects/nextia-learning-labs, à jour.
Testé avec Python 3.12.13 et RapidOCR 3.10.0 sur macOS (Apple silicon). Les commandes Windows et Linux ne sont pas testées. Le générateur du cours produit tous les documents de ce cours; aucun client ni magasin réel n’y figure.
Obtenir le fichier de la leçon
Section intitulée « Obtenir le fichier de la leçon »-
Dans le dossier du projet, copiez le module et son test depuis l’instantané :
Fenêtre de terminal S=../nextia-learning-labs/C13/snapshots/end-of-m06cp $S/doc_extract/evaluate.py doc_extract/cp $S/tests/test_evaluate.py tests/Fenêtre de terminal $S = "..\nextia-learning-labs\C13\snapshots\end-of-m06"Copy-Item "$S\doc_extract\evaluate.py" doc_extract\Copy-Item "$S\tests\test_evaluate.py" tests\Copiez seulement ces deux fichiers. L’instantané contient aussi les fichiers des deux prochaines leçons, et la dernière leçon modifie un fichier de règles.
-
Exécutez les tests :
Fenêtre de terminal python -m pytest -qLa dernière ligne est
101 passed(101 tests réussis). Les tests lisent quelques photos avec l’OCR, donc la première exécution peut prendre environ 30 secondes.
Corriger un formulaire case par case
Section intitulée « Corriger un formulaire case par case »Une enseignante corrige un formulaire de demande d’emploi. Le formulaire contient neuf cases : nom, date de naissance, adresse, etc. La personne qui postule peut rater une case de trois façons. Elle peut la laisser vide. Elle peut écrire une mauvaise réponse. Ou elle peut remplir une case qui doit rester vide, comme un deuxième prénom qu’elle n’a pas. À la fin, l’enseignante pose une autre question : « Le bureau peut-il utiliser ce formulaire tel quel? » Une seule mauvaise case dans un champ obligatoire, et la réponse est non.
Un score comme « 92 % des cases sont correctes » cache tout cela. Il ne dit pas quelles cases ont échoué, ni comment. Il ne dit pas combien de formulaires le bureau peut utiliser. Le score d’un lecteur de documents pose le même problème.
Le problème : un seul chiffre fait choisir le mauvais lecteur
Section intitulée « Le problème : un seul chiffre fait choisir le mauvais lecteur »Le cours a évalué six façons de lire les 54 documents de reçus. Les reçus affichent 435 valeurs pour les neuf champs du contrat. Voici le score le plus simple : la proportion de ces valeurs imprimées que chaque lecteur a lues correctement.
| Lecteur | Valeurs imprimées correctes |
|---|---|
| Couche texte + règles | 169 sur 435 (38,9 %) |
| OCR sur l’image brute + règles | 392 (90,1 %) |
| OCR sur l’image préparée + règles | 408 (93,8 %) |
| Modèle de vision, requête simple (v1) | 424 (97,5 %) |
| Modèle de vision, requête précise (v2) | 425 (97,7 %) |
| Pipeline combiné | 427 (98,2 %) |
Tomás lit le tableau et fait un choix : « Le modèle avec la requête simple obtient 97,5 %. C’est presque quatre points de mieux que l’OCR. On peut utiliser la requête plus courte. » Priya, responsable de l’évaluation, hésite. Elle se souvient de Conception des entrées et des requêtes : la requête simple remplissait les numéros de commande vides avec le numéro de transaction de la caisse.
Le score ci-dessus ne peut pas montrer ce problème. Il compte seulement les valeurs que le reçu affiche. Un numéro de commande absent du reçu ne fait pas partie des 435 valeurs; un numéro inventé n’est donc jamais compté. Le score mélange aussi deux échecs différents. Un lecteur qui dit « Je ne peux pas lire ceci » perd des points, tout comme celui qui lit une mauvaise valeur. La couche texte obtient 38,9 % parce qu’elle ne peut pas lire les images, mais elle ne donne jamais de mauvaise valeur.
L’idée : un résultat par champ, puis un décompte par sous-groupe
Section intitulée « L’idée : un résultat par champ, puis un décompte par sous-groupe »L’évaluation par champ compare chaque champ de chaque document à sa valeur vraie et lui attribue un des cinq résultats. La première question reprend la case vide de l’enseignante : « Le document affiche-t-il ce champ? »
Description textuelle du diagramme
Un arbre de décision pour un champ d’un reçu. La première question demande si le document affiche le champ. Si oui, un système qui ne donne aucune valeur a une valeur manquante, comme sur la photo illisible D046. Une valeur différente après normalisation est erronée, comme LARKEFIELD dans D009. Une valeur identique est correcte : exacte si elle s’écrit aussi de la même façon (Larkfield), normalisée sinon (LARKFIELD). Si le document n’affiche pas le champ, un système qui ne donne aucune valeur a une absence correcte. C’est le cas du total coupé de D045. Un système qui donne une valeur l’a inventée, comme 0693-220 dans D003.
- correct : le document affiche la valeur, et le système donne la même valeur après normalisation.
- manquant : le document affiche la valeur, et le système n’en donne aucune.
- erroné : le système donne une autre valeur.
- absence correcte : le document n’affiche pas le champ, et le système l’indique.
- inventé : le document n’affiche pas le champ, et le système donne quand même une valeur.
Normaliser signifie écrire une valeur sous une forme standard avant de la comparer. La fonction normalise du contrat transforme 1 011,78 en 1011.78 et LARKFIELD en Larkfield. Une correspondance exacte exige aussi la même écriture. Les deux décomptes sont utiles, pour des utilisateurs différents.
Ensuite, comptez les résultats par sous-groupes : par type de document et par champ. Un sous-groupe est une partie des données que vous comptez séparément. Un tableau de ces décomptes est une matrice d’évaluation. Enfin, posez la question du bureau pour chaque document. Un document est complet quand chaque champ obligatoire est correct et qu’aucune valeur n’est inventée.
Un petit exemple : cinq champs à la main
Section intitulée « Un petit exemple : cinq champs à la main »Lancez python dans le dossier du projet et saisissez :
from doc_extract import evaluatecases = [("total", "211.68", "211.68"), ("total", None, "211.68"), ("total", "211.86", "211.68"), ("order_number", "0693-220", None), ("order_number", None, None)]for name, got, want in cases: print(f"{name:<13} read {str(got):<9} true {str(want):<7} -> {evaluate.outcome(name, got, want)}")total read 211.68 true 211.68 -> correcttotal read None true 211.68 -> missingtotal read 211.86 true 211.68 -> wrongorder_number read 0693-220 true None -> inventedorder_number read None true None -> correct_absentNone signifie « aucune valeur ». Dans les valeurs vraies, None signifie que le reçu n’affiche pas le champ. Lisez les deux dernières lignes ensemble. La même valeur vraie vide donne « inventé » ou « absence correcte »; seule la réponse du système détermine le résultat.
Évaluez maintenant deux vrais documents avec cinq systèmes. D003 est un reçu de magasin sans numéro de commande. D045 est une photo dont le bas est coupé :
from doc_extract import documents, evaluatesystems = ("text", "ocr_prepared", "vision_v1", "vision", "combined")for doc in ("D003", "D045"): r = evaluate.evaluate(systems, [documents.get(doc)]) rows = {s: r["systems"][s]["per_doc"][doc] for s in systems} print(doc + " " * 12 + "".join(f"{s:>15}" for s in systems)) for name in rows["combined"]["fields"]: print(f" {name:<14}" + "".join(f"{rows[s]['fields'][name]:>15}" for s in systems)) print(f" {'complete':<14}" + "".join(f"{str(rows[s]['complete']):>15}" for s in systems))D003 text ocr_prepared vision_v1 vision combined vendor correct correct correct correct correct order_number correct_absent correct_absent invented correct_absent correct_absent date correct correct correct correct correct currency correct correct correct correct correct subtotal correct correct correct correct correct shipping correct_absent correct_absent correct_absent correct_absent correct_absent tax correct correct correct correct correct total correct correct correct correct correct payment_method correct correct correct correct correct complete True True False True TrueD045 text ocr_prepared vision_v1 vision combined vendor missing correct correct correct correct order_number missing correct correct correct correct date missing correct correct correct correct currency missing missing correct correct correct subtotal missing correct correct correct correct shipping correct_absent correct_absent correct_absent correct_absent correct_absent tax missing correct correct missing correct total correct_absent correct_absent correct_absent correct_absent correct_absent payment_method correct_absent correct_absent correct_absent correct_absent correct_absent complete False False True False True
Description textuelle du diagramme
À gauche de chaque fiche, la page avec des cadres verts autour des preuves du pipeline combiné. Sur D003, un cadre orange marque le numéro de transaction de la caisse, 0693-220. La requête v1 l’a donné comme numéro de commande. À droite, une grille de résultats : les champs en lignes, les systèmes en colonnes. D003 : tous les systèmes lisent correctement chaque champ imprimé et laissent le numéro de commande et l’expédition absents. Seul Model v1 invente le numéro de commande. Model v1 est donc le seul système dont le D003 n’est pas complet. D045 : Text ne peut pas lire une photo et manque six champs. OCR prepared manque la devise, et Model v2 manque la taxe. Le total et la ligne de paiement sont sous le bord coupé pour tout le monde. Model v1 et le pipeline combiné sont complets.
Sur D003, la requête simple lit correctement les sept valeurs imprimées. Elle obtiendrait 100 % avec la mesure simple. Mais elle invente le numéro de commande, donc le document n’est pas complet : un agent chercherait une commande inexistante.
Sur D045, le total et le paiement ne sont pas affichés, et chaque système les laisse vides : « absence correcte ». C’est la bonne réponse pour une photo coupée. La couche texte manque six valeurs, car une photo n’a pas de couche texte : elles sont manquantes, pas erronées. L’OCR et la requête précise manquent chacun une valeur, et le pipeline combiné comble les deux lacunes.
Exact ou normalisé : qui utilise la valeur?
Section intitulée « Exact ou normalisé : qui utilise la valeur? »Les deux décomptes mesurent les mêmes réponses de deux façons. Le cours a compté les valeurs correctes après normalisation, mais écrites différemment des valeurs vraies. Voici une vérification de l’ensemble du jeu de données, exécutée par le cours :
== vision_v1: 137 values right but not written exactly as the truth 21 x vendor read 'LARKFIELD Home & Garden' true 'Larkfield' 14 x shipping read '0.0' true '0.00' 10 x payment_method read 'Mastercard ****1907' true 'Mastercard' 9 x payment_method read 'Debit ****3310' true 'Debit' 7 x payment_method read 'Amex ****2004' true 'Amex' 6 x vendor read 'LARKFIELD' true 'Larkfield'== vision: 32 values right but not written exactly as the truth 13 x vendor read 'LARKFIELD Home & Garden' true 'Larkfield' 13 x vendor read 'LARKFIELD' true 'Larkfield' 6 x vendor read 'MAPLE & PINE' true 'Maple & Pine Hardware'== ocr_prepared: 6 values right but not written exactly as the truth 6 x vendor read 'MAPLE & PINE' true 'Maple & Pine Hardware'Le modèle copie ce que le papier affiche : LARKFIELD Home & Garden. La liste des fournisseurs du contrat sait qu’il s’agit de Larkfield; la valeur est donc correcte après normalisation. Seulement 19 des 53 fournisseurs de la requête précise sont exacts. La requête simple fait pire : elle répond 0.0 pour 0.00 et garde les chiffres de carte dans Mastercard ****1907. Les règles écrivent tout de suite la forme du contrat, donc 46 de leurs fournisseurs sont exacts.
Le décompte important dépend de la personne qui utilise la valeur. Un remboursement exige le montant, et 189.0 représente la même somme que 189.00; la correspondance normalisée suffit donc. Une lettre au client, une recherche par numéro de commande ou une jointure avec un autre système exige le texte exact. Présentez donc les deux décomptes. Et normalisez à un seul endroit, dans le contrat, pour que l’évaluation et le pipeline utilisent la même règle.
La matrice complète
Section intitulée « La matrice complète »-
Évaluez le pipeline combiné :
Fenêtre de terminal python -m doc_extract.evaluate== combined: 427 of 435 printed values correct (98.2%); missing 8, wrong 0, invented 0field digital_pdf scan_pdf scan_image photo mixed_pdf exactvendor 21/21 7/7 10/10 13/14 1/1 46/53order_number 16/16 6/6 7/7 11/12 1/1 41/42date 21/21 7/7 10/10 13/14 1/1 52/53currency 21/21 7/7 10/10 14/15 1/1 53/54subtotal 21/21 7/7 10/10 14/15 1/1 53/54shipping 10/10 2/2 3/3 4/4 - 19/19tax 21/21 7/7 10/10 14/15 1/1 53/54total 21/21 7/7 10/10 13/14 1/1 52/53payment_method 21/21 7/7 10/10 13/14 1/1 52/53complete documents: digital_pdf 21/21, all 53/54, scan_pdf 7/7, scan_image 10/10, photo 14/15, mixed_pdf 1/1item lines found: 99 of 105 (i = invented values)La première exécution lit chaque numérisation et photo avec l’OCR, ce qui prend environ 30 secondes. Chaque cellule indique « correct / imprimé » pour un champ et un type de document. La colonne
exact(exact) compte tous les types ensemble. La colonnemixed_pdf(PDF mixte) correspond à la réclamation de garantie, dont la page 2 est un reçu numérisé. -
Évaluez les six systèmes :
Fenêtre de terminal python -m doc_extract.evaluate --systems text,ocr,ocr_prepared,vision,vision_v1,combinedLa sortie contient un bloc par système. Voici celui de la requête simple :
== vision_v1: 424 of 435 printed values correct (97.5%); missing 8, wrong 3, invented 11field digital_pdf scan_pdf scan_image photo mixed_pdf exactvendor 21/21 7/7 10/10 13/14 1/1 21/53order_number 16/16+5i 5/6 7/7+3i 11/12+3i 1/1 40/42date 21/21 6/7 10/10 12/14 1/1 50/53currency 21/21 7/7 10/10 14/15 1/1 53/54subtotal 21/21 7/7 10/10 14/15 1/1 14/54shipping 10/10 2/2 3/3 4/4 - 5/19tax 21/21 7/7 10/10 14/15 1/1 44/54total 21/21 7/7 10/10 13/14 1/1 45/53payment_method 21/21 7/7 10/10 13/14 1/1 15/53complete documents: digital_pdf 16/21, all 40/54, scan_pdf 6/7, scan_image 7/10, photo 10/15, mixed_pdf 1/1item lines found: 104 of 105 (i = invented values)+5isignifie 5 valeurs inventées dans cette cellule. Les 11 valeurs inventées sont toutes des numéros de commande. Seulement 14 des 54 sous-totaux sont exacts, car la requête simple répond avec des nombres comme189.0pour189.00.
L’explorateur montre la même matrice sous forme de carte thermique, pour chaque système. Avant de cliquer, faites une prédiction.
Explorer
Où chaque lecteur échoue-t-il?
Prédisez d’abord : La requête simple (v1) lit correctement 97,5 % des valeurs imprimées, contre 93,8 % pour l'OCR sur les images préparées. Lequel donne le plus de documents complets, et dans quel champ se trouve la différence?
Modèle, consigne v1 : 424 valeurs imprimées justes sur 435 (97,5 %). Manquantes 8, fausses 3, inventées 11. Documents complets : 40 sur 54.
La consigne simple trouve beaucoup de valeurs, mais elle invente 11 numéros de commande. Seuls 40 documents sont complets.
| Champ | PDF numérique 21 doc. | PDF numérisé 7 doc. | Image numérisée 10 doc. | Photo de téléphone 15 doc. | Réclamation (mixte) 1 doc. | Tous les types | Écrit à l’identique |
|---|---|---|---|---|---|---|---|
vendor | 21/21 | 7/7 | 10/10 | 13/141 manquant | 1/1 | 52/531 manquant | 21/53 |
order_number | 16/16+5 inventés | 5/61 faux | 7/7+3 inventés | 11/121 manquant +3 inventés | 1/1 | 40/421 manquant 1 faux +11 inventés | 40/42 |
date | 21/21 | 6/71 faux | 10/10 | 12/141 manquant 1 faux | 1/1 | 50/531 manquant 2 faux | 50/53 |
currency | 21/21 | 7/7 | 10/10 | 14/151 manquant | 1/1 | 53/541 manquant | 53/54 |
subtotal | 21/21 | 7/7 | 10/10 | 14/151 manquant | 1/1 | 53/541 manquant | 14/54 |
shipping | 10/10 | 2/2 | 3/3 | 4/4 | non imprimé | 19/19 | 5/19 |
tax | 21/21 | 7/7 | 10/10 | 14/151 manquant | 1/1 | 53/541 manquant | 44/54 |
total | 21/21 | 7/7 | 10/10 | 13/141 manquant | 1/1 | 52/531 manquant | 45/53 |
payment_method | 21/21 | 7/7 | 10/10 | 13/141 manquant | 1/1 | 52/531 manquant | 15/53 |
| Documents complets | 16/21 | 6/7 | 7/10 | 10/15 | 1/1 | 40/54 |
Vert plus foncé : plus de valeurs imprimées justes. Mots orange : valeurs fausses ou inventées.
Description textuelle de l’explorateur
Une commande permet de choisir le système. Le tableau présente les neuf champs en lignes et cinq types de documents en colonnes. Viennent ensuite tous les types et les valeurs écrites exactement. Chaque cellule donne les valeurs imprimées correctes, avec un vert plus foncé pour une proportion plus élevée. Elle indique aussi les erreurs : manquantes, erronées (orange) et inventées (orange). La dernière ligne donne les documents complets. Couche texte : 169 sur 435 correctes, 266 manquantes, aucune erronée; elle lit seulement les PDF numériques; 19 sur 54 complets. OCR brut : 392 correctes, 42 manquantes, 1 erronée; 45 complets. OCR préparé : 408 correctes, 27 manquantes; tous les PDF numérisés sont complets; 46 complets. Modèle v1 : 424 correctes, 8 manquantes, 3 erronées et 11 numéros de commande inventés. Il en invente 5 sur les PDF numériques, 3 sur les images numérisées et 3 sur les photos; 40 complets. Modèle v2 : 425 correctes, 9 manquantes, 1 erronée (le fournisseur de D009), aucune inventée; 19 sur 53 fournisseurs exacts; 51 complets. Combiné : 427 correctes, 8 manquantes (toutes sur D046), aucune erronée ni inventée; 53 complets. La réponse : l’OCR sur les images préparées donne 46 documents complets, et la requête simple en donne 40. La différence se trouve dans la ligne du numéro de commande, où la requête simple invente 11 valeurs.
Lisez la matrice de chaque système comme une carte des prochaines améliorations. La couche texte ne se trompe jamais : ses valeurs manquantes viennent des images qu’elle ne peut pas lire. La préparation corrige les numérisations, mais pas les photos. La requête précise élimine toutes les valeurs inventées. Le pipeline combiné est complet partout, sauf pour une photo.
Documents complets : la question du bureau
Section intitulée « Documents complets : la question du bureau »Le décompte des documents demande si un agent peut utiliser un reçu sans le vérifier. Écrivez le résultat complet dans un fichier :
python -m doc_extract.evaluate --systems vision_v1,vision,combined --json out/evaluation.jsonLes résultats d’OCR viennent maintenant du cache, donc cela prend environ une seconde. Listez ensuite les documents incomplets. Dans python :
import jsonresult = json.load(open("out/evaluation.json", encoding="utf-8"))for system in ("vision_v1", "vision", "combined"): per_doc = result["systems"][system]["per_doc"] bad = [d for d, row in per_doc.items() if not row["complete"]] print(f"{system}: {len(per_doc) - len(bad)} of {len(per_doc)} complete; not complete: {', '.join(bad)}")vision_v1: 40 of 54 complete; not complete: D003, D007, D013, D017, D018, D021, D028, D033, D034, D036, D042, D046, D048, D049vision: 51 of 54 complete; not complete: D009, D045, D046combined: 53 of 54 complete; not complete: D046La requête simple n’est donc que 0,2 point derrière la requête précise pour les valeurs, mais 11 documents derrière pour les documents complets. Les valeurs et les documents racontent des histoires différentes, et les agents travaillent avec des documents. Dans le pipeline combiné, seul D046 est incomplet. Personne ne peut le lire, et il passe en révision avec six champs manquants, comme l’a montré Confiance et acheminement vers la révision.
Les tableaux se mesurent cellule par cellule
Section intitulée « Les tableaux se mesurent cellule par cellule »Les reçus ont des champs. Une liste de prix a un tableau, et un tableau a sa propre métrique : la proportion de cellules correctes. Chacune doit être dans sa ligne et sa colonne. Tableaux et feuilles de calcul l’a mesurée. Exécutez de nouveau les deux commandes et lisez la dernière ligne de chacune :
python -m doc_extract.tables D056python -m doc_extract.tables D056 --naivecells correct: 246 of 246 (100%)45 rows (header rows counted as data), cells correct: 172 of 246 (70%)La lecture page par page ajoute les lignes d’en-tête répétées comme produits et perd les catégories des cellules fusionnées. Toutes ses valeurs sont sur la page, donc un décompte des valeurs cacherait les dégâts. Le décompte des cellules les montre. Les lignes d’articles des reçus forment aussi un petit tableau : le pipeline combiné trouve 99 des 105 lignes, et le modèle seul, 104. Gardez ces décomptes séparés des neuf champs, car une ligne d’article manquée n’empêche pas un remboursement.
Quand évaluer champ par champ, et à quel coût
Section intitulée « Quand évaluer champ par champ, et à quel coût »- Évaluez par rapport à la vérité, jamais par rapport aux résultats du système lui-même. Ici, le générateur connaît la vérité par construction. L’auteur du cours l’a vérifiée en lisant. Pour de vrais documents, une personne doit étiqueter chaque champ à la main. Ce travail représente le principal coût d’une évaluation.
- Comptez chaque champ, même ceux qui ne sont pas imprimés. Sinon, les valeurs inventées disparaissent du score.
- Examinez les petits sous-ensembles avec soin. La demande représente un seul document, donc
1/1ne dit presque rien. Dans un sous-ensemble de 7 PDF numérisés, le score change de 14 points quand une valeur change. - Ne calculez pas une moyenne des champs en un seul nombre pour choisir un système de lecture. Utilisez la matrice pour trouver les cellules en échec, et les documents complets pour comparer les systèmes.
- Gardez les mêmes données d’évaluation d’une version à l’autre. Sinon, vous ne pouvez pas comparer les nombres.
Erreur courante
Les numéros de commande inventés comptés comme corrects
Symptôme : Un collègue écrit un script d’évaluation rapide. La requête simple obtient 97,5 % et gagne. Deux semaines après le changement, les agents signalent des remboursements en attente. Ils cherchent des numéros de commande inexistants, comme 0693-220.
Cause : Le script comparait seulement les champs présents dans la vérité. Il ignorait les champs sans valeur réelle. Les 11 numéros de commande inventés n’ont donc jamais été comptés. Cette histoire est construite, mais les nombres sont les résultats réels du cours pour la requête simple.
Diagnostic : Comptez les résultats par champ, y compris invented (inventé). Dans le projet, python -m doc_extract.evaluate --systems vision_v1 affiche +5i, +3i et +3i dans la ligne des numéros de commande. Regardez ensuite les documents complets : 40 sur 54.
Correction : Évaluez chaque champ de chaque document selon les cinq résultats possibles. Comparez les systèmes selon les documents complets et le nombre de valeurs inventées, pas seulement les valeurs imprimées correctes.
Conséquence pour le travail en IA : Une métrique détermine ce qu’une équipe améliore. Une métrique qui ne détecte pas un type d’erreur laisse cette erreur se multiplier. C’est particulièrement important pour les modèles de langage, qui comblent les lacunes avec du texte plausible.
À vous de jouer : la préparation aide-t-elle partout?
Section intitulée « À vous de jouer : la préparation aide-t-elle partout? »Changez une condition : comparez l’OCR sur l’image brute avec l’OCR sur l’image préparée. Faites d’abord une prédiction. Pour quel type de document la préparation aide-t-elle le plus? Y a-t-il un champ où elle nuit à l’OCR? Exécutez ensuite :
python -m doc_extract.evaluate --systems ocr,ocr_preparedAfficher la réponse
Voici quelques cellules des deux blocs, côte à côte :
ocr (raw) ocr_prepared scan_pdf scan_image photo scan_pdf scan_image photovendor 6/7 9/10 13/14 7/7 10/10 13/14currency 6/7 9/10 14/15 7/7 10/10 13/15subtotal 6/7 7/10 12/15 7/7 8/10 12/15complete documents 6/7 7/10 12/15 7/7 8/10 11/15La préparation aide surtout les documents numérisés. Deux documents changent complètement : D025, un PDF numérisé tourné sur le côté, et D026, une image numérisée à l’envers. L’OCR brut n’y lit presque rien. La préparation les remet à l’endroit, donc chaque champ devient correct. Pour les photos, la préparation n’aide pas ici. La devise passe de 14/15 à 13/15, car l’OCR ne la trouve pas sur l’image préparée de D045. Il y a donc une photo complète de moins. Sur les 54 documents, la préparation gagne quand même : 408 valeurs correctes contre 392, et 46 documents complets contre 45. Un sous-ensemble révèle ce qu’un total cache, dans les deux sens.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Expliquez pourquoi la requête simple (v1) est moins bonne que l'OCR sur les images préparées pour Larkfield, malgré davantage de valeurs imprimées correctes.
Afficher la réponse
Le score des valeurs imprimées compte seulement les champs imprimés sur le reçu. Il ne peut donc pas détecter les valeurs inventées. La requête simple invente 11 numéros de commande sur des reçus qui n’en ont aucun. Chacun rend son document incomplet, et un agent chercherait une commande inexistante. La requête simple donne donc 40 documents complets sur 54, contre 46 pour l’OCR sur les images préparées. L’OCR manque certaines valeurs, mais une valeur manquante est envoyée en révision avec une raison. Une valeur inventée semble correcte.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Prédisez : le modèle lit un reçu affichant Cash et 211,68, puis répond payment_method « CASH » et total 211,680. Quels sont les résultats, exacts et normalisés?
Afficher la réponse
Les deux champs sont corrects après normalisation : le contrat écrit CASH sous la forme Cash et 211.680 sous la forme 211.68. Aucun n’est exact, car le texte diffère de la vérité. Ils comptent donc dans les cellules « correct » de la matrice, mais pas dans la colonne exact (exact). Pour un remboursement, la forme normalisée suffit. Pour un champ servant à une jointure dans un autre système, comme un numéro de commande, il faut la forme exacte. Normalisez donc la valeur avant de la stocker.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Vérification pratique : exécutez python -m doc_extract.evaluate. Quel document est incomplet dans le pipeline combiné? Quel résultat ses champs obtiennent-ils, et pourquoi est-ce acceptable?
Afficher la réponse
D046, la photo illisible. Ses 8 valeurs imprimées sont missing (manquantes) : le pipeline ne donne aucune valeur, avec la raison unreadable (illisible), et n’invente rien. C’est acceptable, car personne ne peut lire l’image. La réponse honnête est « aucune valeur ». Le document est envoyé en révision, où une personne demande au client une meilleure image. Ces 8 valeurs manquantes sont les seules erreurs du pipeline combiné : 427 sur 435 correctes, 0 erronée, 0 inventée.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Évaluez chaque champ de chaque document selon cinq résultats possibles : correct, manquant, erroné, correctement absent, inventé.
- Les correspondances exactes et normalisées répondent à des besoins différents. Le modèle écrit
LARKFIELD: 19 fournisseurs sur 53 sont exacts, 51 sont corrects après normalisation. - Comptez par type de document et par champ. La matrice d’évaluation montre où chaque système de lecture échoue. Deux sous-ensembles peuvent évoluer dans des directions opposées.
- Les documents complets répondent à la question du bureau. La requête simple donne 97,5 % de valeurs correctes et 40 documents complets sur 54. Le pipeline combiné donne 98,2 % et 53 sur 54.
- Les tableaux sont mesurés cellule par cellule : 246 sur 246 pour la liste de prix, 172 avec une lecture page par page.
Ensuite, vous mesurez le coût de chaque page en temps, en argent, en mémoire et en stockage. Vous planifiez aussi une journée de travail.
Leçon suivante : Contraintes opérationnelles