Travail final
- Après les études de cas
- environ 3 h
Où nous en sommes
Dans ce cours, vous avez créé un pipeline qui lit des documents et montre d'où vient chaque valeur : il choisit le chemin de chaque page, garde les preuves, utilise le modèle à bon escient, vérifie les valeurs, envoie les documents incertains à des personnes et mesure ses propres résultats. Maintenant, le centre de soutien de Larkfield reçoit un nouveau type de document. Dans ce travail, vous appliquez chaque module, par vous-même, à des documents que vous n'avez pas vus dans le cours.
Ce que vous saurez faire
Appliquez chaque module du cours à des documents que vous n’y avez pas vus. Créez votre propre petit jeu de documents synthétiques, avec leurs valeurs de référence. Construisez ensuite un pipeline qui les lit et fournit une preuve pour chaque valeur. Il vérifie les valeurs et envoie les documents incertains à une personne qui peut les corriger. Enfin, mesurez ses échecs par type de document et précisez ce que votre mesure ne peut pas montrer.
Avant de commencerCe qu’il faut savoir et avoir sous la main
- Vous avez terminé les modules 1 à 6. Chaque partie ci-dessous nomme les leçons qu’elle utilise.
- Vous n’avez pas besoin des études de cas pour ce travail. Le certificat en exige au moins une.
- Le projet : votre
doc-extractà la fin du module 6, ou une copie de l’instantanéend-of-m06(voir les instantanés). Travaillez dans une nouvelle copie pour garder le projet du cours intact. Vous pouvez réutiliser tout son code. Indiquez dans votre rapport ce que vous avez réutilisé et modifié. - Aucun compte ni paiement n’est nécessaire. Le modèle de vision est facultatif. Les enregistrements du cours couvrent seulement les documents du cours. Pour vos documents, appelez un modèle avec votre propre clé (
--live, à vos frais), ou n’utilisez aucun modèle. Les deux choix sont acceptables. Indiquez votre choix. - Python 3.12 et le fichier
requirements.txtdu cours. Rien d’autre à installer. - Vous pouvez faire le travail en plusieurs séances. Exécutez les tests après chaque modification.
La situation : un nouveau type de document
Section intitulée « La situation : un nouveau type de document »Le service de soutien de Larkfield reçoit un nouveau type de document. Grace repose la question du cours : « Le système peut-il le lire et montrer exactement d’où vient chaque valeur? Peut-il nous envoyer seulement ceux dont il n’est pas sûr? » Choisissez une des deux options.
Option A : reçus d’un nouveau magasin. Larkfield ajoute un deuxième magasin partenaire. Ses reçus ont leur propre mise en page et leurs propres mots, comme NET (net), GST/HST (TPS/TVH) et PAID BY (payé par). Les clients les envoient sous forme de PDF numériques, de numérisations et de photos de téléphone, comme les reçus de Larkfield. Utilisez le contrat de reçus du cours, ou une nouvelle version si le nouveau magasin en a besoin.
Option B : champs de documents de politique. L’équipe des achats veut quelques renseignements de la politique de garantie de chaque fournisseur. Ce sont le fournisseur, la version de la politique, sa date d’entrée en vigueur, la durée de garantie en mois et qui paie l’expédition de retour. Les politiques arrivent en PDF numériques à deux colonnes, en pages numérisées et parfois en pages tournées sur le côté. Écrivez un nouveau contrat pour ces documents, par exemple policy-v1.
Votre propre script produit chaque document du jeu, comme les documents du cours. Aucun client, magasin ou fournisseur réel ne doit y figurer. Précisez-le dans votre rapport.
Partie 1 : vos documents et votre contrat
Section intitulée « Partie 1 : vos documents et votre contrat »Utilise Préparer le projet d’extraction, Définir le contrat d’extraction et Types de documents.
- Écrivez d’abord le contrat dans
docs/extraction-contract.mdet danscontract.py. Pour chaque champ, donnez son format, son caractère obligatoire et les raisons possibles de son absence (not_printed,cut_off,unreadable). Précisez comment chaque champ est normalisé. Donnez un nouveau nom de version au contrat si vous modifiez celui du cours. - Écrivez un script avec une graine fixe,
make_set.py, qui produit vos documents et leurs valeurs de référence dans un dossier distinct. Vous pouvez réutiliser le générateur du cours :generate.make_receipt,generate.receipt_pdf,generate.scan,generate.photo,generate.image_pdf,generate.jpegetgenerate.policy_pdf. Pour l’option A, ajoutez une fonction qui dessine la mise en page du nouveau magasin. - Produisez au moins 20 documents d’au moins trois types de documents. Pour l’option A, utilisez des PDF numériques, des numérisations et des photos. Pour l’option B, utilisez des PDF numériques, des pages numérisées et des pages tournées. Incluez au moins deux documents qui n’impriment pas un champ facultatif. Incluez-en un en français si votre option le permet.
- Ajoutez au moins quatre fichiers problématiques : un fichier endommagé, une copie exacte, un fichier dont le nom ne correspond pas au contenu et une image tronquée ou illisible.
- Écrivez les valeurs de référence de chaque document dans
truth.jsonl, une ligne par document, avec chaque champ imprimé. Un champ que le document n’imprime pas ne reçoit aucune valeur. Exécutez le script deux fois et vérifiez qu’il écrit les mêmes octets, comme le faitgenerate --check. - Lisez vous-même chaque document une fois et vérifiez visuellement ses valeurs de référence. Indiquez dans votre rapport qui a étiqueté les documents et comment.
Partie 2 : ingestion selon le format
Section intitulée « Partie 2 : ingestion selon le format »Utilise Types de documents, Traitement des entrées et Préparation des images.
- Faites passer vos documents par l’étape d’admission. Déterminez chaque format à partir des premiers octets, jamais du nom. Arrêtez les fichiers problématiques avec une raison compréhensible.
- Acheminez chaque page : couche de texte, OCR ou arrêt. Acheminez page par page un fichier contenant une page numérique et une page numérisée.
- Préparez les images avant l’OCR : recadrez, tournez et redressez. Conservez le fichier original et faites correspondre chaque cadre à ses coordonnées dans celui-ci.
- Produisez un tableau des chemins et des décisions d’admission pour tout votre jeu, et placez-le dans votre rapport.
Partie 3 : extraction avec preuves
Section intitulée « Partie 3 : extraction avec preuves »Utilise Chemins texte et OCR, Mise en page et sens, Sections et hiérarchie (option B), Représenter la provenance, Conception des entrées et des requêtes, Combiner les méthodes et Gérer l’incertitude visuelle.
- Écrivez des règles pour votre nouvelle mise en page ou vos champs de politique. Appliquez-les à la couche de texte et aux lignes d’OCR. Gardez les règles simples : une liste des mots imprimés dans vos documents.
- Donnez à chaque valeur trouvée sa preuve : le fichier, la page, le cadre et son unité, ainsi que le texte visible. L’unité est le point sur une page PDF et le pixel dans un fichier image. Pour l’option B, ajoutez le chemin de section de la valeur, comme « Garantie > Durée ».
- Représentez explicitement chaque valeur indisponible : aucune valeur, le statut
absentet une raison permise par votre contrat. Ne calculez jamais une valeur que la page ne montre pas. - Si vous utilisez un modèle : envoyez la bonne page et recadrez quand le document occupe peu de place dans l’image. Utilisez un schéma strict avec des règles pour les valeurs absentes. Appelez le modèle seulement quand les règles ne suffisent pas. Reliez chacune de ses valeurs à une ligne de la page, ou marquez-la comme non vérifiée. Stockez chaque réponse avec le nom du modèle, les jetons (tokens), les secondes et le coût. Choisissez une limite de dépenses avant de commencer, respectez-la et indiquez vos dépenses.
- Si vous n’utilisez aucun modèle : les documents que vos règles ne peuvent pas lire restent incomplets et passent en révision. Indiquez leur nombre et ce qu’un modèle ajouterait.
- Calculez les signaux d’incertitude de chaque page : trop peu de caractères, score moyen faible, texte de petite taille. Signalez toute valeur absente dont la raison n’est pas permise par votre contrat.
Partie 4 : validation, révision et corrections
Section intitulée « Partie 4 : validation, révision et corrections »Utilise Validation selon les règles d’affaires, Confiance et acheminement vers la révision et Flux de correction.
- Écrivez les vérifications de validation de votre contrat, chacune avec un niveau de gravité. Une erreur envoie le document à une personne, et un avertissement l’accompagne. Écrivez la raison de chaque vérification dans un tableau. Ajoutez au moins une vérification qui compare des champs entre eux. Par exemple, un total égal à la somme ou une date de début antérieure à une date de fin.
- Trouvez les doublons par leur contenu, pas par l’image.
- Acheminez les documents vers la révision. Tout document avec une raison (erreur, conflit ou valeur non vérifiée) passe à une personne. Les autres y passent quand leur certitude est inférieure à votre seuil. Calculez la certitude à partir de mesures, pas de la confiance déclarée par un modèle. Si vous utilisez un modèle, mesurez si sa confiance est calibrée sur votre jeu.
- Essayez une série de seuils sur votre jeu et choisissez le seuil à partir des résultats. Indiquez ce que chaque changement de seuil ajoute à la file et s’il détecte une erreur.
- Écrivez
docs/review-queue.mdpour vos documents : ce qui entre dans la file, ce que le réviseur voit et peut faire. - Enregistrez au moins deux corrections avec le module
correctionsdu cours, ou votre propre code selon les mêmes règles. Les lignes sont ajoutées seulement, avec un réviseur, une note et une version. Validez ensuite les valeurs courantes de nouveau.
Partie 5 : analyse des erreurs par type de document
Section intitulée « Partie 5 : analyse des erreurs par type de document »Utilise Métriques par champ, Contraintes opérationnelles et Intégration et maintenance.
- Évaluez chaque champ de chaque document selon les cinq résultats : correct, manquant, erroné, correctement absent et inventé. Comptez séparément les correspondances exactes et normalisées.
- Construisez la matrice d’évaluation : les champs en lignes, les types de documents en colonnes. Comptez les documents complets pour chaque type : tous les champs obligatoires corrects et rien d’inventé.
- Comparez au moins deux systèmes sur les mêmes documents. Par exemple, OCR brut contre OCR après préparation, règles seules contre règles avec modèle, ou deux requêtes (prompts). Changez une seule chose à la fois.
- Pour chaque valeur erronée, manquante ou inventée, écrivez une ligne : le document, le champ, la cause et la correction à essayer. La cause est l’image, l’OCR, les règles, le modèle ou le contrat. Regroupez les lignes par cause.
- Mesurez le temps par page de chaque chemin sur votre ordinateur. Si vous avez utilisé un modèle, donnez ses jetons et son coût par page. Estimez le budget d’une journée au volume que vous supposez. Étiquetez chaque nombre comme mesuré, enregistré ou hypothèse.
- Créez un jeu de régression avec au moins un document de chaque type et de chaque échec observé. Changez une chose dans votre pipeline et donnez-lui une nouvelle version. Exécutez le jeu et expliquez chaque différence, ou montrez qu’il n’y en a aucune.
Aucune affirmation au-delà de vos documents. Votre jeu est petit et produit par votre propre script. Votre rapport ne doit pas affirmer que le pipeline lit bien les documents de vrais clients. Les affirmations sur votre jeu sont acceptables, avec leurs conditions : « Sur mes 24 documents, la préparation a rendu les deux numérisations tournées complètes. » Une affirmation sur des documents réels ne l’est pas. Si quelqu’un en a besoin, votre rapport précise quels documents réels étiquetés doivent servir à la mesurer.
Les chemins d’échec à vérifier
Section intitulée « Les chemins d’échec à vérifier »Un pipeline qui fonctionne sur des documents propres ne suffit pas. Montrez chaque cas avec un test ou une exécution enregistrée, et précisez lequel. Étiquetez chaque cas construit comme tel.
- Le fichier endommagé et la copie exacte s’arrêtent à l’admission avec une raison, et rien n’en est extrait.
- Le fichier dont le nom ne correspond pas au contenu est lu selon son format réel.
- Une image tournée ou inclinée est préparée, et ses cadres sont dessinés aux bons endroits sur le fichier original.
- Un champ que le document n’imprime pas est stocké comme
absentavec la raisonnot_printed. L’évaluation le compte comme correctement absent. - Une image tronquée ou illisible donne des valeurs absentes avec la raison
cut_offouunreadable. Aucune valeur n’est calculée ou devinée. - Une valeur qui enfreint une règle de validation envoie le document en révision avec la raison en mots. Par exemple, produisez un reçu dont le total imprimé ne correspond pas à la somme (cas construit).
- Une correction ajoute une ligne et conserve la valeur extraite. Un
UPDATE(mise à jour) d’une ligne extraite est refusé. - Après une modification du code et une nouvelle version,
pipeline statusretrouve les anciens résultats, et le jeu de régression s’exécute.
Exécution dans un environnement neuf
Section intitulée « Exécution dans un environnement neuf »Avant de remettre le travail, prouvez que le projet fonctionne à partir de zéro sur votre ordinateur :
- Copiez le projet dans un nouveau dossier, sans
.venv,.env,out/ni vos documents générés. - Créez un nouvel environnement virtuel et installez les dépendances à partir de
requirements-dev.txt. - Exécutez
make_set.pyet vérifiez qu’il écrit les mêmes fichiers qu’avant. - Exécutez tous les tests.
- Exécutez tout le pipeline sur votre jeu, puis l’évaluation. Comparez les nombres avec votre rapport.
Collez les commandes et leurs sorties dans votre rapport. Si une étape nécessitait quelque chose d’absent du README, corrigez le README et recommencez les étapes.
Ce qu’il faut remettre
Section intitulée « Ce qu’il faut remettre »Votre dossier de projet (sans .env, .venv, out/ ni les documents générés), avec make_set.py, votre contrat, votre code et vos tests, docs/review-queue.md, docs/evaluation-report.md et REPORT.md :
# Larkfield: <your document type> with evidence and review## The documents and the contract (the option, the set and its types, the problem files, the contract with its absent reasons, who labelled the truth and how)## Ingestion (the routes and intake table, how the format is decided, the preparation steps, the boxes on the original)## Extraction and evidence (the rules, the model or no model and why, the evidence of a value, grounding, absent values with reasons, the uncertainty signals)## Validation and review (the checks with severities and reasons, duplicates, the certainty, the threshold sweep and the choice, the queue design, corrections)## Error analysis (the matrix, complete documents by type, the two systems compared, every error with its cause and fix, time, cost and the day's budget, the regression set and one change)## Failure paths (each of the eight, with the test or the run that shows it)## Fresh-environment run (the commands and their outputs)## Limits (synthetic documents, your computer, what you reused, what you did not test)Comment le travail est évalué
Section intitulée « Comment le travail est évalué »Un réviseur note chaque élément requis comme démontré, partiellement démontré ou pas encore démontré, avec une raison concrète. Pour terminer le cours, vous devez démontrer les quatre éléments. Vous pouvez améliorer un élément et le soumettre de nouveau.
| Élément requis | Démontré | Partiellement démontré, par exemple | Pas encore démontré, par exemple |
|---|---|---|---|
| Ingestion adaptée au format | Le format est déterminé à partir des octets. Chaque fichier problématique est arrêté avec une raison claire. Les pages sont acheminées une par une. Les images sont préparées, et les cadres correspondent aux coordonnées de l’original. Le tableau des chemins couvre tout le jeu de données. | Le traitement des entrées fonctionne, mais un fichier problématique passe. Ou les cadres sont dessinés sur l’image préparée, pas sur l’original. | Le format est déterminé à partir du nom du fichier. Ou un fichier endommagé fait planter le pipeline. |
| Validation par champ et références aux sources | Chaque valeur trouvée indique son fichier, sa page, son cadre et son unité (ou sa feuille et sa cellule). Les valeurs absentes ont une raison permise par le contrat. Les vérifications ont des niveaux de gravité et des raisons, et au moins une compare des champs. Les valeurs du modèle sont appuyées par une source ou marquées comme non vérifiées. | Les preuves sont présentes, mais sans l’unité, ou seulement pour certains champs. Ou chaque problème est une erreur, ce qui remplit la file de documents corrects. | Une valeur sans preuve est présentée comme trouvée. Ou une valeur manquante est remplacée par une valeur calculée ou devinée. |
| Conception de la file de révision | Les raisons déterminent toujours l’acheminement. La certitude est mesurée, et le seuil vient d’un balayage des seuils sur votre jeu de données. La conception précise ce que le réviseur voit et peut faire. Les corrections sont ajoutées sans écraser les données, avec un réviseur, une note et une version. Les valeurs actuelles sont vérifiées de nouveau. | La file fonctionne, mais aucune mesure n’appuie le seuil. Ou les corrections n’ont pas de note. | Les documents sont acheminés selon la confiance du modèle, sans vérification de son étalonnage. Ou une correction écrase la valeur extraite. |
| Analyse des erreurs selon les types de documents | Chaque champ reçoit l’un des cinq résultats, y compris les valeurs inventées. La matrice est organisée par type et par champ, avec des documents complets. Deux systèmes sont comparés sur les mêmes documents. Chaque erreur a une cause et une solution. Le rapport indique ce que la mesure ne peut pas montrer. | La matrice est présente, mais les valeurs inventées ne sont pas comptées. Ou les erreurs sont comptées, mais pas expliquées. | Un seul chiffre d’exactitude pour tout le jeu de données. Ou la vérité a été copiée depuis la sortie du pipeline. |
Peu importe les autres points forts, le travail reste incomplet dans deux cas. Le pipeline présente une valeur inventée ou calculée comme trouvée, ou une correction efface une valeur extraite. Une exactitude élevée ne compense pas une valeur plausible sans preuve, ni un historique que personne ne peut vérifier.
Les résultats du cours peuvent vous aider à juger les vôtres, mais ce ne sont pas des cibles. Dans Combiner les méthodes, le pipeline combiné a lu correctement 427 des 435 valeurs imprimées, sans valeur erronée ou inventée. Il a appelé le modèle pour 9 des 54 reçus. Dans Conception des entrées et des requêtes, la requête simple a inventé 11 numéros de commande, et la requête précise, aucun. Dans Confiance et acheminement vers la révision, 11 des 54 reçus ont été acheminés vers la révision au seuil de 0,90. Aucun total erroné n’a atteint les agents. Vos documents sont différents.
Erreur courante
Un score parfait avec des étiquettes écrites par le pipeline
Symptôme : l’évaluation affiche 100 % pour chaque champ et chaque type de document. Puis un réviseur ouvre trois photos et trouve une date erronée et un montant mal lu.
Cause : la vérité a été créée à partir de la sortie du pipeline. On exécute le pipeline, on enregistre les valeurs, puis on les appelle les étiquettes. L’évaluation compare alors le pipeline à lui-même, donc chaque erreur est comptée comme correcte. Il s’agit d’un cas construit.
Solution : écrivez la vérité à partir de votre générateur, qui connaît chaque valeur parce qu’il l’a imprimée. Vérifiez-la ensuite en lisant les documents. Ne changez jamais une étiquette pour qu’elle corresponde au pipeline. Si une étiquette est erronée, corrigez-la avec une note, comme pour une extraction, puis relancez l’évaluation.
Récapitulatif
Dans ce cours, vous avez créé un pipeline qui lit des documents et peut montrer la source de chaque valeur :
- Examiner le contenu, puis acheminer : déterminer le format à partir des octets, arrêter les fichiers problématiques à l’entrée et envoyer chaque page vers la couche texte ou l’OCR.
- Un enregistrement pour chaque chemin : des lignes avec des cadres et des scores, des images préparées avec correspondance vers l’original, et un contrat avec ses raisons d’absence.
- Structure et preuves : des sections, des tableaux et des cellules de feuilles de calcul, et chaque valeur avec son fichier, sa page et son cadre.
- Utiliser le modèle de façon réfléchie : une requête précise, la bonne entrée, les règles d’abord, et chaque valeur du modèle appuyée par la page ou marquée comme non vérifiée.
- Vérifications et personnes : une validation avec des erreurs et des avertissements, un acheminement selon les raisons et une certitude mesurée, et des corrections qui n’effacent jamais.
- Mesurer et maintenir : cinq résultats par champ, une matrice par type, un budget avec ses hypothèses, des versions, une suppression journalisée et un jeu de tests de régression.
Si vous n’en avez pas encore fait, choisissez une étude de cas pour le certificat : Lire de vrais reçus ou Extraire un tableau d’un rapport public.