Aller au contenu
English

IA documentaire et multimodale

Lisez des reçus, des numérisations, des photos, des tableaux et des politiques avec du code et l'IA, et montrez exactement d'où vient chaque valeur. Vous construisez le pipeline de documents de Larkfield, vous comparez la couche de texte du PDF, l'OCR et un modèle de vision sur les mêmes pages, et vous n'envoyez à une personne que les valeurs incertaines.

Voir le contenu du cours

Lisez toutes les leçons sans compte, ou connectez-vous pour vous inscrire et suivre vos progrès.

Ce que vous apprendrez

À la fin de ce cours, vous pourrez :

  • Choisir les méthodes d'extraction selon les caractéristiques des documents.
  • Conserver la mise en page et la provenance des sources.
  • Valider les champs structurés et acheminer les cas incertains.
  • Évaluer l'exactitude, le coût et les modes de défaillance pour chaque format.

À propos de ce cours

Le centre d’assistance de Larkfield reçoit des documents avec ses billets : des reçus pour les demandes de garantie et de remboursement, certains en PDF venant de la caisse de la boutique, d’autres numérisés ou pris en photo avec un téléphone, quelques-uns en français. L’équipe des achats reçoit des listes de prix de fournisseurs et des feuilles de calcul. Aujourd’hui, un agent ouvre chaque fichier et tape à la main le numéro de commande, la date, le total et les articles. C’est lent, et parfois le même reçu est tapé deux fois avec deux totaux différents.

Grace, la responsable du soutien, demande : « Le système peut-il lire le reçu, nous montrer exactement d’où vient chaque valeur, et ne nous envoyer que celles dont il n’est pas sûr ? » Dans ce cours, vous construisez ce système, doc-extract, un module à la fois.

D’abord, vous regardez dans les fichiers. Un PDF de la caisse contient déjà son texte; une numérisation n’est qu’une image du texte; une photo est une image prise de biais, avec une mauvaise lumière. Vous dirigez chaque fichier vers la façon de lire qui lui convient, et vous comparez la couche de texte du PDF, l’OCR et un modèle de vision sur les mêmes pages : ce que chacun réussit, ce qu’il rate et ce qu’il coûte par page.

Ensuite, vous gardez ce qui rend une valeur digne de confiance : sa source. Chaque valeur porte son fichier, sa page et sa zone sur la page, ou sa feuille et sa cellule, pour qu’une personne puisse la vérifier en un clic. Vous validez les totaux et les dates, vous envoyez les documents incertains dans une file de révision, vous enregistrez les corrections sans effacer l’original, et vous mesurez le pipeline champ par champ. Les documents sont créés par un programme pour ce cours, et chaque réponse de modèle dans les leçons vient d’un vrai appel enregistré.

Avant de commencer

Vous avez suivi les cours Créer des applications fiables avec les API de LLM et RAG, ou vous avez les mêmes compétences. Vous n'avez besoin ni d'un compte ni d'argent. La couche de texte et l'OCR s'exécutent sur le processeur de votre ordinateur, les documents sont créés par le générateur du cours, et chaque réponse du modèle de vision dans les leçons a été enregistrée, donc le projet la rejoue. Un appel réel avec votre propre clé est optionnel.

Cours à suivre avant : Créer des applications fiables avec les API de LLM, RAG : créer une IA qui utilise vos données.

À qui s'adresse ce cours

Les personnes qui ont créé une application sur l'API d'un modèle avec une sortie structurée et un assistant RAG sur des documents, comme dans les cours Créer des applications fiables avec les API de LLM et RAG, et qui doivent maintenant obtenir des valeurs fiables à partir de PDF, de numérisations, de photos et de feuilles de calcul. Les développeurs, ingénieurs de données et ingénieurs en IA qui automatisent le travail sur les documents.

Vous dirigez ou utilisez l'IA, sans la créer?

Vous pouvez étudier les idées de ce cours sans écrire de code. Lisez les modules 1, 4 et 5 (environ 5–7 h), répondez à leurs vérifications des connaissances, et obtenez un certificat des notions gratuit. Vous pourrez revenir à la pratique plus tard.

Certaines leçons de ces modules ne sont pas encore publiées. Le certificat des notions s'ouvre quand elles le sont.

Les parcours pour les personnes qui dirigent ou utilisent l'IA suivent ce cours de cette façon. Voir les parcours

Comment nous avons créé ce cours

Des spécialistes de l'IA expérimentés ont conçu ce cours. L'IA nous a aidés à rédiger le contenu; des personnes ont choisi l'approche pédagogique et les exemples, et ont révisé chaque leçon. Les résultats que vous voyez sont les vrais résultats de l'exécution du code. Comment nous créons les cours

Dans ce cours

Module 1NotionsComprendre les documents en entrée

4 leçons · bientôt

Regardez dans les fichiers avant de les lire. Vous préparez le projet, vous distinguez les PDF numériques, les numérisations, les photos et les feuilles de calcul, vous voyez comment la mise en page change le sens, et vous rédigez le contrat d'extraction qui dit ce dont Larkfield a besoin.

  1. Préparer le projet d'extraction
  2. Types de documents
  3. Mise en page et sens
  4. Définir le contrat d'extraction

Module 2Préparer et extraire le contenu

3 leçons · bientôt

Sortez le texte de la bonne façon pour chaque fichier. Vous arrêtez les mauvais fichiers à l'entrée, vous comparez la couche de texte du PDF, l'OCR et un modèle de vision sur les mêmes pages, et vous préparez les images sans perdre l'original.

  1. Traitement des entrées
  2. Chemins texte et OCR
  3. Préparation des images

Module 3Retrouver la structure et les tableaux

3 leçons · bientôt

Gardez la structure et la source. Vous retrouvez les sections, un tableau sur deux pages et une feuille de calcul avec des unités, et vous conservez la page et la zone, ou la feuille et la cellule, avec chaque valeur.

  1. Sections et hiérarchie
  2. Tableaux et feuilles de calcul
  3. Représenter la provenance

Module 4NotionsUtiliser les modèles multimodaux de façon réfléchie

3 leçons · bientôt

Utilisez un modèle de vision là où il aide, et seulement là. Vous concevez son entrée et son schéma, vous le combinez avec les règles qui fonctionnent déjà, et vous gardez une valeur absente absente au lieu d'une supposition plausible.

  1. Conception des entrées et des requêtes
  2. Combiner les méthodes
  3. Gérer l'incertitude visuelle

Module 5NotionsValider et réviser les résultats

3 leçons · bientôt

Vérifiez avant que quelqu'un se fie à une valeur. Vous validez les totaux, les dates et les numéros de commande, vous décidez ce qui va en révision avec des signaux mesurables, et vous enregistrez les corrections sans effacer l'original.

  1. Validation selon les règles d'affaires
  2. Confiance et acheminement vers la révision
  3. Flux de correction

Module 6Évaluer et livrer le pipeline

3 leçons · bientôt

Mesurez et livrez. Vous évaluez chaque champ par type de document, vous budgétez les pages, les jetons et le temps, et vous planifiez le retraitement, la suppression et les jeux de régression.

  1. Métriques par champ
  2. Contraintes opérationnelles
  3. Intégration et maintenance

Dernier module · choisissez-en au moins uneÉtudes de cas

2 études de cas · bientôt

Deux études de cas de bout en bout sur de vraies données publiques. Lisez un ensemble public de reçus étiquetés, et retrouvez un tableau de plusieurs pages dans un rapport public en le vérifiant avec les données publiées. Terminez-en au moins une pour obtenir le certificat. Chacune peut entrer dans votre portfolio.

Terminez au moins une étude de cas pour obtenir le certificat. Les autres sont facultatives. Ce que couvre chacune

  1. Lire de vrais reçus
  2. Extraire un tableau d'un rapport public

Études de cas

Des projets réalistes du début à la fin, sur de vraies données, avec chaque résultat expliqué. Chacun devient une pièce de votre portfolio. Terminez-en au moins une pour obtenir le certificat; les autres sont facultatives.

  1. Lire de vrais reçusBientôt

    Exécuter le pipeline du cours sur un ensemble public d'images de reçus étiquetés, et mesurer l'exactitude de chaque champ par rapport aux étiquettes publiées.

  2. Extraire un tableau d'un rapport publicBientôt

    Retrouver un tableau de plusieurs pages dans un rapport statistique du domaine public, avec sa provenance, et vérifier chaque cellule avec le fichier de données publié par l'organisme.

Avis

Chargement des avis…

    Vous avez suivi ce cours? Connectez-vous pour donner votre avis. Vous pouvez donner un avis après avoir terminé 25 % des leçons.

    Partager ce cours