Développer, acheter ou s'associer pour l'extraction de factures
- Étude de cas 2
- 120 min
- Facultative · 1 étude de cas requise pour le certificat
Où nous en sommes
Cette étude de cas applique le choix de développer, d'acheter ou de s'associer du module 2 à une autre équipe : les commis aux finances de Larkfield, qui saisissent les reçus et les factures dans les livres. Vous comparez quatre options sur les documents de Larkfield, le coût total sur trois ans et les conditions sur les données, et vous rédigez une recommandation d'une page.
Étude de cas 2 sur 3 · Diriger des produits et des équipes d'IADévelopper, acheter ou s'associer pour l'extraction de factures
1. Décider où l'IA aide
2. Décider comment l'obtenir
3. Planifier dans l'incertitude
4. Concevoir pour les personnes
5. Bâtir et diriger une équipe d'IA
6. Gérer les risques, la gouvernance et un lancement responsable
Ce que vous saurez faire
Dirigez une décision réaliste, des preuves jusqu’à une recommandation écrite. Vous dirigez les finances. Quatre façons d’automatiser la saisie des reçus et des factures sont proposées. Vous les comparez sur trois points : les résultats sur les documents de Larkfield, le coût total sur trois ans et l’utilisation de vos données par chaque fournisseur. Puis vous rédigez une recommandation d’une page pour la direction financière, en précisant ce qui vous ferait changer d’avis.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
Cette étude de cas utilise la majeure partie du cours. Ces leçons sont les plus importantes :
- Les quatre catégories de nombres (consigné, prix, hypothèse, construit), dans Lire le dossier de preuves.
- « Zéro sur 199 n’est pas zéro » et la règle de trois, dans Estimer la valeur et le rendement.
- Les six questions et le temps de travail qu’aucune liste de prix ne montre, dans Développer, acheter ou s’associer.
- L’affirmation d’un fournisseur face à un résultat sur vos propres exemples, et pourquoi la confiance d’un outil n’est pas une preuve, dans Choisir des fournisseurs et des modèles en tant que leader.
- Ce qui rend un projet pilote équitable, dans Mener un projet pilote équitable.
- Ce qu’un fournisseur peut faire avec vos données, dans La gouvernance en pratique.
Cette page enseigne une idée nouvelle dans le cours : le seuil qu’une option non testée doit franchir.
Ce qu’il vous faut
- Un navigateur et un outil de rédaction (un traitement de texte, un éditeur de texte ou un tableur).
- Les fichiers de l’étude de cas dans le dépôt des exercices : le README, les quatre offres, les résultats d’essais, les fourchettes de coûts et la fiche de preuves.
- Une copie du modèle de comparaison des fournisseurs du module 2.
La situation
Section intitulée « La situation »Vous dirigez l’équipe des finances de Larkfield. Vos commis saisissent le commerce, la date, les totaux et la taxe de chaque reçu et facture fournisseur dans les livres comptables. Le travail augmente chaque mois. Les erreurs de saisie sont découvertes des semaines plus tard, par exemple lorsqu’un fournisseur demande pourquoi un paiement est incomplet.
Kwame, l’architecte de solutions, propose quatre façons d’automatiser la saisie :
- Développer à l’interne. Le pipeline de l’équipe, créé dans le cours IA documentaire et multimodale. Des règles fixes lisent la plupart des documents. Un modèle de vision lit seulement ce que les règles ne peuvent pas lire. Une vérification envoie à un commis chaque document dont les nombres ne concordent pas.
- Acheter ScanLedger. Un service où un modèle de vision lit chaque page et donne un niveau de confiance pour chaque valeur.
- Acheter FormGrid. Un service qui lit les documents avec des gabarits, un par mise en page.
- S’associer à Northgate Analytics. Une firme spécialisée développe et exploite l’extraction pour Larkfield, dans le compte infonuagique de Larkfield.
ScanLedger, FormGrid et Northgate Analytics sont inventés pour ce cours, tout comme leurs prix, affirmations et conditions. Aucune entreprise réelle n’est visée. Leurs résultats d’essais ne sont pas inventés. Chaque produit fonctionne comme l’une des méthodes mesurées sur les mêmes documents dans le cours d’IA documentaire.
La direction financière attend votre recommandation, pas celle de Kwame. Vous savez ce que coûte un nombre erroné dans les livres comptables et qui le découvre.
Ce que vous allez produire
Section intitulée « Ce que vous allez produire »Vous produirez deux documents. Le premier est un tableau comparatif des quatre options, selon des critères que vous définissez d’abord. Le second est une recommandation d’une page pour la direction financière. En chemin, vous examinez ce que chaque preuve peut montrer ou non, et vous calculez le coût total de chaque option. À la fin, vous vérifiez votre recommandation avec de nouvelles données : un volume plus élevé et les valeurs extrêmes des hypothèses.
Les étapes suivent l’ordre d’une bonne décision. Chaque étape correspond à une section de cette page.
Description textuelle du diagramme
Six étapes, dans l’ordre. D’abord, écrivez les critères et leurs poids. Ensuite, utilisez les exigences obligatoires pour éliminer des options. Troisièmement, lisez les preuves sur les documents de Larkfield. Quatrièmement, calculez le coût total de chaque option sur 36 mois, aux volumes faible, de base et élevé. Cinquièmement, listez ce qui reste inconnu. Sixièmement, recommandez une option, ou un essai équitable avant tout contrat.
Les preuves
Section intitulée « Les preuves »Cette étude de cas n’a pas de nouveau jeu de données. Ses « données » sont le dossier de l’étude de cas : quatre documents et une fiche de preuves. La fiche de preuves indique la source de chaque nombre et sa catégorie. Lisez-la d’abord, car les catégories déterminent le poids que chaque nombre peut avoir.
| Preuve | Catégorie | Source | Ce qu’elle peut montrer ou non |
|---|---|---|---|
| Résultats d’essais : valeurs correctes, documents complets, valeurs erronées et inventées | consigné | IA documentaire et multimodale : 54 reçus fictifs, 435 valeurs imprimées | La performance de chaque type de lecture sur des reçus variés. Pas celle des vrais produits des fournisseurs. |
| Correspondance entre chaque produit et chaque méthode consignée | construit | cette étude de cas | Un substitut équitable, pas une mesure d’un fournisseur réel. |
| La confiance du modèle : 9 valeurs erronées sur 10 à 1,0 | consigné | même cours | Le niveau de confiance de ce modèle n’a pas signalé ses erreurs. |
| Part envoyée à un commis (20,4 %); documents avec une valeur erronée ou manquante qui arrivent dans les livres comptables (0 sur 54 à l’interne, 3 sur 54 avec un seuil de confiance) | consigné | même cours | Des taux sur 54 documents : un document de plus ou de moins les change beaucoup. |
| Coût du modèle interne, 0,0018 $ US par document | consigné (jetons × prix affiché) | même cours | Les prix changent : vérifiez la page actuelle du fournisseur. |
| Prix, frais, contrats, affirmations, conditions sur les données, sorties | construit | les quatre offres | Réalistes, mais pas réels. Pour une vraie décision, lisez les conditions de chaque fournisseur. |
| Volumes, minutes, coûts des commis et de l’ingénierie, coût d’une valeur erronée, entretien, heures de développement | hypothèse (faible / de base / élevée) | fourchettes de coûts | Remplacez-les par vos propres valeurs; la méthode reste la même. |
Premières vérifications
Section intitulée « Premières vérifications »Avant toute comparaison, vérifiez ce que les preuves couvrent. Trois lacunes ressortent, et la fiche de preuves les énumère elle-même :
- L’ensemble d’essai contient 54 reçus, pas des factures fournisseurs. Les factures fournisseurs de Larkfield comptent souvent plusieurs pages. Personne n’a testé de facture de plusieurs pages.
- Northgate Analytics n’a aucun résultat sur les documents de Larkfield. Sa preuve est une étude de cas chez un grossiste en quincaillerie : « 98 % sans intervention ». Ce sont les documents d’une autre entreprise, mesurés par le partenaire.
- L’« exactitude de 99,6 % des champs » de ScanLedger provient de 500 exemples de factures choisis par le fournisseur. Elle répond à une autre question que l’essai : comment le produit lit-il les documents choisis par le fournisseur?
Ce que cela nous apprend. Deux des quatre options n’ont aucune preuve sur nos documents, sauf leurs propres affirmations. Toute recommandation doit le préciser et expliquer comment combler cette lacune.
Cadrer la décision
Section intitulée « Cadrer la décision »Vous décidez comment les reçus et les factures de Larkfield entrent dans les livres comptables pendant les trois prochaines années. Cela engage un contrat, le travail d’une équipe et un risque pour la comptabilité.
Deux types d’erreurs comptent, et ils n’ont pas le même coût :
- Un document envoyé à un commis. Un commis passe quelques minutes à le vérifier ou à le saisir. Cela coûte du temps, et ce temps est visible pour tous.
- Une valeur erronée qui arrive dans les livres comptables. Personne ne la voit avant qu’un fournisseur, un auditeur ou une vérification de fin de mois la découvre, souvent des semaines plus tard. Quelqu’un doit alors retrouver le document et corriger l’écriture comptable, et peut-être le paiement. Les fourchettes de coûts supposent 25 $ US par document erroné (valeur faible : 15 $ US, élevée : 50 $ US).
L’erreur la plus coûteuse est donc celle qui passe inaperçue. Une bonne option envoie le document à un commis lorsqu’elle est incertaine.
Écrivez maintenant les critères, avant de lire les offres en détail. Le README en propose sept : qualité sur nos documents, valeurs erronées qui arrivent dans les livres comptables, coût à notre volume, conditions sur les données, façon de quitter le fournisseur, contrôle et compétences. Dans votre copie du modèle de comparaison des fournisseurs, donnez à chaque critère un poids de 1 à 3. Marquez les exigences obligatoires : si une option ne respecte pas l’une d’elles, elle est éliminée, peu importe ses autres notes. Gardez cette première version; vous la comparerez à votre tableau final.
Explorer les besoins de la décision
Section intitulée « Explorer les besoins de la décision »Les résultats d’essais
Section intitulée « Les résultats d’essais »Les résultats d’essais sont consignés. Le cours d’IA documentaire a testé chaque type de lecture sur les mêmes 54 documents. Ils comprennent des PDF numériques, des documents numérisés et des photos de téléphone. Ils utilisent les mises en page de deux commerces, en anglais et en français.
| À l’interne | ScanLedger | FormGrid | Partenaire | |
|---|---|---|---|---|
| Valeurs imprimées lues correctement | 427 sur 435 (98,2 %) | 425 sur 435 (97,7 %) | 408 sur 435 (93,8 %) | aucun essai |
| Documents complets et corrects | 53 sur 54 | 51 sur 54 | 46 sur 54 | aucun essai |
| Valeurs mal lues | 0 | 1 | 0 | aucun essai |
| Photos de téléphone : valeurs correctes | 93,2 % | 92,3 % | 87,2 % | aucun essai |
| Comment un document arrive chez un commis | erreurs et valeurs manquantes : 20,4 % | seulement sous un seuil de confiance | documents qu’il ne peut pas lire : 14,8 % | le personnel du partenaire vérifie |
| Documents avec une valeur erronée ou manquante qui arrivent dans les livres comptables | 0 sur 54 | 3 sur 54 | 0 sur 54 | inconnu |
Les premières lignes sont proches : 98,2 % contre 97,7 %. La dernière ne l’est pas. « Valeurs lues correctement » indique la qualité du lecteur. « Arrivent dans les livres comptables » indique ce que votre comptabilité reçoit. Pour les finances, la dernière ligne tranche.
Où va une valeur erronée
Section intitulée « Où va une valeur erronée »La différence vient de ce qui décide qu’un commis examine un document. Le diagramme suit un document dans chaque option.
Description textuelle du diagramme
À l’interne : des règles lisent la page, et un modèle de vision lit seulement ce que les règles ne peuvent pas lire. Une vérification pose deux questions : la somme des lignes correspond-elle au total, et chaque valeur requise est-elle présente? Sinon, le document va à un commis; cela s’est produit pour 20,4 % des documents. Autrement, il entre dans les livres comptables : 0 document sur 54 est arrivé erroné.
ScanLedger : un modèle de vision lit chaque page et donne un niveau de confiance. Seules les valeurs sous 0,95 vont à un commis, et cela n’arrive presque jamais. 3 documents sur 54 sont arrivés dans les livres comptables avec une valeur erronée ou manquante.
FormGrid : un gabarit lit chaque mise en page connue. Un document que le gabarit ne peut pas lire va à un commis, qui le saisit : 14,8 % des documents. FormGrid n’a mal lu aucune valeur, donc 0 document sur 54 est arrivé erroné.
Partenaire : le système et le personnel du partenaire. Personne n’a mesuré ce qui arrive dans les livres comptables : c’est inconnu.
Le modèle était sûr de ses erreurs
Section intitulée « Le modèle était sûr de ses erreurs »Le modèle de vision a donné un niveau de confiance pour chacune des 486 valeurs (consigné). Son niveau de confiance le plus bas, toutes valeurs confondues, était de 0,96. Il s’est trompé 10 fois, et 9 de ces 10 valeurs erronées avaient le niveau de confiance maximal, 1,0. La plupart provenaient d’une photo que personne ne pouvait lire : le modèle disait « absent » et en était entièrement sûr.
Un seuil de 0,95 n’envoie donc presque rien à un commis. Les erreurs passent avec le niveau de confiance maximal. Choisir des fournisseurs et des modèles en tant que leader vous avertissait de ce problème; ici, il a un prix. Le cours d’IA documentaire montre la vérification qui fonctionne à la place, dans Confiance et acheminement vers la révision.
Un autre constat consigné. Avec une instruction moins précise (une requête antérieure), le même modèle de vision a inventé 11 numéros de commande. Il a copié un autre nombre dans le champ du numéro de commande. Une meilleure requête (prompt) les a éliminés. La démonstration d’un fournisseur ne révèle pas quelle instruction son produit utilise, ni quand elle change.
Une référence de base : la méthode actuelle
Section intitulée « Une référence de base : la méthode actuelle »Chaque option doit faire mieux que la méthode actuelle de Larkfield : les commis saisissent chaque document. Utilisez les mêmes hypothèses que les fourchettes de coûts : 5 minutes pour saisir un document et 38 $ US l’heure pour un commis. La méthode actuelle coûte donc environ 28 500 $ US par mois pour 9 000 documents, soit 1 026 000 $ US sur 36 mois (calculé). Son propre taux d’erreur n’est pas mesuré : les erreurs de saisie sont découvertes tard, et personne ne les compte.
Ce que cela nous apprend. Les quatre options coûtent beaucoup moins cher que la saisie. La question n’est donc pas « automatiser ou non ». La question est de savoir comment, et les méthodes diffèrent beaucoup.
Les quatre options
Section intitulée « Les quatre options »Chaque option est proposée pour une raison. Lisez les quatre offres au complet; le résumé est ci-dessous.
| Développer à l’interne | ScanLedger | FormGrid | Northgate Analytics | |
|---|---|---|---|---|
| Pourquoi cette option est proposée | l’équipe l’a développée dans un cours précédent, et elle a le meilleur résultat d’essai | aucuns frais de configuration, aucuns frais mensuels et un faible prix par page | faible prix par page, et aucune valeur mal lue | le prix mensuel le plus bas, et aucune équipe à garder |
| Prix par document | 0,0018 $ US (coût du modèle consigné) | 0,06 $ US | 0,01 $ US | 0,15 $ US |
| Frais mensuels | aucuns, mais 20 heures d’entretien par l’équipe d’ingénierie (hypothèse) | aucuns | 450 $ US | 1 200 $ US |
| Coût initial | le développement : 500 heures (hypothèse) | aucun | 3 000 $ US de configuration + 400 $ US par nouvelle mise en page | 15 000 $ US |
| Contrat | — | mensuel | mensuel | 36 mois |
Tous les prix, frais et contrats des trois fournisseurs sont construits.
Une seule mesure : le coût total sur 36 mois
Section intitulée « Une seule mesure : le coût total sur 36 mois »Pour comparer quatre offres très différentes, vous avez besoin d’une seule mesure qui compte tous les coûts de chaque option. Ici, c’est le coût total sur 36 mois, soit la durée du contrat du partenaire :
coût total = 36 × (service + personnel + erreurs, chaque mois) + coût ponctuel
Le service correspond aux frais du fournisseur ou au coût du modèle. Le personnel comprend les commis qui vérifient ou saisissent les documents et les ingénieurs qui maintiennent un système interne. Les erreurs sont les documents erronés qui arrivent dans les livres comptables, à 25 $ US chacun. C’est la méthode de Développer, acheter ou s’associer, avec une ligne de plus : le coût des erreurs.
Deux exemples détaillés, au volume de base de 9 000 documents par mois :
- ScanLedger. Service : 9 000 × 0,06 $ US = 540 $ US. Personnel : aucun, car presque aucun document ne passe par un commis. Erreurs : 3 documents sur 54 donnent 500 documents par mois, × 25 $ US = 12 500 $ US. Donc 13 040 $ US par mois, × 36 = 469 440 $ US.
- À l’interne. Service : 16 $ US. Personnel : 20,4 % des documents donnent 1 836 documents par mois pour un commis. À 3 minutes chacun et 38 $ US l’heure : 3 488 $ US. Plus 20 heures d’entretien à 60 $ US : 1 200 $ US. Erreurs : 0. Donc 4 705 $ US par mois. Sur 36 mois, avec les 30 000 $ US de développement : 199 366 $ US.
Les quatre options, au volume de base :
Description textuelle du graphique
Un graphique à colonnes en $ US, sur 36 mois, à 9 000 documents par mois. À l’interne : 199 366 $ US. ScanLedger : 469 440 $ US. FormGrid : 174 840 $ US. Partenaire : 106 800 $ US, sans coût d’erreur, car le partenaire n’a pas fait d’essai.
L’option sans frais coûte le plus cher. Le prix par page de ScanLedger est faible. Mais son seuil laisse passer des valeurs erronées. Elles coûtent plus que les services et les commis des autres options. FormGrid et l’option interne sont proches. Les commis de FormGrid saisissent 1 333 documents par mois. L’option interne comprend le développement et les ingénieurs.
Le partenaire semble le moins cher. Mais sa colonne est courte pour une raison : elle ne comprend aucun coût d’erreur, car personne n’a mesuré ses erreurs. C’est le sujet de la prochaine section.
Inconnu ne veut pas dire zéro
Section intitulée « Inconnu ne veut pas dire zéro »Le seuil qu’une option non testée doit respecter
Section intitulée « Le seuil qu’une option non testée doit respecter »Vous cherchez un entrepreneur pour une nouvelle cuisine. Deux entrepreneurs vous montrent des cuisines qu’ils ont terminées. Le troisième coûte moins cher et montre seulement des photos d’une brochure. Vous ne comptez pas les erreurs du troisième entrepreneur comme nulles. Vous demandez : combien de problèmes pourrais-je accepter avant de perdre l’avantage du prix plus bas? Ce nombre est le seuil qu’une option non testée doit respecter. Il transforme « inconnu » en une question à laquelle un essai peut répondre.
Pour Northgate, l’écart avec l’option interne est de 199 366 $ US − 106 800 $ US = 92 566 $ US sur 36 mois. Cela donne 2 571 $ US par mois (calculé). À 25 $ US par document erroné, cela représente environ 103 documents erronés par mois : 1,1 % de 9 000. Le partenaire gagne donc seulement si moins d’environ 1,1 % des documents arrivent erronés dans les livres comptables. Sur 200 documents d’essai, cela donne environ 2. Face à FormGrid, le seuil est encore plus bas : 0,84 % des documents.
La même idée fonctionne dans l’autre sens. L’option interne a laissé passer 0 document erroné sur 54. Mais Estimer la valeur et le rendement a montré que zéro dans un petit échantillon ne veut pas dire zéro. Après 0 cas sur 54, le taux réel est probablement inférieur à 3 ÷ 54 = 5,6 % : la règle de trois. À notre volume, cette limite supérieure représente 12 500 $ US par mois, soit le coût mesuré de ScanLedger.
Description textuelle du graphique
Un graphique à colonnes en $ US par mois. 3 documents erronés sur 54 (ScanLedger, mesuré) : 12 500 $ US. 0 sur 54, limite supérieure selon la règle de trois (essai interne) : 12 500 $ US. 0 sur 200, limite supérieure après un essai plus grand : 3 375 $ US. Le seuil du partenaire, soit le coût maximal de ses erreurs : 2 571 $ US.
Ce que cela nous dit. Les 54 documents montrent que ScanLedger laisse passer des erreurs : 3 n’est pas 0. Ils ne peuvent pas montrer que l’option interne est sûre : 0 sur 54 permet un taux allant jusqu’à 5,6 %. Un essai sur 200 documents réduit la limite à 1,5 %, encore au-dessus du seuil du partenaire. Un essai équitable montre donc les grandes différences. Il faut continuer de compter pendant les premiers mois d’utilisation. Les conditions de pause du Le lancement et la suite servent à cela.
Discussion : écarter ScanLedger maintenant?
Section intitulée « Discussion : écarter ScanLedger maintenant? »La direction financière lit le graphique et les notes de Kwame, puis pose une question légitime.
- La direction financière : « ScanLedger n’a pas de frais de mise en place ni de frais mensuels, et annonce 99,6 %. Son contrat est mensuel. Pourquoi ne pas l’essayer le mois prochain et annuler si ça ne fonctionne pas? »
- Kwame : « Pendant notre essai, son niveau de confiance n’envoyait presque rien à un commis. On ne verrait pas quand il se trompe. »
- Un commis expérimenté de votre équipe : « Si rien ne nous arrive, on découvre les erreurs seulement quand les fournisseurs appellent. »
Avant de poursuivre, répondez à ces questions :
- Que mesure « 99,6 % d’exactitude des champs », et sur quels documents?
- Un contrat mensuel rend ScanLedger peu coûteux à quitter. Le rend-il peu coûteux à essayer?
- À quel coût par valeur erronée ScanLedger coûterait-il autant que l’option interne?
- Que disent ses conditions sur les données?
La réponse du cours. Écartez ScanLedger maintenant. Le taux de 99,6 % vient des 500 exemples de factures du fournisseur. Sur les documents de Larkfield, 3 sur 54 sont arrivés erronés ou incomplets dans les livres comptables. Un contrat mensuel coûte peu à quitter, mais un mois d’utilisation n’est pas un test à faible coût. Au volume de base, environ 500 documents erronés arriveraient dans les livres comptables pendant ce mois. Ils arrivent avec une confiance de 1,0, donc personne ne les remarquerait pendant le mois.
ScanLedger coûte autant que l’option interne seulement si une valeur erronée coûte environ 10 $ US (calculé). L’hypothèse la plus basse est de 15 $ US. Même avec les meilleures valeurs pour le temps du personnel et les erreurs, ScanLedger coûte 289 440 $ US. C’est plus que l’option interne et FormGrid dans leurs scénarios de base. Enfin, ses conditions sur les données : documents conservés 30 jours, utilisés pour améliorer le service sauf refus écrit, et stockés aux États-Unis. Pour de nombreuses équipes financières, cela ne respecte pas une exigence essentielle.
Ce qui changerait la réponse. ScanLedger pourrait laisser Larkfield ajouter sa propre vérification après la lecture. Les lignes doivent donner le bon total, et chaque valeur doit être présente. Cela devient alors une autre option : un lecteur acheté intégré à la vérification de Larkfield. C’est le choix « élément par élément » de Développer, acheter ou s’associer. Il faudrait un essai distinct et de nouvelles conditions sur les données.
Les conditions sur les données et la sortie
Section intitulée « Les conditions sur les données et la sortie »Les conditions sur les données et la sortie sont des critères, pas des notes de bas de page. Un reçu ou une facture peut montrer des noms, des adresses, des coordonnées bancaires et les prix du magasin. Lisez les conditions comme le demande La gouvernance en pratique : que conserve-t-on, où, pendant combien de temps et pour quel usage?
| Vos données | Si vous partez | |
|---|---|---|
| À l’interne | restent dans les systèmes de Larkfield; le fournisseur du modèle de vision ne conserve aucune donnée avec les paramètres du cours (vérifiez ses conditions) | Larkfield possède le code et les règles, mais doit garder des personnes capables de les modifier |
| ScanLedger | conservées 30 jours; peuvent servir à améliorer le service sauf refus écrit; stockées aux États-Unis | résultats par API en JSON; aucune exportation en bloc des documents après 30 jours |
| FormGrid | traitées au Canada; supprimées après 24 heures; jamais utilisées pour l’entraînement | les gabarits appartiennent au fournisseur; exportation des résultats en CSV |
| Northgate Analytics | restent dans le compte infonuagique de Larkfield, mais le personnel du partenaire y a accès | code remis à la fin du contrat de 36 mois |
Tout est construit. Deux détails comptent pour la décision. Les gabarits de FormGrid restent chez FormGrid. Pour partir, Larkfield doit donc développer de nouveau la lecture. Le contrat de Northgate dure 36 mois. Ses 106 800 $ US sont donc un engagement, pas un choix mensuel. Et Larkfield le signe avant tout résultat sur ses documents.
La méthode avec de nouvelles données d’entrée
Section intitulée « La méthode avec de nouvelles données d’entrée »Une recommandation doit tenir quand les données d’entrée changent, ou préciser ses limites. Appliquez la même mesure à de nouvelles données d’entrée. D’abord, la prévision de la direction financière pour une année plus chargée : 20 000 documents par mois, le volume élevé des fourchettes de coûts.
| Sur 36 mois | 3 000 par mois | 9 000 par mois | 20 000 par mois |
|---|---|---|---|
| À l’interne | 115 255 $ US | 199 366 $ US | 353 568 $ US |
| ScanLedger | 156 480 $ US | 469 440 $ US | 1 043 200 $ US |
| FormGrid | 71 347 $ US | 174 840 $ US | 364 578 $ US |
| Northgate Analytics | 74 400 $ US + erreurs | 106 800 $ US + erreurs | 166 200 $ US + erreurs |
- In-house
- ScanLedger
- FormGrid
- Partner (errors unknown)
Description textuelle du graphique
Un graphique à courbes avec trois points par option, à 3 000, 9 000 et 20 000 documents par mois. À l’interne : 115 255 $ US, 199 366 $ US, 353 568 $ US. ScanLedger : 156 480 $ US, 469 440 $ US, 1 043 200 $ US. FormGrid : 71 347 $ US, 174 840 $ US, 364 578 $ US. Partenaire, sans erreurs : 74 400 $ US, 106 800 $ US, 166 200 $ US.
Ensuite, les pires et les meilleures valeurs pour le temps du personnel et les erreurs, au volume de base :
| Sur 36 mois, volume de base | Pire | Base | Meilleur |
|---|---|---|---|
| À l’interne | 472 443 $ US | 199 366 $ US | 93 079 $ US |
| ScanLedger | 919 440 $ US | 469 440 $ US | 289 440 $ US |
| FormGrid | 310 840 $ US | 174 840 $ US | 118 840 $ US |
| Northgate Analytics | 106 800 $ US + erreurs | 106 800 $ US + erreurs | 106 800 $ US + erreurs |
Ce que cela nous dit. Une partie de la recommandation tient avec toutes les données d’entrée. ScanLedger coûte le plus cher à chaque volume et dans chaque scénario. L’ordre de l’option interne et de FormGrid ne tient pas. FormGrid coûte moins cher aux volumes faible et de base, et avec les pires valeurs. L’option interne coûte moins cher au volume élevé et avec les meilleures valeurs.
Une autre donnée d’entrée tranche la décision : le nombre de mises en page des fournisseurs. Chaque nouvelle mise en page coûte 400 $ US avec FormGrid. Au volume de base, environ 61 nouvelles mises en page feraient coûter FormGrid autant que l’option interne (calculé). Personne n’a encore compté les mises en page des fournisseurs de Larkfield.
Erreurs et lacunes
Section intitulée « Erreurs et lacunes »Où chaque option échoue-t-elle, et que ne couvrent pas les preuves?
- Les photos sont le point faible de chaque lecteur. Valeurs correctes sur les photos prises au téléphone : option interne 93,2 %, ScanLedger 92,3 %, FormGrid 87,2 %. Si votre personnel photographie beaucoup de reçus, davantage de documents passent par un commis.
- FormGrid échoue quand il n’a pas de gabarit. Ses 8 documents incomplets étaient des photos et des documents avec la mise en page de l’autre magasin. Chaque nouveau fournisseur apporte une nouvelle mise en page.
- ScanLedger échoue sans avertissement. Ses erreurs arrivent avec une confiance totale.
- Les échecs du partenaire sont inconnus. Son personnel « vérifie », mais les preuves ne disent pas ce qu’il vérifie, ni comment.
- Les factures de fournisseurs à plusieurs pages ne sont testées pour aucune des quatre options. Ce sont les documents qui comptent le plus pour l’équipe financière.
La vérification finale : un essai équitable
Section intitulée « La vérification finale : un essai équitable »Dans une étude de cas technique, la vérification finale repose sur des données de test utilisées une seule fois. Ici, aucun résultat de ce genre n’existe pour les documents importants, et ce, pour chaque option. Il s’agit des factures des fournisseurs de Larkfield. La vérification finale est donc un essai équitable. Concevez-le maintenant et réalisez-le avant tout contrat, comme dans Mener un projet pilote équitable.
Un essai équitable donne à chaque option les mêmes nouveaux documents, choisis par Larkfield, avec les bonnes valeurs saisies par des commis. Il comprend des factures de fournisseurs à plusieurs pages. Larkfield l’évalue selon des critères écrits avant les résultats. Larkfield compte aussi les mises en page des fournisseurs. Les seuils de cette page précisent ce que l’essai doit montrer. Le partenaire doit rester sous environ 1,1 % de documents erronés dans les livres comptables. Et chaque lecteur doit être suivi d’une vérification qui ne se fie pas à la confiance du modèle.
Votre tâche
Section intitulée « Votre tâche »Vous avez maintenant tout pour décider. Rédigez votre réponse avant d’ouvrir celle ci-dessous.
- Complétez le tableau comparatif. Dans votre copie du modèle de comparaison des fournisseurs, notez les quatre options de 0 à 3 selon vos critères. Écrivez les preuves qui justifient chaque note. Appliquez vos exigences incontournables.
- Comparez-le à votre première version. Un critère ou un poids a-t-il changé après l’examen des preuves? Notez pourquoi.
- Rédigez la recommandation d’une page pour la direction financière. Recommandez une option, une combinaison ou d’abord un essai équitable. Donnez les deux raisons les plus solides, avec leurs étiquettes.
- Concevez l’essai, si vous en recommandez un : les données de test, les critères chiffrés, les autres éléments à compter, la date de décision et la personne qui décide.
- Dites ce qui vous ferait changer d’avis : au moins deux faits, chacun accompagné de la décision qu’il entraînerait.
Une bonne recommandation distingue l’affirmation d’un fournisseur d’un résultat obtenu sur nos documents. Elle traite la confiance comme une affirmation, pas comme une vérification. Elle compare le coût total, pas le prix par page. Elle nomme les lacunes et les moyens de les combler. Elle traite les conditions relatives aux données et la sortie comme des critères.
Afficher une réponse possible
Voici une réponse défendable, pas la seule. Une autre décision convient si vous l’appuyez sur les mêmes preuves, nommez vos hypothèses et respectez la liste ci-dessus.
À : la direction financière. De : la personne responsable des finances. Décision : comment automatiser la lecture des reçus et des factures de fournisseurs.
Recommandation. Ne signez encore avec aucun fournisseur. Menez un essai équitable de quatre semaines avec l’option interne, FormGrid et Northgate (s’il accepte). Utilisez les mêmes nouvelles données de test, qui doivent inclure nos vraies factures de fournisseurs. Écartez ScanLedger maintenant. Choisissez ensuite entre l’option interne et FormGrid selon un fait encore inconnu : combien de mises en page différentes nous recevons.
Pourquoi.
- ScanLedger est l’option la plus coûteuse au total, même sans frais de mise en place ni frais mensuels (taux consignés × prix construits × hypothèses). Au volume de base de 9 000 documents par mois, ses frais sont de 540 $ US par mois. Mais son seuil de confiance laisse des valeurs erronées entrer dans les livres pour 3 des 54 documents de l’essai. Cela représente 12 500 $ US d’erreurs par mois selon notre coût supposé. Le modèle était sûr de ses erreurs : 9 de ses 10 valeurs erronées avaient une confiance de 1,0. Ses conditions relatives aux données ne respectent pas non plus notre exigence incontournable. Il conserve les données 30 jours, les utilise pour l’entraînement sauf refus de notre part et les stocke aux États-Unis.
- L’option interne a les meilleures preuves (consignées) : 427 valeurs correctes sur 435, 53 documents complets sur 54 et aucune valeur erronée dans les livres. Des vérifications qui ne font pas confiance au modèle détectent les erreurs, et 20,4 % des documents vont à un commis. Sur 36 mois, elle coûte 199 366 $ US au volume de base, contre 174 840 $ US pour FormGrid. FormGrid n’a lu aucune valeur incorrectement, mais n’a pas pu lire 14,8 % des documents (photos et mise en page de l’autre magasin). Il facture aussi 400 $ US pour chaque nouvelle mise en page. Avec beaucoup de mises en page de fournisseurs, le coût de FormGrid augmente et l’option interne l’emporte. Avec peu de mises en page, FormGrid demande moins d’effort.
- Northgate semble le moins cher (106 800 $ US sur 36 mois), mais n’a aucune preuve sur nos documents. Son coût d’erreur est inconnu, pas nul. Son contrat dure 36 mois, et son personnel accède à notre compte infonuagique. Une étude de cas d’une autre entreprise (« 98 % sans intervention ») est une démonstration, pas un essai.
L’essai équitable.
| Données de test | 200 documents des trois derniers mois, dont la moitié sont des factures de fournisseurs de plusieurs pages; valeurs correctes saisies par deux commis; documents gardés à part et lus une seule fois |
| Critères (écrits maintenant) | valeurs erronées ou manquantes qui entrent dans les livres : 0 pendant l’essai; valeurs correctes ≥ 97 %; documents envoyés à un commis ≤ 25 %; coût total sur 36 mois à notre volume; exigence incontournable sur les données : aucun entraînement sur nos documents, stockage au Canada |
| Compter aussi | le nombre de mises en page distinctes de fournisseurs dans les données |
| Date de décision | quatre semaines après le début; la direction financière décide |
La personne responsable des finances a choisi ces seuils pour l’essai. Ce ne sont pas des chiffres consignés.
Ce qui changerait cette recommandation.
- Si nous recevons seulement quelques mises en page de fournisseurs et que FormGrid réussit l’essai : acheter FormGrid (moins à développer et à maintenir).
- Si Northgate réussit le même essai et accepte un contrat de 12 mois avec remise du code : le reconsidérer.
- Si notre coût réel d’une valeur erronée est bien inférieur à 25 $ US : le coût d’erreur de ScanLedger baisse. Mais ses conditions relatives aux données restent inacceptables.
Lacunes. Les données de l’essai comprennent 54 reçus synthétiques, sans factures de fournisseurs de plusieurs pages. Le partenaire n’a aucun résultat sur les documents de Larkfield, donc son coût d’erreur est inconnu. Les totaux l’indiquent comme « + erreurs », jamais comme zéro.
Constats et limites
Section intitulée « Constats et limites »Constats.
- Le prix par page le plus bas a donné le coût total le plus élevé. Les frais de ScanLedger sont faibles; ses erreurs silencieuses ne le sont pas.
- Ce qui envoie un document à une personne détermine la qualité des livres comptables. Une vérification qui ne fait pas confiance au modèle a surpassé la confiance du modèle.
- « Inconnu » est devenu un chiffre à tester. Pour battre l’option interne, le partenaire doit garder les documents erronés sous environ 1,1 %. C’est un critère d’essai, pas une supposition.
- Le classement des deux bonnes options dépend de faits que personne n’a encore comptés : le volume et le nombre de mises en page de fournisseurs.
Limites.
- Les données de l’essai comprennent 54 reçus synthétiques. Elles ne contiennent aucune facture de fournisseur de plusieurs pages. Un document de plus ou de moins change beaucoup chaque taux.
- Les fournisseurs sont des substituts construits pour représenter des approches consignées. Un vrai produit peut faire mieux ou moins bien que son substitut.
- Le coût d’une valeur erronée (de 15 $ US à 50 $ US) est une hypothèse. Demandez à votre équipe comptable combien coûte une correction, et utilisez son chiffre.
- Le coût du modèle et les prix des fournisseurs changent. La méthode reste; vérifiez les chiffres avant une vraie décision.
Utilisation responsable
Section intitulée « Utilisation responsable »- Les factures et les reçus contiennent des données personnelles : noms, adresses et coordonnées bancaires. Avant tout essai sur de vrais documents, demandez à la personne responsable de la vie privée quel fournisseur peut les voir. La gouvernance en pratique décrit cette démarche.
- Le changement déplace le travail de vos commis de la saisie vers la vérification, et une partie du travail disparaît. Informez les commis tôt. Faites saisir les valeurs correctes de l’essai par deux d’entre eux, car ils connaissent le mieux les documents. Changement et adoption montre comment faire.
- Ne présentez pas les fournisseurs construits comme réels. ScanLedger, FormGrid et Northgate Analytics sont inventés. Si vous publiez ce travail, dites-le. N’associez jamais le nom d’une vraie entreprise à leurs chiffres.
- Gardez une personne pour ce que le système ne peut pas lire. Aucune option ne devrait inscrire dans les livres une valeur qui n’a pas passé une vérification.
Faites-en une pièce de votre portfolio
Section intitulée « Faites-en une pièce de votre portfolio »Cette étude de cas montre à un employeur que vous savez décider de développer, d’acheter ou de vous associer selon les preuves. Vous avez compté le coût total et nommé ce que vous ne saviez pas. C’est exactement ce que recherchent les responsables du recrutement en finances, en opérations et en produit.
Quoi publier (un document, une page sur votre site ou un dépôt public) :
- Votre tableau comparatif, avec les critères et les poids écrits au départ, ainsi que les notes et leurs preuves.
- Votre recommandation d’une page, avec ses étiquettes : consigné, construit, hypothèse, calculé.
- Deux phrases qui expliquent pourquoi le prix par page le plus bas n’était pas le coût le plus bas.
- Une note indiquant que les fournisseurs sont construits pour une étude de cas de cours. Précisez que les résultats de l’essai viennent d’une exécution consignée dans le cours IA documentaire et multimodale. Le matériel est sous CC0, donc vous pouvez l’inclure.
Plan d’une page :
- Décision : comment une équipe des finances automatise la lecture des reçus et des factures; quatre options.
- Preuves : un essai consigné sur 54 documents, des offres construites, des coûts supposés avec des fourchettes.
- Critères : votre liste et vos poids, écrits avant les preuves.
- Résultat : le coût total sur 36 mois et le constat qui a changé le classement.
- Recommandation et essai : ce que vous signeriez ou testeriez d’abord, et pourquoi.
- Limites : ce que 54 reçus ne peuvent pas montrer.
Comment le décrire en entrevue, en deux phrases : « J’ai comparé le développement, l’achat et le partenariat pour l’extraction de factures selon des résultats d’essai consignés et le coût total sur trois ans. Le fournisseur sans frais était le plus coûteux, parce que sa confiance laissait entrer des valeurs erronées dans les livres. J’ai donc recommandé un essai équitable sur nos propres factures de fournisseurs avant tout contrat. »
Pour aller plus loin :
- Remplacez les hypothèses des fourchettes de coûts par les chiffres de votre équipe des finances. Vérifiez si le classement change.
- Envoyez les six questions du modèle à un fournisseur que vous utilisez. Comparez sa réponse à sa page de conditions.
- Voyez les résultats du pipeline du cours d’IA documentaire sur de vrais reçus d’un autre pays, dans Lire de vrais reçus. Quel effet aurait une nouvelle mise en page sur chaque option?
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
ScanLedger n'a ni frais de mise en place ni frais mensuels, et facture 0,06 $ US par document. Pourtant, c'est l'option la plus coûteuse à tous les volumes. Expliquez pourquoi avec les chiffres pour 9 000 documents par mois.
Afficher la réponse
Son service coûte seulement 540 $ US par mois. Mais son seuil de confiance n’envoie presque rien à un commis, donc les valeurs erronées entrent directement dans les livres. Cela touche 3 des 54 documents de l’essai consigné. À 9 000 documents, cela représente environ 500 documents erronés par mois. Au coût supposé de 25 $ US chacun, cela fait 12 500 $ US par mois. Sur 36 mois, le coût total est de 469 440 $ US. L’option interne coûte 199 366 $ US, et FormGrid, 174 840 $ US. Le prix par page cache le coût des erreurs, et les erreurs augmentent avec le volume.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Le coût total du partenaire est de 106 800 $ US sur 36 mois, le plus bas des quatre. Un collègue dit : « Alors, le partenaire gagne. » Que répondez-vous? Comment transformez-vous l'inconnu en quelque chose qu'un essai peut tester?
Afficher la réponse
Les 106 800 $ US excluent le coût des erreurs, car le partenaire n’a aucun résultat sur les documents de Larkfield. Inconnu ne veut pas dire zéro. Transformez-le en seuil. Le partenaire coûte moins que l’option interne seulement si ses erreurs coûtent moins que l’écart : 92 566 $ US sur 36 mois. Cela fait 2 571 $ US par mois. À 25 $ US par document erroné, cela représente environ 103 documents par mois, soit environ 1,1 % de 9 000. Dans un essai de 200 documents, cela fait environ 2 documents. Inscrivez ce seuil dans l’essai équitable avant son début. Rappelez-vous aussi que Larkfield signerait le contrat de 36 mois avant tout résultat.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
L'option interne a laissé 0 document erroné sur 54 entrer dans les livres. Pouvez-vous dire à la direction financière qu'elle ne fait aucune erreur? Que dites-vous plutôt?
Afficher la réponse
Non. Zéro sur 54 ne veut pas dire zéro. Selon la règle de trois, le vrai taux est probablement inférieur à 3 ÷ 54, soit environ 5,6 %. À 9 000 documents et 25 $ US chacun, cette limite supérieure représente 12 500 $ US par mois. C’est le même coût que celui des erreurs mesurées de ScanLedger. Dites plutôt : « Aucune valeur erronée n’est entrée dans les livres lors d’un petit essai. Une vérification qui ne fait pas confiance au modèle détecte les erreurs. Un essai sur 200 documents réduit la limite à environ 1,5 %, et nous continuons de compter les erreurs après le lancement. »
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Vous avez écrit les critères et les exigences incontournables avant les preuves. Vous avez lu chaque preuve avec son étiquette et ses lacunes.
- L’erreur la plus coûteuse était silencieuse : une valeur erronée dans les livres. La vérification interne, qui ne fait pas confiance au modèle, en a laissé passer 0 sur 54. Le seuil de confiance de ScanLedger en a laissé passer 3 sur 54.
- Selon une seule mesure, le coût total sur 36 mois, l’option sans frais était la plus coûteuse : 469 440 $ US au volume de base.
- Inconnu ne veut pas dire zéro. Les erreurs non testées du partenaire sont devenues un seuil d’environ 1,1 % des documents. Le « 0 sur 54 » de l’option interne est devenu une limite supérieure de 5,6 %.
- Avec de nouvelles données d’entrée, ScanLedger est resté exclu. Le classement de l’option interne et de FormGrid a changé selon le volume, les hypothèses et le nombre de mises en page de fournisseurs. La recommandation est donc un essai équitable sur des factures de fournisseurs avant tout contrat.
- Les chiffres consignés sont un instantané de modèles qui changent vite; la méthode dure.
Ensuite, un projet qui dure depuis six mois sans lancement : vous le reprenez et rédigez un plan de relance de 90 jours.
Leçon suivante : Relancer un projet d'IA au point mort