Aller au contenu
English

Lire le dossier de preuves

  • Leçon 1
  • 20 min
  • Module 1 : Décider où l'IA aide

Où nous en sommes

Comme leader, vous décidez déjà à partir de rapports, de diapositives et de budgets, souvent sur un travail que vous ne faites pas vous-même. Les propositions d'IA arrivent aussi avec beaucoup de nombres : des scores, des coûts et des économies. Mais un nombre peut venir d'une mesure, d'une liste de prix ou d'une supposition, et sur une diapositive, ils se ressemblent tous. Dans cette leçon, nous apprenons à lire chaque nombre avec son étiquette. Nous commençons par une annonce de voiture d'occasion.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité

Ce que vous saurez faire

Repérez les fichiers du cours et lisez chaque nombre avec son étiquette. Un nombre sans étiquette peut venir d’une mesure, d’une liste de prix ou d’une supposition. Un leader qui ne sait pas les distinguer fonde sa décision sur le mauvais nombre.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 20 minutes

Ce que vous devez savoir

Rien pour le moment. C’est la première leçon du cours. Elle vérifie aussi que vous savez lire les types de preuves du cours : un court rapport, un tableau de résultats et une estimation simple des coûts.

Ce qu’il vous faut

  • Un navigateur. Les fichiers du cours sont sur GitHub, dans le dossier C29 du dépôt des exercices pratiques. Vous les lisez dans le navigateur.
  • Un outil de rédaction : un traitement de texte, un éditeur de texte ou un tableur. Vous y copiez les modèles de documents et les remplissez.
  • Aucun compte, aucune installation, aucun code et aucune dépense.

Pour travailler hors ligne, utilisez le bouton Télécharger les fichiers ci-dessus : il vous donne le dossier C29 dans un seul fichier ZIP.

Pensez à une annonce pour une voiture d’occasion. Elle donne quatre nombres, et chacun signifie quelque chose de différent :

  • « 60 000 km au compteur. » Quelqu’un l’a lu sur la voiture. Vous pouvez le vérifier.
  • « Prix : 9 000 dollars. » Le concessionnaire l’a publié. Il peut changer la semaine prochaine.
  • « Les pneus devraient durer encore deux ans. » Le concessionnaire a choisi ce nombre. Un concessionnaire prudent dit « un à trois ans, selon votre conduite ».
  • Une photo d’une famille heureuse en voyage. Quelqu’un l’a inventée pour montrer ce que la voiture pourrait offrir. Ce n’est pas votre famille, et personne ne le prétend.

Une acheteuse prudente lit chaque nombre pour ce qu’il est. Elle fait confiance au compteur et vérifie le prix du jour. Elle demande comment le concessionnaire a choisi deux ans. Elle apprécie la photo sans la prendre pour la réalité.

Le problème : une diapositive mélange trois types de nombres

Section intitulée « Le problème : une diapositive mélange trois types de nombres »

Nadia arrive chez Larkfield, une boutique canadienne en ligne pour la maison et le jardin, comme nouvelle responsable des opérations clients. Elle dirige l’équipe de soutien de Grace. Désormais, elle prend les décisions concernant son assistant d’IA. L’assistant rédige une réponse à chaque billet de soutien. Un agent lit et modifie le brouillon avant l’envoi. Le modèle de l’assistant reçoit une consigne écrite avec chaque billet : la requête (prompt). La version actuelle est la requête v2.

Le premier jour, Omar, le gestionnaire de produit, lui montre une diapositive. Nadia, la diapositive d’Omar et cette réunion sont construits pour le cours :

L’assistant de soutien économise 287 661 $ US par année. La nouvelle requête v3 coûte moins cher et est plus chaleureuse : adoptons-la.

Les deux phrases semblent présenter des faits. Nadia ouvre le dossier de preuves qui appuie la diapositive. Il provient surtout d’un test du cours Évaluer et tester les systèmes d’IA. L’équipe y a testé les deux requêtes sur les mêmes billets inventés. Les billets de développement (102) sont des billets que l’équipe peut étudier pour améliorer une requête. Les billets réservés (98) restent à part. L’équipe les lit une seule fois, pour prendre la décision. Voici ce que Nadia trouve :

  • « 287 661 $ US par année » est un nombre calculé. Il multiplie des résultats consignés par des nombres que quelqu’un a choisis. Le principal nombre choisi n’a jamais été mesuré : les minutes nécessaires à un agent pour rédiger une réponse manuellement.
  • « Moins cher » était une supposition. La requête v3 envoie une demande plus courte, donc tout le monde s’attendait à un coût moindre. Le test consigné dit le contraire : 0,48 $ US par 1 000 billets, contre 0,34 $ US pour la requête v2 actuelle.
  • « Plus chaleureuse » est vrai, et consigné. Mais le même test montre que la requête v3 n’a donné aucune réponse à deux billets liés à la sécurité.

La diapositive n’est pas un mensonge. Son problème, c’est que tous les nombres semblent aussi solides. Nadia ne voit pas quels nombres sont fiables, lesquels elle peut changer et lesquels personne n’a mesurés.

Ce cours donne à chaque nombre l’une de quatre étiquettes, comme dans l’annonce automobile. Ces étiquettes indiquent d’où vient un nombre et ce que vous pouvez en faire.

Étiquette Ce qu’elle signifie Exemple tiré des fichiers du cours
consigné Mesuré lors d’une exécution réalisée et sauvegardée dans un cours précédent. La source nomme le cours. La requête v2 a transmis à une personne 24 des 24 billets réservés qui exigeaient une intervention humaine.
prix Un prix courant publié. Les prix changent : vérifiez la page actuelle. Le prix courant d’un fournisseur pour héberger un petit modèle après réglage fin : 1,70 $ US par heure.
hypothèse Une valeur choisie, avec une valeur basse, une valeur de base, une valeur haute et une raison. Un agent a besoin de 4 / 6 / 8 minutes pour rédiger une réponse manuellement.
construit Une situation, une entreprise ou un document créé pour le cours. Réaliste, mais pas réel. Le fournisseur ReplyRight (inventé pour ce cours) et son offre; Nadia; la diapositive d’Omar.

Un cinquième mot revient souvent : calculé, ou « estimé ». Un nombre calculé est un nombre consigné multiplié par une hypothèse, selon le calcul du cours. Sa solidité dépend de son entrée la plus faible. Le cours nomme donc toujours les hypothèses qui le sous-tendent. Les 287 661 $ US d’Omar sont un nombre calculé.

Pourquoi quatre étiquettes, plutôt que seulement « vrai » et « faux »? Parce que chaque étiquette demande une action différente. Vous pouvez faire confiance à un nombre consigné, mais seulement pour ce qui a été testé. Un prix devient périmé. Une hypothèse invite à mesurer. Un exemple construit enseigne, mais ne prouve rien. Le schéma montre les questions à poser sur n’importe quel nombre.

Un chemin de décision pour un nombre. Une exécution sauvegardée l'a-t-elle mesuré? Oui : consigné, nommez le cours qui l'a exécutée. Non : est-ce un prix courant publié? Oui : prix, nommez la page, les prix changent. Non : quelqu'un l'a-t-il choisi? Oui : hypothèse, donnez les valeurs basse, de base et haute, ainsi que la raison. Non : la situation a-t-elle été écrite pour le cours? Oui : construit, dites-le chaque fois. Non : aucune source, ne l'utilisez pas encore.
Quatre questions, posées dans l'ordre, donnent une étiquette à chaque nombre. Un nombre qui ne répond à aucune des quatre n'a pas encore de source.
Description textuelle du diagramme

Le chemin commence par un nombre du dossier et pose quatre questions dans l’ordre. Première question : une exécution sauvegardée l’a-t-elle mesuré? Si oui, l’étiquette est « consigné », et vous nommez le cours qui l’a exécutée. Sinon, deuxième question : est-ce un prix courant publié? Si oui, l’étiquette est « prix ». Vous nommez la page et gardez en tête que les prix changent. Sinon, troisième question : quelqu’un l’a-t-il choisi? Si oui, c’est une hypothèse. Vous donnez ses valeurs basse, de base et haute, ainsi que la raison. Sinon, dernière question : la situation a-t-elle été écrite pour le cours? Si oui, elle est construite, et vous le dites chaque fois. Sinon, le nombre n’a pas de source. Vous ne l’utilisez pas tant que quelqu’un n’en trouve pas une.

Voici quatre nombres tirés des fichiers du cours. Étiquetez chacun avant de lire la réponse sous le tableau.

Nombre Où il se trouve
23 sur 24 Billets réservés exigeant une intervention humaine que la requête v3 a transmis à une personne
6 minutes Valeur de base de minutes_to_write_a_reply_by_hand dans l’estimation de la valeur
1,70 $ US par heure Hébergement d’un petit modèle après réglage fin
8 fiches Fiches de cas d’utilisation, quatre chez Larkfield et quatre dans d’autres domaines

Le premier nombre est consigné. Le cours Évaluer et tester les systèmes d’IA a exécuté la requête v3 sur 98 billets réservés et sauvegardé chaque réponse. Le deuxième est une hypothèse. Personne n’a chronométré les agents de Larkfield. Le cours a donc choisi 6 minutes, avec 4 et 8 comme valeurs basse et haute. Le troisième est un prix tiré de la liste d’un fournisseur. Il est utilisé dans le cours Réglage fin et adaptation des modèles d’IA. Le quatrième est construit. Les fiches décrivent des situations inventées, sauf quelques lignes marquées comme consignées.

Chaque nombre consigné dans ce cours vient d’un seul modèle, testé un seul jour. Un modèle plus récent peut faire mieux ou moins bien sur les mêmes billets. Lisez donc les nombres consignés comme un portrait du moment, et gardez la méthode. Utilisez les mêmes billets, écrivez la règle avant le test et lisez les exemples avant les scores.

Le cours n’a aucun code et aucun logiciel à installer. Son « projet » est un dossier de documents. Le schéma montre le dossier de preuves du projet pilote de l’assistant de réponse au soutien de Larkfield. La plupart des leçons utilisent ce dossier.

Le résumé du projet pilote, d'une page, mène à cinq fichiers : 1 Résultats d'évaluation, quelle est sa qualité et quel est notre degré de certitude; 2 Exemples d'erreurs, qu'est-ce qui échoue et combien cela coûte; 3 Temps et coût de révision, quelle est sa valeur et combien coûte la révision; 4 Opérations, que s'est-il passé lors d'une semaine rejouée; Sources, d'où vient chaque nombre. À côté du dossier : Modèles de documents, pages vierges à remplir, et Fiches de cas d'utilisation, huit idées à examiner.
Commencez par le résumé du projet pilote d'une page. Chaque fichier qui l'appuie répond à une question qu'un leader pose.
Description textuelle du diagramme

À gauche se trouve le résumé du projet pilote. Cette page présente ce qui a été testé, les principaux résultats et ce qui n’a pas été mesuré. Cinq flèches mènent aux fichiers qui l’appuient. Le fichier 1, résultats d’évaluation, répond à « quelle est sa qualité, et quel est notre degré de certitude? ». Le fichier 2, exemples d’erreurs, répond à « qu’est-ce qui échoue, et combien cela coûte? ». Le fichier 3, temps et coût de révision, répond à « quelle est sa valeur, et combien coûte la révision? ». Le fichier 4, opérations, répond à « que s’est-il passé lors d’une semaine rejouée? ». Le fichier des sources répond à « d’où vient chaque nombre? ». À côté du dossier de preuves se trouvent deux autres parties du dossier du cours. Les modèles de documents sont des pages vierges à remplir. Les fiches de cas d’utilisation présentent huit idées à examiner. La version pour téléphone montre seulement le dossier de preuves.

Le dossier contient aussi un dossier de modèles de documents, avec un ou plusieurs modèles pour chaque module. Il contient trois dossiers d’études de cas et un README qui répertorie tout. Chaque fichier est écrit pour le cours et peut être copié gratuitement, même au travail.

C’est la première étape du cours. Elle vérifie que vous pouvez ouvrir chaque type de fichier utilisé dans le cours.

  1. Ouvrez le README du cours dans votre navigateur. Lisez son tableau « How to read the numbers » (comment lire les nombres).
  2. Ouvrez le résumé du projet pilote. Trouvez combien de billets réservés exigeant une intervention humaine la requête v3 a transmis à une personne. Vous voyez 23 sur 24.
  3. Ouvrez value-estimate.csv. GitHub l’affiche sous forme de tableau. Trouvez la ligne minutes_to_write_a_reply_by_hand. Sa valeur de base est 6, avec l’étiquette assumption (hypothèse).
  4. Ouvrez les fiches de cas d’utilisation. Comptez les fiches. Vous en trouvez 8.
  5. Copiez le modèle d’estimation de la valeur dans votre outil de rédaction. Vérifiez que ses tableaux conservent leurs lignes et leurs colonnes.

Si vous avez trouvé les trois chiffres, vos fichiers sont complets. Si un lien ne s’ouvre pas, téléchargez de nouveau le fichier ZIP. Ouvrez le même fichier dans le dossier C29. Vous ne pouvez rien briser : ce sont des copies. Pour recommencer un modèle de document, copiez-le de nouveau depuis GitHub.

Lisez maintenant le résumé du projet pilote depuis le début. C’est la page qu’un leader occupé lit en premier. Avant d’ouvrir la réponse ci-dessous, écrivez deux courtes listes dans vos mots : ce que le projet pilote a mesuré et n’a pas mesuré.

Afficher une bonne réponse

Mesuré (consigné) : les réponses des requêtes v2 et v3 à 271 billets inventés, en anglais et en français. Cela couvre l’équipe choisie, la décision « intervention humaine requise », le respect des règles, le coût du modèle et le délai de réponse. Il y a aussi un score pour chaque réponse, attribué par un modèle juge. Ce modèle d’IA puissant note chaque réponse selon la politique de Grace. Le cours MLOps et LLMOps : exploiter l’IA en production a rejoué une semaine de billets pour s’exercer.

Non mesuré : les vrais clients et les vrais billets; le temps nécessaire à un agent pour réviser un brouillon (une hypothèse); les étiquettes d’une deuxième personne. Également, les réactions des agents et des clients, et la confiance excessive possible des agents envers les brouillons.

Le dossier le dit lui-même dans son tableau « What was measured, and what was not » (ce qui a été mesuré et ce qui ne l’a pas été). Un bon résumé contient toujours ce tableau. Si un résumé n’en contient pas, demandez-le.

Le résumé donne son propre exemple d’un nombre dont le sens change selon son étiquette. La demande de la requête v3 est plus courte : une médiane de 1 477 jetons, contre 1 902. Un jeton (token) est un morceau de mot. Dans un texte anglais, un mot représentait environ 1,48 jeton. Cette mesure est consignée dans le cours Conception de systèmes d’IA et maîtrise des coûts. Mais avec la requête v3, le modèle écrit 643 jetons, contre 259, parce qu’il « réfléchit » plus longtemps avant de répondre. Le fournisseur facture les deux. Le coût consigné est donc plus élevé. La supposition « plus court signifie moins cher » était fausse.

Le directeur de Nadia lui demande un seul nombre pour le budget de l’année prochaine : quelle est la valeur de l’assistant?

  • Omar dit : « Citez 287 661 $ US. C’est dans le dossier de preuves, donc c’est une preuve. »
  • Grace, la responsable du soutien, dit : « Personne n’a chronométré mes agents. Six minutes par réponse, c’est une supposition. »
  • Kwame, l’architecte de solutions, dit : « Citez la plage de valeurs, pas un seul nombre. »

Avant de poursuivre, répondez aux questions suivantes :

  1. Quelle étiquette porte le montant de 287 661 $ US, et de quoi est-il composé?
  2. L’objection de Grace justifie-t-elle de ne rien citer?
  3. Que devrait dire la phrase du budget?

La réponse du cours. Le montant de 287 661 $ US est calculé : des résultats consignés multipliés par des hypothèses. Son entrée principale n’a jamais été mesurée. C’est donc le scénario de base d’une plage de valeurs, pas un fait. Le dossier donne cette plage. Le scénario bas est une perte de 52 905 $ US. Le scénario haut est un gain de 1 069 007 $ US. L’objection de Grace ne signifie pas « ne citez rien ». Elle signifie : dites sur quoi repose le nombre, et mesurez-le. La ligne du budget devient : « Valeur nette annuelle : d’une perte de 52 905 $ US à un gain de 1 069 007 $ US. Valeur de base : 287 661 $ US. Elle dépend surtout des minutes nécessaires pour rédiger une réponse manuellement. Nous les chronométrerons avant la prochaine décision. » La leçon Estimer la valeur et le rendement construit cette plage étape par étape.

Ce qui changerait la réponse : un échantillon chronométré d’agents qui rédigent des réponses. Les minutes deviendraient alors un nombre consigné, et la plage serait beaucoup plus étroite.

Quand utiliser les étiquettes, et ce qu’elles coûtent

Section intitulée « Quand utiliser les étiquettes, et ce qu’elles coûtent »

Utilisez les étiquettes pour chaque nombre qui entre dans une décision : diapositive, note, budget ou offre d’un fournisseur. Elles coûtent un peu de temps et d’honnêteté. Un nombre étiqueté semble souvent moins solide que le même nombre sans étiquette. C’est le but : l’étiquette montre ce qu’il vous reste à apprendre.

Ne vous arrêtez pas à l’étiquette. Un nombre consigné est vrai seulement pour ce qui a été testé : 271 billets inventés, un modèle, un jour. Une hypothèse avec une plage de valeurs vaut mieux qu’une supposition précise, mais reste une supposition.

Erreur courante

Un nombre qui a perdu son étiquette

Symptôme : la diapositive d’Omar dit « la requête v3 coûte moins cher ». Tout le monde à la réunion le répète. Personne ne peut dire d’où cela vient.

Cause : une attente initiale (« la demande est plus courte, donc elle coûte moins cher ») s’est retrouvée sur une diapositive sans étiquette. Après quelques copies, elle ressemblait à un résultat.

Correction : ouvrez sources.md pour voir d’où vient chaque type de nombre. Trouvez ensuite le coût dans les résultats d’évaluation. Le coût consigné du modèle est de 0,48 $ US par 1 000 billets pour la requête v3, contre 0,34 $ US pour la requête v2. Si le dossier ne donne aucune source pour un nombre, traitez-le comme une supposition jusqu’à ce que quelqu’un en trouve une.

Conséquence pour un leader : une décision fondée sur une supposition sans étiquette échoue sans que personne puisse retracer la cause. Ici, la requête « moins chère » était plus chère, plus lente et silencieuse sur deux billets liés à la sécurité.

Études de cas de ce cours

À la fin du cours, vous appliquez ce que vous avez appris à un projet réaliste, des données jusqu’à la recommandation. Terminez-en au moins une pour obtenir le certificat; les autres sont facultatives.

  • Note de décision sur le lancement d'un assistant de réponse au soutienExaminer une fonction d'IA proposée et les preuves de son projet pilote (résultats d'évaluation, exemples d'erreurs, temps de révision et coût), puis rédiger une note de décision : lancer, ne pas lancer ou lancer sous conditions.
  • Développer, acheter ou s'associer pour l'extraction de facturesDiriger la décision en tant qu'expert du domaine de la finance : comparer un développement interne, deux produits de fournisseurs et un partenaire à partir de résultats d'essai enregistrés, de fourchettes de coûts et des conditions sur les données, puis rédiger la recommandation.
  • Relancer un projet d'IA au point mortDiagnostiquer un projet lancé il y a six mois et toujours pas en service (aucune définition de la fin du travail, aucun jeu d'évaluation, aucun responsable de l'adoption), puis rédiger un plan de relance de 90 jours avec des étapes de validation.

Vérifiez votre compréhension

Étiquetez chaque nombre : (a) la requête v2 a répondu à 98 billets de test sur 98; (b) Larkfield reçoit 600 / 822 / 1 100 billets par jour; (c) l'offre du fournisseur ReplyRight; (d) une valeur nette de 287 661 $ US par année.

Afficher la réponse

(a) Mesuré : le cours d’évaluation a mesuré ce résultat et enregistré les réponses. (b) Hypothèse : une plage choisie. Sa valeur de base, 822, vient du volume quotidien moyen d’une charge de travail d’exercice dans Mettre à l’échelle les API et les charges de travail d’IA. Cette charge de travail est synthétique. Le cours traite donc le volume comme une hypothèse. (c) Construit : le fournisseur et son offre sont inventés pour le cours. (d) Calculé : des résultats mesurés multipliés par des hypothèses. C’est une estimation, et vous précisez les hypothèses qui l’accompagnent.

Vérifiez votre compréhension

Lisez le résumé du projet pilote. Nommez deux éléments que le projet pilote n'a pas mesurés. Dites pourquoi chacun compte pour un leader.

Afficher la réponse

Deux éléments parmi les suivants. De vrais clients et billets de soutien : les 271 billets sont inventés. Les vrais billets pourraient donc être plus difficiles ou plus faciles. Le temps de révision : le temps nécessaire à un agent pour vérifier un brouillon est une hypothèse. Il détermine une grande partie de la valeur. Les étiquettes d’une deuxième personne : une seule personne a étiqueté les bonnes réponses. Certaines « erreurs » peuvent donc être des désaccords. La réaction des gens : les agents pourraient trop se fier aux brouillons et envoyer de mauvaises réponses. Chaque lacune représente un risque pour la décision, et chacune peut être mesurée plus tard.

Vérifiez votre compréhension

La requête v3 est plus courte que la requête v2, mais son coût mesuré par 1 000 billets est plus élevé. Expliquez pourquoi en deux phrases.

Afficher la réponse

Le fournisseur facture les jetons (tokens) de la requête et ceux que le modèle écrit, y compris sa « réflexion » cachée. La requête v3 est plus courte (1 477 jetons contre 1 902), mais le modèle écrit 643 jetons contre 259. Le total est donc de 0,48 $ US par 1 000 billets, contre 0,34 $ US.

Récapitulatif

  • Chaque nombre de ce cours porte une étiquette. Mesuré : mesuré lors d’une exécution enregistrée dans un cours précédent. Prix : un prix courant publié qui peut changer. Hypothèse : une valeur choisie avec une plage basse, de base et haute. Construit : rédigé pour le cours.
  • Un nombre calculé est un nombre mesuré multiplié par une hypothèse. Sa fiabilité dépend de sa donnée d’entrée la moins fiable. Vous précisez donc les hypothèses qui l’accompagnent.
  • Le dossier de preuves commence par un résumé d’une page qui indique ce qui a été mesuré et ce qui ne l’a pas été. Quatre fichiers complémentaires répondent à quatre questions : quelle est la qualité, quels problèmes surviennent, quelle est la valeur, que s’est-il passé à l’usage.
  • Vos fichiers sont complets lorsque vous trouvez 23 sur 24, la valeur de base 6 et 8 fiches.

Ensuite, avant de penser à l’IA, vous partez du problème : l’utilisateur, la tâche et le coût d’une erreur.

Leçon suivante : Les problèmes avant les outils