Définir la fin du travail avec des preuves
- Leçon 10
- 40 min
- Module 3 : Planifier dans l'incertitude
Où nous en sommes
Dans les deux leçons précédentes, nous avons planifié des expériences et nous les avons réunies en étapes avec des barrières. Mais une barrière vaut seulement ce que vaut sa règle : sans seuils écrits, la personne la plus enthousiaste l'emporte. Dans cette leçon, nous transformons « assez bon » en seuils sur un ensemble d'exemples convenu, avec une personne qui décide, comme les règles écrites d'un examen de conduite.
Leçon 10 sur 22 · Diriger des produits et des équipes d'IADéfinir la fin du travail avec des preuves
1. Décider où l'IA aide
2. Décider comment l'obtenir
3. Planifier dans l'incertitude
4. Concevoir pour les personnes
5. Bâtir et diriger une équipe d'IA
6. Gérer les risques, la gouvernance et un lancement responsable
Ce que vous saurez faire
Transformez « assez bon » en seuils que tout le monde peut vérifier, sur un ensemble d’exemples convenu. Nommez une personne qui décide quand ils sont atteints. Sans ces éléments, chaque barrière de votre feuille de route dépend d’une opinion. La personne la plus enthousiaste gagne.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Les expériences et les périodes limitées, dans Pourquoi les plans d’IA sont différents.
- Les étapes, les barrières et les critères d’arrêt, dans Jalons et feuilles de route.
Ce que vous devez avoir sous les yeux
Dans le matériel de pratique du cours :
templates/definition-of-done.md, le modèle à remplir.evidence/pilot-evidence-pack/1-evaluation-results.mdet4-operations.md(son dernier tableau est la barrière de mise en production).- Pour l’exercice du module à la fin :
evidence/fixed-date-plan.mdettemplates/stage-gate-roadmap.md.
La leçon prend environ 25 minutes; l’exercice du module prend environ 15 minutes de plus.
L’examen de conduite
Section intitulée « L’examen de conduite »Les règles d’un examen de conduite sont écrites avant que quiconque prenne le volant. L’examinateur choisit le trajet. Il compte les petites fautes, et un nombre fixé de fautes entraîne un échec. Une seule faute grave, comme passer au feu rouge, entraîne un échec immédiat, même si vous avez bien conduit autrement. L’examinateur décide, pas le moniteur ni l’apprenti conducteur. Personne ne change la note de passage après le trajet parce que l’apprenti « se sentait en confiance ».
Quatre éléments rendent l’examen équitable : un trajet fixe, une note de passage écrite, des fautes éliminatoires et une personne qui décide. Retirez-en un, et le résultat devient une opinion.
Le problème : « l’équipe est satisfaite des réponses »
Section intitulée « Le problème : « l’équipe est satisfaite des réponses » »Le plan de pratique fixed-date-plan.md indique que les semaines 5 et 6 sont terminées quand « l’équipe est satisfaite des réponses ». Personne ne peut vérifier cela. Satisfaite de quelles réponses? À quel point? Qui est « l’équipe »?
Larkfield a des preuves de ce que « satisfait » peut produire, dans Mener un projet pilote équitable. Sans la politique de Grace, un modèle juge préférait les réponses chaleureuses et longues de v3 126 fois contre 48. Une équipe qui jugeait selon ses impressions aurait mis v3 en production. Avec la politique, le même juge donnait à v3 une note moyenne de 3.87 sur 5, contre 4.48 pour v2. Beaucoup de réponses chaleureuses inventaient une étape. Ce qui est « bon » dépend de ce que vous mesurez et de ce à quoi vous le comparez.
L’idée : des seuils sur un ensemble convenu et un responsable
Section intitulée « L’idée : des seuils sur un ensemble convenu et un responsable »Trois idées de l’examen de conduite rendent la « fin du travail » vérifiable.
- Les données d’évaluation sont la liste convenue d’exemples et de leurs bonnes réponses : le trajet de l’examen. Larkfield utilise 102 billets de soutien pour le développement, que l’équipe peut étudier. Elle garde 98 billets à part, consultés une seule fois pour la décision. Le cours sur l’évaluation enseigne comment constituer et étiqueter ces données.
- Un seuil d’acceptation est un nombre qu’un résultat doit atteindre sur ces données, écrit avant de voir un résultat : la note de passage. Certains seuils sont éliminatoires : un seul échec fait échouer la version, comme un feu rouge.
- Le responsable de l’approbation est la personne nommée qui lit les preuves et déclare « terminé » ou « non terminé » : l’examinateur.
Ensemble, sur une page, ces éléments forment une définition de la fin du travail. Le modèle du cours contient une ligne par type de mesure, avec son seuil, sa raison, le résultat actuel et son caractère obligatoire.
Description textuelle du diagramme
Le flux comporte cinq étapes. Il commence par les données d’évaluation convenues : 98 billets gardés à part et consultés une seule fois. Ces données alimentent les mesures : critères éliminatoires, réponses, décisions, coût et temps. Les mesures reçoivent des seuils, écrits avant que quiconque voie un résultat. Ensuite, un responsable lit les preuves. Si chaque ligne est respectée, le résultat est « terminé », et le travail passe à la prochaine barrière. Si une ligne n’est pas respectée, le résultat est « non terminé » : arrêter ou modifier. Une flèche pointillée part des seuils avec une question : ont-ils été modifiés après le résultat? Si oui, ils ne mesurent rien.
Un petit exemple : la barrière de mise en production, ligne par ligne
Section intitulée « Un petit exemple : la barrière de mise en production, ligne par ligne »Vous avez vu la barrière de mise en production de Larkfield dans Mener un projet pilote équitable. L’équipe l’a écrite dans le cours MLOps après « la semaine dernière ». C’est une définition de la fin du travail en six lignes. Voici les résultats enregistrés des deux requêtes (prompts) sur les 98 billets gardés à part.
| Ligne | Seuil | Requête v2 | Requête v3 | v3 respecte le seuil? |
|---|---|---|---|---|
| Billets qui nécessitent une personne et ne reçoivent aucune réponse (éliminatoire) | au plus 0 | 0 | 1 (T-65663) | non |
| Billets sans réponse | au plus 0 | 0 | 8 | non |
| « Les deux décisions sont correctes », v3 moins v2, borne inférieure de l’intervalle | pas sous −0.030 | version actuelle | −0.184 | non |
| Billets qui nécessitent une personne, envoyés à une personne | 100 % | 24 sur 24 | 23 sur 24 | non |
| Coût du modèle par 1 000 billets | au plus US$0.40 | US$0.34 | US$0.48 | non |
| Délai de réponse, les 5 % les plus lents | au plus 8.0 s | 4.9 s | 8.5 s | non |
Lisez comment chaque seuil a été choisi. Les première et quatrième lignes viennent des préjudices possibles. Un billet lié à la sécurité qui ne parvient à personne n’est jamais acceptable, donc la limite est zéro. Les lignes de coût et de temps se situent entre le résultat actuel et un niveau qui causerait du tort. La requête v2 coûte US$0.34, donc une limite de US$0.40 laisse de la place pour un changement utile. Un bon seuil vient donc du résultat actuel et du coût d’une erreur, pas d’un nombre rond.
La requête v3 ne respecte aucune des six lignes. Aucune réunion n’est nécessaire pour en débattre. C’est le but d’écrire les lignes d’abord.
La ligne difficile : « pas pire »
Section intitulée « La ligne difficile : « pas pire » »La troisième ligne mérite un examen plus attentif. Une différence mesurée sur environ 100 billets contient du bruit, donc l’évaluation la présente avec un intervalle. L’intervalle contient la vraie différence dans 95 tests de ce type sur 100. La règle de la barrière utilise la borne inférieure de l’intervalle. Elle ne doit pas être sous −0.030, soit 3 points de moins qu’aujourd’hui.
Description textuelle du graphique
Trois lignes montrent la différence pour « les deux décisions sont correctes », requête v3 moins requête v2, avec son intervalle. Sur les 102 billets de développement, la différence est de −0.059, avec un intervalle de −0.127 à +0.010 : il traverse zéro. Sur les 98 billets gardés à part, elle est de −0.112, de −0.184 à −0.041. Sur les deux groupes réunis, elle est de −0.085, de −0.135 à −0.030. Une ligne à zéro indique « aucune différence », et une ligne à −0.030 indique la limite de la barrière. L’intervalle de chaque ligne commence à gauche de la limite de la barrière.
La ligne de développement nous apprend le plus. Son intervalle traverse zéro, donc ces billets seuls ne peuvent pas montrer que v3 est pire. Une équipe optimiste pourrait dire : « Aucune différence prouvée, mettons-la en production. » Mais la barrière pose la question inverse : pouvons-nous montrer que v3 n’est pas beaucoup pire? La borne inférieure, −0.127, est bien sous la limite. La réponse est donc non, même sur les billets de développement. Un seuil sur la borne inférieure impose la preuve à la nouvelle version, comme il se doit.
Deux autres règles complètent la définition. Combien d’exécutions? Le modèle donne des réponses différentes selon l’exécution. Le pire échec de v3 est apparu dans seulement 2 exécutions sur 5. Le modèle à remplir exige donc au moins cinq exécutions. Un échec éliminatoire dans n’importe quelle exécution fait échouer la version. Quelles données? Les billets gardés à part sont consultés une seule fois, pour la décision. Les 71 exemples antérieurs, utilisés pour écrire la requête, ne comptent pas. Leurs résultats paraissent meilleurs qu’ils ne le sont.
Discussion : qui approuve, et est-ce que 3 points conviennent?
Section intitulée « Discussion : qui approuve, et est-ce que 3 points conviennent? »Nadia écrit la définition de la fin du travail pour le prochain changement de requête, avant qu’un résultat existe. Deux questions restent ouvertes.
- Omar : « J’ai écrit le changement, et je le connais le mieux. C’est moi qui devrais l’approuver. »
- Grace : « Les lignes de sécurité ont besoin de mon nom. Quand un billet de sécurité ne parvient à personne, mes agents doivent répondre au client. »
- Priya : « Sur environ 100 billets, les intervalles sont larges. Sur les billets de développement, l’intervalle de v3 va de −0.127 à +0.010. Un gros changement pourrait ne jamais respecter une limite de 3 points avec si peu de billets. »
- Omar : « Alors mettons la limite à 10 points. Trois, c’est juste un nombre que quelqu’un a choisi. »
Avant de poursuivre, répondez à ces questions :
- Qui devrait approuver : Omar, Grace, Priya ou Nadia? Pourquoi?
- Si les intervalles sont trop larges pour respecter le seuil, Nadia devrait-elle assouplir la limite ou changer autre chose?
- Un changement visant à réduire le coût doit-il être « meilleur », ou seulement « pas pire »?
La réponse du cours. Nadia approuve, car elle est responsable des résultats de l’équipe de soutien et assume la décision. Omar propose, et une personne ne devrait pas approuver son propre changement. Grace approuve aussi les deux lignes de sécurité : chacune de ces deux personnes peut déclarer « non terminé » à elle seule. Priya confirme que les nombres ont été calculés comme la page l’indique. Elle vérifie les preuves; elle ne décide pas. Si les intervalles sont trop larges, Nadia ajoute des billets de test; elle n’assouplit pas la limite. Avec les deux groupes réunis, soit 200 billets, l’intervalle de v3 s’est resserré de −0.135 à −0.030. Plus d’exemples donnent un intervalle plus étroit. Un changement de coût exige seulement « pas pire », car son gain est le coût réduit.
Ce qui changerait la réponse : un changement visant une meilleure qualité doit la démontrer. La borne inférieure de son intervalle doit être au-dessus de zéro, pas seulement au-dessus de la limite de la barrière. Une limite peut changer avant la prochaine expérience, avec une raison écrite et le nom du responsable. Elle ne change jamais après un résultat.
Quand l’utiliser et ce que cela coûte
Section intitulée « Quand l’utiliser et ce que cela coûte »Écrivez une définition de la fin du travail pour chaque barrière où une décision dépend de la qualité. Faites-le au moins avant le projet pilote et avant tout lancement. Chaque ligne exige ses données, son seuil, sa raison et le résultat actuel. Ajoutez une ligne pour chaque groupe d’exemples important. Les billets de Larkfield auxquels la politique n’apporte pas de réponse ont obtenu les notes les plus faibles pour les deux requêtes.
Cela prend du temps. Quelqu’un doit constituer et étiqueter les données d’évaluation; le cours sur l’évaluation montre comment faire. Le responsable doit lire les preuves, pas seulement le résumé. Un seuil peut aussi être mal choisi. Trop strict, et aucun changement ne passe. Trop souple, et un résultat nuisible passe. Ces deux erreurs sont plus faciles à voir et à corriger sur une page écrite que dans les souvenirs d’une réunion.
Erreur courante
Terminé, sur les mauvais exemples
Symptôme : une nouvelle version obtient d’excellentes notes, meilleures que prévu. Le rapport indique « terminé ».
Cause : elle a été notée sur des exemples que l’équipe avait déjà étudiés. Par exemple, les 71 exemples antérieurs utilisés pour écrire la requête. Ces résultats paraissent meilleurs qu’ils ne le sont, comme les notes d’un élève sur les exercices de pratique.
Correction : indiquez les données d’évaluation et leur version dans la définition de la fin du travail. Évaluez la décision sur les billets gardés à part, une seule fois. Demandez de quelles données provient chaque nombre.
Conséquence dans le travail en IA : sans données nommées, une définition de la fin du travail laisse gagner les données les plus flatteuses. Les seuils semblent respectés, et les clients découvrent la qualité réelle.
Exercice du module : d’une date fixe à des barrières
Section intitulée « Exercice du module : d’une date fixe à des barrières »La démonstration utilisait la feuille de route de Larkfield dans Jalons et feuilles de route et la barrière de mise en production ci-dessus. À vous de faire la même chose pour un nouveau plan.
Exercice guidé. Ouvrez fixed-date-plan.md : le clavardage sur les produits du site Web, construit pour le cours.
- Trouvez le jalon qui devrait montrer si le clavardage répond assez bien. Vous trouvez les semaines 5–6, « l’équipe est satisfaite des réponses » : personne ne peut le vérifier.
- Cherchez un résultat qui arrête le projet. Vous n’en trouvez aucun.
- Trouvez la ligne de réussite. « Les clients adorent le clavardage » ne peut pas être mesuré. « Moins de clients écrivent des billets sur les produits » peut l’être.
- Écrivez la pire réponse incorrecte que le clavardage pourrait donner. Une réponse incorrecte sur la sécurité ou la taille est la pire, comme l’indique la question 4 du plan.
Votre tâche. Remplissez le modèle d’étapes et de barrières pour le clavardage du site Web avec trois barrières. Placez-les après la faisabilité, après le projet pilote et après le lancement limité. Donnez à chaque étape une question, une période limitée dans les 12 semaines, les preuves nécessaires et un critère d’arrêt. Nommez le responsable. Écrivez ensuite un seuil d’acceptation pour la première barrière.
Afficher une solution détaillée
Voici une bonne réponse possible. Chaque période limitée, taille de données et seuil est construit pour l’exercice. Vos nombres peuvent différer si vous donnez une raison.
Responsable : Nadia décide à chaque barrière, car la mesure de réussite, moins de billets sur les produits, relève de son équipe. Omar soutient le projet et fait les propositions. Grace approuve aussi la ligne de sécurité, car ses agents répondent quand le clavardage se trompe.
| Étape | Question | Période limitée | Preuves nécessaires pour passer | Critère d’arrêt |
|---|---|---|---|---|
| 1. Faisabilité | Le clavardage peut-il répondre correctement aux questions sur les produits à partir de nos pages et manuels? | Semaines 1–4 | Un ensemble convenu de 100 vraies questions sur les produits provenant de billets passés. Les bonnes réponses sont écrites par un expert des produits. L’ensemble inclut 20 questions sur la sécurité et la taille. Au moins 90 bonnes réponses sur 100, cinq exécutions | Une réponse incorrecte à une question de sécurité, dans n’importe quelle exécution; ou une réponse sur un produit absent de nos pages |
| 2. Projet pilote | Aide-t-il à répondre aux vraies questions, avec une personne qui vérifie? | Semaines 5–6 | Les agents utilisent le clavardage pour rédiger des réponses aux billets sur les produits et notent chacune comme correcte ou incorrecte. Les agents en jugent au moins 90 % correctes, et le coût par 1 000 questions respecte le budget | Un agent trouve une réponse incorrecte sur la sécurité ou la taille qu’il aurait envoyée |
| 3. Lancement limité | Fonctionne-t-il pour les clients sur une catégorie de produits? | Semaines 7–9 | Le clavardage fonctionne sur les pages d’une catégorie, avec « signaler une réponse incorrecte » sur chaque réponse. Les billets sur les produits de cette catégorie diminuent par rapport aux catégories similaires | Une réponse incorrecte sur la sécurité atteint un client : le clavardage est désactivé immédiatement pour cette catégorie |
La barrière 3 mène au lancement complet, avec le même critère d’arrêt comme condition de pause. La semaine 12 compare les billets sur les produits par 1 000 commandes avant et après. Cela répond à la question 5 du plan.
Un seuil d’acceptation pour la barrière 1 : l’ensemble convenu de 100 questions sur les produits est exécuté cinq fois. Chaque question sur la sécurité et la taille reçoit une réponse correcte à chaque exécution (20 sur 20, cinq fois). C’est un critère éliminatoire. Nadia décide, et Grace doit l’approuver.
Ce qui rend cette réponse bonne : chaque étape pose une nouvelle question et expose le clavardage à davantage de personnes. Chaque critère d’arrêt est un résultat, pas une date. Les semaines 1–6 de développement et d’amélioration sont devenues des expériences avec une barrière.
Vérification de fin. Écrivez un seuil d’acceptation pour l’assistant de réponse au soutien de Larkfield. Dites qui décide quand il est atteint.
Afficher un exemple de réponse
« Sur les 98 billets gardés à part, exécutés cinq fois : chaque billet qui nécessite une personne est envoyé à une personne. C’est 24 sur 24 à chaque exécution. C’est un critère éliminatoire. Nadia décide; Grace approuve aussi; Priya confirme le compte. »
Un seuil complet comprend cinq éléments. Ce sont la mesure, les données convenues avec leur nombre d’exécutions, le nombre, le caractère éliminatoire et la personne qui décide. Il est écrit avant que quiconque voie un résultat. « L’assistant est assez exact » n’en contient aucun.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Sur les billets de développement, l'intervalle de la requête v3 pour « les deux décisions correctes » va de −0,127 à +0,010. L'intervalle traverse zéro. La v3 respecte-t-elle le critère de la barrière « borne inférieure d'au moins −0,03 »? Pourquoi ce critère utilise-t-il la borne inférieure?
Afficher la réponse
Non. La borne inférieure, −0,127, est sous −0,03. Puisque l’intervalle traverse zéro, ces billets ne peuvent pas montrer que la v3 est moins bonne. Mais la barrière pose la question inverse : pouvons-nous montrer que la v3 n’est pas beaucoup moins bonne? Ce n’est pas possible. La borne inférieure impose à la nouvelle version de faire ses preuves. Ainsi, « aucune différence prouvée » ne suffit pas pour franchir la barrière.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Omar a proposé la requête v3 et offre de signer sa définition de la fin du travail. Qui devrait signer, et pourquoi pas Omar?
Afficher la réponse
Nadia signe : elle est responsable des résultats de l’équipe de soutien et assume la décision. Grace cosigne les critères de sécurité. Ses agents doivent répondre au client quand un billet de sécurité ne parvient à personne. Priya confirme que les calculs suivent la méthode écrite. Omar propose le changement, et personne ne devrait approuver son propre changement : l’espoir et les efforts font paraître chaque résultat bon.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Sans la politique de Grace, un modèle juge a préféré les réponses de la v3 126 fois contre 48. Avec la politique, il a donné une note plus basse à la v3. Qu'est-ce que cela vous apprend sur un critère de fin du travail comme « l'équipe est satisfaite des réponses »?
Afficher la réponse
Une réponse est « bonne » ou non selon les critères utilisés pour la mesurer. Les réponses longues et chaleureuses semblent meilleures jusqu’à ce qu’on les vérifie selon la politique : beaucoup inventent alors une étape. « L’équipe est satisfaite » ne précise aucun jeu de données, aucune mesure, aucun seuil et aucun responsable. Une définition de la fin du travail nomme ces quatre éléments, par écrit, avant le résultat.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
Cette leçon :
- Une définition de la fin du travail précise le jeu de données d’évaluation, les seuils d’acceptation (dont certains sont bloquants), le nombre d’exécutions et le seul responsable qui signe. Tout est écrit avant que quiconque voie un résultat.
- Les seuils viennent du résultat actuel et du coût d’une erreur. La requête v3 n’a respecté aucun des six critères de la barrière de mise en production de Larkfield.
- Pour vérifier « pas moins bon », on lit la borne inférieure de l’intervalle. Si l’intervalle est trop large, ajoutez des exemples; n’assouplissez jamais la limite après un résultat.
Ce module : Les plans d’IA commencent par des expériences de durée limitée, car personne ne connaît la qualité à l’avance. Une feuille de route les relie en quatre étapes, de la faisabilité au lancement complet. Chacune prévoit une barrière, des preuves pour la franchir et un résultat qui impose l’arrêt. Une définition de la fin du travail permet de vérifier chaque barrière, et un seul responsable décide. Vous avez transformé un plan à date fixe en feuille de route à trois barrières.
Ensuite, vous décidez où une personne révise ou approuve le travail de l’IA, et ce que coûte cette révision.
Leçon suivante : Prévoir la révision humaine dès la conception