Jalons et feuilles de route
- Leçon 9
- 30 min
- Module 3 : Planifier dans l'incertitude
Où nous en sommes
Dans la leçon précédente, nous avons planifié les premières étapes comme des expériences avec une limite de temps. Mais une expérience n'est pas un plan pour atteindre les clients. Dans cette leçon, nous réunissons les expériences en étapes, chacune avec une barrière où les preuves décident de continuer, de changer ou d'arrêter, pour qu'un échec apparaisse tôt et petit. Nous commençons par la façon dont une cheffe ajoute un nouveau plat au menu.
Leçon 9 sur 22 · Diriger des produits et des équipes d'IAJalons et feuilles de route
1. Décider où l'IA aide
2. Décider comment l'obtenir
3. Planifier dans l'incertitude
4. Concevoir pour les personnes
5. Bâtir et diriger une équipe d'IA
6. Gérer les risques, la gouvernance et un lancement responsable
Ce que vous saurez faire
Planifiez le travail d’IA comme une série d’étapes. Chaque étape se termine à une barrière. Les preuves déterminent alors s’il faut continuer, changer ou arrêter. Ainsi, un échec apparaît tôt et à petite échelle, plutôt qu’au lancement devant tous les clients.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Les expériences, les périodes limitées et les trois décisions (continuer, changer, arrêter), dans Pourquoi les plans d’IA sont différents.
- Les critères de réussite écrits avant le début d’un projet pilote, dans Mener un projet pilote équitable.
Ce que vous devez avoir sous les yeux
Dans le matériel de pratique du cours :
templates/stage-gate-roadmap.md, le modèle à remplir.evidence/pilot-evidence-pack/4-operations.md, ce qui s’est passé quand la requête (prompt) v3 a reçu de vrais billets de soutien.evidence/fixed-date-plan.md, un plan avec des dates fixes. Vous le transformerez en barrières dans l’exercice du module, à la fin de la prochaine leçon.
Comment un plat arrive au menu
Section intitulée « Comment un plat arrive au menu »Une cheffe veut ajouter un nouveau plat au menu de son restaurant. Elle ne l’imprime pas sur le menu dès le premier jour. D’abord, elle le prépare en cuisine et le goûte : peut-elle vraiment bien le préparer? Ensuite, elle le sert au personnel pendant leur repas : est-ce que d’autres personnes l’aiment? Puis elle le propose comme plat du jour à quelques tables pendant une semaine. Les clients qui paient le commandent-ils? La cuisine peut-elle le préparer rapidement pendant une soirée achalandée? Ce n’est qu’après qu’il apparaît sur le menu imprimé.
Chaque étape pose une question différente et présente le plat à plus de personnes. Une mauvaise réponse à n’importe quelle étape empêche l’ajout du plat au menu. La plupart des échecs surviennent tôt, en cuisine, où ils coûtent une assiette.
Le problème : un plan qui passe directement à tout le monde
Section intitulée « Le problème : un plan qui passe directement à tout le monde »Consultez le fichier de pratique fixed-date-plan.md. C’est un plan construit pour un outil de clavardage sur les produits du site Web de Larkfield. Voici quatre de ses semaines :
| Semaine | Jalon | Terminé quand |
|---|---|---|
| 1–2 | Choisir le modèle et créer le clavardage | Le clavardage répond sur le site Web de test |
| 5–6 | Améliorer les réponses | L’équipe est satisfaite des réponses |
| 7 | Réviser la conception et l’accessibilité | Le clavardage ressemble au site Web |
| 9 | Lancer pour tous les clients | Le clavardage apparaît sur chaque page de produit |
Chaque jalon est un travail à faire, avec une date. Aucune semaine ne demande si le clavardage répond assez bien, et aucun résultat ne peut l’arrêter. À la semaine 9, tous les clients découvrent le clavardage au même moment. S’il se trompe sur la sécurité d’un produit, tout le monde peut lire la mauvaise réponse.
Larkfield a déjà vu ce que cela donne. La « semaine dernière » du dossier de preuves est une situation construite avec des réponses enregistrées. Quelqu’un y a activé la requête v3 pour tous les billets à la fois. Sur 1,798 billets, 186 n’ont reçu aucune réponse, et 10 billets nécessitant une personne n’ont été transmis à personne. Le tableau de bord indiquait toujours que le service acceptait 100.00 % des billets. Les clients ont été les premiers à tester le changement.
L’idée : des étapes et des barrières
Section intitulée « L’idée : des étapes et des barrières »Une étape est une période de travail limitée dans le temps, avec une seule question. Une barrière est la réunion à la fin d’une étape. Un responsable y lit les preuves et décide : passer à l’étape suivante, changer et répéter l’étape, ou arrêter. Un critère d’arrêt, ou résultat d’arrêt, est un résultat écrit avant le début de l’étape qui arrête ou modifie le travail. C’est la même idée que les conditions d’arrêt d’un projet pilote dans Mener un projet pilote équitable. Le mot « barrière » convient : comme une barrière sur un chemin, elle reste fermée jusqu’à ce que les preuves l’ouvrent.
Une feuille de route présente les étapes dans l’ordre. Pour le travail d’IA, quatre étapes répondent à quatre questions. Chacune expose le travail à plus de personnes :
- Faisabilité. L’IA peut-elle vraiment accomplir cette tâche sur nos propres exemples? Personne à l’extérieur de l’équipe ne la voit.
- Projet pilote. Fonctionne-t-elle sur du vrai travail, avec révision, à un coût acceptable? Quelques utilisateurs, ou personne, la voient.
- Lancement limité. Fonctionne-t-elle en exploitation, pour une petite part du vrai travail? Certains clients la voient.
- Lancement complet. Continue-t-elle de fonctionner pour tout le monde, et surveillons-nous les bons signaux? Tout le monde la voit.
C’est le parcours de la cheffe : cuisine, repas du personnel, plats du jour, menu.
Un petit exemple : un critère d’arrêt en action
Section intitulée « Un petit exemple : un critère d’arrêt en action »Le fichier d’exploitation du dossier de preuves présente une deuxième version, prudente, du passage à v3. Cette fois, v3 ne répond qu’à 1 billet sur 10 : un lancement limité, appelé canari (canary). Le nom vient des canaris que les mineurs emportaient autrefois sous terre pour détecter l’air dangereux. Avant de commencer, l’équipe a écrit son critère d’arrêt. Une alarme automatique surveille les billets sans réponse. Une règle rétablit v2 quand l’alarme se déclenche. Les nombres ci-dessous sont des réponses enregistrées dans une situation construite.
| Étape | Valeur |
|---|---|
| Part des billets auxquels v3 a répondu | 10% |
| Billets traités par v3 avant que la règle d’alarme soit satisfaite | 9 |
| Billets traités par v3 avant le retour à v2 | 22 |
| Billets sans réponse de v3 | 3 sur 25 |
Le même échec que la « semaine dernière » est apparu. Mais le critère d’arrêt était écrit d’avance. L’étape s’est donc terminée après 22 billets, plutôt qu’après 1,798. La barrière n’avait pas besoin d’une réunion pour dire « arrêtez » : la règle l’a dit.
Le graphique compare les trois façons d’essayer v3. Les essais avaient des durées différentes. Lisez donc les barres comme « qui a subi l’échec », et non comme des taux.
Description textuelle du graphique
Trois barres. Dans le test caché (un test en parallèle), v3 a traité 543 vrais billets en arrière-plan et laissé 42 billets sans réponse. Seules les réponses de v2 ont été utilisées. Ainsi, 0 billet de client a été touché. Avec 1 billet sur 10 (le canari), 3 des 25 billets de v3 n’ont reçu aucune réponse. La règle a rétabli v2. Avec tout le monde à la fois, 186 billets sur 1,798 n’ont reçu aucune réponse. De plus, 10 billets nécessitant une personne n’ont été transmis à personne. Les données viennent du cours MLOps et LLMOps : exploiter l’IA en production.
Un test en parallèle (shadow test) est un projet pilote où la nouvelle version répond à du vrai travail en arrière-plan. Personne n’utilise ses réponses. Il a trouvé le problème sans toucher un seul client. Pendant son exécution, il faut payer le modèle deux fois. Cela ajoute environ 0.47 $ US par 1 000 billets aux réponses réelles (valeur enregistrée). Voilà pourquoi les questions peu coûteuses viennent d’abord. Un échec à la faisabilité coûte quelques semaines. Un échec au lancement complet coûte des clients.
La feuille de route de Larkfield pour le prochain changement de requête
Section intitulée « La feuille de route de Larkfield pour le prochain changement de requête »La requête v3 a été arrêtée. Mais Omar proposera un autre changement de requête un jour. Nadia, responsable des opérations de soutien à la clientèle, demande à l’équipe de remplir maintenant le modèle d’étapes avec barrières. Personne n’a encore de résultat à défendre. Les limites viennent de preuves enregistrées; les périodes limitées sont construites. Nadia décide à chaque barrière.
| Étape | Question | Période limitée | Preuves pour franchir la barrière | Résultat qui arrête ou modifie le travail |
|---|---|---|---|---|
| 1. Faisabilité | La nouvelle requête peut-elle accomplir la tâche sur nos billets de test? | 2 semaines | Chaque ligne de la barrière de mise en production sur les billets de développement, puis une fois sur les billets réservés; cinq essais | Un billet nécessitant une personne ne reçoit aucune réponse, dans n’importe quel essai |
| 2. Projet pilote (en parallèle) | Fonctionne-t-elle sur de vrais billets, en arrière-plan? | 1 semaine | Pas plus de billets sans réponse qu’avec la requête v2 (4 sur 5,754 dans une semaine normale); Grace lit un échantillon de brouillons et ne trouve aucune règle inventée | Un billet de sécurité sans réponse |
| 3. Lancement limité (canari) | Fonctionne-t-elle pour 1 billet sur 10? | 1 semaine | Les agents approuvent ses décisions aussi souvent que celles de v2 (94.3 % dans une semaine normale) | La règle d’alarme sur les billets sans réponse se déclenche : rétablir immédiatement la version précédente |
| 4. Lancement complet | Continue-t-elle de fonctionner pour tout le monde? | En continu | Chaque billet de sécurité est transmis à une personne (320 sur 320 dans une semaine normale); accord et coût par 1 000 billets surveillés | Un billet nécessitant une personne n’est transmis à personne : rétablir la version précédente, puis réviser |
Le diagramme ci-dessous indique « aucun blocage ». Un blocage est un échec qui arrête à lui seul le changement, même si les autres résultats sont bons. Un exemple est un billet nécessitant une personne qui ne reçoit aucune réponse. La prochaine leçon utilise les blocages dans ses seuils.
Description textuelle du diagramme
La feuille de route comporte quatre étapes en ligne, reliées par trois barrières. Chaque étape comporte trois cases. Elles contiennent sa question, les preuves de passage en vert et le résultat d’arrêt en rouge. L’étape 1, la faisabilité, demande si la nouvelle requête peut accomplir la tâche sur les billets de test. Aucun client ne la voit. Elle passe si elle satisfait les six lignes de la barrière de mise en production sur cinq essais, sans blocage. Elle s’arrête si un billet nécessitant une personne ne reçoit aucune réponse. L’étape 2, le projet pilote, traite de vrais billets en arrière-plan; aucun client ne la voit. Elle passe s’il n’y a pas plus de billets sans réponse qu’aujourd’hui et si l’échantillon de Grace est satisfaisant. Elle s’arrête dès qu’un billet de sécurité reste sans réponse. L’étape 3, le lancement limité, donne 1 billet sur 10 à la nouvelle requête. Quelques clients la voient donc. Elle passe si les agents l’approuvent aussi souvent qu’aujourd’hui, et s’arrête quand la règle d’alarme se déclenche. L’étape 4, le lancement complet, touche chaque client. L’équipe vérifie que chaque billet de sécurité est transmis à une personne. Elle suspend le changement si un billet nécessitant une personne n’est transmis à personne.
Lisez la feuille de route de gauche à droite, et deux tendances apparaissent. À chaque étape, les preuves se rapprochent des vrais clients : billets de test, vrais billets en arrière-plan, puis vrais clients. Et les résultats d’arrêt agissent plus vite. Une réunion peut arrêter la faisabilité, mais le canari exige une règle automatique, car les clients attendent. La prochaine leçon transforme « chaque ligne de la barrière de mise en production » en seuils précis.
Discussion : l’équipe peut-elle sauter le projet pilote?
Section intitulée « Discussion : l’équipe peut-elle sauter le projet pilote? »Des mois plus tard, Omar propose le prochain changement de requête. Il franchit la barrière de faisabilité sur chaque ligne. Il écrit à Nadia (dialogue construit) : « L’évaluation est bonne. Sautons la semaine en parallèle et passons directement à 1 billet sur 10. »
- Omar : « Une semaine en parallèle coûte une semaine. Elle ne nous montre rien que l’évaluation n’a pas déjà montré. »
- Kwame : « Le test en parallèle nous coûte environ 0.47 $ US par 1 000 billets, en plus des réponses réelles. Ce n’est rien. Le vrai coût, c’est la semaine. »
- Grace : « Un canari touche de vrais clients. Un test en parallèle n’en touche aucun. »
- Priya : « Nos billets de test sont inventés. Les vrais billets apportent des sujets absents des données de test. »
Avant de poursuivre, répondez à ces questions :
- Est-il parfois justifié de sauter une étape? Qu’est-ce qui rendrait cela sûr?
- Que peut mesurer un test en parallèle, et que ne peut-il pas mesurer?
- Qui prend cette décision, et quand aurait-elle dû être prise?
La réponse du cours. Une étape peut être courte, mais sa barrière reste. Gardez la semaine en parallèle. C’est la seule étape qui traite de vrais billets sans risquer de nuire aux clients, et son coût financier est minime. Le point de Priya explique pourquoi : un bon résultat sur des billets inventés ne dit rien sur de nouveaux sujets. Mais Omar a raison sur une limite. Dans un test en parallèle, aucun agent ne révise les brouillons. Il ne peut donc pas mesurer l’accord des agents. C’est le rôle du canari, qui garde donc sa règle d’alarme. Nadia décide, et la feuille de route aurait dû régler la question avant tout résultat. Modifier le plan après un bon résultat, c’est ainsi qu’une étape disparaît.
Ce qui changerait la réponse : un changement sans nouveau comportement du modèle pourrait sauter le test en parallèle. Par exemple, la correction d’une faute de frappe dans une règle de réponse. Ce serait aussi possible pour un produit où une erreur coûte peu et où une personne vérifie chaque réponse. Écrivez la raison, avec le nom de la personne qui a décidé.
Quand l’utiliser et ce que cela coûte
Section intitulée « Quand l’utiliser et ce que cela coûte »Utilisez des étapes avec barrières pour toute fonctionnalité d’IA où une mauvaise réponse peut nuire à un client. Cela vaut aussi si elle peut coûter de l’argent ou rompre une promesse. Utilisez moins d’étapes, plus courtes, pour un petit outil interne dont les erreurs coûtent peu et sont faciles à voir. Fusionnez alors les étapes, mais gardez un résultat d’arrêt écrit.
Les barrières ont un coût. Chaque barrière exige des preuves que quelqu’un doit préparer, ainsi qu’une réunion avec le responsable. Le premier lancement arrive plus tard que dans un plan à dates fixes. Un arrêt « gaspille » aussi l’étape qui le précède. En échange, la plupart des échecs surviennent à la faisabilité ou pendant le projet pilote. Ils coûtent alors des semaines et aucun client ne les voit. Le volet exploitation d’un lancement par étapes est présenté dans le cours MLOps et LLMOps : exploiter l’IA en production. Les conditions qui suspendent un lancement sont dans Le lancement et la suite.
Erreur courante
Une barrière qui peut seulement dire oui
Symptôme : chaque barrière est franchie, et chaque bilan mensuel est vert. Puis le travail se bloque juste avant le lancement.
Cause : la barrière n’avait aucun résultat d’arrêt ni aucune preuve fixée d’avance. Chaque mois, l’équipe choisissait le nombre à montrer, donc chaque résultat semblait indiquer un progrès. La barrière est devenue une réunion de suivi.
Solution : écrivez les preuves de passage et le résultat d’arrêt dans la feuille de route avant le début de l’étape. Gardez la même mesure d’une étape à l’autre. À chaque barrière, demandez : « Quel résultat nous aurait arrêtés? » Si personne ne peut répondre, ce n’est pas une barrière.
Conséquence dans le travail d’IA : dans l’étude de cas ci-dessous, les rapports étaient verts pendant six mois. Pendant ce temps, la mesure rapportée est passée de « exactitude de 81 % » à « AUC de 0,91 ». C’est une autre mesure, sur une autre échelle. Personne ne peut comparer les nombres, et personne n’a jamais décidé d’arrêter.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Nommez les quatre étapes d'une feuille de route d'IA. Pour chacune, dites qui voit le travail.
Afficher la réponse
Faisabilité : seulement l’équipe; le travail s’exécute sur des exemples de test. Projet pilote : quelques utilisateurs, ou personne dans un test en mode fantôme, sur du travail réel. Lancement limité : une petite part des vrais clients, par exemple 1 billet sur 10. Lancement complet : tout le monde. Chaque étape expose le travail à plus de personnes. Les questions peu coûteuses viennent donc en premier.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Dans le déploiement canari prudent, la requête v3 a échoué comme « la semaine dernière ». Pourquoi l'échec a-t-il touché si peu de billets de clients?
Afficher la réponse
Deux raisons. Seulement 1 billet sur 10 allait à v3. Et le critère d’arrêt était écrit avant le début du déploiement canari : une alarme pour les billets sans réponse et une règle de retour à la version précédente. La condition d’alarme a été atteinte après 9 billets canaris, et le retour a eu lieu après 22. Trois des 25 billets canaris sont restés sans réponse. C’était 186 sur 1 798 quand v3 a été déployée pour tout le monde en même temps.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Une équipe dit : « Nous avons franchi notre barrière, comme chaque mois. » Quelle question permet de savoir si c'est une vraie barrière?
Afficher la réponse
« Quel résultat, défini par écrit avant l’étape, nous aurait arrêtés? » Une vraie barrière prévoit un résultat d’arrêt et des preuves fixes, choisis avant d’obtenir le résultat. Si personne ne peut nommer le résultat d’arrêt, la barrière ne peut que dire oui. C’est une réunion de suivi.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Une étape a une question et une durée limitée. Une barrière à la fin permet à un responsable de décider, à partir des preuves, de continuer, de changer ou d’arrêter. Un critère d’arrêt est écrit avant le début de l’étape.
- Le travail d’IA comporte quatre étapes : faisabilité, projet pilote, lancement limité et lancement complet. Chacune expose le travail à plus de personnes.
- Le même échec de v3 a touché 0 billet de client dans un test en mode fantôme. Il en a touché 3 dans un déploiement canari avec une règle d’arrêt. Il en a touché 186 quand v3 a été déployée pour tout le monde en même temps.
- Pour le prochain changement de requête, la feuille de route de Larkfield prévoit des preuves de réussite et un résultat d’arrêt à chaque étape. Nadia décide à chaque barrière.
Ensuite, vous transformerez « chaque ligne de la barrière de mise en production » en seuils sur des données d’évaluation convenues. Un seul responsable donnera son approbation.
Leçon suivante : Définir la fin du travail avec des preuves