Aller au contenu
English

Le lancement et la suite

  • Leçon 22
  • 30 min
  • Module 6 : Gérer les risques, la gouvernance et un lancement responsable

Où nous en sommes

Dans les deux leçons précédentes, nous avons rédigé le registre des risques et fixé qui approuve quoi. Maintenant, la fonction doit atteindre les gens. Mais un lancement pour tout le monde à la fois laisse un changement fautif toucher chaque client. Dans cette leçon, nous planifions un lancement par étapes, avec quelques signaux et des conditions de pause écrits avant le début, et nous prévoyons quand retirer la fonction. Nous commençons par le nouveau plat d'un restaurant.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité

Ce que vous saurez faire

Planifiez comment une fonctionnalité d’IA sera offerte aux personnes : par étapes, avec quelques signaux sur les résultats. Écrivez les conditions de pause avant le lancement. Prévoyez quoi faire en cas de problème et quand retirer la fonctionnalité.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 30 minutes

Ce que vous devez savoir

Ce qu’il vous faut

Un restaurant ajoute un nouveau plat. Le chef ne le met pas au menu un samedi très occupé. D’abord, le personnel de cuisine le goûte, sans le présenter aux clients. Ensuite, quelques tables le reçoivent comme « plat du jour », et les serveurs demandent aux clients ce qu’ils en pensent. Ce n’est qu’après qu’il entre au menu.

Avant de servir la première assiette, le chef ajoute : « Si deux assiettes reviennent ce soir, on arrête de le servir. N’importe qui en cuisine peut demander l’arrêt. » Personne n’a à débattre pendant la soirée occupée. Tout le monde a accepté la règle dans le calme.

Voici ce que les écrans de Larkfield affichaient pendant « la semaine dernière », dans MLOps et LLMOps : exploiter l’IA en production. Il s’agit d’une situation construite, avec des réponses enregistrées. Le temps passe plus vite dans l’exercice; le graphique compte donc des minutes d’exercice. La requête v3 a commencé à répondre à chaque billet de soutien à la minute 5.

  • Billets acceptés par le service
  • Billets ayant reçu un brouillon
« La semaine dernière », par minute d'exercice (réponses enregistrées, situation construite). Le service a accepté tous les billets, donc le tableau de bord habituel est resté au vert. La part ayant reçu un brouillon est tombée à environ 89 % au démarrage de la requête v3. L'axe commence à 80 %.
Description textuelle du graphique

Un graphique en courbes sur 20 minutes d’exercice, avec un axe vertical de 80 % à 100 %. La courbe « acceptés par le service » reste à 100 % chaque minute. La courbe « ont reçu un brouillon » se situe entre 99,2 % et 100 % aux minutes 1 à 5. Après le démarrage de la requête v3 à la minute 5, elle tombe entre 84.4 % et 94.4 % chaque minute. Sur toute la période avec la requête v3, 186 billets sur 1,798 n’ont reçu aucune réponse.

Le tableau de bord habituel surveillait la première courbe : le système fonctionne-t-il? Il fonctionnait. Tous les billets étaient acceptés, donc rien ne semblait anormal. La deuxième courbe, et les chiffres derrière elle, montraient la réalité. Les agents étaient d’accord avec l’assistant dans 83,7 % des révisions, contre 93,8 % avant le changement. Et 10 billets qui nécessitaient une personne n’ont été transmis à personne. Rien ne prévoyait d’essayer d’abord le changement sur quelques billets, et aucune règle ne précisait quand arrêter.

L’idée : un déploiement progressif, avec des conditions de pause

Section intitulée « L’idée : un déploiement progressif, avec des conditions de pause »

Un déploiement progressif présente un changement à une part croissante des personnes, une étape à la fois. Chaque étape exige des preuves écrites avant de passer à la suivante. Larkfield utilise les quatre étapes de sa liste de vérification du lancement :

  • En parallèle : la nouvelle version répond à chaque billet en arrière-plan, et personne ne voit sa sortie. Vous la comparez à la version actuelle.
  • Canari : la nouvelle version répond à une petite part des vrais billets, par exemple 1 sur 10. Le nom vient du canari que les mineurs emmenaient autrefois sous terre : il signalait le danger avant toute blessure.
  • La moitié, puis tout le monde.

Ce déploiement concerne une nouvelle version de l’assistant, billet par billet. Le déploiement équipe par équipe de Changement et adoption concerne les personnes : quels agents commencent à utiliser les brouillons. Un lancement nécessite souvent les deux.

Une condition de pause est une règle que vous écrivez avant le lancement. Elle dit : « Si ce signal franchit cette limite, revenez d’abord à la version précédente, puis cherchez pourquoi. » Revenir en arrière coûte peu, et vous pouvez annuler ce retour. Débattre pendant un incident coûte cher. Au lancement complet, une condition de pause correspond au critère d’arrêt de la dernière étape de Jalons et feuilles de route. La barrière est franchie, mais le résultat qui impose l’arrêt s’applique toujours.

Un parcours de gauche à droite. La barrière de mise en production franchie mène à l'étape En parallèle : chaque billet, en arrière-plan; personne ne voit la sortie. La preuve « aucun billet sans réponse » mène à l'étape Canari : 1 billet sur 10. La preuve « signaux normaux pendant la durée convenue » mène à La moitié des billets. La preuve « signaux normaux et accord du responsable » mène à Tout le monde. Depuis chacune des quatre étapes, une flèche pointillée portant la mention « condition de pause remplie » mène à une case au contour épais : revenir à la version précédente, puis chercher pourquoi.
Un déploiement progressif. Chaque étape exige ses preuves avant la suivante; à toute étape, une condition de pause impose le retour à la version précédente.
Description textuelle du diagramme

Le parcours commence une fois la barrière de mise en production franchie. La première étape se fait en parallèle : la nouvelle version répond à chaque billet en arrière-plan, sans montrer sa sortie. Si aucun billet ne reste sans réponse, le changement passe au canari, soit 1 billet sur 10. Si les signaux restent normaux pendant la durée convenue, il passe à la moitié des billets. Si les signaux restent normaux et que le responsable donne son accord, il passe à tout le monde. Depuis chacune des quatre étapes, une flèche pointillée mène à une seule case. Elle indique : si une condition de pause est remplie, revenez à la version précédente, puis cherchez pourquoi.

Un petit exemple : le même changement, trois façons

Section intitulée « Un petit exemple : le même changement, trois façons »

Le cours MLOps et LLMOps : exploiter l’IA en production a essayé la requête v3 de trois façons. Toutes utilisaient les mêmes réponses enregistrées. Comptez les billets de vrais clients restés sans réponse avec la requête v3 :

Le même changement défectueux, trois façons (réponses enregistrées, situations construites). Tout le monde à la fois : 186 billets de clients sans réponse. Un canari sur 1 billet sur 10 : 3. Un test en parallèle : 0, car aucun client n'a vu la requête v3.
Description textuelle du graphique

Un graphique à trois colonnes. Tout le monde à la fois : 186 billets de clients sans réponse, sur 1,798 billets traités par la requête v3. Canari sur 1 billet sur 10 : 3, sur 25 billets du canari. En parallèle : 0. La version en parallèle comptait aussi 42 billets sans réponse sur 543, mais aucun client ne les a vus.

Lisez les étapes derrière chaque colonne :

Tout le monde à la fois Canari (1 sur 10) En parallèle
Billets traités par la requête v3 1,798 25 543
Moment où le problème a été observé après les dommages la première règle d’alerte s’est déclenchée après 9 billets du canari, soit 1,19 minute d’exercice pendant la comparaison, avant tout client
Billets de clients sans réponse 186 3 0
Coût supplémentaire aucun, jusqu’aux dommages aucun le modèle répond deux fois : 0,47 $ US de plus par 1 000 billets

Un canari trouve le problème après avoir touché quelques clients. Un test en parallèle le trouve sans toucher de clients, mais vous payez deux fois pendant son exécution. Les deux fonctionnent seulement parce qu’une personne a décidé à l’avance quel résultat arrête le changement.

Un leader ne surveille pas tous les graphiques. Choisissez au plus cinq signaux. Au moins un doit porter sur le résultat pour le client, pas sur la machine. Voici les cinq de Larkfield, avec la semaine normale de la requête v2 et les valeurs de « la semaine dernière » :

Signal Semaine normale (requête v2) « La semaine dernière » (requête v3) Qui regarde, à quelle fréquence
Billets nécessitant une personne et transmis à personne (résultat) aucun : les 320 billets liés à la sécurité ont été transmis à une personne 10 Grace, chaque jour
Billets sans réponse 4 sur 5 754 186 sur 1,798 Kwame, avec une alerte automatique
Révisions où les agents sont d’accord avec l’assistant (résultat) 94,3 % 83,7 % Grace, chaque semaine
Coût du modèle par 1 000 billets 0,34 $ US 0,47 $ US Omar, chaque semaine
Temps pour les 5 % de réponses les plus lentes 5,2 s 8,3 s Kwame, avec une alerte automatique

« Acceptés par le service » ne figure pas dans la liste. Ce signal était à 100 % les deux semaines. Il ne peut donc pas distinguer une bonne semaine d’une mauvaise.

À partir des signaux, Larkfield écrit la fin de sa liste de vérification du lancement. Ces lignes sont l’exemple détaillé du cours; les seuils sont les choix du cours, établis à partir de la semaine normale.

Conditions de pause (revenir en arrière d’abord, analyser ensuite) :

Si… Alors… Qui peut décider seul
Un billet nécessitant une personne n’est transmis à personne revenir à la version précédente toute personne de garde
Plus de 5 billets sans réponse sur 1 000 (normale : 4 sur 5 754) revenir à la version précédente toute personne de garde
Les agents sont d’accord avec l’assistant dans moins de 90 % des révisions d’une semaine (normale : 94,3 %) mettre le déploiement en pause et examiner les erreurs Grace

En cas de problème : la personne de garde revient d’abord à la version précédente, en quelques minutes. Ensuite, informez les personnes touchées. L’équipe de Grace appelle le jour même chaque client dont le billet n’a été transmis à personne. Elle explique aussi à l’équipe de soutien ce qui s’est passé. Enfin, tenez une révision sans blâme : ce qui s’est passé, pourquoi, et ce qui change. Le cours MLOps et LLMOps : exploiter l’IA en production présente une telle révision dans Tirer des leçons après un incident.

Retirez la fonctionnalité si sa valeur disparaît. Le scénario bas de l’estimation de valeur est déjà déficitaire : −52 905 $ US par an. Dans ce cas, chaque brouillon utilisé fait gagner moins de temps qu’une réponse nuisible n’en coûte. L’équipe mesure donc les deux données d’entrée les plus incertaines pendant les trois premiers mois, la durée choisie par le cours. Ce sont les minutes nécessaires pour rédiger une réponse manuellement et la part des réponses nuisibles que les agents ne détectent pas. Si les valeurs mesurées font passer la valeur nette sous zéro, l’assistant est retiré, avec une trace de la décision.

Discussion : en parallèle d’abord, ou directement un canari?

Section intitulée « Discussion : en parallèle d’abord, ou directement un canari? »

L’équipe a une nouvelle requête à essayer. Nadia demande comment la déployer.

  • Omar : « Un canari sur 1 billet sur 10. Il a détecté le problème de la requête v3 après 9 billets. Et ça ne coûte rien de plus. »
  • Kwame : « En parallèle d’abord. Aucun client ne la voit. »
  • Grace : « Aucun billet lié à la sécurité ne devrait faire partie d’un test. »

Avant de poursuivre, répondez à ces questions :

  1. Combien coûte le test en parallèle de Kwame, et est-ce que ça en vaut la peine?
  2. Un canari peut-il exclure les billets liés à la sécurité, comme le demande Grace?
  3. Qu’est-ce qu’un test en parallèle ne peut pas vous dire?

La réponse du cours. En parallèle d’abord, puis un canari. Le test en parallèle coûte environ 0,47 $ US de plus par 1 000 billets pendant son exécution. Les frais du modèle représentent environ 0,03 % de la valeur de l’assistant dans l’estimation de valeur. C’est donc un très faible prix pour ne mettre aucun client à risque. Un canari seul ne peut pas répondre au souhait de Grace. Personne ne sait qu’un billet concerne la sécurité avant que le modèle l’ait lu. C’est pourquoi le test en parallèle vient d’abord. C’est aussi pourquoi la règle « sans réponse, transmettre à une personne » doit être active avant le canari. Mais un test en parallèle ne montre pas ce que les agents font des brouillons, puisqu’aucun agent ne les lit. Le signal d’accord exige un canari, avec de vrais agents.

Ce qui changerait la réponse : certains changements ne peuvent pas fonctionner en arrière-plan, comme un nouvel écran pour les agents. Ils passent directement à un petit canari. Un changement jugé risqué à la barrière ne passe même pas au test en parallèle : il retourne à l’équipe.

Erreur courante

Une condition de pause que personne n'a le droit d'appliquer

Symptôme (un exemple construit) : l’alerte sur les billets sans réponse se déclenche. L’ingénieur de garde la voit, mais attend qu’Omar approuve le retour à la version précédente. Omar est en réunion. Le canari continue pendant une autre heure.

Cause : la liste de vérification précisait la condition, mais pas qui pouvait agir seul. Les gens n’aiment pas annuler seuls la mise en production d’un collègue.

Solution : remplissez la colonne « qui peut décider seul » pour chaque condition de pause. Faites du « retour à la version précédente » la première décision, et autorisez toute personne de garde à la prendre. Revenir en arrière coûte peu et peut être annulé; cela ne devrait donc exiger aucune autorisation. L’analyse vient ensuite, avec tout le monde.

Vérifiez votre compréhension

Le tableau de bord de Larkfield affichait « acceptés : 100 % » pendant « la semaine dernière ». Pourquoi ce signal ne fait-il pas partie des cinq, et quel signal aurait montré le problème?

Afficher la réponse

Il était à 100 % pendant la semaine normale et la mauvaise semaine; il ne peut donc pas les distinguer. Il mesure la machine, pas le résultat. Le signal de résultat « billets nécessitant une personne et transmis à personne » est passé de zéro à 10. Les « billets sans réponse » sont passés de 4 sur 5 754 à 186 sur 1 798. L’accord des agents est tombé de 94,3 % à 83,7 %.

Vérifiez votre compréhension

Prédisez : le même changement défectueux passe à un canari sur 1 billet sur 10 plutôt qu'à tous les billets. Que devient le nombre de billets de clients sans réponse, et quel coût le canari impose-t-il encore?

Afficher la réponse

Il tombe de 186 à 3. La première règle d’alerte s’est déclenchée après 9 billets du canari, et le retour à la version précédente est arrivé après 22. Le canari touche encore de vrais clients : 3 billets sur les 25 du canari n’ont reçu aucune réponse. Seul un test en parallèle atteint zéro, pour environ 0,47 $ US de plus par 1 000 billets pendant son exécution.

Vérifiez votre compréhension

Pourquoi écrire les conditions de pause avant le lancement? Pourquoi la première action est-elle « revenir à la version précédente » plutôt que « trouver la cause »?

Afficher la réponse

Avant le lancement, les gens sont calmes, et les limites sont établies à partir des valeurs normales. Pendant un incident, les gens débattent, attendent une autorisation ou espèrent que le problème passera. Revenir à la version précédente est rapide et peut être annulé; cela arrête donc les dommages d’abord. Trouver la cause prend plus de temps, et les clients ne devraient pas attendre cette analyse.

Exercice du module : un registre des risques et deux conditions de pause

Section intitulée « Exercice du module : un registre des risques et deux conditions de pause »

Exemple détaillé. Vous avez vu chaque étape pour l’assistant de Larkfield au niveau brouillon :

  1. Listez les préjudices du dossier de preuves : cinq risques, chacun décrivant une personne et un préjudice (Les risques vus par la direction).
  2. Évaluez chaque risque et classez-les : R5 15, R3 12, R1 10, R2 9, R4 8.
  3. Attribuez à chaque risque un responsable, une mesure de contrôle, un signal et une décision.
  4. Fixez le niveau d’approbation du lancement selon le score le plus élevé (La gouvernance en pratique).
  5. Transformez les signaux en conditions de pause, avec une valeur normale, un seuil et la personne qui décide seule (cette leçon).

À vous. Omar propose de changer une condition : les agents approuvent ou rejettent chaque réponse, au lieu de la modifier. Pour 1 000 billets rédigés, le calcul de base donne un coût de personnel de US$613 plutôt que US$1,253. Les réponses erronées ou nuisibles qui parviennent aux clients passent de 1.5 à 4.5. Copiez le modèle de registre des risques et :

  1. Réécrivez les cinq risques pour le niveau approbation. Modifiez les évaluations qui changent et expliquez pourquoi.
  2. Ajoutez un risque que le niveau approbation crée.
  3. Indiquez le niveau d’approbation de ce changement et qui signe.
  4. Fixez deux conditions de pause, chacune avec une valeur normale, un seuil et la personne qui décide seule.
Afficher un exemple de réponse

Voici une réponse défendable; la vôtre peut différer si vous l’appuyez sur les mêmes preuves.

Nº Qui pourrait subir un préjudice, et comment Impact Probabilité Score Responsable Pourquoi cela a changé
R3 Les agents approuvent sans lire, donc des réponses erronées sont envoyées 3 5 15 Nadia approbation rapide : le calcul suppose que 30 % des mauvaises réponses passent, contre 10 % quand les agents les modifient
R5 Une nouvelle requête ou un nouveau modèle atteint tous les clients avant toute vérification 5 3 15 Kwame inchangé
R2 Un client suit une étape ou une page qui n’existe pas 3 4 12 Omar 4,5 réponses erronées sur 1 000 parviennent aux clients, plutôt que 1,5
R1 Un client ayant un produit dangereux attend, sans que personne prenne le relais 5 2 10 Grace inchangé : la décision « transférer à une personne » ne dépend pas de la modification de l’agent
R6 Les agents perdent l’habitude de rédiger des réponses, ce qui ralentit le retour en arrière et dégrade les réponses 3 3 9 Nadia nouveau
R4 Les données des clients sont conservées ou utilisées au-delà de l’objectif prévu 4 2 8 Kwame inchangé

Niveau : élevé. Le changement touche R3 et R2, et modifie le niveau d’autonomie. Nadia signe après avoir lu le calcul et ses hypothèses.

Conditions de pause :

Si… Alors… Qui peut décider seul
Les agents approuvent plus de 95 % des brouillons d’une semaine (le juge a trouvé 86,9 % des brouillons de la requête v2 utilisables; le seuil de 95 % est un choix) revenir au niveau brouillon et prélever un échantillon des réponses approuvées Grace
Un billet qui nécessite une personne ne parvient à personne revenir à la version précédente toute personne de garde

La première condition est la nouvelle condition utile. Si les agents approuvent bien plus de brouillons que la proportion utilisable, ils ne les lisent probablement pas.

Expliquez un risque que l’équipe ne peut pas éliminer, et pourquoi il est acceptable ou non de lancer avec ce risque.

Afficher le contenu d’une réponse complète

Une réponse complète nomme le risque, les preuves de son ampleur et le coût de son élimination. Elle indique aussi la décision, son responsable et sa condition d’arrêt. Par exemple :

« Au niveau brouillon, environ 1,5 réponse erronée sur 1 000 billets rédigés parvient encore aux clients (R2 et R3). Ce nombre vient des scores enregistrés du juge et d’une proportion supposée de 10 % d’erreurs non détectées. L’éliminer signifie revenir au niveau “suggestion”, à environ 942 $ US par réponse erronée évitée. L’estimation de valeur suppose de 20 $ US à 150 $ US pour une réponse nuisible. Il est acceptable de lancer avec ce risque. Nadia a donné son accord par écrit, et un agent lit encore chaque brouillon. Nous arrêtons si les agents sont d’accord avec l’assistant dans moins de 90 % des révisions d’une semaine. »

Une réponse complète peut aussi dire « non acceptable ». Par exemple, au niveau « agit seul », environ 15,1 réponses erronées ou nuisibles sur 1 000 parviendraient aux clients. Personne ne pourrait corriger une réponse avant qu’elle cause un préjudice. Ce cours refuse un lancement sans moyen pour une personne de corriger l’IA lorsqu’une erreur cause un préjudice.

Récapitulatif

  • Un déploiement par étapes passe du mode parallèle au déploiement limité, puis à la moitié des utilisateurs et enfin à tous. Chaque étape exige des preuves écrites. Le même changement défectueux a touché 186 billets de clients d’un coup, 3 en déploiement limité et 0 en mode parallèle.
  • Surveillez au plus cinq signaux, dont au moins un sur le résultat pour le client. « Le système fonctionne » est resté à 100 %, alors que 10 billets nécessitant une personne ne sont parvenus à personne.
  • Rédigez les conditions de pause avant le lancement : si un signal franchit son seuil, revenez d’abord en arrière. Précisez qui peut décider seul. Informez ensuite les personnes touchées et faites une révision sans blâme.
  • Retirez la fonctionnalité lorsque les valeurs mesurées montrent qu’elle ne crée plus de valeur.

Ce module en un paragraphe. Vous avez rédigé un registre des risques avec un responsable par risque. Vous avez évalué la probabilité à partir d’exécutions répétées, pas d’une impression. Vous avez fixé les approbations en proportion du risque. Un changement de requête doit franchir une barrière. Une exception ou un nouveau flux de données personnelles exige la signature du responsable. Un spécialiste doit aussi intervenir avant le transfert de données réelles. Vous avez planifié un lancement par étapes, avec quelques signaux de résultat et des conditions de pause utilisables par toute personne de garde. Les nombres enregistrés sont un instantané d’un ensemble d’exécutions; la méthode reste valable.

Ensuite, les études de cas appliquent le cours à trois vraies décisions : une note de décision sur un lancement, un choix entre développer et acheter, et un projet au point mort.

Leçon suivante : Note de décision sur le lancement d'un assistant de réponse au soutien