Aller au contenu
English

Les risques vus par la direction

  • Leçon 20
  • 30 min
  • Module 6 : Gérer les risques, la gouvernance et un lancement responsable

Où nous en sommes

Dans le module 5, nous avons formé et dirigé l'équipe derrière l'assistant. Maintenant, nous nous demandons ce qui pourrait mal tourner, au niveau où un leader agit. Une longue liste d'inquiétudes n'aide personne. Dans cette leçon, nous la transformons en un court registre : qui pourrait subir un préjudice et comment, la gravité et la probabilité, et un responsable pour chaque ligne, comme une enseignante qui planifie une sortie scolaire.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité

Ce que vous saurez faire

Transformez « qu’est-ce qui pourrait mal tourner? » en une courte liste sur laquelle un leader peut agir. Chaque ligne indique qui pourrait subir un préjudice et comment, sa gravité, sa probabilité et son responsable.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 30 minutes

Ce que vous devez savoir

Ce qu’il vous faut

Une enseignante prévoit une sortie d’une journée au musée avec 30 enfants. Avant la sortie, elle rédige une courte liste. Un enfant pourrait se perdre dans la foule. Un enfant allergique aux noix pourrait manger le mauvais repas. Pour chaque ligne, elle écrit un nom. M. Ali compte les enfants à chaque arrêt. Mme Chen transporte le médicament contre les allergies et vérifie chaque boîte à lunch.

La liste est courte. Elle ne contient pas toutes les mauvaises choses qui peuvent arriver dans le monde. Elle nomme les préjudices graves ou probables pendant cette sortie. Chaque ligne désigne une personne qui agit et un signe qui l’avertit d’un problème : il manque un enfant au décompte.

L’équipe de Larkfield a souvent parlé des risques. « L’IA pourrait donner de mauvaises réponses » revenait à chaque réunion. Mais personne ne précisait quelle mauvaise réponse, qui en subirait les conséquences ou qui devait surveiller cela.

Puis est arrivée la semaine que le cours MLOps et LLMOps : exploiter l’IA en production appelle « la semaine dernière ». C’est une situation construite, avec des réponses consignées. Quelqu’un a activé la requête v3 pour tous les billets de soutien. Le service acceptait tous les billets, donc le tableau de bord restait vert. Mais la requête v3 n’a donné aucune réponse pour 186 billets sur 1,798. Et 10 billets nécessitant une personne n’ont été transmis à personne. Tout le monde savait que les mauvaises réponses étaient un risque. Personne ne surveillait ce nombre.

Une inquiétude que tout le monde partage est une inquiétude dont personne n’est responsable.

Un risque est un préjudice qui pourrait toucher un client, un employé ou l’entreprise. Un registre des risques est un tableau avec une ligne par risque. Chaque ligne répond aux mêmes questions. Vous pouvez ainsi comparer les lignes et agir d’abord sur les risques les plus importants.

Une ligne d'un registre des risques sous forme de sept cases dans l'ordre. Qui pourrait subir un préjudice et comment : un client avec un produit dangereux attend. Cause : aucune réponse, donc aucune décision de transmettre à une personne. Impact multiplié par probabilité : 5 fois 2 égale 10. Un responsable, une personne : Grace, dans une case à bordure épaisse. Mesures de contrôle actuelles et prévues : un billet sans réponse est transmis à une personne. Signal et personne qui le surveille : billets transmis à personne, chaque jour. Décision : réduire.
Les sept parties d'une ligne du registre, remplies pour le préjudice le plus grave aux clients de Larkfield. Le responsable est une personne, pas une équipe.
Description textuelle du diagramme

Le diagramme montre une ligne d’un registre des risques sous forme de sept cases, à lire dans l’ordre. D’abord, qui pourrait subir un préjudice et comment : un client avec un produit dangereux attend une réponse. Ensuite, la cause : l’assistant ne donne aucune réponse, donc aucune décision de « transmettre à une personne ». Puis, l’évaluation : un impact de 5 multiplié par une probabilité de 2 donne un score de 10. Quatrièmement, un responsable, une personne : Grace. Cette case a une bordure épaisse. Cinquièmement, les mesures de contrôle : un billet sans réponse est transmis à une personne. Sixièmement, le signal et la personne qui le surveille : les billets transmis à personne, vérifiés chaque jour. Enfin, la décision : réduire le risque.

Lisez les parties dans l’ordre :

  1. Qui pourrait subir un préjudice et comment. Nommez une personne et un préjudice, pas une technologie. « Défaillance du modèle » est une cause. « Un client avec un produit dangereux attend, sans que personne s’en occupe » est un préjudice.
  2. Impact, de 1 (faible) à 5 (préjudice grave pour une personne ou l’entreprise). La question est : si cela arrive, quelle est la gravité?
  3. Probabilité, de 1 (rare) à 5 (attendu). La question est : à quelle fréquence cela arrivera-t-il, avec les mesures de contrôle actuelles?
  4. Score = impact × probabilité. Il sert seulement à trier la liste. Un score de 10 n’est pas « deux fois plus grave » qu’un score de 5.
  5. Responsable. Une personne qui surveille le risque et s’assure que les mesures de contrôle existent. Cette personne n’a pas à créer la mesure de contrôle.
  6. Mesure de contrôle et signal. Une mesure de contrôle rend le préjudice moins probable ou moins grave. Un signal indique que le préjudice se produit, et une personne désignée le surveille.
  7. Décision. Vous acceptez un risque (vous vivez avec, par écrit), le réduisez (vous ajoutez une mesure de contrôle), le transférez (un contrat ou une assurance en couvre une partie) ou l’évitez (vous ne faites pas cette partie).

Revenons à la sortie scolaire. L’enseignante évalue ses deux risques sur les mêmes échelles :

Risque Impact Probabilité Score Responsable Signal
Un enfant allergique aux noix mange le mauvais repas 5 (l’enfant pourrait avoir besoin de soins à l’hôpital) 2 (les parents préparent les repas) 10 Mme Chen une boîte à lunch sans nom
Un enfant se perd dans la foule 3 (effrayant, généralement retrouvé rapidement) 3 (un musée très fréquenté) 9 M. Ali il manque un enfant au décompte

Le risque d’allergie passe en premier, même s’il est moins probable. Un préjudice rare et grave peut compter davantage qu’un préjudice fréquent et faible. Les échelles reposent sur des jugements : une autre enseignante pourrait donner un 4 à l’enfant perdu. C’est acceptable, tant que les évaluations sont écrites et que l’équipe s’entend sur elles.

Évaluer la probabilité à partir de preuves, pas d’une impression

Section intitulée « Évaluer la probabilité à partir de preuves, pas d’une impression »

C’est pour la probabilité que les leaders font le plus de suppositions. Larkfield dispose de preuves consignées : utilisez-les. Le cours Évaluer et tester les systèmes d’IA a exécuté les deux requêtes cinq fois sur les mêmes 102 billets de développement. Le graphique compte les billets sans aucune réponse à chaque exécution :

  • Requête v2 (actuelle)
  • Requête v3 (proposée)
Cinq exécutions des mêmes 102 billets de développement (consignées), numérotées de 1 à 5 en bas. La requête v3 laisse de 11 à 19 billets sans réponse à chaque exécution. Un billet nécessitant une personne n'a reçu aucune réponse aux exécutions 1 et 3 seulement.
Description textuelle du graphique

Un graphique à colonnes avec deux colonnes pour chacune des cinq exécutions. La requête v2 ne donne aucune réponse pour 1, 0, 0, 0, 0 billets aux exécutions 1 à 5. La requête v3 ne donne aucune réponse pour 11, 16, 19, 14, 14 billets. À l’exécution 1, un des billets sans réponse de la requête v3 nécessitait une personne (T-64740). À l’exécution 3, un autre aussi (T-81036). Les exécutions 2, 4 et 5 ne contenaient aucun billet de ce type.

Ce graphique nous enseigne deux choses. D’abord, les échecs de la requête v3 ne sont pas de la malchance : chaque exécution en compte entre 11 et 19. Ensuite, l’échec le plus grave n’est apparu que dans 2 des 5 exécutions : un billet nécessitant une personne, sans réponse. Si l’équipe avait testé une seule fois et observé l’exécution 2, elle aurait évalué ce risque comme « rare ».

La même prudence s’applique à « ce n’est jamais arrivé ». Le modèle juge a trouvé 0 brouillon préjudiciable sur 199 avec la requête v2. Zéro sur 199 ne veut pas dire zéro. Selon la règle de trois, le taux réel pourrait encore atteindre 15.1 sur 1 000. Les modèles changent vite, et ces nombres consignés viennent d’une seule série d’exécutions. La méthode reste valable : évaluez la probabilité à partir d’exécutions répétées. Traitez « aucun cas observé » comme « rare, mais pas impossible ».

Nadia, responsable des opérations de service à la clientèle de Larkfield, demande à l’équipe de rédiger le registre de l’assistant actuel. Il utilise la requête v2, au niveau brouillon : un agent modifie et envoie chaque réponse. Les risques viennent du dossier de preuves. Les évaluations et les responsables reflètent le jugement de l’équipe, construit pour ce cours. Voici le registre trié par score :

# Qui pourrait subir un préjudice et comment Impact Probabilité Score Responsable
R5 Une nouvelle requête ou un nouveau modèle atteint tous les clients avant toute vérification 5 3 15 (élevé) Kwame
R3 Les agents approuvent les brouillons sans les lire, donc davantage de mauvaises réponses sont envoyées 3 4 12 (élevé) Nadia
R1 Un client avec un produit dangereux attend : aucune réponse, donc personne n’est averti 5 2 10 (élevé) Grace
R2 Un client suit une étape ou une page qui n’existe pas 3 3 9 (moyen) Omar
R4 Les noms, commandes et derniers chiffres de carte des clients sont conservés ou utilisés au-delà de la finalité prévue 4 2 8 (moyen) Kwame
Une grille de cinq sur cinq. L'impact monte de 1, faible, à 5, préjudice grave; la probabilité va de gauche à droite, de 1, rare, à 5, attendu. Les cellules sont pâles pour les scores faibles de 1 à 4, jaunes pour les scores moyens de 5 à 9 et rouges pour les scores élevés de 10 à 25. R5 Kwame se trouve à l'impact 5, probabilité 3. R1 Grace à l'impact 5, probabilité 2. R4 Kwame à l'impact 4, probabilité 2. R3 Nadia à l'impact 3, probabilité 4. R2 Omar à l'impact 3, probabilité 3.
Les cinq risques de Larkfield sur une carte thermique, chacun avec son responsable. Un leader regarde d'abord en haut à droite.
Description textuelle du diagramme

La carte thermique est une grille de cinq lignes et cinq colonnes. L’impact monte de 1 (faible) en bas à 5 (préjudice grave) en haut. La probabilité va de 1 (rare) à gauche à 5 (attendu) à droite. Chaque cellule est colorée selon son score : pâle de 1 à 4, jaune de 5 à 9 et rouge de 10 à 25. Sur la ligne du haut, à l’impact 5, se trouvent R1 (responsable Grace, probabilité 2) et R5 (responsable Kwame, probabilité 3). R4 (responsable Kwame) se trouve à l’impact 4, probabilité 2. À l’impact 3 se trouvent R2 (responsable Omar, probabilité 3) et R3 (responsable Nadia, probabilité 4). Trois risques occupent des cellules rouges : R5, R3 et R1.

Examinez trois choix de l’équipe :

  • Grace est responsable de R1, pas Kwame. L’équipe de Kwame a créé la mesure de contrôle : un billet sans réponse est maintenant transmis à une personne. Mais Grace est responsable de la promesse qu’un problème de sécurité sera toujours transmis à une personne. Elle le vérifie donc chaque jour.
  • R5 est le risque principal, et il ne concerne pas le modèle. Il concerne la façon dont les changements atteignent les clients. « La semaine dernière » a montré qu’un seul réglage peut annuler tous les tests. Les deux prochaines leçons, sur la gouvernance et le lancement, y répondent.
  • R4 est moyen, pas faible. Les billets contiennent des données personnelles, par exemple « la carte se terminant par 3302 » dans un exemple d’erreur. La façon dont le fournisseur du modèle conserve ces données est une question pour un spécialiste, dans la prochaine leçon.

Les mesures de contrôle derrière chaque ligne sont un travail technique. Le cours Sécurité de l’IA, vie privée et conception responsable les enseigne, par exemple dans Prioriser les menaces et Inventaire des données. Le registre permet à un leader de les voir ensemble.

Discussion : Larkfield peut-elle lancer avec un risque qu’elle ne peut pas éliminer?

Section intitulée « Discussion : Larkfield peut-elle lancer avec un risque qu’elle ne peut pas éliminer? »

R2 et R3 ne tombent jamais à zéro au niveau brouillon. Chaque montée dans l’échelle d’autonomie économise du temps aux agents et laisse passer davantage de mauvaises réponses. Pour 1 000 billets avec un brouillon, le calcul de base donne ces nombres avec la requête v2. Ils sont calculés à partir des scores consignés du modèle juge et d’hypothèses sur les minutes de révision et les erreurs manquées :

Niveau Coût du travail humain Réponses erronées ou préjudiciables qui atteignent les clients
Suggestion (l’agent rédige chaque réponse) US$2,667 0
Brouillon (actuel) US$1,253 1.5

Nadia rencontre l’équipe.

  • Omar : « Les agents révisent chaque brouillon, donc le risque a disparu. On peut écrire “accepter” et passer à la suite. »
  • Grace : « Mes agents sont occupés. Quand un brouillon semble correct, ils l’envoient. Les 10 % qu’ils manquent, c’est une supposition. »
  • Kwame : « Redescendons à “suggestion”. Comme ça, aucun mauvais brouillon ne peut atteindre un client. »

Avant de poursuivre, répondez à ces questions :

  1. Omar a-t-il raison de dire que la révision élimine le risque?
  2. Combien coûte la proposition de Kwame, par mauvaise réponse évitée?
  3. Que doit indiquer le registre si Nadia accepte le risque?

La réponse du cours. Omar a tort : la révision réduit le risque, et les nombres en tiennent déjà compte. Le niveau brouillon laisse encore passer environ 1.5 mauvaises réponses pour 1 000 billets avec un brouillon. La proposition de Kwame fonctionne. Mais elle coûte US$1,414 de plus pour 1 000 billets avec un brouillon, afin d’éviter 1.5 mauvaises réponses. Cela représente environ US$942 par mauvaise réponse évitée (calculé). L’estimation de la valeur suppose US$50 pour une réponse préjudiciable, avec une plage de US$20 à US$150.

Accepter le risque est donc raisonnable, mais seulement par écrit. Le tableau « Risques que vous ne pouvez pas éliminer » du modèle nomme le risque et explique pourquoi il est acceptable. Il indique qui a donné son accord (Nadia) et quand arrêter. Par exemple : « nous arrêtons si les agents sont d’accord avec l’assistant dans moins de 90 % des révisions ». Les 90 % sont un choix du cours; la semaine normale était à 94,3 %. Le point de Grace compte aussi : les 10 % d’erreurs manquées sont une hypothèse. Mesurez donc cette proportion avec un échantillon hebdomadaire de réponses envoyées.

Ce qui changerait la réponse : une proportion mesurée d’erreurs manquées bien supérieure à 10 %. Ou un préjudice qui coûte bien plus que US$150, comme une mauvaise réponse à un billet de sécurité. Tout brouillon préjudiciable dans un échantillon plus grand changerait aussi la réponse. Le niveau « suggestion » pour ce type de billet vaut alors son coût.

Rédigez un registre pour chaque fonctionnalité d’IA qui atteint des clients ou des employés, avant le projet pilote. Révisez-le à chaque barrière d’étape. Gardez-le court : cinq à dix lignes qu’un leader peut lire en deux minutes. Une liste de cinquante risques cache les cinq qui comptent.

Vous n’en avez pas besoin pour une courte expérience sur des données inventées, où personne ne peut subir de préjudice. Rédiger le registre prend une courte réunion d’équipe, et chaque révision prend quelques minutes. Le vrai coût est celui des mesures de contrôle demandées par le registre. C’est justement son rôle : montrer où dépenser.

Erreur courante

Un risque attribué à une équipe

Symptôme : une ligne du registre indique « Responsable : l’équipe d’ingénierie » ou « Responsable : tout le monde ». Chaque révision la marque « en cours ». Quand le préjudice survient, chaque personne pensait qu’une autre surveillait le risque.

Cause : vous ne pouvez pas demander à une équipe « avez-vous vérifié ce matin? ». Vous pouvez seulement le demander à une personne. « La semaine dernière » chez Larkfield avait cette forme : tout le monde savait que les mauvaises réponses étaient un risque. Personne ne surveillait les 10 billets transmis à personne.

Correction : écrivez un nom par ligne. Si personne n’accepte un risque à fort impact, c’est un constat : la fonctionnalité ne sera pas lancée avant que quelqu’un l’accepte. La première vérification du modèle le précise : aucun risque d’impact 4 ou 5 sans responsable.

Vérifiez votre compréhension

Réécrivez cette ligne du registre pour qu'un leader puisse agir : « Risque : hallucination du modèle. Responsable : équipe d'IA. Impact : élevé. »

Afficher la réponse

Nommez une personne et un préjudice, pas une technologie : « Un client suit une étape ou une page qui n’existe pas ». La « section des cartes enregistrées » inventée dans le billet T-65350 en est un exemple. Évaluez l’impact et la probabilité sur les échelles de 1 à 5, par exemple 3 et 3, pour un score de 9. Désignez un responsable, une personne (Omar dans le registre de Larkfield). Ajoutez la mesure de contrôle actuelle (un agent modifie chaque brouillon). Ajoutez un signal et la personne qui le surveille (l’accord des agents avec l’assistant, vérifié chaque semaine). Ajoutez la décision (réduire).

Vérifiez votre compréhension

La requête v3 a laissé un billet nécessitant une personne sans réponse dans 2 des 5 exécutions. Un collègue a testé une seule fois, n'a vu aucun billet de ce type et a évalué la probabilité à 1 (rare). Quel est le problème, et quelle évaluation donneriez-vous?

Afficher la réponse

Une seule exécution ne peut pas montrer un échec qui apparaît seulement dans certaines exécutions. Les exécutions 2, 4 et 5 n’en avaient aucun; les exécutions 1 et 3 en avaient un chacune. Deux exécutions sur cinq, ce n’est pas « rare ». Basez l’évaluation sur des exécutions répétées : 3 (possible) ou plus. Avec un impact de 5, le score est d’au moins 15, soit un risque élevé. La requête v3 n’est donc pas mise en production.

Vérifiez votre compréhension

Pourquoi Grace, et non Kwame, est-elle responsable de R1 (« un client avec un produit dangereux attend »), même si l'équipe de Kwame a créé la mesure de contrôle?

Afficher la réponse

Le responsable surveille le risque et s’assure que les mesures de contrôle fonctionnent; il n’a pas à les créer. Grace est responsable de la promesse que chaque problème de sécurité sera transmis à une personne. Elle a un signal qu’elle peut vérifier chaque jour : les billets nécessitant une personne et transmis à personne. L’équipe de Kwame maintient la mesure de contrôle en état de marche. Grace voit si elle échoue.

Récapitulatif

  • Un registre des risques contient une ligne par risque : qui pourrait subir un préjudice et comment, la cause, l’impact et la probabilité (1 à 5), un score qui trie la liste, un responsable qui est une personne, des mesures de contrôle, un signal surveillé par quelqu’un et une décision (accepter, réduire, transférer ou éviter).
  • Évaluez la probabilité à partir de preuves. L’échec le plus grave de la requête v3 n’est apparu que dans 2 des 5 exécutions. Et « 0 préjudiciable sur 199 » permet encore un taux allant jusqu’à 15 sur 1 000.
  • Le risque principal de Larkfield, R5, n’est pas le modèle. C’est un changement qui atteint tous les clients avant toute vérification.
  • La révision réduit un risque; elle ne l’élimine pas. Accepter un risque est une décision écrite, qui indique qui a donné son accord et ce qui impose l’arrêt.

Ensuite, vous décidez qui peut approuver quoi, en proportion de ces scores.

Leçon suivante : La gouvernance en pratique