Aller au contenu
English

Relancer un projet d'IA au point mort

  • Étude de cas 3
  • 120 min
  • Facultative · 1 étude de cas requise pour le certificat

Où nous en sommes

Cette étude de cas applique la planification, les rôles et les revues des modules 3 et 5 à un projet qui dure depuis six mois sans lancement. Vous trouvez les causes derrière les symptômes, décidez quoi garder et quoi arrêter, et rédigez un plan de relance de 90 jours avec des barrières par étape.

Ce que vous saurez faire

Reprenez un projet d’IA sans lancement après six mois. Vous lisez son dossier, trouvez les causes derrière les symptômes et décidez quoi garder et quoi arrêter. Ensuite, vous rédigez un plan de relance de 90 jours avec des barrières par étape. Vous écrivez aussi un paragraphe qui indique au responsable s’il faut continuer, changer ou arrêter.

Étude de casPièce de portfolioDonnées synthétiques

Jeu de données
Dossier de projet construit (créé pour cette étude de cas)
Licence
CC0 1.0
Durée
Environ 2 h
S’exécute dans
Un navigateur et un outil de rédaction
Compétences utilisées
  • Lire un dossier de projet pour repérer les décisions manquantes
  • Symptômes et causes
  • La référence de base avant le modèle
  • Argent déjà dépensé
  • Barrières par étape avec résultats d'arrêt
  • Responsables du résultat et de l'adoption
  • Plan de relance

Les documents du cas ne sont pas du code : lisez-les dans votre navigateur, ou téléchargez-les pour travailler hors ligne. Écrivez votre réponse dans votre propre outil de traitement de texte. Les documents sont en anglais.

Le dossier de l’étude de cas contient trois fichiers : le README, le dossier du projet et la fiche de preuves. Vous remplissez trois modèles à partir des mêmes documents, dans votre propre outil de rédaction.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 120 minutes

Ce que vous devez savoir

Cette étude de cas utilise l’ensemble du cours. Ces leçons comptent le plus :

Ce que vous devez avoir sous la main

Dans le matériel de pratique du cours :

  • case-studies/recover-stalled-project/ : README.md (la tâche), project-file.md (les preuves) et evidence-card.md (ce que chaque élément peut montrer).
  • templates/stage-gate-roadmap.md, templates/definition-of-done.md et templates/role-map.md, que vous remplissez.
  • Un outil de rédaction pour votre diagnostic et votre plan.

Il y a six mois, Larkfield a lancé un projet pour avertir les clients avant qu’une livraison soit en retard. Victor, alors directeur des opérations, en était le promoteur. Il a depuis quitté l’entreprise. Le budget est épuisé. Chaque mois, l’équipe dit « presque prêt », et personne en dehors de l’équipe n’a utilisé le produit.

Nadia, la nouvelle directrice des opérations clients de Larkfield, est maintenant responsable du projet. Elle vous pose trois questions. Qu’est-ce qui a mal tourné? Que faut-il faire dans les 90 prochains jours? Larkfield devrait-elle continuer, changer le projet ou l’arrêter?

L’ensemble du cas est construit pour le cours : le projet, ses documents, les propos des personnes et chaque nombre. Il repose sur les erreurs que ce cours vous apprend à repérer. L’équipe de Larkfield est celle des autres leçons. Deux personnes sont nouvelles : Victor (il), l’ancien promoteur, et Dana (elle), une ingénieure de données à contrat. Vous avez rencontré Luis (il), le chef de l’équipe de livraison, au module 5.

Trois courts documents, d’environ une page chacun :

  1. Un diagnostic : trois à cinq causes du blocage, chacune avec ses preuves tirées du dossier.
  2. Un plan de relance de 90 jours : des responsables, une feuille de route avec barrières et résultat d’arrêt à chaque barrière, et une définition de fin du travail pour la première barrière.
  3. Un paragraphe pour Nadia : continuer, changer ou arrêter, et pourquoi.

Cette page examine d’abord les preuves avec vous. Elle fait les premières étapes de chaque partie et vous laisse faire le reste. Votre tâche, avec la liste complète des étapes, se trouve vers la fin.

Dans les études de cas précédentes, beaucoup de nombres sont consignés à partir d’exécutions réelles. Ici, chaque nombre est construit. C’est un choix délibéré : un vrai projet au point mort appartient à une vraie entreprise. Les personnes concernées seraient nommées et blâmées. Un projet construit vous permet d’étudier ce type de situation sans causer ce tort. Ce cas ne peut donc pas vous dire à quelle fréquence les projets se bloquent. Il peut vous apprendre à en examiner un.

Ce tableau nomme chaque source de preuves utilisée dans la page, avec son étiquette.

Source Ce qu’elle contient Étiquette
project-file.md, section 1 La charte : objectif, équipe, budget, « réussite » construit
project-file.md, section 2 Six rapports d’état mensuels de Tomás construit
project-file.md, section 3 Les dépenses : heures, contrat, services construit
project-file.md, sections 4 et 5 Ce que six personnes disent maintenant; ce qui existe aujourd’hui construit
evidence-card.md Ce que chaque élément peut et ne peut pas montrer; cinq lacunes connues construit
evidence/use-case-cards.md, fiche 4 Le même problème, examiné au module 1 : environ 120 billets « Où est ma commande? » par jour construit
Le coût horaire du travail 40 / 60 / 100 $ US par heure (bas / central / haut), pour convertir les heures en argent hypothèse (la fourchette du cours de conception de systèmes)

La fiche de preuves donne un avertissement plus important que tous les nombres. Les valeurs d’« exactitude » et d’« AUC » des rapports d’état ne peuvent pas être comparées. Chaque mois utilisait des données de test ou une mesure différentes. Gardez cela en tête pendant votre lecture.

Avant d’analyser un dossier, vérifiez son contenu, comme vous le feriez pour un jeu de données. Lisez le dossier du projet du début à la fin et cherchez trois choses :

  • Qui est l’utilisateur? La charte nomme une équipe et un promoteur. Elle ne nomme aucun utilisateur de l’avertissement.
  • Quel est le résultat visé? L’objectif dit « réduire les billets “Où est ma commande?” ». Personne ne les a comptés, avant ou pendant le projet.
  • Qui décide? Le promoteur décidait. Il est parti au mois 5, et personne ne l’a remplacé.

Trois questions sans réponse, avant toute analyse. C’est déjà un constat.

Nadia a trois choix, les mêmes qu’à chaque barrière de ce cours : continuer, changer ou arrêter. Deux erreurs sont possibles, et leur coût diffère.

  • Continuer un projet qui ne peut pas fonctionner. Larkfield paie plusieurs mois de travail supplémentaires, puis un avertissement erroné atteint les clients. Un avertissement qui dit « en retard » alors que le colis arrive à temps est une promesse non tenue. Il peut créer le billet même qu’il devait éviter.
  • Arrêter un projet qui aurait pu fonctionner. Larkfield perd une occasion peu coûteuse de réduire les billets. Mais elle conserve sa façon de travailler actuelle, lente mais sans nouveau tort.

La première erreur coûte plus cher, car elle ajoute du tort au gaspillage. Le plan doit donc déterminer tôt, à peu de frais, si quelque chose fonctionne. Il doit aussi faire d’« arrêter » un résultat réel et respecté.

Commencez par les rapports d’état. Chaque mois, Tomás a rapporté une couleur et un résultat. Voici ce que le lecteur des rapports voyait, et ce qui se passait en réalité.

Six colonnes, une par mois, reliées par des flèches. Dans chaque colonne, la boîte du haut montre le rapport d'état : mois 1 vert, aucun score; mois 2 vert, exactitude de 81 %; mois 3 vert, exactitude de 86 %; mois 4 orange, exactitude de 84 %; mois 5 vert, AUC de 0,88; mois 6 vert, AUC de 0,91. La boîte du bas, en rouge, montre la réalité : mois 1, pipeline construit, aucun utilisateur nommé; mois 2, Grace demande comment les clients reçoivent l'avertissement; mois 3, données de test modifiées; mois 4, flux du transporteur interrompu, anciennes données utilisées dès lors, Dana part; mois 5, mesure modifiée, Victor part; mois 6, deux semaines de plus, mais Kwame dit plus de deux semaines.
Six mois de rapports d'état (construits). Cinq mois verts et un orange, alors que les données de test et la mesure changeaient, les données devenaient périmées et le promoteur partait.
Description textuelle du diagramme

Le diagramme compte six colonnes, une par mois. Dans chacune, la boîte du haut montre le rapport. Les mois 1, 2, 3, 5 et 6 sont verts, et le mois 4 est orange. Les résultats sont : aucun score, exactitude de 81 %, exactitude de 86 %, exactitude de 84 %, AUC de 0,88, AUC de 0,91. Ils semblent augmenter. La boîte du bas, en rouge, montre la réalité. Au mois 1, le pipeline a été construit, mais aucun utilisateur n’a été nommé. Au mois 2, Grace a demandé comment les clients recevraient l’avertissement, et personne n’a répondu. Au mois 3, les données de test ont changé. Au mois 4, le flux du transporteur s’est interrompu. Tous les résultats suivants utilisaient donc d’anciennes données, et le contrat de Dana a pris fin. Au mois 5, la mesure est passée de l’exactitude à l’AUC, et Victor est parti. Au mois 6, l’équipe a demandé deux semaines de plus, et Kwame dit qu’il lui en faut davantage.

Lisez seulement les boîtes du haut et le projet semble bien aller : 5 mois verts sur 6, et un nombre qui semble augmenter. Lisez aussi les boîtes rouges, et les nombres ne disent presque rien. Les données de test ont changé au mois 3. « accuracy 81% » et « accuracy 86% » sont donc des scores sur des exemples différents. La mesure a changé au mois 5. « accuracy 84% » et « AUC 0.88 » mesurent donc des choses différentes. L’AUC mesure à quel point un modèle classe les livraisons en retard devant celles à temps. Le cours Apprentissage automatique : du problème à un modèle fiable l’enseigne. Ce n’est pas « l’exactitude, mais en mieux ». Et depuis le mois 4, chaque résultat provenait d’une copie d’anciennes données. Définir la fin du travail avec des preuves donnait la règle : un jeu ou un seuil modifié après le résultat ne mesure rien.

Lisez maintenant la section 3, les dépenses. Le dossier donne des heures et des montants. Pour les comparer, convertissez les heures en argent avec le coût horaire du travail du cours, qui est une hypothèse. Le graphique montre le scénario central.

Les dépenses du projet : le temps des personnes au coût horaire central, comparé aux services. Heures et montants construits; coût horaire supposé.
Description textuelle du graphique

Trois barres. Le temps des personnes représente 1,700 heures (construit) à 60 $ US par heure (hypothèse) : US$102,000. L’abonnement aux données météo coûte US$4,800, et les services infonuagiques et de données coûtent US$2,900 (tous deux construits). La barre des personnes est plusieurs fois plus haute que les deux autres. Avec les coûts horaires bas et haut, le temps des personnes vaut de US$68,000 à US$170,000. Le contrat de 3 mois de Dana n’a aucun montant dans le dossier. Il n’apparaît donc pas dans le graphique.

Le temps des personnes représente environ 93 % des dépenses connues dans le scénario central : US$109,700 en tout. Le total va de US$75,700 à US$177,700 avec les coûts horaires bas et haut. Estimer la valeur et le rendement montrait la même tendance : le temps des personnes, pas la technologie, détermine les dépenses. Les données météo ont coûté peu. Mais l’abonnement de 12 mois a été payé au mois 3, et personne n’a montré qu’il aide.

Enfin, lisez la section 4, ce que les personnes disent maintenant. Classez chaque déclaration comme un fait vérifiable ou un point de vue. Trois déclarations comptent le plus :

  • Luis : « La moitié des livraisons en retard le sont parce qu’un colis est retenu dans un dépôt. Nous le savons le jour même : le statut du transporteur dit “held” (retenu). » C’est une estimation d’expert, pas une mesure, comme le dit la fiche de preuves. Mais elle coûte peu à vérifier et suggère une règle.
  • Priya : « Je ne suis pas certaine que le modèle soit meilleur qu’une simple règle. Nous n’avons jamais convenu de ce que veut dire “assez exact”. » La personne qui a fait l’évaluation dit qu’aucune évaluation convenue n’existe.
  • Omar : « Ce n’est pas sur ma feuille de route. Je pensais que les opérations en étaient responsables. » Le responsable des opérations est parti, et personne d’autre n’a repris le projet.

Imaginez une voiture avec un voyant d’avertissement allumé au tableau de bord. Vous pouvez couvrir le voyant de ruban adhésif. Le voyant disparaît, mais le problème reste et revient en pire. Un symptôme est ce que vous voyez : le voyant, « presque prêt », un tableau de bord que personne n’ouvre. Une cause est la décision manquante ou erronée qui a produit le symptôme. Un plan de relance qui traite les symptômes (« deux semaines de plus pour déployer ») se bloque à nouveau. Pour trouver une cause, demandez « pourquoi? » jusqu’à une décision que quelqu’un aurait dû prendre.

Une chaîne sur deux rangées. Symptôme : presque prêt chaque mois. Pourquoi? Aucun résultat ne pouvait jamais dire que le travail était terminé. Pourquoi? Aucun jeu d'évaluation, aucune mesure ni aucun seuil convenus. Pourquoi? Personne n'était responsable de la question : assez exact pour quoi? Pourquoi? Cause : l'objectif était une technologie, un modèle exact en production. Depuis la cause, une flèche intitulée corriger la cause mène à : un résultat, un responsable et une définition de fin du travail. Depuis le symptôme, une flèche pointillée intitulée corriger le symptôme, deux semaines de plus, mène à : le blocage revient.
Demandez « pourquoi? » jusqu'à une décision que personne n'a prise. Corrigez la cause, pas le symptôme.
Description textuelle du diagramme

La chaîne commence par un symptôme : le projet est « presque prêt » chaque mois. Pourquoi? Parce qu’aucun résultat ne pouvait jamais dire « terminé ». Pourquoi? Parce qu’il n’y avait aucun jeu d’évaluation, aucune mesure ni aucun seuil convenus. Pourquoi? Parce que personne n’était responsable de la question « assez exact pour quoi? ». Pourquoi? Parce que l’objectif de la charte était une technologie, « un modèle exact en production », et non un résultat pour un utilisateur. Voilà la cause. La corriger exige un résultat, un responsable et une définition de fin du travail. Une flèche pointillée montre l’autre voie : corriger seulement le symptôme avec « deux semaines de plus », et le blocage revient.

Voici la première ligne d’un diagnostic, tirée de la chaîne. Gardez la cause, les preuves et le symptôme séparés.

Cause Preuves dans le dossier Symptôme
L’objectif était une technologie, pas un résultat Charte : « Utiliser l’apprentissage automatique… »; réussite = « un modèle exact en production » « Presque prêt » chaque mois; aucun décompte des billets « Où est ma commande? »

Faites maintenant la même chose pour les autres symptômes. Trois figurent dans la description de ce cas : aucune définition de fin du travail, aucun jeu d’évaluation, aucun responsable de l’adoption. Examinez aussi le statut « held » que personne n’a essayé, et les rapports verts alors que les données devenaient périmées. Après quelques questions « pourquoi? », chacun mène à une décision manquante. Certains symptômes ont la même cause; c’est normal. Trois à cinq causes suffisent.

Erreur courante

Blâmer une personne plutôt qu'une décision

Symptôme : le diagnostic dit « Tomás a rapporté du vert alors que ça n’allait pas » ou « Victor nous a laissés sans plan ».

Cause : une personne est l’élément le plus facile à voir dans une histoire. Mais Tomás rapportait des choses que personne ne lui avait demandé de mesurer, et les gens quittent régulièrement les entreprises. Les deux sont des conséquences de décisions que personne n’a prises.

Correction : formulez chaque cause comme une décision ou un rôle manquant : « aucun responsable du résultat », « les rapports d’état mesuraient l’activité, pas les preuves ». Nommez les personnes seulement comme sources de preuves.

Conséquence pour un leader : un diagnostic qui blâme les personnes pousse l’équipe à se défendre. Le prochain rapport d’état cache alors les problèmes. Un diagnostic des décisions permet à la même équipe de les corriger. Le cours MLOps et LLMOps : exploiter l’IA en production utilise la même règle dans Tirer des leçons après un incident.

Chaque option doit faire mieux que quelque chose : la référence de base, la façon de travailler actuelle. Les problèmes avant les outils examinait ce même cas d’utilisation, la fiche 4, et s’arrêtait à la première question. Une règle sur le statut du transporteur et la date promise pourrait avertir les clients qu’un colis est en retard. Cet examen était un court exercice. Ce projet montre ce qui arrive quand personne ne le fait.

Le projet a deux références de base, et il n’en a mesuré aucune :

  1. La façon actuelle : aucun avertissement. Les clients ouvrent un billet de soutien, et un agent cherche le colis. Environ 120 billets par jour, dit Grace, mais personne ne les a comptés. Sans décompte, personne ne peut montrer qu’un avertissement les réduit.
  2. La solution la plus simple : une règle. « Si le statut du transporteur dit “held”, avertir le client le jour même. » Luis dit que cela explique la moitié des livraisons en retard. S’il a raison, la règle repère exactement cette moitié dès le premier jour. N’importe qui peut le vérifier sur la page de suivi.

Un modèle doit faire assez mieux que la règle pour payer son entretien. Personne ne sait s’il le fait, car la règle n’a jamais été évaluée. Tout plan doit donc d’abord comparer le modèle à la règle, sur les mêmes exemples, avec la même mesure.

Nadia entendra un argument comme celui-ci : « Nous avons tellement dépensé. Encore deux semaines, et ce sera rentable. » L’argent est réel, mais il est dépensé, peu importe sa décision actuelle. Les économistes appellent cela un coût irrécupérable : de l’argent ou du temps déjà dépensé qu’aucun choix futur ne peut récupérer. Une bonne décision compare le coût de chaque choix à partir de maintenant avec ce qu’il peut apporter. Les 1,700 heures ne justifient donc pas de poursuivre. Elles ne justifient pas non plus d’arrêter.

La question qu’un coût irrécupérable cache est : « Qu’est-ce qui a encore de la valeur? » Classez ce qui existe aujourd’hui, à partir de la section 5 du dossier :

Ce qui existe Garder ou arrêter? Pourquoi
Six mois de connaissances sur les données et les statuts du transporteur Garder Ces connaissances sont dans la tête des gens, et la règle en a besoin
Le pipeline de données, en panne depuis le mois 4 Garder, pour le réparer Tout avertissement, issu d’une règle ou d’un modèle, a besoin de données à jour
Le prototype de tableau de bord que personne n’a ouvert Arrêter Il n’a ni utilisateur ni responsable
L’abonnement aux données météo Ne pas renouveler pour l’instant Personne n’a montré son utilité

Vous complétez ce tableau dans votre tâche. Le carnet (notebook) Jupyter du modèle et les « deux semaines avant la mise en production » sont les lignes difficiles. Décidez à partir des preuves, pas des heures.

Nadia a trois options. Chacune est envisagée pour une raison.

  • A. Poursuivre comme prévu : donner les deux semaines à Tomás et connecter le modèle au site Web. Cette option est envisagée parce que l’équipe y croit et que les personnes qui l’ont construit sont encore là.
  • B. Changer : reprendre le projet avec des barrières entre les étapes. Nommer les responsables, mesurer l’ampleur du problème, évaluer la règle et le modèle sur un même jeu fixe, puis décider. Cette option est envisagée parce que le dossier montre des décisions manquantes, pas des preuves que l’idée est mauvaise.
  • C. Arrêter maintenant. Fermer le projet et garder la façon actuelle de travailler. Cette option est envisagée parce que le budget est dépensé et que personne hors de l’équipe n’a demandé le produit.

Comparez-les selon un même critère : le coût de chaque option jusqu’à la prochaine vraie décision, et ce qu’elle permet d’apprendre d’ici là. Ce critère convient, car personne ne sait encore si un avertissement fonctionne. La meilleure option permet de le découvrir au moindre coût, tout en permettant encore d’arrêter.

A. Poursuivre B. Changer C. Arrêter
Coût jusqu’à la prochaine décision « Deux semaines », un délai trop court selon Kwame; puis un montant inconnu Une durée maximale fixée par Nadia Rien de plus
Ce qu’on apprend Rien sur le résultat : aucun décompte, aucune référence de base Si le problème est important et si la règle ou le modèle fonctionne Rien
Risque pour les clients Élevé : un modèle non vérifié envoie des avertissements à partir de vieilles données Faible : aucun avertissement n’atteint un client avant une barrière Aucun nouveau risque; les billets de soutien restent
Peut-on arrêter tôt? Aucun résultat justifiant l’arrêt n’est défini Oui : un résultat justifiant l’arrêt à chaque barrière C’est l’arrêt

L’option A n’a aucun résultat qui pourrait mener à son arrêt. L’option C économise de l’argent, mais abandonne une occasion peu coûteuse de réduire les billets. L’option B coûte une période limitée et donne des preuves à Nadia à chaque barrière. Elle garde aussi l’arrêt possible, et un arrêt avec des preuves vaut mieux qu’un arrêt sans preuves.

Nadia rencontre l’équipe pendant sa deuxième semaine. Elle a lu le dossier. Ces positions sont construites pour la discussion.

  • Tomás : « Le modèle est bon : AUC 0.91. Donnez-moi deux semaines et il sera en service. Recommencer, c’est gaspiller six mois. »
  • Priya : « Je ne peux défendre aucun de nos chiffres. Je préfère d’abord évaluer la règle et le modèle sur un même jeu. »
  • Kwame : « Le pipeline est en panne depuis le mois 4. Deux semaines, ce n’est pas réaliste. »
  • Grace : « Peu importe comment ça fonctionne. Je veux moins de billets “Où est ma commande?” et je veux approuver ce que les clients lisent. »
  • Luis : « Donnez-nous une règle pour les colis “retenus” la semaine prochaine. C’est la moitié du problème. »
  • Omar : « Si ça entre dans ma feuille de route, il me faut un responsable et une date. »

Avant de poursuivre votre lecture, répondez à ces questions :

  1. Quelles positions portent sur le résultat, et lesquelles portent sur la technologie?
  2. L’argument de Tomás, « recommencer, c’est gaspiller six mois », justifie-t-il de poursuivre?
  3. Quelles preuves permettraient à Nadia de choisir entre Tomás et Luis?
  4. Omar veut une date. Que peut promettre le plan à la place?

La réponse du cours. Changez le projet; ne l’arrêtez pas encore. Grace et Luis parlent du résultat; Tomás et Kwame parlent de la technologie. « Gaspiller six mois » renvoie au coût irrécupérable : ces mois sont dépensés dans tous les cas, et les connaissances acquises restent. Un seul test permet de trancher entre Tomás et Luis. Évaluez la règle et le modèle sur le même jeu figé de commandes passées, selon une mesure convenue au préalable. Omar ne peut pas avoir de date de lancement, car personne ne connaît encore la qualité. Il peut avoir une date pour chaque barrière. C’est la leçon de Pourquoi les plans d’IA sont différents : une expérience avec une durée limitée, puis une décision.

Ce qui changerait la réponse : un décompte qui montre peu de billets « Où est ma commande? ». Le problème serait alors trop petit pour justifier un projet, et l’arrêt serait la bonne décision. Ou un transporteur qui informe déjà les clients quand un colis est retenu. L’avertissement existerait alors, et il n’y aurait rien à construire.

Un plan de relance est une feuille de route avec des barrières entre les étapes, comme dans Jalons et feuilles de route. Il comporte une étape supplémentaire au départ. Un projet au point mort a d’abord besoin d’une remise à zéro : responsables nommés, problème mesuré, données réparées. C’est seulement ensuite que l’étude de faisabilité peut poser une question juste. Le diagramme montre la structure. Votre plan ajoute les durées maximales, les preuves, les seuils et les responsables.

Un parcours sur deux rangées. Première rangée : remise à zéro : responsables nommés, problème mesuré. Barrière 0 : arrêter si le problème est trop petit. Faisabilité : la règle et le modèle sur un même jeu figé, selon une même mesure. Barrière 1 : si la règle suffit, livrer la règle et arrêter le modèle; si aucun ne fonctionne, arrêter. Deuxième rangée, après la décision de poursuivre à la barrière 1 : projet pilote : avertissements pour une partie des commandes, décompte des billets. Barrière 2 : arrêter ou changer si les billets ne diminuent pas. Lancement limité : fonctionnement quotidien avec un responsable. Barrière 3 : ne pas lancer sans responsable de l'exploitation. Après la barrière 3 : lancement complet, après le jour 90.
La structure d'un plan de relance de 90 jours : une remise à zéro, puis trois étapes. Chacune se termine par une barrière avec un résultat justifiant l'arrêt consigné par écrit. « Livrer la règle » est un succès à la barrière 1.
Description textuelle du diagramme

Le parcours commence par une remise à zéro : les responsables sont nommés et le problème est mesuré. La barrière 0 arrête le projet si le problème est trop petit. Vient ensuite la faisabilité : la règle et le modèle sont évalués sur un même jeu figé, selon une même mesure. La barrière 1 a trois issues. Si la règle suffit, livrer la règle et arrêter le modèle; cette issue est présentée comme un succès. Si aucun ne fonctionne, arrêter. Sinon, poursuivre avec le projet pilote. Des avertissements concernent alors une partie des commandes, et l’équipe compte les billets. La barrière 2 arrête ou modifie le travail si les billets ne diminuent pas. Ensuite, un lancement limité fait fonctionner les avertissements chaque jour, avec un responsable. La barrière 3 interdit le lancement sans responsable de l’exploitation quotidienne. Le lancement complet arrive après le jour 90.

Trois parties de cette structure répondent aux trois lacunes décrites dans la présentation de ce cas dans le cours :

  • Aucun responsable de l’adoption : la remise à zéro nomme les responsables. Utilisez la carte des rôles : une personne décide à chaque étape. Quelqu’un est aussi responsable du résultat et des personnes dont le travail change. Les clients reçoivent l’avertissement, mais les agents de Grace et l’équipe de livraison de Luis changent leur façon de travailler.
  • Aucun jeu d’évaluation : l’étude de faisabilité en fige un. Les commandes passées et leurs dates réelles de livraison sont déjà dans les données de Larkfield. Choisissez une période, figez le jeu, convenez de la mesure, puis évaluez chaque option sur ce jeu.
  • Aucune définition de la fin du travail : chaque barrière reçoit des seuils. Inscrivez-les dans la définition de la fin du travail avant que quiconque présente un score. Mesurez le but de l’avertissement, pas « l’exactitude ». Changement et adoption appelait cela le résultat : ici, moins de billets « Où est ma commande? ».

Pour un avertissement, deux mesures correspondent au coût d’une erreur. La première est la proportion de livraisons en retard qui reçoivent un avertissement assez tôt. La deuxième est le nombre de faux avertissements, car chacun est une promesse non tenue. Vous choisissez les seuils, avec une justification pour chacun.

Un bon plan détermine la suite. Avant de le remettre, testez-le avec deux nouveaux événements, tous deux construits. Pour chacun, trouvez la ligne de votre plan qui y répond.

  1. Semaine 3. Tomás écrit : « J’ai essayé un autre type de modèle sur de nouvelles données de test, et l’AUC est plus élevée. Peut-on sauter la comparaison avec la règle? » Votre plan doit répondre sans lire le chiffre. Le nouveau jeu n’est pas le jeu figé, et l’AUC n’est peut-être pas la mesure convenue. La comparaison a lieu à la barrière 1, à la date prévue, comme indiqué.
  2. Jour 60. Luis dit que le transporteur changera encore le format de son flux de données le mois prochain. Votre plan doit nommer la personne responsable du flux et prévoir une alerte quand son format change. Si aucune ligne ne couvre ce point, votre lancement limité a la même lacune qui a causé la panne au mois 4.

Si votre plan ne peut pas répondre à un événement, ajoutez la ligne maintenant. Une lacune trouvée sur papier coûte moins cher qu’une lacune trouvée au jour 60.

Ce que le cas enseigne :

  • Le projet n’a pas échoué à cause du modèle. Il a échoué à cause des décisions qui l’entouraient : un résultat, un responsable, un test fixe et une référence de base.
  • 5 rapports verts sur 6 ont caché tous les problèmes, car une couleur de statut mesure l’activité. Une barrière avec un résultat justifiant l’arrêt mesure les preuves.
  • L’option la moins coûteuse, la règle, était dans le dossier dès le départ, dans les propos de Luis. Personne n’a consulté l’équipe de livraison.
  • « Arrêter » peut être un succès. Un plan qui se termine à la barrière 1 par « livrer la règle » évite l’entretien du modèle et réduit les billets plus tôt.

Les limites, selon les lacunes connues de la fiche de preuves :

  • Personne n’a mesuré le résultat. Les 120 billets par jour sont le chiffre de Grace, pas un décompte. Votre plan doit les compter avant de pouvoir affirmer qu’un changement a eu lieu.
  • La qualité réelle du modèle est inconnue. Les scores ne sont pas comparables, et tous les résultats après le mois 4 reposaient sur de vieilles données. Ne les citez pas comme preuves, ni pour ni contre.
  • La « moitié » de Luis est une estimation. C’est la première chose à vérifier, pas un fait sur lequel baser le plan.
  • Le cas est construit. Il montre un schéma courant, pas sa fréquence. Un vrai projet au point mort a plus d’historique, plus d’enjeux politiques et moins de citations nettes. La méthode s’applique quand même : trouvez les décisions manquantes, puis corrigez-les avec des barrières.

Un plan de relance change le travail des gens et les messages aux clients. Quatre points le rendent équitable et sûr :

  • Diagnostiquez les décisions, pas les personnes. Citez les personnes comme preuves et décrivez les causes comme des décisions ou des rôles manquants. Le cas d’échec ci-dessus le montre. Partagez le diagnostic avec l’équipe avant de le transmettre à qui que ce soit d’autre.
  • Un avertissement est une promesse à un client. Un faux « votre colis est en retard » est une promesse non tenue, et un avertissement tardif est inutile. Grace approuve la formulation. Le projet pilote compte les plaintes sur les avertissements erronés, pas seulement les billets.
  • Les données de livraison sont des données personnelles. Les dossiers de suivi contiennent des noms, des adresses et des heures de livraison. Le jeu d’évaluation a besoin de dates et de statuts, pas d’adresses. Vérifiez ce que le pipeline conserve avec les responsables de la vie privée, comme dans La gouvernance en pratique.
  • Arrêter est un résultat responsable. Si les preuves indiquent qu’il faut arrêter, dites-le et consignez-le dans un registre de décision. Ne gardez pas un projet en vie pour protéger les heures déjà dépensées.

Travaillez dans votre propre outil de rédaction. Prévoyez environ 90 minutes.

  1. Lisez le dossier du projet du début à la fin. Marquez chaque endroit où une décision aurait dû être prise, mais ne l’a pas été.
  2. Posez un diagnostic. Écrivez trois à cinq causes du blocage, chacune avec une preuve du dossier : une citation, un nombre ou un document manquant. Séparez les causes des symptômes. Vous pouvez réutiliser la première ligne ci-dessus.
  3. Décidez quoi garder. Terminez le tableau « garder ou arrêter ». Qu’est-ce qui a encore de la valeur (données, personnes, constat)? Quelles dépenses inutiles Larkfield doit-elle arrêter?
  4. Rédigez un plan de relance de 90 jours dans la feuille de route à barrières. Incluez un responsable des décisions, un problème clair, une référence de base sans IA et un jeu d’évaluation convenu. Ajoutez une définition de la fin du travail pour la barrière 1, un responsable de l’adoption et un résultat d’arrêt à chaque barrière.
  5. Testez le plan avec les deux nouveaux événements ci-dessus et ajoutez toute ligne manquante.
  6. Écrivez un paragraphe pour Nadia : continuer, changer ou arrêter, et pourquoi.

Ce qu’un bon plan fait (tiré du README du cas; les réviseurs utilisent cette liste) :

  • Il nomme un seul responsable des décisions et un responsable du domaine : les personnes dont le travail change.
  • Il compare le modèle à une règle ou à un rapport simple avant de dépenser davantage pour le modèle.
  • Il fixe le jeu d’évaluation et le seuil avant que quelqu’un présente un nouveau score.
  • Il prévoit des barrières avec une durée limitée et un résultat qui arrête le travail. « Arrêter » est une vraie option.
  • Il planifie l’adoption : qui utilise l’avertissement, comment les clients le reçoivent et comment mesurer le succès. Le succès, c’est moins de billets « Où est ma commande? », pas « le modèle est exact ».
Afficher une réponse possible

Voici une réponse défendable, pas la seule. C’est la réponse modèle des réviseurs, citée sans modification. Tout dans ce cas est construit, et les seuils sont des exemples choisis par le réviseur. Une autre décision convient si vous l’appuyez sur les mêmes preuves, nommez vos hypothèses et respectez la liste ci-dessus.

Diagnostic : cinq causes, avec les preuves

Cause Preuve dans le dossier du projet Symptôme produit
1. L’objectif était une technologie, pas un résultat Charte : « Utiliser l’apprentissage automatique… »; succès = « un modèle exact en production » Personne ne mesurait les billets « Où est ma commande? », la raison du projet
2. Aucun responsable du résultat ou de l’adoption Victor est parti au mois 5; Omar : « pas dans ma feuille de route »; Luis : « personne ne nous a parlé »; Grace a vu une démonstration Aucun plan pour transmettre un avertissement au client; le tableau de bord que personne n’ouvrait
3. Aucun jeu d’évaluation, seuil ou définition de la fin du travail convenus Les données de test ont changé au mois 3, la mesure au mois 5; Priya : « les nombres ne sont pas comparables » « Presque prêt » chaque mois; les scores ne peuvent pas être comparés
4. Aucune référence de base Luis : la moitié des livraisons en retard affichent « retenu » le jour du retard; personne n’a essayé cette règle Six mois de travail sur le modèle sans savoir si une règle fait aussi bien
5. Les rapports d’avancement mesuraient l’activité, pas les preuves Mois 4 : « Orange » pour un pipeline défectueux, puis « Vert » alors que le modèle utilise de vieilles données Le commanditaire et l’équipe croyaient que le projet avançait comme prévu

Garder, arrêter

  • Garder : la connaissance des données du transporteur, le code du pipeline (à réparer), les commandes passées avec leurs vraies dates de livraison (le début d’un jeu d’évaluation), le constat de Priya et Luis sur les colis « retenus ».
  • Arrêter maintenant : le travail sur le modèle jusqu’à la barrière 1, le tableau de bord, le renouvellement des données météo, le plan « deux semaines avant la mise en production ».

Plan de 90 jours

Responsable des décisions : Nadia. Responsable du résultat : Grace (soutien). Responsable du processus : Luis (livraison). Responsable de l’évaluation : Priya. Développement : Tomás et Amira.

Étape Jours Question Preuves pour passer Arrêter ou changer si
0. Nouveau départ 1–10 Quel problème, pour qui, de quelle ampleur? Billets « Où est ma commande? » par 100 commandes, comptés pendant deux semaines; formulation et canal de l’avertissement convenus avec Grace; pipeline réparé Moins de 20 billets par jour : arrêter, le problème est trop petit
1. Faisabilité 11–40 L’avertissement détecte-t-il les livraisons en retard assez tôt, sans trop de fausses alertes? Un jeu d’évaluation figé (les commandes des 8 dernières semaines avec les vraies dates de livraison); règle « retenu » et modèle évalués sur ce jeu selon une mesure convenue : proportion des livraisons en retard signalées au moins un jour à l’avance, et fausses alertes par 100 commandes La règle atteint le seuil : livrer la règle, arrêter le modèle. Aucun des deux ne l’atteint : arrêter le projet
2. Projet pilote 41–75 Les avertissements réduisent-ils les billets pour de vrais clients? Avertissements envoyés pour 10 % des commandes; billets par 100 commandes dans le groupe pilote comparés au reste; plaintes concernant les fausses alertes Les billets ne diminuent pas dans le groupe pilote : arrêter ou changer le message
3. Lancement limité 76–90 Pouvons-nous l’exploiter chaque jour? Un responsable du flux de données du transporteur et une alerte quand son format change; un guide d’exploitation; l’approbation de Grace Aucun responsable de l’exploitation : ne pas lancer

Exemples de seuils pour la barrière 1 : au moins 60 % des livraisons en retard signalées un jour à l’avance, au plus 2 fausses alertes par 100 commandes. Barrière 2 : 20 % moins de billets par 100 commandes dans le groupe pilote.

Pour Nadia

Changez le projet, ne l’arrêtez pas encore. Consacrez dix jours à mesurer le problème et à lui donner des responsables. Prenez ensuite un mois pour comparer une règle simple au modèle sur un seul test fixe. Si la règle suffit, livrez-la et cessez de payer pour le modèle. Si rien ne fonctionne, arrêtez au jour 40 avec une raison claire : c’est un bon résultat, pas un échec.

Comment comparer cette réponse à la vôtre. Vérifiez que chacune de vos causes est une décision, pas une personne, et qu’elle a une preuve. Vérifiez que votre plan évalue la règle avant le modèle et que chaque barrière a un résultat d’arrêt. Un détail reste ouvert : cette réponse arrête le renouvellement des données météo. Vous pourriez préférer tester ces données à la barrière 1 d’abord. Les deux choix conviennent avec une raison.

Relancer un projet au point mort est une tâche courante pour les responsables de produit et les gestionnaires d’ingénierie. Un diagnostic court et honnête montre à un employeur que vous reconnaissez la situation et savez agir. Personnalisez-le, puis publiez-le.

Quoi publier (une page, un PDF ou un dépôt) :

  • Le diagnostic, une page : les causes, chacune avec sa preuve, et le tableau « garder ou arrêter ».
  • Le plan de 90 jours, une page : les responsables, la feuille de route à barrières avec les résultats d’arrêt et la définition de la fin du travail pour la barrière 1.
  • Le paragraphe pour Nadia.
  • Une ligne en haut : « Le projet est un cas construit tiré du cours Diriger des produits et des équipes d’IA (CC0). » Ne le présentez jamais comme le projet d’une vraie entreprise.

Personnalisez-le avec un changement. Écrivez le plan pour un projet au point mort que vous connaissez, en retirant les noms et les nombres. Ou changez un fait de ce cas et montrez comment le plan change. Par exemple, supposez que le décompte de Luis montre peu de colis retenus dans un dépôt.

Comment le décrire en entrevue, en deux phrases : « J’ai diagnostiqué un projet d’IA qui a duré six mois sans lancement, bloqué par quatre décisions manquantes : un résultat, un responsable, un test fixe et une référence de base. J’ai rédigé un plan de relance de 90 jours qui compare d’abord une règle simple au modèle, avec un résultat d’arrêt à chaque barrière. »

Vérifiez votre compréhension

The status reports show accuracy 81%, then accuracy 86%, then AUC 0.88, then AUC 0.91. Tomás says the model got better every month. What do you answer?

Afficher la réponse

Les nombres ne peuvent pas montrer cela. Les données de test ont changé au mois 3. « accuracy 81% » et « accuracy 86% » sont donc des scores sur des exemples différents. La mesure a changé au mois 5, alors les valeurs d’AUC mesurent autre chose. Et depuis le mois 4, tous les résultats utilisaient de vieilles données, car le flux de données était défectueux. Pour dire « meilleur », il faut un jeu d’évaluation figé et une mesure, convenus avant les scores. C’est ce qu’explique Définir la fin du travail avec des preuves. Jusque-là, la qualité réelle est inconnue : ni bonne ni mauvaise.

Vérifiez votre compréhension

Tomás says: "We have spent about 1,700 hours. Stopping now wastes them." Is this a reason to continue?

Afficher la réponse

Non. Les heures sont un coût irrécupérable : elles sont dépensées, quelle que soit la décision de Nadia. Une bonne décision compare le coût de chaque option à partir de maintenant à ce qu’elle peut apporter. Les heures ne sont pas non plus une raison d’arrêter. La bonne question est ce qui a encore de la valeur. Ici : la connaissance des données du transporteur, le pipeline à réparer, les commandes passées pour un jeu d’évaluation et le constat de Luis. Gardez ces éléments, quelle que soit la décision.

Vérifiez votre compréhension

À la barrière 1, la règle « retenu » atteint le seuil, et le modèle fait un peu mieux. Que devrait dire le plan, et pourquoi?

Afficher la réponse

Livrez la règle et arrêtez le modèle, sauf si le plan a fixé une marge que le modèle doit dépasser. La règle est exacte, peu coûteuse, facile à expliquer et facile à vérifier sur la page de suivi. Un modèle nécessite des données à jour, de l’entretien et un responsable, et il se trompe parfois. Un petit gain ne couvre pas ces coûts. Le plan devrait le dire avant que les scores existent : « le modèle doit dépasser la règle d’au moins… ». La barrière 1 ne nécessite alors aucun débat.

Récapitulatif

  • Un projet au point mort échoue généralement à cause de décisions manquantes : un résultat, un responsable, un jeu d’évaluation fixe et une référence de base. Le modèle est rarement la cause.
  • Demandez « pourquoi? » jusqu’à trouver une décision que personne n’a prise. Corrigez cela, pas le symptôme. Écrivez les causes comme des décisions ou des rôles, jamais comme des personnes.
  • Les scores obtenus avec des jeux et des mesures qui changent ne peuvent pas être comparés. Figez un jeu et une mesure avant tout nouveau score.
  • L’argent déjà dépensé est un coût irrécupérable. Décidez selon le coût de chaque option à partir de maintenant, et gardez ce qui a encore de la valeur.
  • Un plan de relance est une feuille de route à barrières qui commence par un nouveau départ. Il compare la règle simple au modèle. « Livrer la règle » ou « arrêter » sont de bons résultats.

Ensuite, le travail final : un plan de produit et d’équipe d’IA pour un cas d’utilisation de votre choix.

Leçon suivante : Travail final