Diriger une équipe d'IA au quotidien
- Leçon 18
- 30 min
- Module 5 : Bâtir et diriger une équipe d'IA
Où nous en sommes
Dans la leçon précédente, nous avons donné à l'équipe des rituels pour les revues et les décisions. Mais la semaine elle-même reste difficile à diriger quand personne ne connaît le résultat d'avance. Dans cette leçon, nous fixons des objectifs que l'équipe peut atteindre honnêtement, nous gardons un rythme court de rencontres, nous partageons la charge de garde et nous voyons tôt quand l'équipe est bloquée, comme une jardinière qui essaie trois nouvelles sortes de tomates.
Leçon 18 sur 22 · Diriger des produits et des équipes d'IADiriger une équipe d'IA au quotidien
1. Décider où l'IA aide
2. Décider comment l'obtenir
3. Planifier dans l'incertitude
4. Concevoir pour les personnes
5. Bâtir et diriger une équipe d'IA
6. Gérer les risques, la gouvernance et un lancement responsable
Ce que vous saurez faire
Dirigez le travail d’IA semaine après semaine quand personne ne connaît le résultat d’avance. Fixez des objectifs que l’équipe peut atteindre honnêtement et gardez un rythme de réunions court. Partagez la charge du service en production et repérez tôt les blocages de l’équipe.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Les expériences, les durées limites et les trois décisions (continuer, changer, arrêter), dans Pourquoi les plans d’IA sont différents.
- La revue des expériences, la séance d’analyse des erreurs et la fiche de décision, dans Rituels d’équipe et travail assisté par l’IA.
Ce qu’il vous faut
- Un document pour vos notes. Cette leçon n’a pas de modèle : dans « À vous de jouer », vous planifiez une semaine pour l’équipe de Larkfield ou la vôtre.
Les heures des réunions, l’ordre du jour et les situations de cette leçon sont inventés pour le cours. Ce sont les recommandations du cours, avec une raison pour chacune, et non des résultats mesurés.
Un jardin au printemps
Section intitulée « Un jardin au printemps »Une jardinière essaie trois nouvelles variétés de tomates. Elle ne sait pas laquelle poussera dans son sol. Elle ne promet donc pas « vingt tomates le 1er juillet ». Elle promet quelque chose qu’elle contrôle : « J’essaie trois variétés dans de petits pots pendant quatre semaines. Ensuite, je garde la meilleure et j’arrache les autres. »
Chaque lundi, elle parcourt les rangs et note ce qui a poussé. Quand une variété meurt, elle note pourquoi, sans blâme : trop d’ombre. Et elle dit non au voisin qui veut une visite chaque après-midi.
Le problème : une semaine de gestion qui ne convient pas
Section intitulée « Le problème : une semaine de gestion qui ne convient pas »Omar dirigeait auparavant une équipe Web. Ses objectifs étaient des objectifs de livraison : « la nouvelle page des retours sera en ligne vendredi ». Cela fonctionne quand l’équipe sait à quoi ressemble le travail terminé.
Imaginez Omar avec l’équipe d’IA (une situation construite). Il fixe un objectif du même genre à Priya : « Faire monter le score du juge à 4,5 avant la fin du sprint. » Priya ajuste la requête (prompt) pendant trois semaines. Le score monte un peu, puis baisse un peu. Personne ne décide d’arrêter, car l’objectif n’a aucun critère d’arrêt. Pendant ce temps, d’autres équipes demandent trois démonstrations. Tomás répond à chaque alerte la nuit, car personne d’autre ne connaît le service.
L’objectif promettait un résultat que personne ne contrôle. La semaine ne prévoyait aucun moment pour décider d’arrêter. Et la charge revenait à la personne qui n’arrivait pas à dire non.
Un score cible présente un autre danger. Dans le cours sur l’évaluation, un juge sans la politique préférait la requête v3 dans 126 des 200 paires, contre 48 pour v2. Pourtant, v3 était la moins bonne requête (résultat consigné, Évaluer et tester les systèmes d’IA). Une équipe qui poursuit un score peut gagner sur le chiffre et perdre le client.
L’idée : des objectifs pour apprendre, des dates pour décider
Section intitulée « L’idée : des objectifs pour apprendre, des dates pour décider »Pour le travail incertain, fixez un objectif d’apprentissage. Il nomme la question à laquelle l’équipe répondra et les preuves qui y répondent. Il a une durée limite et un critère d’arrêt. L’équipe contrôle ces trois éléments. Elle ne contrôle pas la qualité que la réponse aura finalement.
| Un objectif de livraison lié à la qualité (à éviter) | Un objectif d’apprentissage (à utiliser) |
|---|---|
| « Score du juge de 4,5 avant la fin du sprint. » | « En deux semaines, déterminer si un rappel de la politique dans la requête empêche les étapes inventées. Utiliser les 20 derniers exemples d’erreurs. Arrêter si moins de la moitié s’améliorent. » (construit) |
| « L’assistant envoie des réponses seul dès le 1er mars. » | « Le 1er mars, décider, avec les preuves de la barrière, si l’assistant monte d’un niveau sur l’échelle d’autonomie. » |
La deuxième ligne montre que les dates ne disparaissent pas. Une date correspond à une décision, pas à un niveau de qualité. Pour le travail dont le résultat est connu, une date de livraison normale convient. C’est le cas d’un écran de révision dont la conception est convenue.
Un rythme hebdomadaire adapté
Section intitulée « Un rythme hebdomadaire adapté »Placez les rituels de la dernière leçon dans une semaine, avec du temps pour planifier et se concentrer autour.
Description textuelle du diagramme
La semaine commence lundi avec 20 minutes de planification. Pour chaque expérience, l’équipe écrit sa question, sa durée limite et son critère d’arrêt. Du mardi au jeudi, les matinées servent à se concentrer, sans réunions ni démonstrations. Les rencontres individuelles ont lieu l’après-midi. Jeudi, la revue des expériences décide pour chacune : continuer, changer ou arrêter. Un vendredi sur deux, la séance d’analyse des erreurs examine les échecs pendant 60 minutes. L’unique plage de démonstration suit cette séance. Le lundi suivant, la planification du travail s’appuie sur ce que l’équipe a appris.
Si une expérience n’a aucun critère d’arrêt lundi, elle ne commence pas. La revue du jeudi ajoute une règle à la revue des expériences : toute expérience dont la durée limite est atteinte reçoit une décision ce jour-là.
Des rencontres individuelles utiles
Section intitulée « Des rencontres individuelles utiles »Une rencontre individuelle est une courte réunion privée entre le leader et une personne. Ce n’est pas un compte rendu d’avancement : elle sert à aborder ce qu’une réunion de groupe ne révèle pas. La personne choisit l’ordre du jour; le leader écoute et agit.
Description textuelle du diagramme
L’ordre du jour comprend quatre parties et une action. D’abord, les blocages, pendant cinq minutes : qu’est-ce qui attend, et qui attend-on? Le leader élimine le blocage. Ensuite, les apprentissages de la dernière expérience, pendant dix minutes, y compris ce qui n’a pas fonctionné. Troisièmement, la charge, pendant cinq minutes : garde, démonstrations, demandes et heures. Quatrièmement, le développement, pendant dix minutes : une compétence et la prochaine étape. Pour finir, le leader note une action, avec une date.
Voici un court exemple : la rencontre individuelle de Nadia avec Priya (construite). Blocages : les agents de Grace n’ont pas le temps d’étiqueter les nouveaux billets de soutien. Apprentissages : le rappel de la politique n’a empêché aucune étape inventée, mais une réponse qui copie la politique semble meilleure. Charge : deux demandes de démonstration cette semaine et trois soirées tardives. Développement : Priya veut animer seule la séance d’analyse des erreurs. Action de Nadia : demander à Grace, d’ici vendredi, quatre heures de travail d’agent par semaine. Elle envoie aussi les deux demandes de démonstration à la plage prévue.
Une expérience ratée, gérée sans blâme
Section intitulée « Une expérience ratée, gérée sans blâme »Beaucoup d’expériences échouent; elles servent à repérer tôt les voies sans issue. Un résultat négatif issu d’une expérience bien menée est un progrès. Il répond à une question avec des preuves, pour que personne n’y consacre encore des mois.
Larkfield en a un bon exemple. Dans le cours sur le réglage fin, l’équipe a entraîné son propre petit modèle pour l’acheminement. Il a envoyé à une personne 0 des 23 billets de développement qui exigeaient une intervention humaine (résultat consigné, Réglage fin et adaptation des modèles d’IA). Le cours a décidé : ne pas le mettre en production. Aucun client ne l’a vu, et les preuves ont écarté la solution moins chère.
Quand une expérience échoue, le leader pose trois questions : « Qu’avons-nous appris? Qu’est-ce qui justifierait un nouvel essai? Qu’arrêtons-nous maintenant? » Ne demandez jamais « qui a échoué? » Une équipe blâmée pour des résultats négatifs cesse de les signaler, puis les répète. Consignez chaque expérience ratée dans une courte fiche de décision, comme dans la fiche de décision pour la requête v3 :
| Quoi consigner | Le modèle d’acheminement |
|---|---|
| La question | Notre propre petit modèle peut-il acheminer les billets aussi bien que le modèle hébergé, à moindre coût? |
| L’essai et les preuves utilisées | Un petit modèle avec réglage fin, sur les billets de développement et les billets réservés du jeu d’évaluation |
| Le résultat | Souvent la bonne équipe; aucun billet envoyé à une personne, dans les deux jeux |
| La décision | Arrêter. Garder le modèle hébergé |
| Ce qui justifierait de reprendre | Une nouvelle méthode qui envoie à une personne chaque billet exigeant une intervention humaine, sur un nouveau jeu réservé |
Le cours MLOps et LLMOps : exploiter l’IA en production utilise la même règle après un incident. Dans Tirer des leçons après un incident, il cherche la décision qui a échoué, pas la personne.
Protéger la concentration de l’équipe
Section intitulée « Protéger la concentration de l’équipe »Le travail d’IA attire deux types d’interruptions. Le premier est la demande de démonstration : « Pouvez-vous montrer l’assistant à notre directeur cet après-midi? » Une démonstration de quelques billets choisis à la main induit aussi en erreur, comme l’a montré Mener un projet pilote équitable. Les demandes vont donc au leader, pas à l’ingénieur. Les démonstrations ont lieu seulement dans la plage fixe, avec des exemples consignés et des échecs.
Le deuxième est « juste un modèle de plus ». Un nouveau modèle apparaît, et quelqu’un veut l’essayer aujourd’hui. Traitez-le comme une nouvelle expérience : il lui faut une question, une durée limite et un critère d’arrêt. Il attend la planification du lundi. Posez d’abord une question : « S’il gagne, quelle décision changerions-nous? » Si la réponse est « aucune », il peut attendre.
Exploitation et garde une fois la fonctionnalité en production
Section intitulée « Exploitation et garde une fois la fonctionnalité en production »Après le lancement, quelqu’un doit agir quand le service tombe en panne. Être de garde signifie être la première personne appelée pendant une période définie, généralement une semaine. Dans le cours sur le MLOps, Larkfield a désigné un responsable et un remplaçant pour chaque partie du service. Amira est appelée en premier pour trois de ses sept objectifs (Responsabilité et soutien). C’est raisonnable pour une alerte, mais lourd semaine après semaine.
Partagez la charge avec trois règles. D’abord, une rotation : au moins trois personnes se relaient, une semaine chacune, avec un remplaçant désigné. Ensuite, une semaine de garde compte comme du travail. Prévoyez environ quatre heures d’alertes et de vérifications dans une semaine calme (une hypothèse; mesurez votre propre charge). Planifiez moins de travail d’expérimentation pour cette personne cette semaine-là et accordez du temps de récupération après un appel nocturne. Enfin, la rotation exige des étapes écrites pour chaque alerte, afin qu’une nouvelle personne puisse agir. Le cours sur le MLOps les appelle des guides d’exploitation. Une alerte qui revient sans cesse entre dans la planification du lundi comme un problème à corriger.
Les signes d’une équipe bloquée
Section intitulée « Les signes d’une équipe bloquée »Une équipe bloquée semble encore occupée. Surveillez ces signes :
| Signe | Ce que vous voyez | Ce que fait le leader |
|---|---|---|
| Aucune décision d’arrêt | Chaque durée limite se termine par « encore deux semaines » | Prendre la décision au jour prévu : continuer, changer ou arrêter. Aucune expérience ne commence sans critère d’arrêt |
| Ajustements sans fin | La même requête change pendant des semaines; le score monte et descend | Demander l’intervalle, comme dans Examiner un travail que vous ne savez pas produire. Si le changement reste dans le bruit, arrêter ou essayer une autre idée |
| Personne ne lit les erreurs | Les réunions montrent seulement des moyennes et des couleurs | Reprendre la séance d’analyse des erreurs : 20 échecs, choisis selon une règle, avec l’expert du domaine |
| Une personne porte le service | Le même nom sur chaque alerte | Démarrer la rotation, avec des guides d’exploitation et un remplaçant |
Chaque signe révèle une décision manquante, donc le leader agit. Une équipe arrête rarement son propre travail : arrêter donne l’impression d’échouer.
Discussion : une date pour le directeur?
Section intitulée « Discussion : une date pour le directeur? »Le directeur de Nadia demande : « Quand l’assistant pourra-t-il envoyer des réponses sans qu’une personne les vérifie? »
- Omar : « Donnez une date. Dites trois mois. Une échéance pousse l’équipe à travailler plus fort. »
- Priya : « On ne peut pas promettre une qualité. Ne donnez aucune date. »
- Kwame : « Donnez la date de la prochaine décision, et dites quelles preuves il faut. »
- Tomás : « Et qui s’occupe des alertes pendant ce temps? J’ai été de garde quatre semaines de suite. » (construit)
Avant de poursuivre, répondez à ces questions :
- Que peut honnêtement promettre Nadia avec une date?
- Que pourrait provoquer l’échéance d’Omar?
- Qu’est-ce que le point soulevé par Tomás change dans le plan?
La réponse du cours. Promettez une date pour une décision, pas pour une qualité. Kwame a raison : « Dans trois mois, nous déciderons, avec les preuves de la barrière, si l’assistant monte d’un niveau. S’il échoue, nous dirons ce que nous essayons ensuite, ou nous arrêterons. » L’échéance d’Omar encourage les ajustements visant le score. Le juge consigné préférait la moins bonne requête 126 fois contre 48. Priya a partiellement raison : aucune qualité ne peut être promise, mais une date de décision est honnête. Le point de Tomás est un problème de charge. Sans correction, le plan est une fiction. Démarrez une rotation d’au moins trois personnes avec un remplaçant et planifiez moins d’expérimentation chaque semaine de garde.
Ce qui changerait la réponse : si les preuves avaient déjà franchi la barrière sur un nouveau jeu réservé, une date de lancement serait raisonnable. Pour le travail au résultat connu, comme un nouvel écran de révision, une date de livraison est la bonne promesse.
Quand utiliser cette approche, et ce qu’elle coûte
Section intitulée « Quand utiliser cette approche, et ce qu’elle coûte »Utilisez-la dès la première expérience et ajoutez les règles de garde le jour de la mise en production du service. Ne fixez pas d’objectifs d’apprentissage pour le travail dont le résultat est connu : il nécessite une date de livraison normale. Ne transformez pas les rencontres individuelles en réunions d’avancement. Ce qu’elle coûte : pour le leader, 30 minutes par personne toutes les deux semaines. Cela représente environ deux heures par semaine pour une équipe de huit. Pour chaque personne, environ une heure par semaine de planification et de revue.
Erreur courante
Du blâme après une expérience ratée
Symptôme : après une expérience ratée, les trois rapports suivants montrent seulement de bons résultats. Personne ne mentionne ce qui n’a pas fonctionné.
Cause : le dernier échec a été discuté en demandant « à qui la faute? » Les gens ont appris à cacher les résultats négatifs.
Correction : à la prochaine revue, remerciez la personne pour le résultat négatif et demandez ce que l’équipe a appris. Consignez-le dans une fiche de décision, avec la condition qui justifierait de reprendre.
Erreur courante
Une personne gère toutes les alertes
Symptôme : les expériences de Tomás prennent du retard chaque semaine, et il répond aux alertes la nuit.
Cause : il n’y a aucune rotation, et le temps de garde ne compte pas comme du travail. Une seule personne connaît le service, donc toutes les alertes lui reviennent.
Correction : une rotation d’au moins trois personnes, une semaine chacune, avec un remplaçant et des guides d’exploitation. Chaque semaine de garde comprend moins de travail planifié.
À vous de jouer
Section intitulée « À vous de jouer »Planifiez une semaine pour l’équipe de Larkfield ou la vôtre. Écrivez quatre choses :
- Une expérience sous forme d’objectif d’apprentissage : sa question, sa durée limite et son critère d’arrêt.
- Le rythme des réunions de la semaine, avec les jours et les durées.
- La personne de garde et son remplaçant.
- L’ordre du jour d’une rencontre individuelle, avec l’action dont vous prévoyez être responsable.
Puis changez une condition : le directeur demande une démonstration en direct pour le conseil d’administration mercredi matin. Que changez-vous, et que gardez-vous?
Afficher une solution détaillée (équipe de Larkfield)
1. Objectif d’apprentissage. « En deux semaines, déterminer si une réponse qui copie la politique empêche les étapes inventées sur les 20 derniers exemples d’erreurs. Arrêter si moins de 10 s’améliorent, ou si un billet de sécurité perd sa réponse. » (Les nombres sont inventés pour cet exemple.)
2. Rythme. Planification lundi, 20 minutes. Matinées de concentration du mardi au jeudi. Revue des expériences jeudi, 30 minutes. La séance d’analyse des erreurs a lieu vendredi prochain, pendant 60 minutes, puis vient la plage de démonstration.
3. Garde. Mei cette semaine, Amira comme remplaçante. Tomás quitte la rotation pendant deux semaines après quatre semaines de suite. Le travail d’expérimentation de Mei est planifié sur trois jours, pas cinq.
4. Rencontre individuelle avec Tomás. Blocages : aucun. Apprentissages : le résultat de l’acheminement et ce qui justifierait de reprendre. Charge : les quatre semaines de garde et les appels nocturnes. Développement : il veut écrire le guide d’exploitation de l’alerte « aucune réponse ». Action de Nadia : publier d’ici mercredi la rotation de trois noms.
La démonstration au conseil. Garder les matinées de concentration et les dates de décision. Nadia, pas un ingénieur, prend la demande. Elle propose une démonstration enregistrée tirée du dossier de preuves : dix billets choisis selon une règle écrite, échecs inclus. Elle présente aussi le résultat de la barrière. Si le conseil doit la voir mercredi, elle déplace la plage de démonstration, pas la revue.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Omar écrit l'objectif « Porter la note du juge à 4,5 d'ici la fin du mois. » Reformulez-le en objectif d'apprentissage. Donnez deux raisons pour lesquelles la première version pose problème.
Afficher la réponse
Un objectif d’apprentissage : « En deux semaines, vérifier si le changement X améliore les réponses sur les données d’évaluation convenues. Ne manquer aucun billet de soutien lié à la sécurité. Arrêter si ce n’est pas le cas. » Il précise une question, les preuves, une durée limite et un point d’arrêt. La première version promet une qualité que personne ne contrôle. L’équipe fait donc des ajustements sans fin ou manque l’objectif. De plus, une note cible encourage les ajustements qui visent seulement cette note. Le juge enregistré, sans la politique, a préféré la moins bonne requête dans 126 des 200 paires.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Une expérience montre qu'un modèle moins coûteux ne transmet jamais de billet à une personne. Que dit le leader à l'équipe, et que consigne l'équipe?
Afficher la réponse
Le leader remercie l’équipe et lui demande ce qu’elle a appris. Il demande ce qui justifierait un nouvel essai et ce qu’elle arrête maintenant. Le leader ne demande pas qui a échoué : les reproches poussent les gens à cacher les résultats négatifs. L’équipe rédige une courte note de décision. Elle précise la question, les essais effectués, les billets utilisés, le résultat, la décision d’arrêter et la condition pour reprendre. Par exemple, une nouvelle méthode transmet à une personne chaque billet qui l’exige, sur de nouvelles données réservées à l’évaluation.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Nommez deux signes qu'une équipe d'IA est bloquée. Pour chacun, dites ce que fait le leader.
Afficher la réponse
Choisissez deux des signes suivants. Aucune décision d’arrêter : chaque période se termine par « encore deux semaines ». Le leader prend la décision à la date prévue et ne lance aucune expérience sans point d’arrêt. Ajustements sans fin : la note monte et descend pendant des semaines. Le leader demande l’étendue des résultats et arrête les changements dont l’effet reste dans le bruit. Personne ne lit les erreurs : le leader relance la séance d’analyse des erreurs avec des échecs choisis selon une règle. Une seule personne assume le service : le leader organise une rotation avec des guides d’exploitation et une personne de relève.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Pour le travail incertain, fixez des objectifs d’apprentissage : une question, les preuves, une durée limite et un point d’arrêt. Fixez des dates pour les décisions, pas pour la qualité.
- Un rythme hebdomadaire : courte planification le lundi, matinées de travail concentré et revue des expériences le jeudi. Un vendredi sur deux, prévoyez la séance d’analyse des erreurs et l’unique plage de démonstration.
- Une rencontre individuelle aborde les obstacles, les apprentissages, la charge de travail et le développement de la personne. Elle se termine par une action pour le leader.
- Un résultat négatif issu d’une expérience bien menée représente un progrès. Demandez ce que l’équipe a appris, jamais qui a échoué, et consignez-le.
- Une fois la fonctionnalité en production, partagez la garde entre au moins trois personnes. Comptez-la comme du travail et rédigez des guides d’exploitation.
- Une équipe bloquée ne décide jamais d’arrêter, ajuste sans fin, ne lit aucune erreur ou laisse une personne assumer le service. Chaque signe appelle une décision du leader.
Ensuite, vous aidez vos spécialistes à se développer et vous les gardez.
Leçon suivante : Faire grandir et garder les spécialistes de l'IA