Aller au contenu
English

Diriger une équipe d'IA au quotidien

  • Leçon 18
  • 30 min
  • Module 5 : Bâtir et diriger une équipe d'IA

Où nous en sommes

Dans la leçon précédente, nous avons donné à l'équipe des rituels pour les revues et les décisions. Mais la semaine elle-même reste difficile à diriger quand personne ne connaît le résultat d'avance. Dans cette leçon, nous fixons des objectifs que l'équipe peut atteindre honnêtement, nous gardons un rythme court de rencontres, nous partageons la charge de garde et nous voyons tôt quand l'équipe est bloquée, comme une jardinière qui essaie trois nouvelles sortes de tomates.

Ce que vous saurez faire

Dirigez le travail d’IA semaine après semaine quand personne ne connaît le résultat d’avance. Fixez des objectifs que l’équipe peut atteindre honnêtement et gardez un rythme de réunions court. Partagez la charge du service en production et repérez tôt les blocages de l’équipe.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 30 minutes

Ce que vous devez savoir

Ce qu’il vous faut

  • Un document pour vos notes. Cette leçon n’a pas de modèle : dans « À vous de jouer », vous planifiez une semaine pour l’équipe de Larkfield ou la vôtre.

Les heures des réunions, l’ordre du jour et les situations de cette leçon sont inventés pour le cours. Ce sont les recommandations du cours, avec une raison pour chacune, et non des résultats mesurés.

Une jardinière essaie trois nouvelles variétés de tomates. Elle ne sait pas laquelle poussera dans son sol. Elle ne promet donc pas « vingt tomates le 1er juillet ». Elle promet quelque chose qu’elle contrôle : « J’essaie trois variétés dans de petits pots pendant quatre semaines. Ensuite, je garde la meilleure et j’arrache les autres. »

Chaque lundi, elle parcourt les rangs et note ce qui a poussé. Quand une variété meurt, elle note pourquoi, sans blâme : trop d’ombre. Et elle dit non au voisin qui veut une visite chaque après-midi.

Le problème : une semaine de gestion qui ne convient pas

Section intitulée « Le problème : une semaine de gestion qui ne convient pas »

Omar dirigeait auparavant une équipe Web. Ses objectifs étaient des objectifs de livraison : « la nouvelle page des retours sera en ligne vendredi ». Cela fonctionne quand l’équipe sait à quoi ressemble le travail terminé.

Imaginez Omar avec l’équipe d’IA (une situation construite). Il fixe un objectif du même genre à Priya : « Faire monter le score du juge à 4,5 avant la fin du sprint. » Priya ajuste la requête (prompt) pendant trois semaines. Le score monte un peu, puis baisse un peu. Personne ne décide d’arrêter, car l’objectif n’a aucun critère d’arrêt. Pendant ce temps, d’autres équipes demandent trois démonstrations. Tomás répond à chaque alerte la nuit, car personne d’autre ne connaît le service.

L’objectif promettait un résultat que personne ne contrôle. La semaine ne prévoyait aucun moment pour décider d’arrêter. Et la charge revenait à la personne qui n’arrivait pas à dire non.

Un score cible présente un autre danger. Dans le cours sur l’évaluation, un juge sans la politique préférait la requête v3 dans 126 des 200 paires, contre 48 pour v2. Pourtant, v3 était la moins bonne requête (résultat consigné, Évaluer et tester les systèmes d’IA). Une équipe qui poursuit un score peut gagner sur le chiffre et perdre le client.

L’idée : des objectifs pour apprendre, des dates pour décider

Section intitulée « L’idée : des objectifs pour apprendre, des dates pour décider »

Pour le travail incertain, fixez un objectif d’apprentissage. Il nomme la question à laquelle l’équipe répondra et les preuves qui y répondent. Il a une durée limite et un critère d’arrêt. L’équipe contrôle ces trois éléments. Elle ne contrôle pas la qualité que la réponse aura finalement.

Un objectif de livraison lié à la qualité (à éviter) Un objectif d’apprentissage (à utiliser)
« Score du juge de 4,5 avant la fin du sprint. » « En deux semaines, déterminer si un rappel de la politique dans la requête empêche les étapes inventées. Utiliser les 20 derniers exemples d’erreurs. Arrêter si moins de la moitié s’améliorent. » (construit)
« L’assistant envoie des réponses seul dès le 1er mars. » « Le 1er mars, décider, avec les preuves de la barrière, si l’assistant monte d’un niveau sur l’échelle d’autonomie. »

La deuxième ligne montre que les dates ne disparaissent pas. Une date correspond à une décision, pas à un niveau de qualité. Pour le travail dont le résultat est connu, une date de livraison normale convient. C’est le cas d’un écran de révision dont la conception est convenue.

Placez les rituels de la dernière leçon dans une semaine, avec du temps pour planifier et se concentrer autour.

Quatre cases de gauche à droite. Lundi : planification, 20 minutes, question, durée limite et critère d'arrêt de chaque expérience. Mardi à jeudi : matinées de concentration sans réunions ni démonstrations; rencontres individuelles l'après-midi. Jeudi : revue des expériences, 30 minutes, continuer, changer ou arrêter. Un vendredi sur deux : analyse des erreurs, 60 minutes, puis l'unique plage de démonstration. Une flèche pointillée du vendredi au lundi : le lundi suivant, la planification s'appuie sur les apprentissages de l'équipe.
Une semaine pour une équipe d'IA (une suggestion pour une équipe de la taille de celle de Larkfield). L'ordre compte plus que les durées : planifier, se concentrer, faire la revue, apprendre des échecs.
Description textuelle du diagramme

La semaine commence lundi avec 20 minutes de planification. Pour chaque expérience, l’équipe écrit sa question, sa durée limite et son critère d’arrêt. Du mardi au jeudi, les matinées servent à se concentrer, sans réunions ni démonstrations. Les rencontres individuelles ont lieu l’après-midi. Jeudi, la revue des expériences décide pour chacune : continuer, changer ou arrêter. Un vendredi sur deux, la séance d’analyse des erreurs examine les échecs pendant 60 minutes. L’unique plage de démonstration suit cette séance. Le lundi suivant, la planification du travail s’appuie sur ce que l’équipe a appris.

Si une expérience n’a aucun critère d’arrêt lundi, elle ne commence pas. La revue du jeudi ajoute une règle à la revue des expériences : toute expérience dont la durée limite est atteinte reçoit une décision ce jour-là.

Une rencontre individuelle est une courte réunion privée entre le leader et une personne. Ce n’est pas un compte rendu d’avancement : elle sert à aborder ce qu’une réunion de groupe ne révèle pas. La personne choisit l’ordre du jour; le leader écoute et agit.

Cinq cases alignées. 1. Blocages, 5 minutes : qu'est-ce qui attend, et qui attend-on? Le leader élimine le blocage. 2. Apprentissages, 10 minutes : ce que la dernière expérience a appris, y compris ce qui n'a pas fonctionné. 3. Charge, 5 minutes : garde, démonstrations, demandes, heures. 4. Développement, 10 minutes : une compétence et la prochaine étape. Pour finir : le leader note une action, avec une date.
Un ordre du jour de rencontre individuelle de 30 minutes, toutes les deux semaines (une suggestion). Il se termine par une action dont le leader est responsable.
Description textuelle du diagramme

L’ordre du jour comprend quatre parties et une action. D’abord, les blocages, pendant cinq minutes : qu’est-ce qui attend, et qui attend-on? Le leader élimine le blocage. Ensuite, les apprentissages de la dernière expérience, pendant dix minutes, y compris ce qui n’a pas fonctionné. Troisièmement, la charge, pendant cinq minutes : garde, démonstrations, demandes et heures. Quatrièmement, le développement, pendant dix minutes : une compétence et la prochaine étape. Pour finir, le leader note une action, avec une date.

Voici un court exemple : la rencontre individuelle de Nadia avec Priya (construite). Blocages : les agents de Grace n’ont pas le temps d’étiqueter les nouveaux billets de soutien. Apprentissages : le rappel de la politique n’a empêché aucune étape inventée, mais une réponse qui copie la politique semble meilleure. Charge : deux demandes de démonstration cette semaine et trois soirées tardives. Développement : Priya veut animer seule la séance d’analyse des erreurs. Action de Nadia : demander à Grace, d’ici vendredi, quatre heures de travail d’agent par semaine. Elle envoie aussi les deux demandes de démonstration à la plage prévue.

Beaucoup d’expériences échouent; elles servent à repérer tôt les voies sans issue. Un résultat négatif issu d’une expérience bien menée est un progrès. Il répond à une question avec des preuves, pour que personne n’y consacre encore des mois.

Larkfield en a un bon exemple. Dans le cours sur le réglage fin, l’équipe a entraîné son propre petit modèle pour l’acheminement. Il a envoyé à une personne 0 des 23 billets de développement qui exigeaient une intervention humaine (résultat consigné, Réglage fin et adaptation des modèles d’IA). Le cours a décidé : ne pas le mettre en production. Aucun client ne l’a vu, et les preuves ont écarté la solution moins chère.

Quand une expérience échoue, le leader pose trois questions : « Qu’avons-nous appris? Qu’est-ce qui justifierait un nouvel essai? Qu’arrêtons-nous maintenant? » Ne demandez jamais « qui a échoué? » Une équipe blâmée pour des résultats négatifs cesse de les signaler, puis les répète. Consignez chaque expérience ratée dans une courte fiche de décision, comme dans la fiche de décision pour la requête v3 :

Quoi consigner Le modèle d’acheminement
La question Notre propre petit modèle peut-il acheminer les billets aussi bien que le modèle hébergé, à moindre coût?
L’essai et les preuves utilisées Un petit modèle avec réglage fin, sur les billets de développement et les billets réservés du jeu d’évaluation
Le résultat Souvent la bonne équipe; aucun billet envoyé à une personne, dans les deux jeux
La décision Arrêter. Garder le modèle hébergé
Ce qui justifierait de reprendre Une nouvelle méthode qui envoie à une personne chaque billet exigeant une intervention humaine, sur un nouveau jeu réservé

Le cours MLOps et LLMOps : exploiter l’IA en production utilise la même règle après un incident. Dans Tirer des leçons après un incident, il cherche la décision qui a échoué, pas la personne.

Le travail d’IA attire deux types d’interruptions. Le premier est la demande de démonstration : « Pouvez-vous montrer l’assistant à notre directeur cet après-midi? » Une démonstration de quelques billets choisis à la main induit aussi en erreur, comme l’a montré Mener un projet pilote équitable. Les demandes vont donc au leader, pas à l’ingénieur. Les démonstrations ont lieu seulement dans la plage fixe, avec des exemples consignés et des échecs.

Le deuxième est « juste un modèle de plus ». Un nouveau modèle apparaît, et quelqu’un veut l’essayer aujourd’hui. Traitez-le comme une nouvelle expérience : il lui faut une question, une durée limite et un critère d’arrêt. Il attend la planification du lundi. Posez d’abord une question : « S’il gagne, quelle décision changerions-nous? » Si la réponse est « aucune », il peut attendre.

Exploitation et garde une fois la fonctionnalité en production

Section intitulée « Exploitation et garde une fois la fonctionnalité en production »

Après le lancement, quelqu’un doit agir quand le service tombe en panne. Être de garde signifie être la première personne appelée pendant une période définie, généralement une semaine. Dans le cours sur le MLOps, Larkfield a désigné un responsable et un remplaçant pour chaque partie du service. Amira est appelée en premier pour trois de ses sept objectifs (Responsabilité et soutien). C’est raisonnable pour une alerte, mais lourd semaine après semaine.

Partagez la charge avec trois règles. D’abord, une rotation : au moins trois personnes se relaient, une semaine chacune, avec un remplaçant désigné. Ensuite, une semaine de garde compte comme du travail. Prévoyez environ quatre heures d’alertes et de vérifications dans une semaine calme (une hypothèse; mesurez votre propre charge). Planifiez moins de travail d’expérimentation pour cette personne cette semaine-là et accordez du temps de récupération après un appel nocturne. Enfin, la rotation exige des étapes écrites pour chaque alerte, afin qu’une nouvelle personne puisse agir. Le cours sur le MLOps les appelle des guides d’exploitation. Une alerte qui revient sans cesse entre dans la planification du lundi comme un problème à corriger.

Une équipe bloquée semble encore occupée. Surveillez ces signes :

Signe Ce que vous voyez Ce que fait le leader
Aucune décision d’arrêt Chaque durée limite se termine par « encore deux semaines » Prendre la décision au jour prévu : continuer, changer ou arrêter. Aucune expérience ne commence sans critère d’arrêt
Ajustements sans fin La même requête change pendant des semaines; le score monte et descend Demander l’intervalle, comme dans Examiner un travail que vous ne savez pas produire. Si le changement reste dans le bruit, arrêter ou essayer une autre idée
Personne ne lit les erreurs Les réunions montrent seulement des moyennes et des couleurs Reprendre la séance d’analyse des erreurs : 20 échecs, choisis selon une règle, avec l’expert du domaine
Une personne porte le service Le même nom sur chaque alerte Démarrer la rotation, avec des guides d’exploitation et un remplaçant

Chaque signe révèle une décision manquante, donc le leader agit. Une équipe arrête rarement son propre travail : arrêter donne l’impression d’échouer.

Le directeur de Nadia demande : « Quand l’assistant pourra-t-il envoyer des réponses sans qu’une personne les vérifie? »

  • Omar : « Donnez une date. Dites trois mois. Une échéance pousse l’équipe à travailler plus fort. »
  • Priya : « On ne peut pas promettre une qualité. Ne donnez aucune date. »
  • Kwame : « Donnez la date de la prochaine décision, et dites quelles preuves il faut. »
  • Tomás : « Et qui s’occupe des alertes pendant ce temps? J’ai été de garde quatre semaines de suite. » (construit)

Avant de poursuivre, répondez à ces questions :

  1. Que peut honnêtement promettre Nadia avec une date?
  2. Que pourrait provoquer l’échéance d’Omar?
  3. Qu’est-ce que le point soulevé par Tomás change dans le plan?

La réponse du cours. Promettez une date pour une décision, pas pour une qualité. Kwame a raison : « Dans trois mois, nous déciderons, avec les preuves de la barrière, si l’assistant monte d’un niveau. S’il échoue, nous dirons ce que nous essayons ensuite, ou nous arrêterons. » L’échéance d’Omar encourage les ajustements visant le score. Le juge consigné préférait la moins bonne requête 126 fois contre 48. Priya a partiellement raison : aucune qualité ne peut être promise, mais une date de décision est honnête. Le point de Tomás est un problème de charge. Sans correction, le plan est une fiction. Démarrez une rotation d’au moins trois personnes avec un remplaçant et planifiez moins d’expérimentation chaque semaine de garde.

Ce qui changerait la réponse : si les preuves avaient déjà franchi la barrière sur un nouveau jeu réservé, une date de lancement serait raisonnable. Pour le travail au résultat connu, comme un nouvel écran de révision, une date de livraison est la bonne promesse.

Utilisez-la dès la première expérience et ajoutez les règles de garde le jour de la mise en production du service. Ne fixez pas d’objectifs d’apprentissage pour le travail dont le résultat est connu : il nécessite une date de livraison normale. Ne transformez pas les rencontres individuelles en réunions d’avancement. Ce qu’elle coûte : pour le leader, 30 minutes par personne toutes les deux semaines. Cela représente environ deux heures par semaine pour une équipe de huit. Pour chaque personne, environ une heure par semaine de planification et de revue.

Erreur courante

Du blâme après une expérience ratée

Symptôme : après une expérience ratée, les trois rapports suivants montrent seulement de bons résultats. Personne ne mentionne ce qui n’a pas fonctionné.

Cause : le dernier échec a été discuté en demandant « à qui la faute? » Les gens ont appris à cacher les résultats négatifs.

Correction : à la prochaine revue, remerciez la personne pour le résultat négatif et demandez ce que l’équipe a appris. Consignez-le dans une fiche de décision, avec la condition qui justifierait de reprendre.

Erreur courante

Une personne gère toutes les alertes

Symptôme : les expériences de Tomás prennent du retard chaque semaine, et il répond aux alertes la nuit.

Cause : il n’y a aucune rotation, et le temps de garde ne compte pas comme du travail. Une seule personne connaît le service, donc toutes les alertes lui reviennent.

Correction : une rotation d’au moins trois personnes, une semaine chacune, avec un remplaçant et des guides d’exploitation. Chaque semaine de garde comprend moins de travail planifié.

Planifiez une semaine pour l’équipe de Larkfield ou la vôtre. Écrivez quatre choses :

  1. Une expérience sous forme d’objectif d’apprentissage : sa question, sa durée limite et son critère d’arrêt.
  2. Le rythme des réunions de la semaine, avec les jours et les durées.
  3. La personne de garde et son remplaçant.
  4. L’ordre du jour d’une rencontre individuelle, avec l’action dont vous prévoyez être responsable.

Puis changez une condition : le directeur demande une démonstration en direct pour le conseil d’administration mercredi matin. Que changez-vous, et que gardez-vous?

Afficher une solution détaillée (équipe de Larkfield)

1. Objectif d’apprentissage. « En deux semaines, déterminer si une réponse qui copie la politique empêche les étapes inventées sur les 20 derniers exemples d’erreurs. Arrêter si moins de 10 s’améliorent, ou si un billet de sécurité perd sa réponse. » (Les nombres sont inventés pour cet exemple.)

2. Rythme. Planification lundi, 20 minutes. Matinées de concentration du mardi au jeudi. Revue des expériences jeudi, 30 minutes. La séance d’analyse des erreurs a lieu vendredi prochain, pendant 60 minutes, puis vient la plage de démonstration.

3. Garde. Mei cette semaine, Amira comme remplaçante. Tomás quitte la rotation pendant deux semaines après quatre semaines de suite. Le travail d’expérimentation de Mei est planifié sur trois jours, pas cinq.

4. Rencontre individuelle avec Tomás. Blocages : aucun. Apprentissages : le résultat de l’acheminement et ce qui justifierait de reprendre. Charge : les quatre semaines de garde et les appels nocturnes. Développement : il veut écrire le guide d’exploitation de l’alerte « aucune réponse ». Action de Nadia : publier d’ici mercredi la rotation de trois noms.

La démonstration au conseil. Garder les matinées de concentration et les dates de décision. Nadia, pas un ingénieur, prend la demande. Elle propose une démonstration enregistrée tirée du dossier de preuves : dix billets choisis selon une règle écrite, échecs inclus. Elle présente aussi le résultat de la barrière. Si le conseil doit la voir mercredi, elle déplace la plage de démonstration, pas la revue.

Vérifiez votre compréhension

Omar écrit l'objectif « Porter la note du juge à 4,5 d'ici la fin du mois. » Reformulez-le en objectif d'apprentissage. Donnez deux raisons pour lesquelles la première version pose problème.

Afficher la réponse

Un objectif d’apprentissage : « En deux semaines, vérifier si le changement X améliore les réponses sur les données d’évaluation convenues. Ne manquer aucun billet de soutien lié à la sécurité. Arrêter si ce n’est pas le cas. » Il précise une question, les preuves, une durée limite et un point d’arrêt. La première version promet une qualité que personne ne contrôle. L’équipe fait donc des ajustements sans fin ou manque l’objectif. De plus, une note cible encourage les ajustements qui visent seulement cette note. Le juge enregistré, sans la politique, a préféré la moins bonne requête dans 126 des 200 paires.

Vérifiez votre compréhension

Une expérience montre qu'un modèle moins coûteux ne transmet jamais de billet à une personne. Que dit le leader à l'équipe, et que consigne l'équipe?

Afficher la réponse

Le leader remercie l’équipe et lui demande ce qu’elle a appris. Il demande ce qui justifierait un nouvel essai et ce qu’elle arrête maintenant. Le leader ne demande pas qui a échoué : les reproches poussent les gens à cacher les résultats négatifs. L’équipe rédige une courte note de décision. Elle précise la question, les essais effectués, les billets utilisés, le résultat, la décision d’arrêter et la condition pour reprendre. Par exemple, une nouvelle méthode transmet à une personne chaque billet qui l’exige, sur de nouvelles données réservées à l’évaluation.

Vérifiez votre compréhension

Nommez deux signes qu'une équipe d'IA est bloquée. Pour chacun, dites ce que fait le leader.

Afficher la réponse

Choisissez deux des signes suivants. Aucune décision d’arrêter : chaque période se termine par « encore deux semaines ». Le leader prend la décision à la date prévue et ne lance aucune expérience sans point d’arrêt. Ajustements sans fin : la note monte et descend pendant des semaines. Le leader demande l’étendue des résultats et arrête les changements dont l’effet reste dans le bruit. Personne ne lit les erreurs : le leader relance la séance d’analyse des erreurs avec des échecs choisis selon une règle. Une seule personne assume le service : le leader organise une rotation avec des guides d’exploitation et une personne de relève.

Récapitulatif

  • Pour le travail incertain, fixez des objectifs d’apprentissage : une question, les preuves, une durée limite et un point d’arrêt. Fixez des dates pour les décisions, pas pour la qualité.
  • Un rythme hebdomadaire : courte planification le lundi, matinées de travail concentré et revue des expériences le jeudi. Un vendredi sur deux, prévoyez la séance d’analyse des erreurs et l’unique plage de démonstration.
  • Une rencontre individuelle aborde les obstacles, les apprentissages, la charge de travail et le développement de la personne. Elle se termine par une action pour le leader.
  • Un résultat négatif issu d’une expérience bien menée représente un progrès. Demandez ce que l’équipe a appris, jamais qui a échoué, et consignez-le.
  • Une fois la fonctionnalité en production, partagez la garde entre au moins trois personnes. Comptez-la comme du travail et rédigez des guides d’exploitation.
  • Une équipe bloquée ne décide jamais d’arrêter, ajuste sans fin, ne lit aucune erreur ou laisse une personne assumer le service. Chaque signe appelle une décision du leader.

Ensuite, vous aidez vos spécialistes à se développer et vous les gardez.

Leçon suivante : Faire grandir et garder les spécialistes de l'IA