Rituels d'équipe et travail assisté par l'IA
- Leçon 17
- 30 min
- Module 5 : Bâtir et diriger une équipe d'IA
Où nous en sommes
Dans la leçon précédente, nous avons examiné une expérience avec une liste de vérification de dix lignes. Mais une bonne revue ne crée pas une habitude. Dans cette leçon, nous transformons les revues en rituels d'équipe : une revue d'expérience chaque semaine, une séance d'analyse des erreurs et un registre des décisions difficiles, et nous convenons de la façon dont l'équipe utilise les assistants de programmation. Nous commençons par une équipe de soccer qui regarde la vidéo de son match.
Leçon 17 sur 22 · Diriger des produits et des équipes d'IARituels d'équipe et travail assisté par l'IA
1. Décider où l'IA aide
2. Décider comment l'obtenir
3. Planifier dans l'incertitude
4. Concevoir pour les personnes
5. Bâtir et diriger une équipe d'IA
6. Gérer les risques, la gouvernance et un lancement responsable
Ce que vous saurez faire
Transformez les bonnes revues en habitudes d’équipe. Faites une courte revue d’expériences chaque semaine et examinez les échecs ensemble. Consignez les décisions difficiles à annuler et convenez de la façon dont l’équipe utilise les assistants de programmation.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- La liste de vérification en dix lignes pour les revues d’expériences, dans Examiner un travail que vous ne savez pas produire.
- La carte des rôles : qui décide, qui réalise le travail et qui est consulté, dans Les rôles de l’équipe à chaque étape.
Ce qu’il vous faut
- Les modèles
templates/decision-record.mdettemplates/ai-assisted-development-policy.md. - Pour l’exercice du module à la fin :
evidence/experiment-report.mdet la liste de vérification.
Le match en vidéo
Section intitulée « Le match en vidéo »Après un match, une équipe de soccer regarde la vidéo le lundi. L’entraîneuse ne se contente pas de lire le pointage. L’équipe regarde chaque but encaissé et les classe : ballon perdu au milieu du terrain, coup de coin, défenseur lent. Un type revient souvent, alors l’équipe s’y exerce cette semaine-là. Quand l’entraîneuse change la formation, elle écrit la raison dans le cahier de l’équipe. Un joueur qui arrive en mars peut lire pourquoi.
Le pointage seul ne dirait pas à l’équipe quoi pratiquer. Sans le cahier, l’équipe débat de la même formation chaque mois.
Le problème : une équipe qui oublie
Section intitulée « Le problème : une équipe qui oublie »Imaginez Larkfield trois mois après que la barrière a bloqué la requête v3 (une situation construite). Quelqu’un la propose à nouveau : « C’est la requête la plus courte, donc elle coûte moins cher. » Priya est en vacances et personne dans la salle ne se souvient du résultat sur les données réservées. La préférence du juge, 126 contre 48, figure encore dans une vieille diapositive. L’équipe consacre deux réunions au même débat.
Il manquait deux habitudes. Personne n’avait consigné la décision avec ses raisons. Personne n’examinait les échecs en équipe non plus. Le constat « les réponses chaleureuses inventent des étapes » restait donc dans la tête d’une seule personne.
L’idée : trois rituels d’équipe
Section intitulée « L’idée : trois rituels d’équipe »Un rituel désigne ici une courte réunion ou un document que l’équipe répète à un rythme fixe. Les revues ont alors lieu sans que quelqu’un doive penser à les demander. Trois rituels couvrent la plupart des besoins d’une équipe d’IA.
Description textuelle du diagramme
La revue d’expériences a lieu chaque semaine pendant 30 minutes. L’auteur présente les preuves et un réviseur utilise la liste de vérification. La séance d’analyse des erreurs a lieu toutes les deux semaines pendant 60 minutes. L’expert du domaine et l’équipe lisent 20 échecs et les classent par type. L’équipe rédige une fiche de décision quand un choix est difficile à annuler. Elle tient sur une page : le contexte, les options, la décision et le déclencheur de révision. Quand un déclencheur s’active ou qu’un nouveau résultat arrive, le cycle recommence par une revue d’expériences. Un nouveau type d’échec relevé pendant la séance d’analyse devient un nouveau cas de test.
La revue d’expériences reprend la liste de vérification de la dernière leçon, à jour fixe. L’auteur envoie les preuves la veille. Un réviseur qui n’a pas réalisé la modification les lit avec la liste de vérification. La réunion se termine par une ligne : accepter, demander plus d’éléments ou rejeter.
La séance d’analyse des erreurs est la vidéo de l’équipe. L’expert du domaine et les personnes qui développent le système lisent ensemble des échecs réels. Ils les classent par type et comptent chaque type. Choisissez les échecs selon une règle écrite, par exemple « les 20 premiers brouillons que les agents ont réécrits cette semaine ». Ainsi, personne ne choisit volontairement les pires ou les meilleurs.
La fiche de décision est le cahier de l’entraîneuse. Chaque décision difficile à annuler ou susceptible d’être remise en question plus tard occupe une page. Le modèle comprend cinq parties : contexte, options, décision, conséquences et révision.
Un petit exemple : une séance d’analyse des erreurs
Section intitulée « Un petit exemple : une séance d’analyse des erreurs »Grace, Priya et Tomás lisent les cinq exemples du dossier de preuves. Le dossier les a choisis selon des règles écrites. Voici comment l’équipe les classe :
| Billet de soutien | Ce qui a mal fonctionné | Type | Ce que cela coûte |
|---|---|---|---|
| T-64740 | La requête v3 n’a donné aucune réponse à un billet lié à la sécurité | Aucune réponse | Élevé : personne n’est averti |
| T-65350 | La requête v3 a inventé une « section des cartes enregistrées » | Étape inventée | Un client cherche une page qui n’existe pas |
| T-65479 | Le juge sans la politique a préféré une étape inventée | Juge induit en erreur | Caché : les scores semblent meilleurs que les réponses |
| T-65022 | La requête v2 a envoyé à une personne un billet de garantie de parasol | Fausse alerte (discutable) | Le temps d’un agent |
| T-65450 | La requête v2 n’a donné aucune réponse pour un retour d’article volumineux | Aucune réponse | Un client attend |
Comptez les types : aucune réponse 2, étape inventée 1, juge induit en erreur 1, fausse alerte 1. Cinq billets ne suffisent pas pour calculer des proportions, mais la séance donne déjà deux actions. Premièrement, chaque billet sans réponse doit être envoyé à une personne. Le cours MLOps et LLMOps : exploiter l’IA en production a ensuite modifié le service pour faire exactement cela. Deuxièmement, le juge doit toujours voir la politique. Chaque nouveau type devient aussi un cas de test dans les données d’évaluation.
Une fiche de décision pour la requête v3
Section intitulée « Une fiche de décision pour la requête v3 »Nadia demande à Priya de rédiger la fiche qui manquait à l’équipe. Voici une version courte, remplie à partir du modèle :
DR-001 : ne pas mettre la requête v3 en production. État : acceptée. Responsable de la décision : Nadia. Contexte : sur les 98 billets réservés, v3 a pris les deux bonnes décisions pour 83 billets, contre 94 pour v2. L’intervalle est entièrement sous zéro. v3 n’a donné aucune réponse à deux billets liés à la sécurité (T-64740, T-65663). Coût du modèle : 0,48 $ US contre 0,34 $ US par 1 000 billets (mesuré, cours d’évaluation). Options : mettre v3 en production; garder v2; essayer d’abord v3 sur une petite part des billets. Décision : garder la requête v2. Conséquences : les réponses restent moins chaleureuses; l’idée de chaleur exige une nouvelle version et un nouveau test. Révision : quand une nouvelle version répond à chaque billet et transmet à une personne chaque billet qui l’exige. La tester sur de nouvelles données réservées, avec au moins cinq exécutions.
La prochaine fois que quelqu’un dit « ça coûte moins cher », l’équipe lit une page au lieu de tenir deux réunions.
Travail assisté par l’IA : qui assume ce que l’assistant écrit
Section intitulée « Travail assisté par l’IA : qui assume ce que l’assistant écrit »La plupart des développeurs de Larkfield utilisent maintenant des assistants de programmation. Ces outils écrivent ou modifient du code à partir d’une demande en mots simples. Un leader n’a pas besoin d’en utiliser un. Mais l’équipe doit avoir une politique écrite à leur sujet, et le leader s’assure qu’elle existe.
Pensez à un nouveau collègue débutant qui rédige une lettre pour vous. Le brouillon peut être bon. Mais vous le lisez avant de signer, parce que votre nom y figure. La rapidité du collègue ne change pas qui est responsable.
Le cours Développement logiciel assisté par l’IA a documenté ce qui arrive sans cette attention. Un assistant a reçu deux fois la même fonctionnalité à développer. La première demande était vague : « Ajoutez une façon de filtrer le rapport par catégorie. » La deuxième était une tâche délimitée avec des critères d’acceptation écrits. Ce sont les vérifications que la modification doit réussir pour être considérée comme terminée.
Description textuelle du graphique
Deux colonnes sur un axe de 0 à 8. La demande vague : 4 vérifications d’acceptation réussies sur 8. Sa modification a touché 4 fichiers et ajouté 77 lignes, et ses propres tests ont réussi (29 passed). La tâche délimitée avec des critères d’acceptation : 8 réussies sur 8, avec 5 fichiers et 145 lignes ajoutées.
La demande vague a produit la plus petite modification, 77 lignes, et ses propres tests ont réussi. Elle a quand même échoué à la moitié des vérifications. La taille d’une modification et « les tests réussissent » disent peu de choses; les critères d’acceptation indiquent si elle est terminée. Le même cours a aussi demandé à un assistant d’écrire des tests pour une fonction existante contenant un bogue. Il a écrit 11 tests. 0 ont détecté le bogue, et 2 ont vérifié que le bogue était présent. Ces tests ont échoué après la correction. Un test qui copie le code ne peut qu’être d’accord avec le code. Le cours explique les deux résultats dans Problème et critères d’acceptation et Choisir des vérifications utiles.
La politique indique donc ce que l’assistant peut faire, ce qu’une personne doit vérifier et qui assume le résultat :
Description textuelle du diagramme
Le travail commence par une tâche avec des critères d’acceptation écrits. L’assistant peut écrire du code, des tests et des notes, et expliquer le code. Il peut aussi rédiger le texte de la demande de tirage (pull request), qui demande de fusionner une modification. Il ne peut pas voir les secrets, les données des clients ni les données personnelles. Il ne peut pas ajouter une nouvelle dépendance sans vérification par une personne. Il ne peut pas supprimer, déployer ou modifier des systèmes partagés sans qu’une personne approuve chaque étape. Avant la fusion, une personne vérifie cinq choses. Chaque critère d’acceptation est respecté. Un test échoue avant la modification et réussit après. Les tests vérifient l’exigence, pas une copie du code. Aucune modification n’est sans lien avec la tâche. Chaque nouvelle dépendance est vérifiée. Après la fusion, la personne qui a ouvert la demande de tirage assume la modification comme si elle avait écrit chaque ligne.
Discussion : interdire les assistants ou les laisser aussi écrire les tests?
Section intitulée « Discussion : interdire les assistants ou les laisser aussi écrire les tests? »Nadia demande à l’équipe de convenir d’une politique avant le lancement limité.
- Kwame : « Interdisons les assistants de programmation pour le code du service de soutien. On ne peut pas vérifier ce qu’ils font. »
- Amira : « Laissons l’assistant écrire les tests aussi. C’est beaucoup plus rapide, et les tests réussissent toujours. »
- Omar : « Pas de nouvelles règles, s’il vous plaît. On paie ces outils pour leur rapidité. »
- Sam : « Si l’assistant écrit un bogue, c’est la faute de qui? »
Avant de poursuivre votre lecture, répondez à ces questions :
- Que disent les preuves recueillies sur l’interdiction proposée par Kwame?
- Quel est le problème avec « les tests réussissent toujours »?
- Répondez à la question de Sam en une phrase.
La réponse du cours. N’interdisez pas les assistants. La tâche délimitée documentée a réussi les 8 vérifications. Le problème était la demande vague et l’absence de révision, pas l’outil. Autorisez-les dans le cadre de la politique ci-dessus. Les tests d’Amira présentent le risque. Un test écrit à partir du code est d’accord avec le code, bogues compris : aucun des 11 n’a détecté le bogue. Une personne écrit ou vérifie donc un test qui échoue avant la modification. Omar obtient sa rapidité, avec cinq vérifications qui prennent quelques minutes. La réponse à Sam : la personne qui ouvre la demande de tirage assume la modification. « L’assistant l’a écrit » n’est jamais une justification pendant une revue ou un incident.
Ce qui changerait la réponse : le code qui touche aux données des clients, aux paiements ou aux secrets exige des règles plus strictes. La section 6 du modèle précise alors les outils et comptes approuvés, et les données que chaque outil peut voir.
Quand utiliser ces rituels et ce qu’ils coûtent
Section intitulée « Quand utiliser ces rituels et ce qu’ils coûtent »Utilisez-les dès le projet pilote, quand il y a des preuves à examiner et des échecs à lire. Une équipe de deux peut faire les trois en une heure par semaine. Ne transformez pas la revue d’expériences en réunion de suivi, ni la séance d’analyse des erreurs en recherche d’un coupable. Le but est de repérer des types d’échec, pas des personnes. Ce qu’ils coûtent : environ deux heures de réunions par personne toutes les deux semaines, et une demi-heure par fiche de décision. La décision oubliée sur la requête v3 a coûté deux réunions à elle seule.
Erreur courante
La séance d'analyse des erreurs ne lit que les scores
Symptôme : l’équipe regarde un graphique des scores du juge toutes les deux semaines et ne trouve jamais de nouveau type d’échec.
Cause : personne ne lit les échecs eux-mêmes. Un score indique à quelle fréquence un problème survient, pas ce qui va mal.
Solution : lisez 20 échecs réels, choisis selon une règle écrite, avec l’expert du domaine dans la salle. Classez et comptez les types avant de regarder un score.
Erreur courante
Une politique que personne ne peut vérifier
Symptôme : la politique dit « utilisez les assistants de façon responsable ». Une demande de tirage contenant une nouvelle dépendance inconnue est fusionnée sans commentaire.
Cause : la politique nomme une valeur, pas des vérifications. Un réviseur ne peut pas voir si « de façon responsable » a été respecté.
Solution : formulez chaque règle comme une vérification qu’un réviseur peut constater dans la demande de tirage. Par exemple : chaque critère d’acceptation est respecté, et un test échoue avant la modification.
Exercice du module : examiner un rapport d’expérience
Section intitulée « Exercice du module : examiner un rapport d’expérience »L’exemple détaillé de cet exercice est la révision de la requête v3 par Nadia, dans Examiner un travail que vous ne savez pas produire. Maintenant, examinez vous-même un rapport.
Tomás, l’ingénieur en IA, a entraîné le petit modèle de Larkfield pour l’acheminement. Il choisit l’équipe pour chaque billet et décide si une personne doit le traiter. Tomás recommande de passer à ce modèle pour l’acheminement le mois prochain. Son rapport est evidence/experiment-report.md. Son texte est construit pour le cours. Ses chiffres sont consignés dans Réglage fin et adaptation des modèles d’IA.
Exercice guidé : les trois premières lignes
Section intitulée « Exercice guidé : les trois premières lignes »- Copiez la liste de vérification dans votre document.
- Lisez le rapport une fois, du début à la fin. Ne remplissez rien pour l’instant.
- Remplissez la ligne 1, la décision. Réponse attendue : « passer du modèle hébergé à notre propre modèle pour l’acheminement le mois prochain ». Le rapport l’indique.
- Remplissez la ligne 2, la référence de base. Cherchez le résultat du modèle hébergé sur les mêmes billets. Réponse attendue : absent. Le rapport donne le coût du modèle hébergé, mais pas ses résultats.
- Remplissez la ligne 3, les données d’évaluation. Réponse attendue : « 102 billets de développement ». Le rapport ne mentionne aucun billet réservé au test.
Vérifiez votre travail : vous avez trouvé une ligne, et deux lignes manquent. Une ligne manquante devient une question pour Tomás.
Travail autonome
Section intitulée « Travail autonome »Remplissez les lignes 4 à 10 sans aide. Ensuite, écrivez trois questions à Tomás et une décision : accepter, demander plus d’information ou rejeter. Nommez la preuve manquante la plus importante et expliquez pourquoi elle compte dans la décision.
Afficher une solution détaillée
| Ligne | Éléments trouvés |
|---|---|
| 1. La décision | Passer au petit modèle pour l’acheminement. Indiqué. |
| 2. Référence de base | Absente. Le modèle hébergé sur les mêmes billets : équipe 97 of 100, billets nécessitant une personne acheminés à une personne 23 of 23. Un modèle simple de comptage de mots : équipe 86 of 100. |
| 3. Données d’évaluation | Billets de développement seulement. Données réservées au test absentes. |
| 4. La mesure qui compte | Le format et l’équipe sont indiqués. « Nécessite une personne » est absent. La perte d’entraînement n’est pas un résultat pour l’utilisateur. |
| 5. Groupes | Absents : les billets liés à la sécurité et les billets en français ne sont pas présentés. |
| 6. Plage et exécutions | Absentes. |
| 7. Exemples d’erreurs | Absents. |
| 8. Coût | Frais du modèle seulement : économie de 8,53 $ US par mois. Le temps des personnes et l’ordinateur ne sont pas comptés. |
| 9. Éléments non testés | Non indiqués. |
| 10. Reproductibilité | Non indiquée. |
La preuve manquante la plus importante est la ligne 4 : les billets qui nécessitent une personne. Le cours Réglage fin et adaptation des modèles d’IA a consigné ce résultat :
Description textuelle du graphique
Trois colonnes, sur un axe de 0 à 23. Le modèle hébergé utilisé aujourd’hui : 23 of 23. Un modèle simple de comptage de mots : 6 of 23. Le modèle de Tomás : 0 of 23. Sur les billets réservés au test : modèle hébergé 24 of 24, comptage de mots 8 of 24, modèle de Tomás 0 of 24.
Le petit modèle n’achemine jamais un billet à une personne, même les billets liés à la sécurité. « Aucune fausse alerte » dans le rapport décrit le même fait, vu sous un autre angle. Un modèle qui ne dit jamais « oui » ne le dit jamais à tort.
Trois questions : 1. Quel résultat obtient le modèle hébergé sur les mêmes billets, y compris pour « nécessite une personne »? 2. Quels sont les résultats sur les billets réservés au test et par groupe (sécurité, français)? 3. Montrez dix billets qui nécessitaient une personne, avec les réponses du modèle.
Décision : rejeter le changement. L’économie est de 8,53 $ US par mois; le risque concerne chaque billet lié à la sécurité. Le cours Réglage fin et adaptation des modèles d’IA a conclu la même chose : ne pas livrer ce modèle. D’autres réponses sont défendables. Par exemple, « demander plus d’information » avec les trois questions, si la décision reste « aucun changement » jusqu’à l’arrivée des réponses.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Pourquoi une séance d'analyse des erreurs examine-t-elle des échecs choisis selon une règle écrite, plutôt que ceux dont quelqu'un se souvient?
Afficher la réponse
Une personne qui choisit les échecs à la main retient ceux qui marquent la mémoire : les pires, ou ceux qui appuient son avis. Le nombre d’échecs de chaque type en dit alors plus sur cette personne que sur le produit. Une règle écrite, comme « les 20 premiers brouillons que les agents ont réécrits cette semaine », donne un échantillon équitable. La séance suivante peut appliquer la même règle. Le dossier de preuves a choisi ses cinq exemples selon des règles pour la même raison.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Amira dit : « L'assistant a écrit onze tests et ils réussissent tous, donc le changement est sûr. » Que répondez-vous, à partir du résultat consigné?
Afficher la réponse
Des tests qui réussissent prouvent seulement que le code fait ce que les tests attendent. Quand un assistant écrit des tests à partir du code, ils reproduisent son comportement, y compris ses bogues. Dans le cours Développement logiciel assisté par l’IA, aucun des 11 tests générés n’a détecté le bogue. Deux tests vérifiaient même sa présence. Demandez un test qu’une personne a écrit ou vérifié à partir de l’exigence. Il doit échouer avant le changement et réussir après. Vérifiez aussi chaque critère d’acceptation.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Quelles décisions méritent une fiche de décision? Donnez un exemple chez Larkfield pour chaque type, et une décision qui n'en nécessite pas.
Afficher la réponse
Une fiche sert à consigner une décision difficile à annuler ou que quelqu’un remettra en question plus tard. Difficile à annuler : faire passer le service de soutien à un nouveau fournisseur de modèles, avec un contrat. Remise en question plus tard : ne pas publier la requête v3, que quelqu’un proposera de nouveau parce qu’elle semble moins chère. Aucune fiche nécessaire : la formulation d’un modèle de réponse, que n’importe qui peut rétablir en quelques minutes.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Vérification de fin de leçon. Dans le rapport d'expérience de Tomás, nommez une preuve manquante et expliquez son importance pour la décision de changer l'acheminement.
Afficher la réponse
Le résultat pour les billets qui nécessitent une personne (ligne 4) manque. C’est le plus important, car la décision porte sur l’acheminement. Un billet qui nécessite une personne, comme un billet lié à la sécurité, doit lui parvenir. Le cours Réglage fin et adaptation des modèles d’IA a consigné 0 sur 23 pour les données de développement. Il a consigné 0 sur 24 pour les données réservées au test : le modèle n’achemine jamais un billet à une personne. L’économie est de 8,53 $ US par mois. La ligne manquante cache donc un risque bien plus grand que le gain. Autres bonnes réponses : la référence de base absente (modèle hébergé : 23 sur 23, et la bonne équipe pour 97 sur 100), ou les données réservées au test absentes.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
Cette leçon
- Trois rituels maintiennent les révisions. Une révision hebdomadaire des expériences utilise la liste de vérification. Une séance d’analyse des erreurs examine et classe les échecs toutes les deux semaines. Une fiche de décision consigne chaque décision difficile à annuler.
- Une politique de développement assisté par l’IA précise ce que les assistants peuvent faire et ce qu’une personne vérifie. Elle précise aussi que l’auteur est responsable du changement. Résultats consignés : une demande vague a réussi 4 vérifications sur 8, une demande délimitée, 8 sur 8. Aucun des 11 tests générés n’a détecté le bogue.
Module 5
- Une carte des rôles désigne une personne qui décide à chaque étape, et sépare la personne qui construit de celle qui évalue. Elle attribue aussi la responsabilité de l’adoption et de l’exploitation.
- Un profil de rôle part du travail; un échantillon de travail évalué avec une grille le vérifie. Pour le travail hebdomadaire, on développe les compétences ou on recrute; pour un projet, on emprunte du personnel.
- Vous examinez le travail d’IA sans code : dix lignes de preuves, puis accepter, demander plus d’information ou rejeter. Le rapport de Tomás cache le résultat qui compte : 0 des 23 billets nécessitant une personne lui sont parvenus.
Ensuite, vous dirigez l’équipe semaine après semaine : objectifs pour le travail incertain, rencontres individuelles, expériences échouées et charge de garde.
Leçon suivante : Diriger une équipe d'IA au quotidien