Aller au contenu
English

Examiner un travail que vous ne savez pas produire

  • Leçon 16
  • 30 min
  • Module 5 : Bâtir et diriger une équipe d'IA

Où nous en sommes

Dans les deux leçons précédentes, nous avons cartographié les rôles et appris à pourvoir un rôle manquant. Comme leader, vous devez aussi juger le travail d'IA de votre équipe, souvent sans lire son code. Dans cette leçon, nous examinons une expérience avec dix éléments de preuve, et nous décidons d'accepter, de demander plus ou de rejeter, comme un acheteur qui lit le rapport d'un inspecteur en bâtiment.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité

Ce que vous saurez faire

Examinez une expérience d’IA, une démonstration ou une proposition sans lire son code. Demandez dix éléments de preuve, examinez-les et décidez : accepter, en demander davantage ou rejeter.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 30 minutes

Ce que vous devez savoir

Ce qu’il vous faut

Vous voulez acheter une maison, mais vous ne savez pas en construire une. Un inspecteur vous remet un rapport : « La maison est en bon état. » Vous ne pourriez pas construire la maison, ni vérifier vous-même son câblage. Mais vous savez quelles questions poser sur le rapport. Dans quelles pièces l’inspecteur est-il entré? Est-il monté sur le toit, ou l’a-t-il regardé depuis la rue? À quoi a-t-il comparé la maison? Un deuxième inspecteur a-t-il observé les mêmes choses? Qu’est-ce que le rapport n’a pas vérifié? Combien coûteront les réparations qu’il indique sur une année?

Aucune de ces questions ne vous demande de construire quoi que ce soit. Chacune demande une preuve que quelqu’un d’autre peut produire. Un bon rapport y répond facilement. Un rapport qui ne peut pas y répondre vous apprend aussi quelque chose.

Omar présente à Nadia une démonstration et une diapositive sur la requête v3, la nouvelle version des instructions écrites de l’assistant. Dans la démonstration, les réponses de v3 sont plus chaleureuses et plus longues. La diapositive indique :

Requête v3 : plus courte et plus chaleureuse. La requête au modèle est plus courte : 1 477 jetons (tokens, des morceaux de mots) contre 1 902. Un modèle juge a comparé les deux réponses aux mêmes billets de soutien. Il a préféré la réponse de v3 126 fois contre 48.

Chaque nombre sur la diapositive est vrai. Tous sont consignés dans le cours Évaluer et tester les systèmes d’IA. Un leader qui approuve sur la base de cette diapositive livre une version dangereuse. Lors d’une simulation dans le cours MLOps et LLMOps : exploiter l’IA en production, elle a laissé 186 billets sur 1 798 sans réponse. Dix billets qui nécessitaient une personne n’ont été transmis à personne. (Les réponses sont consignées; la semaine est une situation construite pour ce cours.)

Nadia ne sait pas lire les fichiers de requêtes ni les scripts d’évaluation. Elle n’en a pas besoin. Vous n’avez pas non plus besoin de refaire le câblage pour lire le rapport de l’inspecteur.

Une révision d’expérience est une courte réunion, ou un échange écrit, avant une décision. Quelqu’un qui n’a pas fait le travail y vérifie les preuves d’un résultat. Le réviseur ne refait pas le travail. Il demande les éléments de preuve que tout résultat solide comporte, les examine et décide.

La liste de vérification du cours comporte dix lignes réparties en quatre groupes. Aucune ne demande de connaissances techniques.

Quatre groupes de cases. Pourquoi : 1 la décision. Par rapport à quoi : 2 la référence de base, 3 le jeu d'évaluation, 4 la mesure qui compte pour les utilisateurs. Quel degré de certitude : 5 les groupes de cas rares et risqués, 6 l'intervalle et le nombre d'exécutions, 7 cinq exemples d'erreurs réels lus par une personne. Ce que cela coûte et cache : 8 coût par unité et par mois, avec le temps des personnes, 9 ce qui n'a pas été testé, 10 peut-on le répéter. En dessous, une case sombre : décision, accepter, en demander davantage ou rejeter; une ligne manquante est une question, pas un échec.
Les dix lignes de la liste de vérification d'une expérience, en quatre groupes. Chaque ligne demande une preuve que l'auteur peut produire; aucune ne vous demande de lire du code.
Description textuelle du diagramme

Pourquoi : ligne 1, la décision. Que ferons-nous différemment si le résultat est bon ou mauvais? Par rapport à quoi : ligne 2, la référence de base, la méthode actuelle sur les mêmes exemples. Ligne 3, le jeu d’évaluation : quels exemples, combien, qui les a étiquetés et ont-ils été gardés à part? Ligne 4, la mesure qui compte pour les utilisateurs. Quel degré de certitude : ligne 5, les résultats pour les groupes rares et risqués. Ligne 6, l’intervalle, le nombre d’exemples et le nombre d’exécutions. Ligne 7, au moins cinq échecs réels, lus par une personne. Ce que cela coûte et cache : ligne 8, le coût par unité et par mois, avec le temps des personnes. Ligne 9, ce qui n’a pas été testé. Ligne 10, la possibilité pour quelqu’un de le répéter. La révision se termine par une décision : accepter, en demander davantage ou rejeter. Une ligne manquante est une question, pas un échec.

Vous connaissez déjà les mots de la liste. La référence de base est la méthode actuelle, présentée dans Les problèmes avant les outils. Sans elle, « 86 sur 100 » ne veut rien dire. Le jeu d’évaluation et ses données réservées viennent de Mener un projet pilote équitable. L’intervalle vient de Définir la fin du travail avec des preuves. La liste les place dans l’ordre où un réviseur les demande.

Un fournisseur vous montre cinq courriels de clients et cinq excellents brouillons, puis affirme : « Ça fonctionne. » Parcourez mentalement la liste. Ligne 2 : il n’y a pas de référence de base. Ligne 3 : cinq exemples, choisis par le fournisseur, qui n’ont pas été gardés à part. Ligne 6 : une seule exécution sur cinq exemples ne vous apprend pas grand-chose. Ligne 7 : aucun échec présenté, donc vous ne savez pas à quoi ressemble un échec. Quatre questions, sans code. Vous ne rejetez pas le fournisseur. Vous demandez le même test sur 100 de vos propres courriels, avec les réponses actuelles comme référence de base.

Nadia demande à Priya les preuves derrière la diapositive et reçoit le dossier d’évaluation. Voici sa révision. Chaque nombre est consigné dans le cours d’évaluation, sauf lorsqu’une étiquette indique le contraire.

Nº Ligne Ce que Nadia a trouvé
1 La décision Remplacer la requête v2 par v3 pour tous les billets. Décision énoncée.
2 La référence de base Requête v2, sur les mêmes billets. Sur les 98 billets réservés : deux décisions correctes pour 94 billets (v2) contre 83 (v3). La diapositive n’avait aucune ligne sur la référence de base.
3 Le jeu d’évaluation 102 billets de développement et 98 billets réservés, inventés et étiquetés par une personne selon la politique de Grace. Les billets réservés ont été gardés à part.
4 La mesure qui compte Billets nécessitant une personne et transmis à une personne : 24 sur 24 (v2) contre 23 sur 24 (v3). Billets avec une réponse : 98 contre 90 sur 98. Le juge de la diapositive n’a vu aucune politique; avec la politique, il a donné une note inférieure à v3 : 3,87 contre 4,48 sur 5.
5 Les groupes Deux décisions correctes, v2 contre v3 : billets à la limite des critères, 93 % contre 82 %; difficiles, 92 % contre 80 %; « la politique n’a pas de réponse », 70 % contre 56 %.
6 L’intervalle et les exécutions Voir les deux graphiques ci-dessous.
7 Exemples d’erreurs T-64740 : aucune réponse à un billet de sécurité (un parasol tombé vers un enfant). T-65350 : une réponse chaleureuse qui invente une « section des cartes enregistrées ».
8 Coût Coût du modèle par 1 000 billets : 0,34 $ US (v2) contre 0,48 $ US (v3). V3 est donc plus chère, pas moins chère. En temps des agents, v3 coûte environ 475 $ US de plus par 1 000 billets avec un brouillon. Prévoir la révision humaine dès la conception l’a calculé à partir de notes consignées et de durées supposées en minutes.
9 Ce qui n’a pas été testé De vrais clients, le temps réel de révision des agents, une deuxième personne pour l’étiquetage.
10 Possibilité de répéter Oui : la version du jeu de données et chaque réponse sont sauvegardées.

La ligne 6 a besoin d’une image. D’abord, l’intervalle de la différence pour « deux décisions correctes », v3 moins v2 :

La différence entre les requêtes v3 et v2, avec son intervalle à 95 %. Sur les billets de développement seulement, l'intervalle traverse zéro. Sur les billets réservés et les deux groupes réunis, tout l'intervalle est sous zéro (consigné).
Description textuelle du graphique

Trois lignes, avec une ligne pointillée à zéro, soit aucune différence. Billets de développement (102) : −0.059, intervalle de −0.127 à +0.010; l’intervalle traverse zéro. Billets réservés (98) : −0.112, intervalle de −0.184 à −0.041; tout l’intervalle est sous zéro. Les deux groupes (200) : −0.085, intervalle de −0.135 à −0.030; tout l’intervalle est sous zéro.

Définir la fin du travail avec des preuves a interprété ces intervalles pour la barrière de mise en production. Pour un réviseur, un point compte : les billets de développement seuls ne montrent pas que v3 est moins bonne. Les billets réservés, eux, le montrent. Un petit test peut cacher une vraie différence. Demandez donc l’intervalle, pas seulement la moyenne. Le cours d’évaluation explique comment calculer un intervalle dans Incertitude et sous-groupes.

Ensuite, le nombre d’exécutions. Le modèle ne donne pas toujours la même réponse, comme l’a montré Ce que l’IA fait bien et mal. L’équipe a donc traité les 102 billets de développement cinq fois avec chaque requête :

Cinq exécutions du même test. Toutes les exécutions de la requête v2 obtiennent une note supérieure à celles de v3. La requête v3 a laissé un billet nécessitant une personne sans réponse dans seulement deux des cinq exécutions (consigné).
Description textuelle du graphique

Requête v2 : 90, 96, 94, 92, 95 aux exécutions 1 à 5. Requête v3 : 84, 81, 76, 80, 81. La requête v3 n’a donné aucune réponse à 11, 16, 19, 14, 14 billets dans les cinq exécutions. Un billet nécessitant une personne n’a reçu aucune réponse à l’exécution 1 (T-64740) et à l’exécution 3 (T-81036). Cela ne s’est produit dans aucune autre exécution.

Chaque exécution de v2 obtient une note supérieure à chaque exécution de v3. Mais regardez l’échec le plus grave : un billet nécessitant une personne, sans réponse. Il n’est apparu que dans deux des cinq exécutions. Une seule exécution aurait pu le manquer. Quand un rapport indique « aucun problème trouvé », demandez combien de fois le test a été exécuté.

Les modèles changent vite. Ces nombres décrivent donc un seul modèle à un moment précis. La liste de vérification reste utile.

Discussion : approuver, en demander davantage ou rejeter?

Section intitulée « Discussion : approuver, en demander davantage ou rejeter? »

Nadia a terminé sa révision. L’équipe se réunit.

  • Omar : « Le juge a préféré v3 126 fois contre 48. Les clients aiment les réponses chaleureuses. Et la requête est plus courte, donc elle doit coûter moins cher. »
  • Tomás : « Sur les billets de développement, l’intervalle comprend zéro. Vous ne pouvez pas dire que v3 est moins bonne. »
  • Priya : « Les billets réservés montrent qu’elle est moins bonne. On les a gardés à part précisément pour cette décision. »
  • Grace : « Un seul billet de sécurité sans réponse, c’est déjà trop. Qui serait même au courant? Sans réponse, personne n’est averti. »

Avant de poursuivre votre lecture, répondez à ces questions :

  1. À quelles lignes de la liste la diapositive d’Omar répondait-elle?
  2. Tomás a-t-il raison? Que montre vraiment son argument?
  3. Quelle est votre décision et quelles sont vos trois questions à l’auteur?

La réponse du cours. La diapositive ne répondait bien à aucune des dix lignes. Elle n’avait ni référence de base ni groupes, et présentait un juge qui n’avait jamais vu la politique. Son affirmation sur le coût était fausse : la requête plus courte donnait une réponse plus longue, donc v3 coûte plus cher. Tomás a raison pour les billets de développement. Son argument montre pourquoi les billets réservés existent. Les billets de développement seuls sont trop peu nombreux pour révéler une différence de cette taille. Les billets réservés, examinés une seule fois, la montrent. Rejetez la mise en production de v3 dans son état actuel. Le billet de sécurité sans réponse (T-64740 et T-65663) est un obstacle bloquant. L’intervalle des billets réservés est entièrement sous zéro. Les trois questions de Nadia à l’équipe d’Omar : Pourquoi certains billets restent-ils sans réponse, et une modification règle-t-elle ce problème? Combien de temps les agents consacrent-ils à réécrire les brouillons de v3? Que devrait montrer une nouvelle version sur un nouveau jeu de données réservées?

Ce qui changerait la réponse : une nouvelle version qui répond à chaque billet et transmet chaque billet nécessitant une personne à une personne. Elle doit aussi obtenir une note au moins égale à v2 sur un nouveau jeu de données réservées. Cela doit être vrai sur au moins cinq exécutions. Il s’agit d’une nouvelle expérience et d’une nouvelle révision, pas d’un deuxième examen de celle-ci.

Utilisez-la pour chaque rapport d’expérience, démonstration, proposition de fournisseur et demande de mise en production qui exige une décision. Ne l’utilisez pas pour noter les personnes : une ligne manquante est une question à l’auteur, pas une pénalité. Pour un petit changement peu coûteux à annuler, les lignes 1, 2, 7 et 9 suffisent souvent. Ce qu’elle coûte : environ 30 minutes pour lire un rapport avec la liste. L’auteur aura besoin d’un jour ou deux pour combler les lacunes. La diapositive de cette leçon montre le coût de ne pas l’utiliser.

Erreur courante

Approuver sur la base de la moyenne

Symptôme : un rapport indique « décisions correctes : 84 sur 102 ». Le leader approuve, parce que 82 % semble bon.

Cause : un seul nombre, sans référence de base, sans groupes et sans intervalle. La moyenne cache les billets rares et risqués, où se trouve le coût.

Solution : demandez les lignes 2, 5 et 6 avant de décider : la méthode actuelle sur les mêmes billets, les résultats par groupe et l’intervalle.

Erreur courante

Demander à lire le code

Symptôme : un leader qui ne sait pas lire le code le demande « par prudence ». Il le lit pendant une heure, puis approuve parce qu’il « a l’air professionnel ».

Cause : la croyance que seule une personne capable de produire le travail peut l’examiner. Un code qui paraît propre ne dit rien sur le comportement du produit face à de vrais billets.

Solution : demandez plutôt les preuves. Un réviseur technique peut vérifier le code; le leader vérifie que le résultat permet de prendre la décision.

Changez une condition. Omar retire la comparaison du juge de la diapositive et la présente seule. « Un modèle juge performant a comparé v2 et v3 sur 200 billets. Il a préféré v3 126 fois, v2 48 fois, avec une égalité. » Utilisez les lignes 2, 4, 6 et 7 de la liste, ainsi que 2-error-examples.md du dossier (exemple 3). Que trouvez-vous et que demandez-vous?

Afficher une solution détaillée
  • Ligne 2, la référence de base : présente. Le juge a comparé v3 à v2, la version actuelle, sur les mêmes billets.
  • Ligne 4, la mesure qui compte : absente. Le juge n’a pas vu la politique de Grace. Il a donc récompensé la réponse qui semblait plus utile. Avec la politique, le même juge a donné une note inférieure à v3 : 3,87 contre 4,48 sur 5.
  • Ligne 6, l’intervalle : un avertissement. Le verdict du juge a changé selon l’ordre des deux réponses pour 25 paires sur 200.
  • Ligne 7, les exemples d’erreurs : exemple 3, billet T-65479. Sans la politique, le juge a préféré la réponse de v3, « connectez-vous et mettez à jour vos renseignements enregistrés », dans les deux ordres. Avec la politique, il a donné 2 à cette réponse, car la politique ne prévoit aucune étape de libre-service de ce genre.

Demandez : Que savait le juge de la politique? Comment ses notes se comparent-elles à celles d’une personne sur les mêmes réponses? Montrez-moi dix réponses où le juge a préféré v3.

Vérifiez votre compréhension

Un rapport dit « notre nouveau modèle choisit la bonne équipe pour 89 billets de soutien sur 100 ». Quelle ligne de la liste de vérification abordez-vous d'abord, et pourquoi?

Afficher la réponse

La ligne 2, la référence de base : quel résultat obtient la méthode actuelle sur les mêmes 100 billets? Sans cette comparaison, 89 sur 100 ne veut rien dire. Si la méthode actuelle en réussit 70, c’est une grande amélioration; si elle en réussit 97, c’est un recul. Ensuite, abordez la ligne 4 (« bonne équipe » est-elle la mesure qui compte pour les utilisateurs?) et la ligne 5 (les groupes rares et à risque).

Vérifiez votre compréhension

Prédisez : sur les 102 billets de développement, v3 moins v2 donne −0,059, avec un intervalle de −0,127 à +0,010. Que pouvez-vous conclure, et que demandez-vous?

Afficher la réponse

Vous ne pouvez pas conclure que v3 est moins bonne, ni qu’elle est aussi bonne. L’intervalle comprend zéro : ces billets sont donc trop peu nombreux pour montrer la différence. Demandez les billets réservés, qui ont été mis de côté pour la décision. Sur ces billets, l’intervalle va de −0,184 à −0,041, entièrement sous zéro : v3 est moins bonne. Vous pouvez aussi demander plus d’exécutions ou plus de billets, mais ne choisissez jamais le résultat que vous préférez.

Vérifiez votre compréhension

Une équipe rapporte « nous avons exécuté le test de sécurité et n'avons trouvé aucun problème ». Quelle ligne de la liste de vérification cela concerne-t-il, et que demandez-vous?

Afficher la réponse

La ligne 6, l’intervalle et les exécutions, et la ligne 5, les groupes. Demandez combien de fois le test a été exécuté, et sur combien de billets liés à la sécurité. Lors des cinq exécutions de Larkfield, un billet nécessitant une personne n’a reçu aucune réponse de la requête (prompt) v3 que dans deux exécutions. Une seule exécution aurait facilement pu montrer « aucun problème ». Demandez aussi la ligne 7, les exemples d’erreurs, pour qu’une personne lise les exemples d’échecs.

Récapitulatif

  • Vous n’avez pas besoin de lire du code pour examiner un travail d’IA. Une revue d’expérience demande les preuves nécessaires à tout résultat solide et mène à une décision : accepter, demander davantage ou rejeter.
  • La liste de vérification compte dix lignes en quatre groupes. Pourquoi : la décision. Comparé à quoi : référence de base, jeu d’évaluation, mesure qui compte. Quel degré de certitude : groupes, intervalle et exécutions, exemples d’erreurs. Ce que cela coûte et cache : coût, éléments non testés, reproductibilité.
  • La diapositive d’Omar était vraie et trompeuse. Elle n’avait aucune référence de base, et le juge n’avait pas la politique. Son affirmation sur le coût était fausse : 0,48 $ US contre 0,34 $ US par 1 000 billets.
  • Les billets de développement seuls ne pouvaient pas montrer que v3 est moins bonne (−0,127 à +0,010); les billets réservés le pouvaient (−0,184 à −0,041). L’échec le plus grave est apparu dans 2 exécutions sur 5.
  • Une ligne manquante est une question à poser à l’auteur, pas un échec.

Ensuite, vous faites des revues une habitude : revues d’expériences, séances d’analyse des erreurs et consignation des décisions, avec une politique pour les assistants de programmation.

Leçon suivante : Rituels d'équipe et travail assisté par l'IA