Aller au contenu
English

Pourquoi les plans d'IA sont différents

  • Leçon 8
  • 25 min
  • Module 3 : Planifier dans l'incertitude

Où nous en sommes

Dans le module 2, nous avons choisi comment obtenir l'IA et planifié un projet pilote équitable. Maintenant, nous planifions le travail. Mais personne ne sait si une fonction d'IA marche bien avant de l'essayer sur de vrais exemples, alors une date de lancement fixe promet ce que personne ne peut savoir. Dans cette leçon, nous planifions les premières étapes comme des expériences avec une limite de temps, comme un plat jamais essayé que l'on prépare pour des invités samedi.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité

Ce que vous saurez faire

Planifiez les premières étapes du travail d’IA comme des expériences limitées dans le temps. Personne ne sait si une fonctionnalité d’IA fonctionne bien avant de l’essayer sur des exemples réels. Une date de lancement fixe promet donc quelque chose que personne ne peut savoir.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 25 minutes

Ce que vous devez savoir

Ce que vous devez ouvrir

  • Le dossier de preuves du projet pilote de l’assistant de réponse au soutien de Larkfield, dans le matériel de pratique du cours : evidence/pilot-evidence-pack/README.md et 1-evaluation-results.md.

Vous lisez et décidez. Vous n’avez rien à installer ni à exécuter.

Vous invitez six amis à souper samedi. Vous voulez préparer un plat que vous n’avez jamais cuisiné. Vous pouvez promettre la date du souper. Vous ne pouvez pas promettre que le plat sera bon, puisque vous ne l’avez jamais goûté.

Une cuisinière prudente fait deux choses. Elle prépare le plat une fois mercredi, pour elle-même, et le goûte. Elle garde aussi les ingrédients de ses pâtes habituelles dans l’armoire. Si le plat du mercredi est raté, les invités du samedi mangent des pâtes, sans conséquence. Le test du mercredi a une durée fixe et une seule question : « Ce plat est-il assez bon pour mes invités? »

Pensez maintenant à une bibliothèque à assembler, livrée dans une boîte. Vous savez qu’elle tiendra debout une fois terminée. La seule question est le temps nécessaire. La plupart des travaux logiciels ressemblent à cette bibliothèque. L’équipe sait à quoi ressemble le travail « terminé » et sait qu’elle peut le réaliser. Le risque concerne le temps.

Le problème : le travail d’IA ressemble au nouveau plat

Section intitulée « Le problème : le travail d’IA ressemble au nouveau plat »

Une fonctionnalité d’IA ressemble au nouveau plat. Sa qualité reste inconnue jusqu’à ce qu’on l’essaie sur des exemples réels. Le résultat peut surprendre tout le monde, même les experts.

Larkfield l’a constaté avec la requête v3, la nouvelle instruction plus courte d’Omar, le gestionnaire de produit, pour l’assistant de réponse au soutien. Vous l’avez découverte dans Lire le dossier de preuves. Omar s’attendait à ce que v3 coûte moins cher, puisque sa requête est plus courte, et produise des réponses plus chaleureuses.

L’équipe a ensuite exécuté la requête actuelle v2 et la nouvelle v3 sur les mêmes 98 billets de test réservés. Ces billets de soutien étaient gardés à part pour la décision. Le tableau compare les attentes au résultat. Les résultats sont enregistrés dans le cours Évaluer et tester les systèmes d’IA.

Ce que le plan prévoyait Requête v2 (actuelle), enregistré Requête v3, enregistré
Mots dans la requête (jetons, médiane) moins 1,902 1,477
Mots écrits par le modèle, avec sa « réflexion » (jetons, médiane) non considéré 259 643
Coût du modèle pour 1 000 billets plus bas US$0.34 US$0.48
Temps avant une réponse (médiane) non considéré 2.8 s 5.6 s
Billets avec une réponse tous 98 sur 98 90 sur 98

La requête était plus courte, comme prévu. Mais le modèle a écrit plus du double avant de répondre. Le magasin paie chaque mot que le modèle écrit. La requête « moins chère » coûtait donc plus cher et était plus lente. Pire encore, sur l’ensemble des 271 billets de test, v3 n’a donné aucune réponse 25 fois. Deux de ces billets concernaient la sécurité : un parasol tombé vers un enfant et une poêle chaude et fissurée. Sans réponse, personne n’a été averti.

Personne dans l’équipe n’avait prévu ce résultat, et personne n’aurait pu le prévoir. Il venait du comportement d’un modèle avec une requête sur les billets de Larkfield. Aucun document de conception ne montre cela. Seul un test le montre.

Les modèles changent vite. Ces nombres enregistrés montrent un modèle à un moment précis, sur les billets de test inventés de Larkfield. La leçon qu’ils donnent reste valable.

Il y a trois raisons, et le dossier de preuves montre chacune d’elles.

Le résultat dépend de vos exemples. Un modèle qui rédige de bonnes réponses pour un magasin peut échouer avec les billets, politiques et langues d’un autre. La démonstration d’un fournisseur et l’expérience d’un ingénieur donnent un indice, pas un résultat.

Le même test donne des résultats différents. Un modèle ne donne pas la même réponse chaque fois. Vous l’avez vu dans Ce que l’IA fait bien et mal. L’équipe a exécuté les mêmes 102 billets de développement cinq fois avec chaque requête. Voici ces exécutions de nouveau, vues par une personne qui planifie le travail.

Les mêmes 102 billets de développement, cinq exécutions par requête. Chaque point représente une exécution. Résultats enregistrés dans le cours d'évaluation.
Description textuelle du graphique

Chaque point représente une exécution sur les mêmes 102 billets de développement. « Deux décisions correctes » signifie que l’assistant a choisi la bonne équipe et correctement décidé si une personne devait traiter le billet. Les cinq exécutions de la requête v2 ont obtenu 90, 96, 94, 92, 95. Les cinq exécutions de la requête v3 ont obtenu 84, 81, 76, 80, 81. Les deux groupes ne se chevauchent pas, mais les résultats de chaque requête varient de plusieurs billets entre les exécutions.

La requête v3 était moins bonne à chaque exécution. Mais regardez le pire échec : un billet qui exige une personne et ne reçoit aucune réponse. Il est apparu dans seulement 2 des 5 exécutions (exécutions 1 and 3), sur un billet différent chaque fois (T-64740 and T-81036). Une équipe qui aurait exécuté le test une fois aurait facilement pu ne voir aucun problème de sécurité.

Le monde après le lancement n’est pas le test. Les vrais billets apportent de nouveaux sujets et de nouveaux clients. Les billets de test sont inventés, et une seule personne leur a attribué des étiquettes. Un bon résultat de test est le début des preuves, pas la fin.

Les premières étapes du travail d’IA ne peuvent donc pas être « développer la fonctionnalité X pour la date Y ». Ce sont des questions, comme « La requête v3 peut-elle réduire le coût du modèle sans dégrader les décisions? » Le plan répond à la question avec des preuves, dans un délai fixe, puis mène à une décision.

Cette façon de faire a un nom. Une expérience est un petit travail qui répond à une question avec des preuves. Une période limitée est le temps fixe accordé à l’expérience. À la fin de cette période, l’équipe arrête et décide, que le travail soit terminé ou non. Trois décisions sont possibles : continuer vers l’étape suivante, changer l’approche et réessayer, ou arrêter et garder la façon de travailler actuelle. C’est le mercredi de la cuisinière : un temps fixe, une question et des pâtes dans l’armoire.

Deux plans. En haut, un plan de fonctionnalité à date fixe : développer la fonctionnalité, améliorer les réponses, lancer à la date prévue. La qualité est connue seulement ensuite, en rouge. En bas, un plan d'expérience limitée dans le temps : écrire d'abord une question et le résultat qui impose l'arrêt; essayer sur nos propres exemples pendant une période fixe; lire les preuves; décider. Après la décision, continuer mène à l'étape suivante, changer ramène à la question, et arrêter conserve la façon de travailler actuelle.
Un plan à date fixe révèle la qualité au lancement. Une expérience la révèle dans une période limitée, et les preuves déterminent l'étape suivante.
Description textuelle du diagramme

Le diagramme comporte deux rangées. La rangée du haut présente un plan de fonctionnalité à date fixe. Il comporte quatre étapes : développer la fonctionnalité, améliorer les réponses, lancer à la date prévue, puis, en rouge, « qualité connue seulement maintenant ». La rangée du bas présente un plan d’expérience limitée dans le temps. La première étape, en vert, est d’écrire d’abord une question et le résultat qui impose l’arrêt du travail. L’équipe essaie ensuite sur ses propres exemples pendant une période fixe, puis lit les preuves, aussi en vert. Enfin vient une décision avec trois sorties. « Continuer » mène à l’étape suivante. « Changer » ramène à la question. « Arrêter » conserve la façon de travailler actuelle.

Remarquez ce que l’expérience fixe et ce qu’elle laisse ouvert. Elle fixe le temps et le coût. Elle ne fixe pas le résultat. Un plan à date fixe fait l’inverse. Il fixe le résultat (« lancement ») et révèle la qualité en dernier, quand changer de direction coûte le plus cher.

Un petit exemple : une fiche d’expérience pour la requête v3

Section intitulée « Un petit exemple : une fiche d’expérience pour la requête v3 »

Avant le test, l’équipe aurait pu écrire l’expérience de v3 sur une fiche. La question, les preuves et le résultat viennent du dossier de preuves. La période limitée de deux semaines est construite pour cet exemple.

Partie de la fiche Requête v3
Question v3 réduit-elle le coût du modèle sans dégrader les décisions, et chaque billet de sécurité reçoit-il encore une réponse?
Période limitée Deux semaines (construit)
Preuves v2 et v3 sur les mêmes 102 billets de développement et 98 billets de test réservés : coût pour 1 000 billets, décisions, billets sans réponse
Résultat qui permet de continuer Coût plus bas, décisions non dégradées, réponse à chaque billet qui exige une personne
Résultat qui impose l’arrêt Un billet qui exige une personne ne reçoit aucune réponse
Ce qui s’est passé (enregistré) Coût US$0.34 → US$0.48; un billet de sécurité sans réponse. Arrêter.

La fiche a coûté deux semaines et les frais du modèle pour un test. L’arrêt n’a rien coûté de plus, car la requête v2 continuait de fonctionner. Comparez cela à la « semaine dernière » du dossier de preuves, une situation construite avec des réponses enregistrées. Quelqu’un y a changé un réglage, et v3 a répondu à tous les billets, sans test ni décision. Dix billets qui exigeaient une personne n’ont atteint personne, et le tableau de bord affichait 100,00 % de billets acceptés. Le test du mercredi échoue en privé. L’échec du samedi touche les clients.

Nadia est la nouvelle directrice des opérations clients de Larkfield. Elle est responsable des résultats de l’équipe de soutien et décide donc des changements à ses outils. Avant l’évaluation, Omar lui envoie un plan (construit) : « Requête v3 en service pour tous les billets d’ici la fin du mois. L’équipe de soutien et les finances veulent une date. »

  • Omar : « Sans date, rien ne se passe. Les finances planifient le budget en fonction de cette date. Les agents doivent savoir quand le changement arrive. »
  • Kwame, l’architecte de solutions : « On ne peut pas promettre la qualité. On peut promettre de savoir dans deux semaines. »
  • Grace, la responsable du soutien : « La date compte moins pour moi qu’une chose : chaque billet de sécurité doit encore atteindre une personne. »
  • Priya, la scientifique des données : « Et une seule exécution du test ne suffit pas. Le modèle donne des réponses différentes d’une exécution à l’autre. »

Avant de poursuivre votre lecture, répondez à ces questions :

  1. Que peut promettre Nadia aux finances et aux agents, et que ne peut-elle pas promettre?
  2. Que devraient produire les deux premières semaines?
  3. Quel résultat devrait imposer l’arrêt de la requête v3, peu importe les autres résultats?

La réponse du cours. Nadia promet une date de décision, pas une date de lancement. Dans deux semaines, elle dira « continuer », « changer » ou « arrêter », avec les preuves. Les finances obtiennent une date et une limite de coût pour l’expérience. Les agents apprennent que rien ne change avant la décision. Les deux semaines produisent une comparaison sur les mêmes billets, exécutée plusieurs fois, avec le résultat d’arrêt écrit d’abord. Un seul billet qui exige une personne et ne reçoit aucune réponse impose l’arrêt de v3. C’est le point de Grace, transformé en règle. Avec le résultat enregistré, la décision est « arrêter », et le magasin ne perd que deux semaines.

Ce qui changerait la réponse : si le changement ne concernait pas du tout l’IA, une date normale conviendrait. Un nouveau texte sur un bouton fixe d’une page d’aide en est un exemple. Son résultat est connu avant le début du travail. Une date devient aussi sûre plus tard, après les expériences. L’équipe connaît alors la qualité, et seul le travail restant est incertain.

Utilisez une expérience avec une période limitée quand la qualité est inconnue : nouveau modèle, nouvelle requête, nouvelles données ou nouvelle tâche. Planifiez le travail ordinaire comme d’habitude, avec des dates : formulaire, écran ou rapport autour d’un modèle déjà éprouvé. La plupart des plans d’IA combinent les deux. Fixez des dates pour les parties connues et des périodes limitées pour les parties inconnues.

Les expériences ont des coûts. Certaines personnes trouvent qu’un plan sans date de lancement est faible. Une expérience peut se terminer par « arrêter », et la période limitée n’a alors produit que des connaissances. L’équipe a aussi besoin d’exemples de test et d’une façon de les noter avant de commencer. Le cours d’évaluation enseigne comment les créer. Ces coûts sont faibles comparés à un lancement qui échoue devant les clients.

Erreur courante

Une période limitée qui ne finit jamais

Symptôme : le rapport de l’expérience dit « presque prêt, encore deux semaines » à chaque réunion. Le statut reste vert, et la date de fin change.

Cause : personne n’a écrit le résultat qui impose l’arrêt du travail, donc aucun résultat ne peut l’arrêter. La période limitée est devenue un souhait.

Solution : à la fin de la période limitée, la réunion de décision a lieu, même si le travail n’est pas terminé. « Non terminé » est aussi une preuve. Écrivez le résultat d’arrêt avant le début de la prochaine période limitée.

Conséquence pour le travail d’IA : un projet sans résultat d’arrêt dépense tout son budget avant que quelqu’un décide. L’étude de cas Relancer un projet d’IA au point mort montre six mois de rapports verts et aucun lancement.

Vérifiez votre compréhension

Omar pensait que la requête v3 coûterait moins cher parce qu'elle est plus courte. Pourquoi coûtait-elle plus cher? Qu'est-ce que cela enseigne sur la planification du travail d'IA?

Afficher la réponse

Le modèle a écrit plus du double de mots avant de répondre : 643 contre 259 jetons (médiane). Le magasin paie chaque mot que le modèle écrit. v3 coûtait donc 0,48 $ US pour 1 000 billets, contre 0,34 $ US. Personne ne pouvait le voir dans la conception. Seul un test sur les billets de Larkfield l’a montré. La première étape du travail d’IA est donc une expérience qui mesure, pas une fonctionnalité à date de lancement fixe.

Vérifiez votre compréhension

L'équipe a exécuté la requête v3 cinq fois sur les mêmes 102 billets. Dans combien d'exécutions un billet exigeant une personne n'a-t-il reçu aucune réponse? Que demanderiez-vous à une équipe qui dit « on a testé, aucun problème trouvé »?

Afficher la réponse

Dans 2 des 5 exécutions, sur un billet différent chaque fois (T-64740 et T-81036). Une seule exécution aurait facilement pu ne montrer aucun problème de sécurité. Demandez combien de fois l’équipe a exécuté le test, sur quels exemples, et quel résultat aurait imposé l’arrêt du changement.

Vérifiez votre compréhension

Un commanditaire vous demande la date de lancement d'une nouvelle fonctionnalité d'IA dont personne n'a encore mesuré la qualité. Que promettez-vous plutôt, et pourquoi cette réponse n'est-elle pas plus faible?

Afficher la réponse

Promettez une date de décision et une limite de coût. Par exemple : « Dans deux semaines, je vous dirai continuer, changer ou arrêter, avec les preuves. » Le commanditaire peut planifier en fonction de cette date et de ce coût. Une date de lancement pour une qualité inconnue est une promesse que personne ne peut tenir. Si la fonctionnalité échoue, elle échoue devant les clients, comme dans la « semaine dernière » de Larkfield. Dix billets qui exigeaient une personne n’y ont atteint personne.

Récapitulatif

  • Personne ne connaît la qualité d’une fonctionnalité d’IA avant de l’essayer sur des exemples réels. La requête v3 devait coûter moins cher. Elle coûtait plus cher (0,48 $ US contre 0,34 $ US pour 1 000 billets) et était plus lente.
  • Un modèle donne des résultats différents d’une exécution à l’autre. Le pire échec de la requête v3 est apparu dans seulement 2 des 5 exécutions.
  • Les premières étapes sont donc des expériences avec une période limitée : une question, le résultat d’arrêt écrit d’abord, puis continuer, changer ou arrêter.
  • Promettez une date de décision, pas une date de lancement, tant que les preuves n’existent pas.

Ensuite, vous assemblez les expériences en une feuille de route. Chaque étape se termine par une barrière où les preuves déterminent la décision.

Leçon suivante : Jalons et feuilles de route