Aller au contenu
English

Note de décision sur le lancement d'un assistant de réponse au soutien

  • Étude de cas 1
  • 120 min
  • Facultative · 1 étude de cas requise pour le certificat

Où nous en sommes

Cette étude de cas applique tout le cours à une vraie décision : trois changements proposés à l'assistant de réponse au soutien de Larkfield. Vous les examinez avec les preuves enregistrées du projet pilote, vous décidez de chacun selon ses propres preuves et vous rédigez une note de décision (feu vert, refus ou feu vert sous conditions) qu'un leader occupé peut appliquer.

Ce que vous saurez faire

Prenez une vraie décision, de la proposition à la note signée. Vous examinez trois changements à l’assistant de réponse au soutien de Larkfield, à partir des preuves enregistrées du projet pilote. Vous décidez de chaque changement selon ses propres preuves. Puis vous rédigez une note recommandant le lancement, le refus ou le lancement sous conditions, qu’un leader occupé pourra appliquer.

Étude de casPièce de portfolioDonnées synthétiques

Licence
CC0 1.0
Durée
Environ 2 h
S’exécute dans
Un navigateur et un outil de rédaction
Compétences utilisées
  • Lire les preuves selon leur étiquette
  • Décider de chaque changement selon ses propres preuves
  • Barrière de mise en production et résultat sur les données réservées
  • Coût du personnel et réponses erronées par 1 000
  • Conditions avec responsables
  • Conditions de suspension
  • Note de décision sur le lancement

Les documents du cas ne sont pas du code : lisez-les dans votre navigateur, ou téléchargez-les pour travailler hors ligne. Écrivez votre réponse dans votre propre outil de traitement de texte. Les documents sont en anglais.

Le dossier de l’étude de cas contient la proposition d’Omar, la fiche de preuves et un README. Lisez-les avec le dossier de preuves du projet pilote et le modèle de note de décision sur le lancement.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 120 minutes

Ce que vous devez savoir

Cette étude de cas utilise tout le cours. Voici les leçons les plus importantes :

Cette page enseigne une nouvelle idée : le lancement sous conditions. Cette décision précise ce qui doit être vrai avant et après le lancement.

Ce qu’il vous faut

  • Un navigateur et un outil de rédaction (un traitement de texte, un éditeur de texte ou un tableur).
  • Les quatre fichiers du dossier de preuves du projet pilote, la proposition d’Omar, la fiche de preuves et le modèle de note. Tous se trouvent dans le dossier d’exercices C29.
  • Aucun compte, aucune installation et aucune dépense.

Larkfield est la boutique en ligne de produits pour la maison et le jardin de ce cours. Son assistant de réponse au soutien a fait l’objet d’un projet pilote auprès d’une équipe d’agents. Pour chaque billet de soutien d’un client, il choisit l’équipe et décide si une personne doit traiter le billet. Il rédige ensuite un brouillon de réponse. Un agent lit le brouillon, le modifie et l’envoie. L’assistant n’envoie jamais de réponse seul.

Omar, le gestionnaire de produit, propose maintenant trois changements à la fois. Nadia, responsable des opérations clients de Larkfield, doit décider vendredi. Elle vous demande d’examiner la proposition et les preuves, puis de lui rédiger une note. La proposition, Nadia et son échéance sont construites pour le cours. Chaque nombre de la proposition est enregistré dans le dossier de preuves du projet pilote. Mais Omar a choisi lesquels montrer. Voici sa proposition, abrégée :

1. Utiliser la nouvelle requête (prompt) (v3) pour tous les billets. Elle est plus courte : environ 22 % moins de mots dans chaque requête, ce qui devrait réduire notre facture du modèle. Ses réponses sont plus chaleureuses. L’équipe d’évaluation a demandé à un modèle puissant de comparer les réponses côte à côte. Il a préféré la réponse de v3 126 fois et celle de v2 seulement 48 fois.

2. Faire passer les agents de « modifier le brouillon » à « approuver ou rejeter ». […] S’ils ne font qu’approuver, la révision prend environ 0,6 minute par billet, au lieu de modifier le brouillon.

3. Donner l’assistant à tous les agents, pas seulement à l’équipe du projet pilote.

Le modèle ne coûte presque rien (0,34 $ US par 1 000 billets aujourd’hui), donc le risque est faible. Pouvez-vous approuver vendredi?

Rien de tout cela n’est un mensonge. C’est ce qui en fait un bon test.

Vous rédigerez une note de décision sur le lancement d’une à deux pages, avec le modèle du cours. Elle commence par la décision, puis donne trois raisons avec leurs preuves et leurs étiquettes. Viennent ensuite les conditions, les conditions de suspension après le lancement, ce que vous ignorez et les risques acceptés par des personnes nommées.

Cette page vous accompagne dans l’analyse : les preuves, le cadrage, les options, une comparaison équitable et une recommandation. Elle teste ensuite les conditions de suspension sur des données non utilisées pour la décision. Vous rédigez la note à la fin, dans vos propres mots.

Les « données » de cette étude de cas sont le dossier de preuves du projet pilote et sa fiche de preuves. La fiche donne chaque nombre que vous pouvez utiliser, avec son étiquette et sa source. Un nombre absent de la fiche ne constitue pas une preuve pour cette décision. Le dossier compte cinq parties :

Fichier Contenu Étiquette
Résumé du projet pilote Une page : les résultats sur les données réservées, ce qui a été mesuré et ce qui ne l’a pas été enregistré
1. Résultats d’évaluation Requêtes v2 et v3 sur 102 billets de développement et 98 billets réservés; fourchettes; cinq exécutions répétées; scores du juge enregistré
2. Exemples d’erreurs Cinq réponses réelles, choisies selon des règles écrites enregistré
3. Temps de révision et coût La valeur annuelle et le coût de révision à chaque niveau d’autonomie calculé : enregistré × hypothèse
4. Opérations Une semaine normale, la « semaine dernière », un déploiement canari et un test en parallèle réponses enregistrées, situations construites

Avant toute analyse, vérifiez les preuves elles-mêmes. Lisez la dernière section de la fiche, « Lacunes connues », et gardez-la ouverte. Trois lacunes comptent surtout pour cette décision :

  • Le temps de révision n’a pas été mesuré. Les minutes nécessaires pour rédiger, réviser ou approuver une réponse sont des hypothèses. Les « 0,6 minute » d’Omar sont la valeur de base de l’une d’elles.
  • Une seule personne a étiqueté les bonnes réponses. Certaines « erreurs » peuvent être des désaccords sur la politique de Grace.
  • Les données réservées comptent 98 billets. Un problème qui survient une fois sur 500 billets peut passer inaperçu dans un ensemble de cette taille.

Vérifiez ensuite à quels billets vous fier. L’équipe a lu les 102 billets de développement pendant qu’elle améliorait la requête. Les 98 billets réservés ont été gardés à part et lus une seule fois, pour la décision. La décision utilise donc les résultats sur les données réservées. Les résultats de développement servent seulement à les appuyer.

Omar demande un seul « oui ». Mais les trois changements sont indépendants. La requête v3 peut être un mauvais choix et « tous les agents » un bon choix, ou l’inverse. La première étape consiste donc à séparer la proposition. Chaque changement a sa propre question et ses propres preuves.

La proposition d'Omar demande un seul oui pour trois changements. Elle se divise en trois cases : 1, requête v3 pour tous les billets; 2, les agents approuvent ou rejettent seulement; 3, l'assistant pour tous les agents. Chacune mène à sa propre question et à ses propres preuves. Changement 1 : est-ce aussi sûr et aussi bon qu'aujourd'hui, et moins cher? Les résultats sur les données réservées, la barrière de mise en production et les exemples d'erreurs. Changement 2 : que permet-il d'économiser et que laisse-t-il passer? L'échelle d'autonomie. Changement 3 : la valeur est-elle réelle et peut-on l'arrêter? La fourchette de valeur et la relecture des opérations. Chaque question mène à sa propre décision. Les trois décisions sont réunies dans une note, dessinée avec une bordure épaisse.
Une proposition, trois décisions. Chaque changement est jugé selon sa propre question et ses propres preuves. La note réunit les trois réponses.
Description textuelle du diagramme

La proposition demande un seul oui pour trois changements. Le schéma la divise en trois branches, une par changement. Chaque branche a sa propre question et ses propres preuves, et se termine par sa propre décision. Les trois décisions sont réunies dans une note.

Nommez ensuite l’erreur la plus coûteuse, car la décision doit d’abord protéger contre celle-ci. Le dossier de preuves classe les erreurs pour vous :

  1. Un billet qui nécessite une personne ne parvient à personne. Un client ayant un produit dangereux attend. Rien ne semble anormal, car il n’y a aucune réponse. C’est l’erreur la plus coûteuse, et elle est silencieuse.
  2. Une réponse fluide avec une étape inventée. Le client cherche une page ou un processus qui n’existe pas, puis écrit de nouveau ou s’en va.
  3. Une fausse alerte. Une personne lit un billet auquel un brouillon aurait pu répondre. Cela coûte du temps à un agent, rien de plus.

Ne lisez pas tous les tableaux. Lisez les preuves pour et contre chaque affirmation de la proposition. Avant de poursuivre, notez chaque affirmation et le nombre utilisé, puis cherchez ce même nombre dans le dossier.

Affirmation d’Omar Son nombre et son étiquette Ce que le dossier dit aussi
La requête de v3 est plus courte 22 % moins de jetons (tokens) : 1 477 contre 1 902 (enregistré) Vrai. Mais le modèle écrit 643 jetons contre 259 avant de répondre (enregistré)
Elle « devrait donc réduire notre facture du modèle » aucun : une attente 0,48 $ US contre 0,34 $ US par 1 000 billets réservés (enregistré) : v3 est plus chère
Les réponses de v3 sont plus chaleureuses préférées 126 fois contre 48 (enregistré) Ce juge n’a pas vu la politique de Grace. L’ordre des deux réponses a changé son verdict sur 25 des 200 billets. Avec la politique, il a donné un score inférieur à v3 : une moyenne de 3,87 contre 4,48 (enregistré)
Approuver prend 0,6 minute 0,6 minute (une hypothèse, non mesurée) Personne n’a chronométré un agent. L’approbation rapide manque aussi davantage de mauvaises réponses (une hypothèse : 30 % contre 10 % lors de la modification)
« Le modèle ne coûte presque rien, donc le risque est faible » 0,34 $ US par 1 000 billets (enregistré) Le coût est vrai; la conclusion n’en découle pas. Le risque concerne le temps du personnel et les billets qui ne parviennent à personne

Omar a omis les nombres qui vont à l’encontre de sa proposition. La requête v3 n’a donné aucune réponse sur 25 des 271 billets de test (v2 : 1). Deux d’entre eux concernaient la sécurité. Sur les billets réservés, elle a pris les deux bonnes décisions pour 83 des 98 billets, contre 94 pour v2.

La plus grande lacune de la proposition est le mot « moins cher ». Le graphique compare le coût du modèle et celui du personnel, par 1 000 billets avec brouillon, au niveau brouillon.

Coût du modèle (enregistré) et coût du personnel (calculé à partir des scores enregistrés du juge et des hypothèses de base) par 1 000 billets avec brouillon, au niveau brouillon. Les barres du modèle sont trop petites pour être visibles.
Description textuelle du graphique

Un graphique à quatre colonnes. Coût du modèle par 1 000 billets avec brouillon : 0.34 $ US pour la requête v2 et 0.48 $ US pour la requête v3; les deux colonnes sont trop petites pour être visibles. Coût du personnel : US$1,253 pour la requête v2 et US$1,728 pour la requête v3. La requête v3 coûte US$475 de plus en temps des agents et 0.14 $ US de plus en frais du modèle.

Ce que cela nous apprend. La requête v3 est plus chère à deux égards. Ses frais de modèle sont supérieurs de 0.14 $ US par 1 000 billets. Ses brouillons sont aussi moins bons, donc les agents en réécrivent davantage : US$475 de plus en temps des agents par 1 000 billets avec brouillon. Le deuxième nombre est calculé : les scores enregistrés du juge multipliés par les minutes supposées. Son ampleur dépend des hypothèses, mais pas son sens : une requête qui produit de moins bons brouillons ne peut pas économiser du temps au personnel. Prévoir la révision humaine dès la conception présente le calcul étape par étape.

Comparez chaque changement à la situation actuelle, pas à la perfection. Aujourd’hui, l’équipe du projet pilote utilise la requête v2 au niveau brouillon. Voici son bilan :

Aujourd’hui : requête v2, les agents modifient les brouillons Valeur Étiquette
Billets réservés avec une réponse 98 sur 98 enregistré
Billets réservés nécessitant une personne, envoyés à une personne 24 sur 24 enregistré
Billets réservés avec les deux bonnes décisions (équipe et « nécessite une personne ») 94 sur 98 enregistré
Coût du personnel par 1 000 billets avec brouillon US$1,253 calculé, hypothèses de base
Réponses erronées qui parviennent aux clients, par 1 000 1.5 calculé, hypothèses de base
Valeur nette annuelle −US$52,905 à US$1,069,007, base US$287,661 calculé, hypothèses basses / de base / hautes

La version actuelle n’est pas parfaite non plus. Lors d’une exécution, elle n’a donné aucune réponse sur 1 des 271 billets (exemple d’erreur 5). Ce billet ne nécessitait pas de personne, mais le prochain pourrait en nécessiter une. Toute décision doit donc inclure une règle : un billet sans réponse est toujours envoyé à une personne. Le cours MLOps et LLMOps : exploiter l’IA en production a ajouté cette règle au service plus tard.

Chaque changement a une véritable solution de rechange, et chaque option est envisagée pour une raison.

Changement Options Pourquoi chaque option est envisagée
1. La requête garder v2; v3 pour tous les billets; v3 d’abord en parallèle ou en déploiement canari v3 promet un coût inférieur et des réponses plus chaleureuses; un test en parallèle ou un déploiement canari l’évalue avec peu de clients ou aucun
2. La révision suggérer; brouillon (aujourd’hui); approuver ou rejeter l’approbation économise du temps aux agents; la suggestion est le niveau le plus sûr
3. Qui l’utilise l’équipe du projet pilote seulement; tous les agents à la fois; équipe par équipe tous les agents apportent la pleine valeur; avancer équipe par équipe limite les dommages d’une surprise

« Agir seul » n’est pas dans la liste. Personne ne l’a proposé. À ce niveau, la requête v2 enverrait encore environ 15 réponses erronées par 1 000 aux clients.

Une comparaison équitable juge chaque option selon les mêmes règles, dans le même ordre et sur les mêmes billets.

  1. La barrière de mise en production vient d’abord : réussite ou échec. L’équipe a écrit ses six critères avant le test, dans Définir la fin du travail avec des preuves. Une version qui échoue à un critère de sécurité ne passe pas à la question du coût.
  2. Ensuite, une mesure pour chaque option : par 1 000 billets avec brouillon, selon les hypothèses de base, le coût du personnel et les réponses erronées qui parviennent aux clients. Chaque option utilise les mêmes scores enregistrés du juge et les mêmes minutes supposées.
  3. Puis la valeur annuelle, sous forme de fourchette, pour décider de l’élargissement.

Le graphique situe chaque option selon la deuxième mesure. Plus bas et plus à gauche signifie mieux : moins de coût du personnel et moins de réponses erronées aux clients.

  • Requête v2
  • Requête v3
Toutes les options selon une même mesure, par 1 000 billets avec brouillon, hypothèses de base (calculées à partir des scores enregistrés du juge). Les couleurs indiquent la requête; aujourd'hui, c'est la requête v2 au niveau brouillon. La requête v3 au niveau brouillon est moins bonne qu'aujourd'hui sur les deux axes.
Description textuelle du graphique

Un nuage de points avec cinq points. Requête v2 : suggérer, US$2,667 et 0 réponses erronées par 1 000; brouillon (aujourd’hui), US$1,253 et 1.5; approuver, US$613 et 4.5. Les trois points de la requête v2 sont proches du bas. Requête v3 : brouillon, US$1,728 et 22.7; approuver, US$920 et 68.2. La requête v3 au niveau brouillon est au-dessus et à droite de la situation actuelle. Elle coûte plus cher et laisse passer davantage de réponses erronées.

Ce que cela nous apprend. La requête v3 au niveau brouillon est moins bonne qu’aujourd’hui sur les deux axes. Aucune hypothèse sur le coût d’une réponse erronée ne peut donc la rendre acceptable. Elle a aussi échoué à la barrière. Dans une vraie décision, elle n’atteint donc jamais ce graphique. Le choix entre les niveaux de la requête v2 est un véritable compromis. En passant du brouillon à l’approbation, Larkfield économise environ US$640 et 20 heures de travail des agents par 1 000 billets avec brouillon. En échange, environ 3 fois plus de réponses erronées parviennent aux clients : 4.5 contre 1.5.

Une décision règle aussi trois paramètres. Ensemble, ils constituent le point de fonctionnement de l’assistant :

  • Le niveau d’autonomie : brouillon, où les agents modifient et envoient, comme dans le projet pilote.
  • La barrière : les six critères sur les billets réservés, lors d’au moins cinq exécutions, pour chaque futur changement de requête ou de modèle. Une seule exécution ne suffit pas : le pire échec de v3 est apparu dans seulement 2 des 5 exécutions.
  • Le rythme : une équipe par semaine, pour qu’une surprise touche une seule équipe, pas toutes.

Les exemples d’erreurs ont été choisis selon des règles écrites, et non à la main. Lisez-les avant les scores, puis reliez chacun à un changement.

  • Exemple 1 (T-64740 et le billet réservé T-65663) : la requête v3 n’a donné aucune réponse à deux billets de sécurité. Elle a utilisé ses 1 000 jetons pour « réfléchir » et n’a rien écrit. Sans réponse, il n’y a pas non plus de décision de « transmettre à une personne ». Personne n’est donc averti. C’est l’erreur la plus coûteuse, et elle détermine la décision sur le changement 1.
  • Exemples 2 et 3 (T-65350, T-65479) : des réponses chaleureuses avec une étape inventée. La requête v3 dirigeait les clients vers une « section des cartes enregistrées » et une étape libre-service qui n’existent pas. Le juge sans la politique préférait exactement ce genre de réponse, ce qui explique le « 126 contre 48 ». Ces exemples comptent aussi pour le changement 2. Ce sont deux simples questions de compte, du genre qu’un agent approuve sans vérifier davantage.
  • Exemple 4 (T-65022) : une fausse alerte de la requête v2. Elle a transmis à une personne le cas d’un parasol qui « se replie sous une brise ». Beaucoup de gens seraient d’accord avec elle. Une fausse alerte est l’erreur peu coûteuse, et un assistant prudent devrait la faire.
  • Exemple 5 (T-65450) : l’échec de la requête v2 elle-même. La version actuelle n’est pas parfaite. C’est pourquoi « toute absence de réponse mène à une personne » doit être une condition.

Deux lacunes restent. Personne n’a mesuré si les agents font trop confiance aux brouillons. Et 0 brouillon nuisible sur 199 ne signifie pas zéro. Selon la règle de trois, le taux réel pourrait atteindre 1,5 % (3 ÷ 199).

La seule vérification finale : les données réservées, lues une fois

Section intitulée « La seule vérification finale : les données réservées, lues une fois »

Les billets réservés sont l’examen final. L’équipe les lit une seule fois pour prendre la décision, avec un intervalle pour chaque différence. Pour « les deux décisions sont correctes », voici la requête v3 moins la requête v2 (enregistré) :

Billets Différence Intervalle (95 tests sur 100 de ce type)
Développement, 102 −0,059 −0,127 à +0,010
Réservés, 98 −0,112 −0,184 à −0,041
Les deux ensemble, 200 −0,085 −0,135 à −0,030

Sur les seuls billets de développement, l’intervalle comprend zéro. Ils ne peuvent donc pas montrer que v3 est pire. Sur les billets réservés, tout l’intervalle est sous zéro : v3 prend de moins bonnes décisions. La barrière exige une baisse « d’au plus 3 % » à la limite inférieure, et −0,184 est bien en dessous. Le verdict de l’évaluation, dans les résultats d’évaluation, tient en une ligne :

NE PAS LIVRER. 1 problème bloquant dans la version candidate : T-65663 no_answer_critical; les décisions peuvent être moins bonnes : version candidate - référence de base = -0,112 [-0,184, -0,041] (n=98).

Dans la reprise de « la semaine dernière », la requête v3 répondait à tout le monde. 10 billets qui nécessitaient une personne n’ont atteint personne, alors que le tableau de bord indiquait que tous les billets étaient acceptés.

Imaginez une voiture au garage avant un long voyage. Le mécanicien peut donner trois réponses. « Allez-y. » « Ne la conduisez pas. » Ou : « Vous pouvez partir si vous remplacez d’abord les pneus avant. Si le voyant des freins s’allume pendant le voyage, arrêtez-vous immédiatement. » La troisième réponse convient à la plupart des décisions réelles. Elle dit ce qui doit être vrai avant de partir, et ce qui vous fera arrêter en chemin.

Un simple « lancer » cache ce que vous ne savez pas. Un simple « ne pas lancer » abandonne un produit qui a de la valeur. Lancer sous conditions dit oui et précise comment ce oui reste sûr :

  • Conditions : ce qui doit être vrai avant le lancement, avec un responsable, une vérification et une date pour chaque condition. Si une condition n’est pas remplie, il n’y a pas de lancement.
  • Conditions de pause : des limites écrites avant le lancement et surveillées après. Si une limite est franchie, l’équipe revient d’abord à la version précédente, puis cherche pourquoi.
  • Ce qui changerait la décision : les inconnues et la façon de les mesurer. Une fois les mesures prises, l’équipe décide à nouveau.
Un flux. Décision : lancer sous conditions, avec une bordure épaisse, mène à Conditions, vérifiées avant le lancement, chacune avec un responsable et une date. Si toutes sont remplies, Lancement, une équipe à la fois. Si l'une ne l'est pas, une flèche pointillée mène à Attendre : aucun lancement avant qu'elle soit remplie. Lancement mène à Conditions de pause, surveillées après le lancement, écrites avant. Si une limite est franchie, une flèche pointillée mène à Revenir d'abord à la version précédente, puis chercher pourquoi. Une fois les inconnues mesurées, Décider à nouveau avec les nouveaux chiffres.
Lancer sous conditions : des vérifications avant le lancement, des limites après et un moment prévu pour décider à nouveau.
Description textuelle du diagramme

Les conditions viennent avant le lancement : toutes remplies, lancez une équipe à la fois; une non remplie, attendez. Les conditions de pause viennent après : une limite franchie, revenez d’abord à la version précédente. Une fois les inconnues mesurées, l’équipe décide à nouveau.

Une condition doit être vérifiable. « Surveiller la qualité » n’est pas une condition. « Grace chronomètre 50 billets par groupe d’agents pendant deux semaines, avant que la deuxième équipe commence » en est une.

Voici les trois décisions que les preuves appuient. Avant de les lire, écrivez vos trois décisions, une ligne chacune.

Changement 1, la requête v3 pour chaque billet : ne pas lancer. Elle échoue aux six critères de la barrière de mise en production, et son pire échec reste silencieux. Elle coûte plus cher en frais de modèle et en temps des agents. Sa « chaleur » n’a gagné qu’avec un juge qui ne connaissait pas les règles. Une version ultérieure peut repasser par la barrière, un test en parallèle et un déploiement canari.

Changement 2, approuver ou rejeter : ne pas lancer pour l’instant. L’économie est réelle si les hypothèses tiennent. Mais chaque chiffre du compromis est une hypothèse. Personne n’a mesuré les 0,6 minute, la part de mauvaises réponses qu’un agent pressé laisse passer, ni le coût d’une réponse erronée. Et les étapes inventées sont apparues dans de simples questions de compte. Mesurez d’abord, puis décidez à nouveau.

Changement 3, tous les agents : lancer sous conditions, avec la requête v2 pour produire des brouillons, comme dans le projet pilote. La valeur de base est de US$287,661 par année, et le seuil de rentabilité correspond à 3.4% d’adoption. Mais le scénario bas perd de l’argent, soit −US$52,905 par année, à tout niveau d’adoption. Et la donnée la plus importante, les minutes pour écrire une réponse à la main, n’a jamais été mesurée. Elle fait varier la valeur de US$291,624 par année. Le déploiement avance donc équipe par équipe, et le temps est mesuré avant que la deuxième équipe commence.

Vous écrivez vous-même les conditions et les conditions de pause. La prochaine section montre comment tester les conditions de pause avant le lancement.

De bout en bout sur de nouvelles données : tester les conditions de pause

Section intitulée « De bout en bout sur de nouvelles données : tester les conditions de pause »

Une condition de pause est utile seulement si elle se déclenche pendant une mauvaise semaine, mais pas pendant une semaine normale. Vous pouvez le tester maintenant sur des données qui n’ont pas servi à fixer les limites de la décision. Utilisez les trois reprises du cours MLOps et LLMOps : exploiter l’IA en production. Prenez quatre limites, celles choisies pour l’étude de cas :

  • un billet qui nécessite une personne n’atteint personne;
  • plus de 5 billets sur 1 000 sans réponse (1 sur 200);
  • les agents sont d’accord avec l’assistant dans moins de 90 % des révisions;
  • le coût du modèle dépasse 0.40 $ US par 1 000 billets, la limite de la barrière de mise en production.
Limite Semaine normale, requête v2 « La semaine dernière », requête v3 pour tous Déploiement canari, requête v3 sur 1 billet sur 10
Billets 5,754 1,798 billets avec la requête v3 25 billets du déploiement canari
Nécessite une personne, n’a atteint personne 0 (320 billets de sécurité sur 320 ont atteint une personne) 10 non rapporté
Sans réponse, par 1 000 0.7 (4 billets) 103.4 (186 billets) 120 (3 billets)
Agents d’accord avec l’assistant 94.3% 83.7% non rapporté
Coût du modèle par 1 000 billets 0.34 $ US 0.47 $ US non rapporté
Pause? non : aucune limite franchie oui : les quatre limites franchies oui : billets sans réponse

Les nombres sont des réponses enregistrées dans des situations construites; les valeurs « par 1 000 » sont calculées à partir de celles-ci.

Ce que cela nous apprend. Les quatre limites ne se déclenchent pas pendant la semaine normale. Elles n’arrêteront donc pas un bon assistant sans raison. Elles se déclenchent toutes pendant « la semaine dernière », y compris la plus importante. Dans le déploiement canari, le taux de billets sans réponse dépasse largement la limite. La règle d’alerte du cours MLOps et LLMOps : exploiter l’IA en production s’est déclenchée après 9 billets du déploiement canari. Le retour à la version précédente a eu lieu après 22. Deux limites restent. Le déploiement canari n’a pas rapporté les trois autres signaux. Et la reprise va plus vite que la réalité. Ce test compte donc les billets, pas les jours.

  • Les chiffres de la proposition n’étaient pas faux; leur sélection était mauvaise. Chaque chiffre est enregistré. Les étiquettes et les chiffres omis changent la décision.
  • La requête moins chère coûte plus cher en frais de modèle, et beaucoup plus en temps des agents : US$475 par 1 000 billets avec brouillon. Le temps des personnes détermine le rendement; le prix du modèle représente environ 0,03 % de la valeur.
  • Un modèle juge fournit des preuves qui dépendent de ce qu’on lui a dit. Sans la politique, il préférait les réponses qui inventaient des étapes.
  • Les échecs rares nécessitent au moins cinq exécutions. L’absence de réponse de v3 à un billet de sécurité n’est apparue que dans 2 exécutions sur 5.
  • La décision repose sur des hypothèses non mesurées, et la note le dit. Les lacunes connues de la fiche de preuves appartiennent à la section 5 de votre note. Ce sont : des billets inventés, un temps de révision et une confiance excessive non mesurés, une seule personne pour l’étiquetage, un juge dont l’accord avec une personne est seulement moyen, et peu de billets réservés.
  • Les chiffres sont un instantané d’un modèle à une date donnée. Un nouveau modèle peut faire mieux ou pire sur les mêmes billets; la méthode reste.
  • Gardez les étiquettes. Chaque chiffre de votre note porte son étiquette : enregistré, prix, hypothèse ou construit. Écrivez « calculé » pour enregistré × hypothèse, et nommez l’hypothèse.
  • Ne présentez pas le cas comme réel. Larkfield, ses personnes et ses billets sont inventés. Les réponses sont de véritables sorties de modèle.
  • Jugez la proposition, pas la personne. Omar a fait son travail : il a proposé. La note nomme les preuves, sans blâmer.
  • Une personne signe. Nadia décide, et Grace accepte les risques qui touchent ses agents. La note précise qui a accepté quoi.
  • Chronométrez le travail, pas les personnes. Une étude du temps des agents porte sur le flux de travail. Dites aux agents ce que vous mesurez et pourquoi. Ne l’utilisez pas pour évaluer une personne.
  1. Copiez le modèle de note de décision sur le lancement dans votre outil de rédaction.
  2. Écrivez d’abord la décision : une ligne pour chacun des trois changements.
  3. Écrivez trois raisons. Chacune nomme son fichier, son chiffre et son étiquette.
  4. Écrivez les conditions pour « lancer sous conditions ». Chacune a une vérification, un responsable et un moment. Utilisez les personnes de Larkfield : Grace, Kwame, Omar, Amira.
  5. Écrivez au moins trois conditions de pause, avec « si » et « alors ». Vérifiez-les sur les trois reprises du tableau ci-dessus.
  6. Listez ce que vous ne savez pas et la mesure qui changerait chaque décision.
  7. Nommez chaque risque accepté et la personne qui l’accepte.

Vérifiez votre note à l’aide du README de l’étude de cas. Une bonne note décide de chaque changement selon ses propres preuves. Elle utilise les résultats des billets réservés et précise leur degré de certitude. Elle nomme l’erreur la plus coûteuse, compte le temps des personnes, étiquette ses hypothèses et fixe des conditions vérifiables.

Afficher une réponse possible

Voici une note défendable, mais ce n’est pas la seule. Une autre note peut aboutir à d’autres décisions si elle s’appuie sur les mêmes preuves et garde les étiquettes.

À : Nadia (responsable des opérations clients) De : la personne chargée de la révision Proposition examinée : les trois changements d’Omar

1. Décision

  • Changement 1, la requête v3 pour chaque billet : ne pas lancer.
  • Changement 2, les agents approuvent ou rejettent seulement : ne pas lancer pour l’instant; mesurer d’abord, décider à nouveau dans six semaines.
  • Changement 3, l’assistant pour tous les agents : lancer sous conditions, avec la requête v2 et des agents qui modifient les brouillons, comme dans le projet pilote.

2. Pourquoi

  1. La requête v3 échoue à chaque critère de la barrière de mise en production, et son pire échec reste silencieux (enregistré). Sur les 98 billets réservés, elle a transmis à une personne 23 des 24 billets qui le nécessitaient (v2 : 24 sur 24). Elle n’a donné aucune réponse à 25 des 271 billets de test, dont le billet de sécurité T-65663. Dans la reprise d’exercice où v3 répondait à tous, 10 billets nécessitant une personne n’ont atteint personne, alors que le service semblait sain. « Les deux décisions sont correctes » a baissé de −0,112 (intervalle de −0,184 à −0,041) : tout l’intervalle est sous zéro.
  2. La requête v3 n’est pas moins chère (enregistré, puis calculé). Ses requêtes sont 22 % plus courtes, mais le modèle écrit plus de deux fois plus : 0,48 $ US contre 0,34 $ US par 1 000 billets, et deux fois le temps d’attente. En comptant le temps des agents (hypothèses de base), ses moins bons brouillons coûtent 475 $ US de plus par 1 000 billets. La préférence « 126 contre 48 » venait d’un juge qui n’avait pas vu la politique. Avec la politique, le même juge a donné une note inférieure à v3 (3,87 contre 4,48), car les réponses chaleureuses inventent des étapes (exemples d’erreurs 2 et 3).
  3. La requête v2 pour produire des brouillons en vaut la peine, mais l’approbation seule n’est pas encore justifiée (calculé à partir de chiffres enregistrés et d’hypothèses). L’assistant actuel vaut 287 661 $ US par année dans le scénario de base et devient rentable à 3,4 % d’adoption. Passer à « approuver » économiserait environ 20 heures d’agents par 1 000 billets avec brouillon. Mais environ 3 fois plus de réponses erronées atteindraient les clients (4,5 contre 1,5 par 1 000). Chaque chiffre de ce compromis repose sur des temps de révision et des taux d’erreurs manquées que personne n’a mesurés.

3. Conditions pour le changement 3

Condition Méthode de mesure Responsable Moment de vérification
Requête v2 seulement; tout changement de requête ou de modèle passe la barrière de mise en production (les six critères) sur les billets réservés, avec au moins cinq exécutions le rapport de la barrière Kwame avant chaque changement
Un billet sans réponse est toujours transmis à une personne un billet de test sans réponse, avant le déploiement Amira avant le déploiement
Les agents modifient et envoient; l’assistant n’envoie jamais seul le réglage du service de soutien Grace avant le déploiement
Déploiement équipe par équipe, une équipe par semaine, avec les signaux ci-dessous le plan de déploiement Omar chaque semaine
Chronométrer le travail des agents pendant deux semaines : minutes pour écrire à la main et réviser un brouillon un échantillon chronométré de 50 billets par groupe d’agents Grace après deux semaines

4. Conditions de pause après le lancement

Si… Alors…
Un billet qui nécessite une personne n’atteint personne mettre l’assistant en pause pour les nouveaux billets (le désactiver) et examiner le problème dans la journée
Les billets sans réponse dépassent 1 sur 200 dans une journée mettre en pause et examiner le problème
Les révisions des agents concordent avec l’assistant moins de 90 % du temps sur une semaine arrêter le déploiement aux nouvelles équipes
Le coût du modèle par 1 000 billets dépasse 0,40 $ US examiner le changement qui l’a causé

(Les limites « 1 sur 200 » et « 90 % » sont les choix de la personne chargée de la révision, pas des chiffres enregistrés. La semaine normale avait un accord de 94,3 %.)

5. Ce que nous ne savons pas et ce qui changerait cette décision

  • Les temps de révision et de rédaction (la plus grande hypothèse : elle fait varier la valeur de 291 624 $ US par année). Si les agents mettent plus de temps à réviser un brouillon qu’à écrire une réponse, le changement 3 s’arrête.
  • Le taux de réponses nuisibles : 0 sur 199 est une bonne nouvelle, mais permet un taux allant jusqu’à 1,5 %. Atteindre l’hypothèse de base de 0,5 % nécessite environ 600 brouillons révisés sans aucun brouillon nuisible (règle de trois). Le changement 2 peut faire l’objet d’une nouvelle décision après cet audit.
  • Les étiquettes reflètent la lecture d’une seule personne. Une deuxième personne étiquetant un échantillon de 50 billets réservés montrerait l’ampleur de leur désaccord.

6. Risques acceptés

Les agents pourraient faire trop confiance aux brouillons avec le temps (non mesuré). Grace accepte ce risque, avec un audit mensuel d’un échantillon de réponses envoyées.

Erreur courante

Une réponse pour trois changements

Symptôme : la note dit « lancer » ou « ne pas lancer » pour toute la proposition. Soit la requête défectueuse est livrée avec le déploiement utile, soit le déploiement utile s’arrête avec la requête défectueuse.

Cause : la note a suivi la forme de la proposition, un « oui » pour trois changements, plutôt que celle de la décision.

Correction : séparez d’abord la proposition, comme dans le diagramme ci-dessus. Donnez à chaque changement sa propre question, ses propres preuves et sa propre ligne dans la section 1 de la note.

Une note comme celle-ci montre à un responsable du recrutement que vous décidez à partir de preuves, pas d’une démonstration. C’est important pour les postes en produit, en opérations et en gestion d’ingénierie.

Quoi publier :

  • Votre note, d’une à deux pages, dans l’ordre du modèle.
  • Une courte introduction : la décision à soutenir, les preuves utilisées et une chose que vous mesureriez ensuite.
  • Une ligne indiquant que l’entreprise et ses données sont une étude de cas du cours, avec un lien vers le dossier de preuves. Tout son contenu est sous licence CC0, donc vous pouvez le partager.

Personnalisez-la avec un changement. Par exemple, écrivez la note pour un autre lecteur, comme un responsable des finances qui s’intéresse seulement aux coûts. Ou modifiez une hypothèse qui vous semble fausse, comme les 4 minutes pour rédiger une réponse à la main. Montrez ensuite ce qui change dans la décision. Ou écrivez le plan de déploiement canari pour le prochain changement de requête : ses étapes, ses seuils et son responsable.

Comment le décrire en entrevue, en deux phrases : « J’ai divisé une proposition en trois volets pour un assistant d’IA au soutien en trois décisions, chacune avec ses preuves. J’ai arrêté une requête qui semblait moins chère, mais échouait à tous les seuils de mise en production, et approuvé le déploiement avec des conditions et des seuils de pause testés. »

Vérifiez votre compréhension

La proposition d'Omar dit que la requête v3 envoie 22 % moins de mots dans chaque appel, « donc elle devrait réduire notre facture de modèle ». Quelle partie est consignée, quelle partie est une attente, et que disent les preuves sur la facture?

Afficher la réponse

La requête plus courte est consignée : une médiane de 1 477 jetons contre 1 902. « Donc elle devrait réduire notre facture » est une attente, sans chiffre pour l’appuyer. Le coût consigné est plus élevé : 0,48 $ US contre 0,34 $ US par 1 000 billets du jeu réservé. Le modèle écrit 643 jetons contre 259 avant de répondre, et le fournisseur les facture aussi. En comptant le temps des agents au niveau des brouillons, la requête v3 coûte environ 475 $ US de plus par 1 000 billets avec brouillon (calculé avec les hypothèses de base).

Vérifiez votre compréhension

Pourquoi cette étude de cas décide-t-elle séparément de chacun des trois changements d'Omar? Pourquoi le changement 3 reçoit-il un « feu vert sous conditions » plutôt qu'un « feu vert »?

Afficher la réponse

Les changements sont indépendants, et les preuves donnent des indications différentes pour chacun. La requête v3 échoue à la barrière de mise en production; l’approbation repose sur des hypothèses non mesurées; la requête v2 au niveau des brouillons a une valeur de base positive. Une seule réponse ferait soit déployer la requête défectueuse, soit arrêter le déploiement utile. Le changement 3 exige des conditions parce que sa valeur se situe dans un intervalle. Le scénario bas perd 52 905 $ US par année, quel que soit le niveau d’adoption. Son principal facteur, le temps pour rédiger une réponse à la main, n’a jamais été mesuré. Les conditions imposent cette mesure avant le démarrage de la deuxième équipe. Les conditions de pause arrêtent le déploiement si le résultat devient mauvais.

Vérifiez votre compréhension

Votre note fixe un seuil de pause à « plus de 5 billets sur 1 000 sans réponse ». Comment savoir, avant le lancement, que ce seuil n'est ni trop strict ni trop permissif?

Afficher la réponse

Testez-le sur des réexécutions consignées. Pendant la semaine normale de la requête v2, 4 billets sur 5 754 sont restés sans réponse : 0,7 sur 1 000. Le seuil ne déclenche rien, donc il n’arrêtera pas un bon assistant. Pendant la « semaine dernière », la requête v3 a laissé 186 billets sur 1 798 sans réponse (103,4 sur 1 000). Elle en a laissé 3 sur 25 sans réponse pendant le déploiement canari. Le seuil se déclenche dans les deux cas. Un seuil qui se déclencherait pendant la semaine normale serait trop strict. Un seuil qui ne se déclencherait pas pendant la « semaine dernière » serait trop permissif.

Récapitulatif

  • Vous avez lu une proposition affirmation par affirmation. Chaque chiffre était consigné, mais leur sélection et les étiquettes manquantes orientaient vers la mauvaise décision.
  • Vous avez divisé un seul « oui » en trois décisions, chacune avec sa question et ses preuves. Vous avez nommé l’erreur la plus coûteuse : un billet qui exige une personne, mais ne parvient à personne.
  • La barrière de mise en production est passée en premier. La requête v3 échouait aux six seuils, et son intervalle sur le jeu réservé, de −0,184 à −0,041, est sous zéro.
  • Une même mesure pour chaque option, le coût du personnel et les réponses erronées par 1 000 billets avec brouillon, montrait que la requête v3 était pire sur les deux plans. L’approbation est un véritable compromis qui repose sur des hypothèses non mesurées.
  • Vous avez appris le feu vert sous conditions : des conditions vérifiables avec des responsables, des seuils de pause écrits avant le lancement et un moment prévu pour décider à nouveau.
  • Vos seuils de pause ne se sont pas déclenchés pendant la semaine normale. Ils se sont déclenchés pendant la « semaine dernière » et le déploiement canari.

Ensuite, une autre décision pour un autre lecteur : développer, acheter ou s’associer pour l’extraction de factures, du point de vue du responsable des finances.

Leçon suivante : Développer, acheter ou s'associer pour l'extraction de factures