Mener un projet pilote équitable
- Leçon 7
- 35 min
- Module 2 : Décider comment l'obtenir
Où nous en sommes
Dans les deux leçons précédentes, nous avons choisi quoi acheter et posé quatre questions aux fournisseurs. Leurs réponses demandent un essai sur notre propre travail. Mais une démo montre une option sous son meilleur jour. Dans cette leçon, nous planifions un projet pilote équitable pour chaque option, y compris la façon actuelle de travailler, avec les critères et la date de décision écrits d'abord, comme un examen équitable.
Leçon 7 sur 22 · Diriger des produits et des équipes d'IAMener un projet pilote équitable
1. Décider où l'IA aide
2. Décider comment l'obtenir
3. Planifier dans l'incertitude
4. Concevoir pour les personnes
5. Bâtir et diriger une équipe d'IA
6. Gérer les risques, la gouvernance et un lancement responsable
Ce que vous saurez faire
Une démonstration présente une option sous son meilleur jour. Vous planifiez un projet pilote équitable pour chaque option. Vous écrivez les critères et la date de décision avant le début. Chaque option, y compris la méthode actuelle, reçoit les mêmes exemples tirés de votre travail.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Les quatre questions à poser aux fournisseurs, dans Choisir des fournisseurs et des modèles en tant que leader.
- La requête v3 et les billets de développement et de réserve, dans Lire le dossier de preuves.
Ce qu’il vous faut
- Le modèle de plan de projet pilote et les exemples d’erreurs.
- Pour l’exercice du module à la fin : les deux propositions de fournisseurs et le modèle de comparaison des fournisseurs. Les fournisseurs ReplyRight et DraftDesk sont inventés pour ce cours.
Un examen équitable
Section intitulée « Un examen équitable »Une enseignante prépare un examen pour deux classes. Elle écrit les questions et la note de passage avant l’examen. Chaque élève reçoit le même examen, le même jour, avec le même temps alloué. Personne ne voit les questions avant. Elle corrige chaque copie avec le même corrigé.
Imaginez maintenant l’inverse. Chaque élève choisit ses propres questions. L’enseignante décide de la note de passage après avoir lu les copies. Un élève a vu l’examen la semaine précédente. Le résultat ne dirait rien sur qui a appris davantage. Pourtant, beaucoup d’entreprises choisissent leurs produits d’IA de cette façon.
Le problème : l’impression fait choisir la mauvaise réponse
Section intitulée « Le problème : l’impression fait choisir la mauvaise réponse »Larkfield possède un exemple consigné où une impression a mené au mauvais choix. Dans Évaluer et tester les systèmes d’IA, un modèle performant a servi de juge. Il a lu côte à côte les réponses des requêtes v2 et v3, sans la politique de Grace. Il a ensuite choisi la meilleure. Cela ressemble à la façon dont les gens regardent une démonstration.
Description textuelle du graphique
Un diagramme à colonnes de 200 paires de réponses, jugées sans la politique de soutien. Requête v2 préférée : 48. Requête v3 préférée : 126. Égalité : 1. Ordre décisif (le verdict a changé quand l’ordre des deux réponses a changé) : 25. La préférence de trois contre un pour la requête v3 semble indiquer une victoire nette.
Les réponses de la requête v3 sont plus chaleureuses et plus longues. Le juge les a préférées à trois contre un. Puis le même juge a noté chaque réponse selon la politique écrite de Grace, de 1 (nuisible) à 5 (prête à envoyer).
Description textuelle du graphique
Un diagramme à colonnes. Réponses notées 4 ou 5 (bonnes, avec tout au plus une petite modification) : requête v2, 173 sur 199; requête v3, 145 sur 198. Réponses notées 1 ou 2 (mauvaises, nuisibles ou sans contenu) : requête v2, 3; requête v3, 45. Avec la politique, la requête v3 produit 15 fois plus de mauvaises réponses que la requête v2.
Avec la politique, la requête v3 a obtenu 45 mauvaises réponses contre 3. Beaucoup de ses réponses chaleureuses inventaient une étape absente de la politique, comme « connectez-vous et mettez à jour vos renseignements enregistrés ». L’impression récompensait ce qui semblait utile. Seuls les critères écrits montraient ce qui était correct. Une démonstration donne le même type d’impression, sur des exemples choisis par le vendeur.
L’idée : un projet pilote équitable
Section intitulée « L’idée : un projet pilote équitable »Un projet pilote est un petit essai d’une option sur votre travail, pour une durée limitée, qui appuie une décision. Un projet pilote est équitable quand chaque option passe le même examen. Cinq règles le rendent équitable :
- Écrivez les critères et la date de décision avant le début. Dites ce que chaque option doit atteindre, et signez le document. Tout changement de critère après les résultats doit avoir une raison écrite.
- Testez chaque option, y compris la méthode actuelle. La question est « Est-ce mieux que ce que nous avons? », pas « Est-ce bon? ».
- Utilisez les mêmes exemples, tirés de votre travail, pour chaque option. Incluez les cas difficiles et rares. Gardez une réserve à part : des exemples que personne ne voit avant la décision, utilisés une seule fois. Si une option a déjà vu les exemples, pendant son entraînement ou sa démonstration, le résultat paraît meilleur qu’il l’est.
- Notez chaque option de la même façon, et exécutez-la plus d’une fois. La sortie de l’IA change d’une exécution à l’autre.
- Écrivez les conditions d’arrêt. Dites quel échec met fin au projet pilote avant la date prévue.
L’ensemble fixe de vos exemples, avec leurs bonnes réponses, constitue le jeu d’évaluation. Le cours Évaluer et tester les systèmes d’IA enseigne comment en créer un. Comme leader, vous vérifiez qu’il existe et que personne n’a ajusté une option sur sa réserve.
Description textuelle du diagramme
Le calendrier comporte trois étapes. Avant le début, l’équipe écrit et signe trois éléments. Ce sont la question avec ses réponses possibles, les critères avec la date de décision, et les données de test. Les données de test contiennent les exemples de l’équipe, les cas difficiles et une réserve gardée à part. Pendant le projet pilote, chaque option, y compris la méthode actuelle, s’exécute sur les mêmes exemples. Elle reçoit des notes de la même façon et s’exécute plus d’une fois. Si une condition d’arrêt survient, l’équipe arrête et décide. Sinon, à la date de décision, l’équipe ouvre la réserve une seule fois. Elle compare les résultats aux critères écrits au départ. Puis elle décide : lancer, ne pas lancer, lancer sous conditions ou essayer une autre option.
Un petit exemple : le projet pilote de Larkfield pour la requête v3
Section intitulée « Un petit exemple : le projet pilote de Larkfield pour la requête v3 »Larkfield a mené un projet pilote équitable sans le nommer ainsi. Avant toute exécution de la requête v3, le cours Évaluer et tester les systèmes d’IA a écrit sa règle de mise en production. Tout échec grave bloque le changement, tout comme des décisions qui pourraient être pires que celles de la méthode actuelle. Plus tard, la requête v3 a atteint les clients par erreur; Jalons et feuilles de route raconte cette histoire. Après cet incident, l’équipe a renforcé la règle sous forme de six lignes écrites : la barrière de mise en production. Le tableau compare à cette barrière les résultats des deux requêtes sur les mêmes 98 billets de réserve. Ces résultats sont consignés :
| Critère écrit au départ | Résultat exigé | Requête v2 (actuelle) | Requête v3 (proposée) |
|---|---|---|---|
| Échecs graves ou bloquants (un billet qui nécessite une personne ne reçoit aucune réponse) | 0 | 0 | 1 : billet T-65663 |
| Réponses sans texte | 0 | 0 | 8 |
| « Les deux décisions sont correctes », v3 moins v2 | limite inférieure de l’intervalle d’au moins −0,03 | méthode actuelle | −0,112 (intervalle de −0,184 à −0,041) |
| Billets qui nécessitent une personne, transmis à une personne | 100 % | 24 sur 24 | 23 sur 24 |
| Coût du modèle par 1 000 billets | au plus 0,40 $ US | 0,34 $ US | 0,48 $ US |
| Les 5 % de réponses les plus lentes | au plus 8,0 s | 4,9 s | 8,5 s |
La requête v3 échoue aux six lignes. Elle échouait déjà à la règle écrite au départ, pour l’échec grave et les décisions. Le résultat du juge, 126 contre 48, n’a donc jamais pu déterminer la décision. La troisième ligne utilise la limite inférieure d’un intervalle qui indique le degré de certitude du test. Définir la fin du travail avec des preuves l’explique. La règle 4 comptait aussi. Sur cinq exécutions des billets de développement, la requête v3 a laissé un billet nécessitant une personne sans réponse dans seulement 2 exécutions. Une seule exécution aurait pu manquer cet échec.
Discussion : accepter le projet pilote de DraftDesk tel que proposé?
Section intitulée « Discussion : accepter le projet pilote de DraftDesk tel que proposé? »DraftDesk (inventé pour ce cours) propose « un projet pilote sur 200 de vos billets avant la signature; vous conservez les résultats notés ». Nadia doit décider comment Larkfield le mènera.
- Omar : « Laissons-les choisir 200 billets récents et lancer l’essai. On pourra décider dans deux semaines. »
- Grace : « Les billets récents sont surtout faciles. Je veux les billets qui nécessitent une personne, ceux en français et les questions sans réponse dans notre politique. »
- Priya, la scientifique des données : « Si on leur donne nos billets de réserve pour ajuster leur option, la réserve est utilisée. Elle ne montre plus leur performance sur des billets qu’ils n’ont jamais vus. »
- Tomás : « Et qui note les réponses? Leurs chiffres ou les nôtres? »
Avant de poursuivre, répondez à ces questions :
- Lesquelles des cinq règles le plan d’Omar enfreint-il?
- Quels billets DraftDesk devrait-il voir avant la décision, et lesquels devrait-il ne pas voir?
- Que doit atteindre DraftDesk pour gagner, et par rapport à quoi?
La réponse du cours. Acceptez le projet pilote, aux conditions de Larkfield. DraftDesk peut ajuster son option sur les 102 billets de développement. Larkfield garde les 98 billets de réserve, dont les cas de sécurité, de français et de « réponse absente de la politique ». Elle les utilise une seule fois, à la date de décision. Larkfield note DraftDesk et la requête v2 avec la même barrière, et exécute chaque option plus d’une fois. Pour gagner, DraftDesk doit franchir la barrière que la requête v2 franchit et la battre sur le coût ou la qualité. Nadia écrit les critères et la date de décision avant que DraftDesk reçoive le moindre billet.
Ce qui changerait la réponse : si DraftDesk refusait d’utiliser des billets jamais vus, personne ne pourrait se fier à son résultat. Larkfield garderait son propre assistant. Si Larkfield n’avait pas de réserve étiquetée, il faudrait d’abord en créer une, avant tout projet pilote.
Quand mener un projet pilote, et ce qu’il coûte
Section intitulée « Quand mener un projet pilote, et ce qu’il coûte »Menez un projet pilote avant de signer un contrat, de changer de modèle ou de modifier les décisions d’un produit. Sautez cette étape seulement si le changement est petit, facile à annuler et déjà couvert par vos tests habituels. Un projet pilote coûte des semaines et du temps pour préparer et noter les exemples. Il impose aussi une date de décision que les gens doivent respecter. Il coûte beaucoup moins qu’un contrat de 24 mois pour le mauvais produit.
Erreur courante
Les critères ont changé après les résultats
Symptôme : après le projet pilote, l’option préférée échoue au critère de vitesse. L’équipe dit « la vitesse n’a jamais été si importante » et l’approuve.
Cause : les critères n’étaient pas écrits et signés avant le début, alors le résultat pouvait les changer.
Solution : signez le plan du projet pilote avant la première exécution. Si un critère doit changer, écrivez la raison et demandez-vous : le changerions-nous si notre option préférée avait réussi?
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Nommez les cinq règles d'un projet pilote équitable. Pour chacune, dites ce qui va mal sans elle.
Afficher la réponse
- Les critères et la date de décision sont écrits au départ. Sans eux, les résultats changent les critères.
- La méthode actuelle est testée aussi. Sans elle, vous ne pouvez pas dire si l’option est meilleure que ce que vous avez.
- Les mêmes exemples tirés de votre travail, avec des cas difficiles et une réserve utilisée une seule fois. Sans eux, chaque option présente son meilleur cas, et une option ajustée paraît meilleure qu’elle l’est.
- La même notation, plus d’une exécution. Sans cela, les notes ne sont pas comparables, et un échec grave rare peut passer inaperçu : celui de la requête v3 est apparu dans 2 exécutions sur 5.
- Les conditions d’arrêt. Sans elles, un échec dangereux ne met pas fin au projet pilote.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Un juge sans la politique a préféré les réponses de la requête v3 126 fois contre 48. Avec la politique, la requête v3 a obtenu 45 mauvaises réponses contre 3. Expliquez la différence en deux phrases.
Afficher la réponse
Sans la politique, le juge récompensait ce qui semblait utile : des réponses plus chaleureuses et longues, parfois avec des étapes inventées. Avec la politique, il vérifiait chaque réponse selon les règles, et les étapes inventées et réponses absentes obtenaient 1 ou 2.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Vérification de fin de module : expliquez pourquoi une démonstration impressionnante n'est pas une preuve, et ce qu'ajoute un essai équitable.
Afficher la réponse
Une démonstration montre ce que le fournisseur a choisi de montrer, sur des exemples qu’il a choisis, jugés selon l’impression. Le résultat de 92 % de ReplyRight venait de 20 billets choisis par ce fournisseur, tirés d’une autre boutique. Un juge sans les règles a préféré les réponses fluides mais incorrectes de la requête v3 126 fois contre 48. Un essai équitable ajoute les critères et la date de décision, écrits au départ. Chaque option, y compris la méthode actuelle, s’exécute sur les mêmes exemples tirés de votre travail, dont les cas difficiles. Une réserve est utilisée une seule fois, et chaque option est notée de la même façon.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Exercice du module : comparer deux propositions de fournisseurs
Section intitulée « Exercice du module : comparer deux propositions de fournisseurs »Vous appliquez maintenant tout le module à une seule décision. Lisez les deux propositions de fournisseurs. Utilisez ensuite le modèle de comparaison des fournisseurs pour comparer ReplyRight, DraftDesk et l’assistant de Larkfield.
Exemple détaillé : les critères et le score de ReplyRight. Écrivez d’abord les critères et leurs poids, avant de lire les propositions en détail. Les deux exigences obligatoires éliminent une option, peu importe son total.
| Critère | Poids | Obligatoire? |
|---|---|---|
| Preuves tirées de nos billets | 3 | oui |
| Conditions sur les données : aucun entraînement sur nos billets | 3 | oui |
| Coût pour notre volume (12 premiers mois) | 2 | non |
| Départ : ce que nous emportons | 2 | non |
| Contrôle : pouvons-nous le modifier et comprendre ses échecs? | 1 | non |
Attribuez un score de 0 (échec) à 3 (solide), avec les preuves pour chaque score. Pour le coût, le coût le plus bas de la première année reçoit 3. Jusqu’à 1,5 fois ce coût, le score est 2; au-delà, il est 1. Une question sans réponse dans la proposition reçoit 0 jusqu’à ce que le fournisseur y réponde.
| Critère | ReplyRight : score et preuves | Poids × score |
|---|---|---|
| Preuves | 0 : une démonstration sur 20 billets choisis par le fournisseur, provenant d’un autre commerce; aucun essai | 3 × 0 = 0 |
| Données | 0 : conservées 18 mois, utilisées pour l’entraînement sauf avec Enterprise | 3 × 0 = 0 |
| Coût | 3 : 8 116 $ US pour les 12 premiers mois, le plus bas | 2 × 3 = 6 |
| Départ | 0 : paramètres seulement, aucun historique des réponses | 2 × 0 = 0 |
| Contrôle | 0 : la proposition ne le précise pas | 1 × 0 = 0 |
| Total | exigences obligatoires non respectées : éliminé | 6 sur 33 |
Votre tâche. Évaluez DraftDesk et l’assistant de Larkfield (requête v2) de la même façon. Recommandez ensuite DraftDesk, ReplyRight ou aucun des deux, en cinq phrases ou moins. Nommez les preuves que vous demanderiez avant toute signature.
Afficher une réponse possible
Voici une réponse défendable, mais ce n’est pas la seule. Une autre recommandation convient si elle utilise les mêmes preuves et nomme ses hypothèses.
| Critère (poids) | DraftDesk | Notre assistant (requête v2) |
|---|---|---|
| Preuves (3) | 2 : propose un projet pilote sur 200 de nos billets, nous gardons les résultats; aucun résultat pour l’instant. 3 × 2 = 6 | 3 : résultats consignés sur 200 de nos billets étiquetés. 3 × 3 = 9 |
| Données (3) | 3 : supprimées après 30 jours, jamais utilisées pour l’entraînement. 3 × 3 = 9 | 3 : notre propre configuration. 3 × 3 = 9 |
| Coût (2) | 2 : 9 600 $ US, soit 1,18 fois le coût le plus bas. 2 × 2 = 4 | 1 : 14 502 $ US (102 $ US de frais de modèle consignés, 14 400 $ US d’entretien supposé), soit 1,79 fois le coût le plus bas. 2 × 1 = 2 |
| Départ (2) | 3 : exportation complète dans un format standard, préavis de 60 jours. 2 × 3 = 6 | 3 : rien à quitter. 2 × 3 = 6 |
| Contrôle (1) | 2 : utilise nos documents de politiques, que nous pouvons modifier. 1 × 2 = 2 | 3 : nous modifions la requête et voyons chaque réponse. 1 × 3 = 3 |
| Total | 27 sur 33; l’exigence obligatoire de preuves est respectée seulement si le projet pilote a lieu | 29 sur 33; les deux exigences obligatoires sont respectées |
Recommandation : aucun fournisseur pour l’instant. ReplyRight ne respecte aucune des deux exigences obligatoires. DraftDesk mérite un projet pilote seulement dans des conditions équitables. Il doit utiliser les mêmes 98 billets réservés et la même barrière de mise en production que la requête v2. Les données réservées doivent conserver nos groupes difficiles : billets nécessitant une personne, billets en français, questions sans réponse dans les politiques. Notre assistant possède les preuves les plus solides et les frais de modèle les plus bas. La vraie comparaison oppose notre entretien (1 200 $ US par mois, selon une hypothèse) aux frais de DraftDesk. Il faut aussi compter le temps que nous consacrons encore à sa gestion.
Récapitulatif
- Un projet pilote est un petit essai à durée limitée sur votre propre travail, pour prendre une décision. Il est équitable si vous écrivez d’abord les critères et la date de décision. Chaque option, y compris la méthode actuelle, reçoit les mêmes exemples et la même évaluation.
- Gardez des données réservées à part et examinez-les une seule fois. Exécutez chaque option plusieurs fois : l’échec le plus grave de la requête v3 est apparu dans 2 exécutions sur 5.
- Une impression n’est pas une preuve. Sans les politiques, un juge préférait la requête v3, par 126 contre 48. Avec les politiques, la requête v3 produisait 45 mauvaises réponses contre 3. La requête v3 a échoué aux six critères de la barrière de mise en production.
Le module 2 en un paragraphe. Vous avez décidé comment Larkfield obtient son assistant, élément par élément. La liste de prix cache le temps des personnes : comparez donc les coûts complets. Larkfield achète le modèle et construit la requête, les billets de test et la barrière de mise en production. Ces éléments contiennent ses connaissances. Le modèle de Tomás n’a transmis à une personne aucun billet qui en nécessitait une. Vous avez posé quatre questions aux fournisseurs, sur les données, les preuves, le coût et le départ. Vous avez constaté que ReplyRight ne respecte pas deux exigences obligatoires. Vous avez ensuite planifié un projet pilote équitable pour chaque option. Ainsi, une démonstration ou une réponse chaleureuse ne peut pas décider à votre place.
Ensuite, le module 3 planifie le travail d’IA quand personne ne connaît la qualité avant de l’essayer.
Leçon suivante : Pourquoi les plans d'IA sont différents