Les problèmes avant les outils
- Leçon 2
- 25 min
- Module 1 : Décider où l'IA aide
Où nous en sommes
Dans la leçon précédente, nous avons appris à lire chaque nombre avec son étiquette : enregistré, prix, hypothèse ou construit. Maintenant, nous pouvons examiner une idée d'IA. Mais beaucoup de projets d'IA échouent parce qu'ils partent de l'outil et cherchent un problème ensuite. Dans cette leçon, nous partons de l'utilisateur, de la tâche et du coût d'une erreur, et nous essayons d'abord la solution la moins chère, comme un voisin qui veut un aspirateur robot pour un plancher plein de boue.
Leçon 2 sur 22 · Diriger des produits et des équipes d'IALes problèmes avant les outils
1. Décider où l'IA aide
2. Décider comment l'obtenir
3. Planifier dans l'incertitude
4. Concevoir pour les personnes
5. Bâtir et diriger une équipe d'IA
6. Gérer les risques, la gouvernance et un lancement responsable
Ce que vous saurez faire
Pour chaque idée d’IA, partez d’un utilisateur, de la tâche ou de la décision à améliorer et du coût d’une erreur. Vérifiez ensuite si une règle, un rapport, un formulaire ou un changement de processus résout mieux le problème. Beaucoup de projets d’IA échouent parce qu’ils partent de l’outil et cherchent un problème ensuite.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Les quatre étiquettes de chaque nombre (consigné, prix, hypothèse, construit), présentées dans Lire le dossier de preuves.
Ce qu’il vous faut
- Les fiches de cas d’utilisation et le modèle de grille de sélection des cas d’utilisation, ouverts dans votre navigateur.
- Votre outil de rédaction, pour créer une copie de la grille.
Un plancher sale et un aspirateur robot
Section intitulée « Un plancher sale et un aspirateur robot »Votre voisin dit : « Le plancher de notre entrée est toujours sale. Je veux acheter un aspirateur robot. » Cela semble raisonnable. Puis vous regardez l’entrée. La saleté est de la boue, apportée par les bottes des enfants. Personne n’enlève ses bottes à la porte.
Un tapis d’entrée et un support à chaussures coûtent beaucoup moins cher qu’un robot. Ils arrêtent la boue avant qu’elle atteigne le plancher. Le robot nettoierait la même boue chaque jour, et il manquerait quand même les coins. Votre voisin est parti d’un outil. Vous êtes parti du problème : qui salit le plancher, quand et pourquoi.
Le problème : trois idées, une semaine
Section intitulée « Le problème : trois idées, une semaine »Pendant sa première semaine chez Larkfield, Nadia reçoit trois idées de projets d’IA. Elles figurent sur les fiches de cas d’utilisation du cours. Les situations et leurs nombres sont construits pour le cours, sauf les lignes marquées comme consignées.
- Tomás, ingénieur en IA, veut plus de temps et d’argent pour son projet qui doit « prédire les retards de livraison avec l’apprentissage automatique ». Les clients soumettent environ 120 billets de soutien « Où est ma commande? » par jour (fiche 4).
- Le propriétaire de la boutique a lu que « l’IA détecte la fraude ». Il veut l’utiliser pour les demandes de retour. Larkfield traite environ 1 200 retours par mois, avec 4 fraudes confirmées au cours des deux dernières années (fiche 3).
- Omar, le gestionnaire de produit, veut continuer à améliorer l’assistant qui rédige des réponses aux billets de soutien (fiche 1).
Regardez bien la fiche 4. Le transporteur envoie déjà l’état de suivi de chaque colis, chaque heure. Larkfield connaît déjà la date promise pour chaque commande. La boutique n’a donc pas besoin de prédire un retard de livraison : elle peut le constater. Une règle le détermine exactement. Si un colis n’est pas livré à la date promise, ou si son état indique un blocage, envoyez un message au client.
Un modèle ferait moins bien. Chaque réponse d’IA est une réponse probable, pas certaine, comme le montre la prochaine leçon. Un modèle avertirait donc parfois le client d’un retard pour un colis qui arrive à temps. Il resterait parfois silencieux pour un colis en retard. Il faudrait aussi des données, de l’entraînement, des tests et de l’entretien. La règle n’a besoin de rien de cela, et vous pouvez la vérifier sur la page de suivi.
La fiche 3 pose un autre problème. Avec 4 fraudes en deux ans, il n’y a presque rien à apprendre. Et la plupart des demandes ne sont jamais vérifiées. Personne ne sait donc combien de fraudes sont passées inaperçues. Un modèle ne peut pas apprendre une tendance à partir de 4 exemples et de nombreuses inconnues.
L’idée : partir du cas d’utilisation
Section intitulée « L’idée : partir du cas d’utilisation »Un cas d’utilisation comprend un utilisateur précis, une tâche ou une décision qu’il réalise, et le résultat que vous voulez améliorer. « L’IA pour le service à la clientèle » n’est pas un cas d’utilisation. « Les agents de soutien répondent à chaque billet. Nous voulons de bonnes réponses plus rapides, sans manquer de problème de sécurité » en est un. Le nom vient de la conception logicielle : un cas qui décrit comment quelqu’un utilise un système.
Chaque cas d’utilisation exige trois faits avant tout outil :
- L’utilisateur : qui fait le travail, ou qui subit le problème.
- La tâche ou la décision : ce qu’il fait exactement, à quelle fréquence et comment il le fait aujourd’hui.
- Le coût d’une erreur : ce qui arrive quand le travail est mal fait, et qui en paie le prix.
Le troisième fait est celui que les gens oublient. Envoyer un billet à la mauvaise équipe coûte quelques minutes. Manquer un problème de sécurité peut blesser un enfant. La même exactitude peut convenir à une tâche et être inacceptable pour une autre.
La façon de faire le travail aujourd’hui porte aussi un nom : la référence de base. C’est le résultat que tout nouvel outil doit dépasser. Pour la fiche 4, la référence de base est « les clients soumettent un billet, un agent vérifie le suivi du colis ». Pour l’assistant de soutien, la référence de base d’une nouvelle requête (prompt) est la requête v2 actuelle. Les exemples d’erreurs du dossier de preuves montrent pourquoi cela compte. La requête v2 n’a pas non plus donné de réponse à un des 271 billets de test (consigné). La requête v3 n’a pas donné de réponse à 25 billets. On compare donc une nouvelle version à la version actuelle, pas à la perfection : v2 n’est pas parfaite, et v3 est pire.
Essayez d’abord la solution la moins chère
Section intitulée « Essayez d’abord la solution la moins chère »Avant l’IA, demandez-vous si une solution plus simple résout le problème. Le diagramme présente les solutions habituelles, de la moins chère à la plus chère.
Description textuelle du diagramme
Cinq cases forment une chaîne de gauche à droite; sur un téléphone, de haut en bas. La première est « changer le processus » : qui fait quoi, et quand. La deuxième est « ajouter un formulaire » : demander au client ou au collègue les faits manquants. La troisième est « créer un rapport » : montrer la tendance à une personne qui décide. La quatrième est « écrire une règle » : si ceci, alors cela, exactement. La dernière case, en orange, est « utiliser l’IA » : une réponse probable, vérifiée par une personne. Une note sous la première case indique que ces solutions sont moins chères, exactes et faciles à vérifier. Une note sous la dernière indique que l’IA est plus chère, jamais certaine, et exige une révision et de l’entretien.
Chaque solution a sa place. Un changement de processus corrige le travail envoyé à la mauvaise personne. Un formulaire corrige les billets sans numéro de commande. Un rapport aide une personne à voir une tendance, comme des retours provenant d’une même adresse. Une règle règle tout ce que vous pouvez écrire sous la forme « si ceci, alors cela ». L’IA aide quand la tâche exige du jugement dans de nombreux cas variés, comme répondre à un billet en texte libre. Aucune règle ne peut rédiger cette réponse.
Un petit exemple : évaluer la fiche 4
Section intitulée « Un petit exemple : évaluer la fiche 4 »La grille de sélection des cas d’utilisation pose quatre groupes de questions, dans l’ordre. Vous vous arrêtez au premier « non » et écrivez pourquoi. Voici la partie 1, le problème, pour la fiche 4 :
| Question | Réponse pour la fiche 4 |
|---|---|
| Qui est l’utilisateur? | Les clients qui attendent une commande |
| Quelle tâche ou décision voulons-nous améliorer? | Dire au client qu’une livraison n’arrivera pas à la date promise |
| Comment fait-on aujourd’hui? | Le client soumet un billet; un agent vérifie le suivi du colis. Environ 120 billets par jour (construit) |
| Combien coûte une erreur, et qui en paie le prix? | Un message erroné ou tardif, et un billet de plus pour un agent |
| Une règle, un rapport, un formulaire ou un changement de processus pourrait-il résoudre le problème? | Oui. Une règle fondée sur l’état horaire du transporteur et la date promise |
La dernière ligne dit « oui », donc la grille s’arrête ici. C’est un bon résultat : une règle que l’équipe peut créer, tester et expliquer. La décision est « arrêter l’idée d’IA, créer la règle ». La mesure du succès est une baisse des billets « Où est ma commande? ».
La grille complète compte quatre étapes. Le diagramme les montre, avec la signification de chaque « non ».
Description textuelle du diagramme
Le parcours commence par une idée de projet d’IA. La question 1 demande si le problème, l’utilisateur et le coût d’une erreur sont clairs. La question 2 demande si l’IA peut faire la tâche. La question 3 demande si une personne peut vérifier la réponse. La question 4 demande si le projet en vaut la peine, selon une fourchette d’estimations. Si les quatre réponses sont oui, le résultat est « continuer ». La première étape consiste alors à tester l’hypothèse la plus importante. Chaque « non » mène à sa propre case rouge. Un non à la question 1, ou une solution plus simple, signifie arrêter. Utilisez la règle, le rapport, le formulaire ou le changement de processus. Un non à la question 2 signifie arrêter : les événements sont rares, il n’y a aucun exemple, ou chaque réponse doit être certaine. Un non à la question 3 signifie changer l’idée : garder une personne responsable, ou arrêter. Un non à la question 4 signifie arrêter, ou trouver un problème plus important.
Cette leçon couvre la question 1. Ce que l’IA fait bien et mal couvre les questions 2 et 3. Estimer la valeur et le rendement couvre la question 4.
L’assistant de soutien de Larkfield passe la question 1
Section intitulée « L’assistant de soutien de Larkfield passe la question 1 »La fiche 1 est différente de la fiche 4. L’utilisateur est clair : les agents de soutien de Grace. La tâche est claire : répondre à chaque billet et transmettre les problèmes de sécurité et les cas particuliers à une personne. Aujourd’hui, les agents rédigent chaque réponse à la main, avec la politique de soutien ouverte. C’est la référence de base. Une erreur a un coût réel : une promesse erronée, un client mécontent ou un problème de sécurité manqué.
Une solution plus simple pourrait-elle suffire? En partie. Un formulaire pourrait demander le numéro de commande. Une règle pourrait transmettre chaque billet contenant le mot « feu » à une personne. Mais aucune règle ne peut rédiger une réponse utile à une question en texte libre sur une poêle fissurée et un remboursement manquant. La tâche exige du jugement dans de nombreux cas variés. La fiche 1 passe donc à la question 2.
Discussion : Tomás devrait-il créer le modèle de retard de livraison?
Section intitulée « Discussion : Tomás devrait-il créer le modèle de retard de livraison? »Nadia rencontre Tomás, Grace et Mei, l’ingénieure de données, pour discuter de la fiche 4.
- Tomás dit : « L’apprentissage automatique peut avertir les clients avant que le transporteur le sache. Et l’équipe apprend une compétence moderne. »
- Grace dit : « Mes agents répondent à environ 120 billets “Où est ma commande?” par jour. Je veux en avoir moins, bientôt. »
- Mei dit : « L’état du transporteur arrive chaque heure. On le conserve déjà. »
Avant de poursuivre votre lecture, répondez à ces questions :
- Quel est le problème de l’utilisateur, en une phrase?
- Qu’apporte la règle qu’un modèle ne peut pas apporter?
- Le premier argument de Tomás justifie-t-il de créer le modèle maintenant?
La réponse du cours. Le problème est celui du client : il ne sait pas que le colis est en retard, alors il soumet un billet. Une règle fondée sur l’état du transporteur et la date promise résout le problème exactement, dès aujourd’hui. Tout le monde peut la vérifier sur la page de suivi. Un modèle donne une réponse probable, exige des données et de l’entretien, et se tromperait parfois. « Avant que le transporteur le sache » est un nouveau problème, pas celui-ci. Personne n’a montré qu’il existe. Créez d’abord la règle, puis mesurez le nombre de billets « Où est ma commande? ». Apprendre une compétence est un bon objectif, mais ce n’est pas un cas d’utilisation.
Ce qui changerait la réponse : des preuves que beaucoup de colis arrivent en retard sans avertissement dans l’état du transporteur. Prédire les retards plus tôt pourrait alors devenir un vrai cas d’utilisation. La règle serait sa référence de base, et le modèle devrait la dépasser.
Quand utiliser la grille, et ce qu’elle coûte
Section intitulée « Quand utiliser la grille, et ce qu’elle coûte »Utilisez la grille pour chaque nouvelle idée, avant toute réalisation, et de nouveau quand une idée change. La partie 1 prend quelques minutes à une personne qui connaît le travail. C’est la décision la moins chère de tout le projet.
Ne l’utilisez pas pour arrêter chaque expérience. Une petite expérience limitée dans le temps peut être une façon équitable de répondre à un « incertain ». Pourquoi les plans d’IA sont différents montre comment en planifier une. Le rôle de la grille est d’abord de clarifier le problème et la référence de base. Une expérience répond ensuite à une vraie question.
Le coût, c’est l’honnêteté. Une grille qui conclut « créer une règle » est un succès, même si quelqu’un espérait créer de l’IA. Consignez ce résultat, avec sa raison.
Erreur courante
Partir de la technologie
Symptôme : un plan nommé « notre stratégie d’IA » énumère des outils et des modèles, mais aucun utilisateur. Ses objectifs sont « utiliser l’IA au service à la clientèle » et « détecter la fraude avec l’IA ». Personne ne peut dire combien coûterait une erreur, ni comment le travail se fait aujourd’hui.
Cause : le plan est parti de l’outil. Sans utilisateur ni tâche, il n’y a aucune référence de base à dépasser ni aucun moyen de mesurer le succès. Chaque résultat ressemble donc à un progrès.
Solution : reformulez chaque objectif en cas d’utilisation : l’utilisateur, la tâche ou la décision, le coût d’une erreur et la référence de base actuelle. Passez ensuite chaque cas dans la grille de sélection des cas d’utilisation. La fiche 3, « détecter la fraude », devient « l’équipe des retours vérifie les demandes qui semblent incorrectes ». La grille s’arrête à la question 2, car il n’y a que 4 exemples. Un rapport sur les tendances inhabituelles de retour, à vérifier par l’équipe, serait une meilleure première étape.
Conséquence pour un leader : des mois de travail sans lancement, parce que personne n’a convenu de ce que « fonctionner » signifie. Le projet au point mort dans l’étude de cas ci-dessus a commencé ainsi.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Nommez les trois faits nécessaires à chaque cas d'utilisation avant tout outil. Dites lequel les gens oublient le plus souvent.
Afficher la réponse
L’utilisateur : qui fait le travail ou subit le problème. La tâche ou la décision : ce qu’il fait, à quelle fréquence et comment il le fait aujourd’hui. Le coût d’une erreur : ce qui arrive, et qui en paie le prix. Les gens oublient le plus souvent le coût d’une erreur. Il détermine l’exactitude nécessaire du travail et si une personne doit vérifier chaque réponse.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Un collègue propose l'IA pour envoyer chaque demande du site Web à la bonne équipe de vente. Aujourd'hui, le formulaire du site n'a aucun champ pour le produit. Quelle solution plus simple essayeriez-vous d'abord, et pourquoi?
Afficher la réponse
Ajoutez un champ au formulaire : « De quel produit s’agit-il? », avec une courte liste. Une règle envoie ensuite chaque demande à l’équipe responsable de ce produit. La solution est peu coûteuse, exacte et facile à vérifier, et elle élimine la plupart du travail de tri. L’IA pourrait encore aider pour les demandes qui choisissent « autre ». Mais seulement si elles sont nombreuses, et après avoir mesuré l’effet du changement de formulaire.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Qu'est-ce qu'une référence de base, et quelle est celle de la requête v3 de Larkfield?
Afficher la réponse
Une référence de base décrit comment le travail se fait aujourd’hui, et avec quelle qualité. C’est le résultat que tout nouvel outil doit dépasser. Pour la requête v3, la référence de base est la requête v2 actuelle, pas un assistant parfait. La requête v2 a aussi échoué une fois, sur 1 billet parmi 271 (consigné). La requête v3 a échoué sur 25 billets parmi 271. Elle ne dépasse donc pas sa référence de base.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Partez d’un cas d’utilisation : un utilisateur, une tâche ou une décision, et le résultat à améliorer. Ajoutez ensuite le coût d’une erreur.
- La référence de base est la façon de faire le travail aujourd’hui. Tout nouvel outil doit la dépasser. On compare la requête v3 à la requête v2, pas à la perfection.
- Essayez d’abord la solution la moins chère : un changement de processus, un formulaire, un rapport ou une règle. L’IA vient en dernier, car elle n’est jamais certaine et exige toujours une vérification.
- La fiche 4 s’arrête à la question 1 : une règle fondée sur l’état du transporteur informe exactement les clients des colis en retard. La fiche 1, l’assistant de soutien, passe la question 1 : aucune règle ne peut rédiger la réponse.
Ensuite, les questions 2 et 3 de la grille : quelles tâches l’IA fait bien ou mal, et pourquoi sa réponse est probable.
Leçon suivante : Ce que l'IA fait bien et mal