Ce que l'IA fait bien et mal
- Leçon 3
- 25 min
- Module 1 : Décider où l'IA aide
Où nous en sommes
Dans la leçon précédente, nous sommes partis du problème, et nous avons gardé l'IA pour les tâches qu'aucune règle simple ne peut faire. Mais certaines tâches conviennent à l'IA et d'autres non, et une démo ne montre pas lesquelles. Dans cette leçon, nous séparons les tâches que l'IA fait habituellement bien de celles où elle échoue, et nous apprenons le seul fait derrière les deux listes. Nous commençons par une prévision météo.
Leçon 3 sur 22 · Diriger des produits et des équipes d'IACe que l'IA fait bien et mal
1. Décider où l'IA aide
2. Décider comment l'obtenir
3. Planifier dans l'incertitude
4. Concevoir pour les personnes
5. Bâtir et diriger une équipe d'IA
6. Gérer les risques, la gouvernance et un lancement responsable
Ce que vous saurez faire
Distinguez les tâches que l’IA réussit généralement de celles où elle échoue, avant que quelqu’un commence à développer. Apprenez aussi le fait qui explique les deux listes. Une réponse de l’IA est probable, mais pas certaine. Quelqu’un doit donc pouvoir la vérifier.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Le cas d’utilisation, la référence de base et la grille de sélection des cas d’utilisation, dans Les problèmes avant les outils. Cette leçon répond aux questions 2 et 3 de la grille.
- Les quatre étiquettes de chaque nombre, dans Lire le dossier de preuves.
Ce qu’il vous faut
- Les exemples d’erreurs et les résultats d’évaluation du dossier de preuves, ouverts dans votre navigateur.
Une prévision météo
Section intitulée « Une prévision météo »La prévision annonce : « 70 % de probabilité de pluie demain. » Vous prenez un parapluie. Certains jours, il ne pleut pas, et vous ne dites pas que la prévision était fausse. Vous savez qu’elle donne une réponse probable, pas une réponse certaine.
La prévision réussit parce qu’elle s’appuie sur de nombreuses années de journées passées, et que demain ressemble à beaucoup d’entre elles. Elle prédit mal la tempête qui survient une fois par siècle : il n’y a presque aucun exemple passé. Et vous pouvez toujours vérifier une prévision. Demain, vous regardez par la fenêtre.
Les outils d’IA fonctionnent de façon semblable. Cela explique ce qu’ils font bien et les situations où ils échouent.
Le problème : une réponse fluide, mais fausse
Section intitulée « Le problème : une réponse fluide, mais fausse »Voici une vraie réponse du test de Larkfield, consignée dans le cours Évaluer et tester les systèmes d’IA. Le billet de soutien est inventé; la réponse est une sortie réelle du modèle, sans modification. Un client demande comment remplacer une carte expirée enregistrée dans son compte (billet T-65350). La requête v3, la nouvelle version proposée, a écrit :
« Je suis désolé pour ce désagrément, surtout avec votre récente commande. Vous pouvez remplacer la carte expirée dans la section des cartes enregistrées de votre compte Larkfield. Veuillez ne pas nous envoyer le numéro complet de la carte. … »
La réponse est polie, précise et assurée. Elle est aussi fausse. Larkfield n’a aucune section de cartes enregistrées accessible aux clients. La politique de Grace dit seulement que l’équipe des comptes gère les cartes enregistrées. Le modèle juge, qui vérifiait chaque réponse selon la politique, lui a donné 2 sur 5 : « invente une section de cartes enregistrées ». Un agent qui fait confiance à ce brouillon dirige le client vers une page qui n’existe pas.
Rien dans la réponse ne montre qu’elle est fausse. Elle se lit exactement comme une bonne réponse. Un leader qui considère les sorties de l’IA comme certaines enverra de telles réponses aux clients.
L’idée : une réponse probable, apprise à partir d’exemples
Section intitulée « L’idée : une réponse probable, apprise à partir d’exemples »Un modèle d’IA apprend des régularités à partir de nombreux exemples. Pour une nouvelle entrée, il produit ensuite la sortie la plus probable selon ces exemples. Un modèle de langage écrit les mots qui ont le plus de chances de suivre. Il ne suit aucun livre de règles et ne sait pas quand il se trompe. Une même phrase peut donc être fluide et fausse.
Cela a trois effets qu’un leader doit connaître :
- La réponse peut être fausse sans aucun signe. La réponse sur les cartes enregistrées semble correcte.
- La même question peut recevoir une réponse différente. Chaque exécution choisit parmi des sorties probables. Deux exécutions peuvent donc différer.
- Le modèle comble un manque dans les exemples par quelque chose de plausible. Quand la politique ne donne aucune réponse, le modèle en écrit une qui semble correcte.
Un petit exemple : le même test, cinq fois
Section intitulée « Un petit exemple : le même test, cinq fois »L’équipe a traité les mêmes 102 billets de développement cinq fois avec chaque requête, sans rien changer entre les exécutions. Le nombre ci-dessous compte les « deux décisions correctes » : la bonne équipe et la bonne décision sur le besoin d’une personne.
- Requête v2 (actuelle)
- Requête v3 (proposée)
Description textuelle du graphique
Un graphique à colonnes comporte dix colonnes sur un axe de 0 à 100. Les cinq premières représentent les exécutions 1 à 5 de la requête v2 : 90, 96, 94, 92 et 95 billets avec les deux décisions correctes, sur 102. Les cinq suivantes représentent les exécutions 1 à 5 de la requête v3 : 84, 81, 76, 80 et 81. Les résultats de chaque requête diffèrent de plusieurs billets, même si rien n’a changé entre les exécutions. Chaque exécution de v3 est inférieure à chaque exécution de v2.
Chaque requête varie de plusieurs billets d’une exécution à l’autre, sans aucun changement. Voilà la « réponse probable » exprimée en nombres. L’échec le plus grave a lui aussi varié. Dans deux exécutions, la requête v3 n’a donné aucune réponse à un billet qui nécessitait une personne. Dans l’exécution 1, c’était T-64740, le parasol tombé vers un enfant; dans l’exécution 3, c’était T-81036. Les exécutions 2, 4 et 5 n’ont pas montré cet échec. Une seule exécution aurait pu indiquer « aucun problème trouvé ».
Ce que l’IA réussit généralement, et où elle échoue
Section intitulée « Ce que l’IA réussit généralement, et où elle échoue »Les deux conditions de la prévision déterminent les listes : beaucoup d’exemples semblables au nouveau cas et une façon de vérifier la réponse.
Description textuelle du diagramme
Le diagramme présente deux groupes côte à côte; sur un téléphone, l’un au-dessus de l’autre. Le premier groupe, « L’IA réussit généralement », compte cinq cases. Trier : choisir l’équipe pour un billet. Extraire : lire le total d’un reçu. Rédiger : écrire une réponse qu’un agent modifiera. Chercher : trouver le paragraphe de la politique. Prédire à partir de nombreux exemples : quel billet sera transmis à un niveau supérieur. Le deuxième groupe, « L’IA échoue généralement », compte quatre cases rouges. Événements rares : 4 fraudes en deux ans. Absence de données : aucun exemple étiqueté pour l’instant. Aucune tolérance à l’erreur : un prêt décidé sans personne. Réponse impossible à vérifier : un résultat qui apparaît seulement des mois plus tard.
Trier, extraire, rédiger, chercher, prédire à partir de nombreux exemples. Ces tâches se répètent des milliers de fois, et chaque cas ressemble à beaucoup de cas précédents. Une personne ou une règle peut vérifier le résultat. L’essai documentaire de Larkfield est un exemple d’extraction. La meilleure combinaison a lu correctement 98,2 % des valeurs imprimées sur 54 reçus inventés. Ce résultat est consigné dans le cours IA documentaire et multimodale. Une règle simple le vérifiait : la somme des lignes doit correspondre au total.
Événements rares, absence de données, aucune tolérance à l’erreur, réponse impossible à vérifier. La fiche 3 compte 4 fraudes en deux ans : rien pour apprendre. La clinique de la fiche 5 n’a pas encore d’exemples étiquetés. La fiche 8 veut décider des prêts sans agent de crédit. Le résultat apparaît des mois plus tard, seulement pour les prêts approuvés. Dans chaque cas, la réponse probable du modèle est une supposition dont personne ne peut détecter les erreurs.
Quand les exemples manquent, les réponses se dégradent
Section intitulée « Quand les exemples manquent, les réponses se dégradent »Le projet pilote montre le troisième effet : le modèle comble le manque. Le graphique présente les « deux décisions correctes » par groupe de billets, en réunissant les billets de développement et de test réservés.
- Requête v2 (actuelle)
- Requête v3 (proposée)
Description textuelle du graphique
Un graphique à points comporte douze lignes, deux par groupe de billets, sur un axe de 50 % à 100 %. Billets ordinaires : requête v2 96 %, requête v3 91 %. Billets à la frontière d’une autre équipe : 93 % et 82 %. Billets difficiles, longs ou avec deux sujets ou des fautes de frappe : 92 % et 80 %. Billets en français : 100 % et 100 %. Billets qui nécessitent une personne : 100 % et 95 %. Billets auxquels la politique ne répond pas : 70 % et 56 %, les résultats les plus faibles.
Les deux requêtes réussissent le moins bien sur les billets auxquels la politique de Grace ne répond pas : 70 % pour v2 et 56 % pour v3. C’est dans ce manque que le modèle écrit quelque chose de plausible, comme la section des cartes enregistrées. La leçon pour un leader : demandez les résultats par groupe. Examinez surtout les cas que vos règles et vos exemples ne couvrent pas.
Une personne peut-elle vérifier la réponse?
Section intitulée « Une personne peut-elle vérifier la réponse? »La question 3 de la grille découle de l’idée précédente. La réponse est probable, pas certaine. Quelqu’un doit donc pouvoir la vérifier à un coût qui permet encore une économie.
- Fiche 1, réponses au soutien : oui. L’agent lit le brouillon avant l’envoi, en environ une minute à deux minutes et demie (base 1,5; hypothèse, fiche construite).
- Fiche 2, reçus : oui, et une règle vérifie beaucoup de choses : la somme des lignes doit correspondre au total.
- Fiche 5, résumés de messages vocaux : seulement en réécoutant l’appel, ce qui élimine la majeure partie de l’économie.
- Fiche 8, prêts sans agent de crédit : non. Personne ne vérifie, et le résultat apparaît des mois plus tard.
Quand personne ne peut vérifier la réponse, changez l’idée : gardez une personne responsable, ou arrêtez.
L’assistant de Larkfield : deux tâches que l’IA réussit, avec une vérification
Section intitulée « L’assistant de Larkfield : deux tâches que l’IA réussit, avec une vérification »L’assistant de soutien fait deux choses. Il trie chaque billet : quelle équipe, et une personne doit-elle s’en occuper? Il rédige aussi une réponse que l’agent modifiera. Les deux tâches ont des milliers d’exemples passés et une vérification : l’agent lit chaque brouillon. Avec la requête v2, le modèle juge a classé 173 brouillons sur 199 comme utilisables (notes de 4 ou 5). Il en a classé 0 comme nuisibles (résultats consignés).
La fiche 1 passe donc les questions 2 et 3, à une condition : la personne reste. Les preuves de réussite ont été mesurées avec un agent qui lisait chaque brouillon.
Discussion : le laisser envoyer seul les réponses simples?
Section intitulée « Discussion : le laisser envoyer seul les réponses simples? »Omar veut économiser davantage de temps aux agents. Il propose que l’assistant envoie seul les réponses aux billets « simples », sans qu’un agent les lise.
- Omar dit : « La requête v2 a pris les deux bonnes décisions pour 94 des 98 billets de test réservés. Aucun de ses brouillons n’était nuisible. »
- Grace dit : « 26 brouillons sur 199 n’étaient pas utilisables. Mes agents les corrigent aujourd’hui. »
- Kwame dit : « Qui décide quel billet est simple, et comment? »
Avant de poursuivre, répondez à ces questions :
- Quelle question de la grille l’idée d’Omar change-t-elle?
- Qu’arrive-t-il à une réponse fausse que personne ne lit?
- Quelles preuves vous faudrait-il avant qu’une réponse soit envoyée seule?
La réponse du cours. L’idée d’Omar change la question 3 : elle supprime la vérification. Chaque résultat du dossier a été mesuré avec un agent qui lisait chaque brouillon. Sans l’agent, les 26 brouillons sur 199 qui doivent être réécrits arrivent tels quels chez les clients. Rien ne montre lesquels sont faux. « 0 nuisible sur 199 » ne signifie pas « jamais nuisible », comme le montre Estimer la valeur et le rendement. Et personne ne peut dire à l’avance quel billet est simple. Le groupe le plus faible, « la politique ne donne aucune réponse », semble simple au client. La personne reste donc. Prévoir la révision humaine dès la conception calcule le coût de chaque niveau de révision.
Ce qui changerait la réponse : un groupe de billets facile à reconnaître à l’avance, avec des résultats mesurés sur bien plus de 200 billets. Il faudrait aussi un moyen rapide pour les clients de signaler une réponse fausse, et un responsable qui lit chaque signalement.
Quand utiliser l’IA, et ce qu’elle coûte
Section intitulée « Quand utiliser l’IA, et ce qu’elle coûte »Utilisez l’IA pour les tâches fréquentes qui ressemblent à de nombreux cas précédents et dont quelqu’un peut vérifier rapidement la réponse. Ne l’utilisez pas quand les événements sont rares, les exemples manquent, une seule erreur est inacceptable ou personne ne peut vérifier.
Le coût caché est la vérification. Chaque réponse probable nécessite une personne ou une règle pour détecter les réponses fausses. Ce coût doit entrer dans l’estimation de la valeur. La prochaine leçon l’y ajoute.
Erreur courante
Faire confiance à la confiance du modèle en lui-même
Symptôme : la démonstration d’un fournisseur affiche un score de confiance à côté de chaque valeur lue par son modèle : « 1,0 », « 0,99 ». L’équipe prévoit de vérifier seulement les valeurs sous 0,95.
Cause : la confiance d’un modèle est sa propre réponse probable sur lui-même. Personne ne l’a comparée à la vérité. Dans l’essai documentaire, le modèle de vision a donné un score de confiance pour 486 valeurs. Il s’est trompé 10 fois. Parmi ces 10 valeurs fausses, 9 avaient la confiance maximale, soit 1,0. Le cours IA documentaire et multimodale a consigné ce résultat. Avec une instruction précédente moins stricte, le même modèle avait inventé 11 numéros de commande.
Correction : vérifiez avec quelque chose qui ne fait pas confiance au modèle. Utilisez une règle (la somme des lignes correspond au total), un champ obligatoire ou un échantillon vérifié par une personne. Demandez au fournisseur des résultats sur vos propres documents, avec un décompte des erreurs.
Conséquence pour un leader : un seuil de confiance n’envoie presque rien à une personne. Les valeurs fausses vont donc directement dans les comptes, accompagnées d’un score de confiance élevé.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Classez chaque tâche dans « réussit généralement » ou « échoue généralement », avec une raison : (a) choisir le service pour 2 500 demandes municipales par jour, avec des années d'exemples passés; (b) approuver des prêts sans agent de crédit; (c) trouver la clause de résiliation d'un contrat et citer sa page; (d) prédire lesquelles des 1 200 demandes de retour mensuelles sont frauduleuses, avec 4 fraudes connues.
Afficher la réponse
(a) Réussit : tri, nombreux exemples passés, et un mauvais service renvoie la demande; elle est donc vérifiée. (b) Échoue : aucune tolérance à l’erreur et aucune façon de vérifier. Le résultat apparaît des mois plus tard, seulement pour les prêts approuvés. (c) Réussit : recherche et extraction, et l’avocat vérifie la citation et sa page. (d) Échoue : un événement rare avec 4 exemples. La plupart des demandes ne sont jamais vérifiées; leurs étiquettes sont donc inconnues.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
La requête v3 n'a donné aucune réponse à un billet qui nécessitait une personne dans 2 exécutions sur 5. Que vous apprend ce résultat sur un rapport de test qui dit « une exécution, aucun problème trouvé »?
Afficher la réponse
L’IA donne une réponse probable. Le même test peut donc donner un résultat différent à chaque exécution. Un échec grave peut rester invisible dans une exécution et apparaître dans la suivante. « Une exécution, aucun problème trouvé » est une preuve faible. Demandez combien d’exécutions ont été faites et les résultats de chacune, pas seulement de la meilleure.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Pourquoi une réponse fluide et assurée peut-elle être fausse, et comment le leader s'en protège-t-il?
Afficher la réponse
Le modèle écrit les mots les plus probables selon ses exemples. Il n’a aucun livre de règles et ne sait pas quand il se trompe. Il peut donc inventer une étape, comme une « section de cartes enregistrées », dans une langue parfaite. Sa propre confiance n’aide pas : 9 valeurs documentaires fausses sur 10 avaient une confiance de 1,0. La protection est une vérification qui ne fait pas confiance au modèle. Une personne ou une règle vérifie la sortie avant qu’elle arrive chez un client.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Une réponse de l’IA est une réponse probable, apprise à partir d’exemples. Elle peut être fausse sans aucun signe, changer entre les exécutions et combler les manques avec quelque chose de plausible.
- L’IA réussit généralement quand les tâches se répètent, avec beaucoup d’exemples et quelqu’un pour vérifier : trier, extraire, rédiger, chercher, prédire à partir de nombreux exemples.
- Elle échoue généralement avec des événements rares, une absence de données, aucune tolérance à l’erreur ou aucune façon de vérifier.
- Avec les mêmes 102 billets, la requête v2 a donné entre 90 et 96 décisions correctes en cinq exécutions. Les deux requêtes étaient les plus faibles là où la politique ne donne aucune réponse.
- L’assistant de Larkfield trie et rédige, et un agent vérifie chaque brouillon. Retirez la vérification, et les preuves ne s’appliquent plus.
Ensuite, la question 4 de la grille : est-ce que cela en vaut la peine? Vous estimez la valeur de l’assistant sous forme d’intervalle, en comptant le coût de la révision et des erreurs.
Leçon suivante : Estimer la valeur et le rendement