Une décision de tribunal sur la réponse d'un agent conversationnel
- Étude de cas 1
- 120 min
- Facultative · 1 étude de cas requise pour le certificat
Où nous en sommes
Dans ce cours, nous avons donné aux systèmes de Larkfield des responsables, des politiques, des révisions et des registres. Jusqu'ici, tous les cas concernaient Larkfield et étaient inventés. Cette étude de cas teste ces outils sur une véritable décision publique. Un tribunal a tenu une compagnie aérienne responsable des propos de l'agent conversationnel de son site Web à un client. Nous cherchons ce qui manquait. Nous rédigeons ensuite l'analyse de gouvernance qui aurait évité le problème.
Étude de cas 1 sur 3 · Gouvernance de l'IA : politiques, risques et responsabilitéUne décision de tribunal sur la réponse d'un agent conversationnel
1. À quoi sert la gouvernance
2. Les lois et les normes en termes simples
3. Inventaire, niveaux de risque et évaluation d'impact
4. Des politiques que l'on peut suivre
5. Contrôles, documentation et preuves
6. Faire vivre la gouvernance
Ce que vous saurez faire
Testez tout le cours sur une véritable décision. Vous lisez une décision publique d’un tribunal sur la réponse erronée d’un agent conversationnel. Vous trouvez le responsable, la politique, la révision et le registre manquants. Vous rédigez l’analyse qui aurait évité le problème. Puis vous l’appliquez à Larkfield.
Le dossier du cas contient un README, une fiche source et une feuille de travail. Vous lisez la décision sur CanLII, pas dans le dossier : le cours fournit un lien sans la copier.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
Cette étude de cas utilise tout le cours. Voici les leçons les plus importantes :
- Le responsable qui rend des comptes et la personne qui approuve, dans Qui est responsable.
- La ligne d’inventaire et la méthode de classement du risque, dans L’inventaire de l’IA et Niveaux de risque et contrôles proportionnés.
- Un contrôle avec un responsable et des preuves, dans De la politique au contrôle.
- Les cinq questions après un incident, dans Incidents, plaintes et recours.
Cette page enseigne une nouvelle idée : une source de vérité pour chaque réponse concernant une politique.
Ce qu’il vous faut
- Un navigateur et un outil de rédaction (un traitement de texte, un éditeur de texte ou un tableur).
- La décision sur CanLII, ainsi que le README, la fiche source et la feuille de travail du dossier du cas.
- Aucun compte, aucune installation et aucun argent.
La situation
Section intitulée « La situation »Nadia, responsable des opérations clients de Larkfield, a entendu parler du cas dans les nouvelles. Elle interroge Farida, responsable des risques et de la conformité de Larkfield : « Nos systèmes de soutien répondent aussi aux clients. Est-ce que cela pourrait nous arriver? Qu’est-ce qui aurait évité le problème? » Larkfield, Nadia et sa question sont construits pour ce cours. Le cas est réel.
Votre objectif est une analyse de gouvernance de deux pages, dans la feuille de travail du dossier du cas. Elle décrit les faits, les éléments manquants, les trois contrôles qui auraient évité le problème et les changements nécessaires chez Larkfield. Cette page vous guide dans l’analyse. Vous rédigez votre analyse à la fin, dans vos propres mots.
La source et son utilisation
Section intitulée « La source et son utilisation »Les « données » de cette étude de cas se limitent à un document : Moffatt v. Air Canada, 2024 BCCRT 149. Il s’agit d’une décision du Civil Resolution Tribunal de la Colombie-Britannique, rendue le 14 February 2024. Lisez-la sur CanLII (source officielle, vérifiée le 22 octobre 2026). Vous pouvez aussi chercher « 2024 BCCRT 149 » sur le site des décisions du tribunal. La fiche source décrit la décision et les usages permis.
Premières vérifications
Section intitulée « Premières vérifications »Avant d’analyser une source, vérifiez sa nature. Trois faits changent la portée que vous pouvez donner à cette décision :
- Il s’agit d’une petite créance. Le tribunal a tranché sur la base des documents, sans audience orale. Moffatt se représentait sans avocat, et un employé représentait la compagnie aérienne (par. 5 et 8).
- Elle tranche un seul litige. Sa portée pour d’autres cas ou pour votre organisation est une question à poser à un avocat. Cette page en tire des leçons de gouvernance, pas des leçons juridiques.
- Le tribunal appelle la partie demanderesse « Mr. Moffatt » (M. Moffatt) et utilise « they » (pronom neutre). Cette page utilise « Moffatt » et évite les pronoms genrés.
Un commentaire publié apporte du contexte : Isabelle St-Hilaire, dans la UBC Law Review (2025 CanLIIDocs 1963). Lorsque cette page l’utilise, elle indique commentaire : l’opinion d’une auteure, et non une conclusion du tribunal.
Ce qui s’est passé
Section intitulée « Ce qui s’est passé »Lisez rapidement la décision une première fois, du début à la fin. Puis relisez seulement les paragraphes indiqués ci-dessous. Ils contiennent tous les faits nécessaires à l’analyse.
Description textuelle du diagramme
Le 11 novembre 2022, la grand-mère de Moffatt meurt. Moffatt interroge l’agent conversationnel sur les tarifs de deuil (par. 13–14). L’agent conseille de demander le tarif réduit après le voyage, dans les 90 jours (par. 15). Son propre lien mène à une page qui dit le contraire (par. 16–17). Moffatt réserve deux vols et présente une demande dans les 90 jours (par. 18, 20). La compagnie reconnaît une « formulation trompeuse » (par. 22). Le tribunal rejette sa défense (par. 27–29) et lui ordonne de payer 812.02 dollars (par. 44).
Dans nos mots : Moffatt interroge l’agent conversationnel du site de la compagnie sur les tarifs en cas de décès familial. L’agent indique que Moffatt peut demander le tarif réduit après le voyage, « dans les 90 jours suivant l’émission du billet » (par. 15). Les mots « tarifs de deuil » de cette réponse renvoient à la page de politique de la compagnie. Cette page précise que la politique ne s’applique pas après le voyage (par. 16–17). Moffatt fait confiance à l’agent, prend les vols et présente une demande à temps. La compagnie n’accorde pas le tarif réduit. Dans sa réponse, elle reconnaît que l’agent conversationnel a utilisé une « formulation trompeuse » (par. 22).
Regardez la ligne pointillée dans le schéma. Un site Web a donné deux réponses à une seule question. Voilà tout le cas en une image.
Ce que le tribunal a décidé, et pourquoi
Section intitulée « Ce que le tribunal a décidé, et pourquoi »La compagnie soutenait surtout qu’elle ne pouvait être tenue responsable des renseignements de ses agents ou représentants, y compris un agent conversationnel. Le tribunal qualifie cet argument de « remarquable » (par. 27). En termes simples, voici ses motifs :
- L’entreprise répond de tout son site Web, y compris de l’agent conversationnel. « Que les renseignements proviennent d’une page statique ou d’un agent conversationnel ne change rien. » (par. 27)
- L’entreprise n’a pas fait preuve de prudence. Elle « n’a pas pris de précautions raisonnables pour assurer l’exactitude de son agent conversationnel » (par. 28). Elle n’a pas non plus expliqué pourquoi un client devrait vérifier une partie de son site en consultant une autre.
- La confiance de Moffatt était raisonnable (par. 29).
- Les conditions du contrat n’ont pas aidé la compagnie. Elle invoquait son tarif, sans le déposer en preuve. Elle n’a donc pas prouvé cette défense (par. 31).
Le tribunal a ensuite calculé les montants.
Description textuelle du graphique
Un diagramme à quatre colonnes, en dollars canadiens. Le tribunal retient 1630.36 dollars comme montant payé par Moffatt (par. 34, 40). Moffatt réclamait 880.00 dollars. Le tribunal a accordé 650.88 dollars en dommages-intérêts. Le total ordonné était de 812.02 dollars : les dommages-intérêts, 36.14 dollars d’intérêts et 125.00 dollars de frais du tribunal.
Le tribunal retient 1630.36 dollars comme montant payé (par. 34, 40). Vérification faite par le cours : les deux tarifs du paragraphe 18 totalisent 1640.36 dollars.
Ce que cela nous apprend. Le montant est faible : 812.02 dollars en tout, à payer dans les 14 jours (par. 44). La compagnie avait aussi offert un bon de 200.00 dollars, que Moffatt n’a pas accepté (par. 41). Comme pour la facture d’IA de Larkfield, le risque ne tient pas au montant. Il tient à ce que le cas a révélé publiquement. Personne n’a vérifié les promesses de l’agent conversationnel. L’entreprise s’est défendue en disant que l’agent répondait de lui-même.
La gouvernance part de la position inverse. L’organisation répond de chaque système qu’elle déploie, peu importe qui l’a construit. Vous avez vu cette idée dans Une gouvernance qui aide les équipes à livrer, lorsque Tomás disait que le fournisseur était responsable.
La nouvelle idée : une source de vérité
Section intitulée « La nouvelle idée : une source de vérité »Imaginez un petit magasin. Le propriétaire tient une seule liste de prix. Les étiquettes, le site Web et le personnel reprennent tous cette liste. Un jour, le propriétaire augmente un prix et modifie la liste, mais oublie les étiquettes sur la tablette. Un client apporte une étiquette moins chère à la caisse. Le magasin ne peut pas dire : « C’est l’étiquette qui s’est trompée, pas nous. » L’étiquette représente le magasin.
Le problème, c’est la copie que personne ne met à jour. Un agent conversationnel est souvent aussi une copie. Il apprend ou récupère une politique à un moment donné, et cette politique peut changer ensuite. Le commentaire sur le cas suggère que cela s’est produit ici. La réponse de l’agent ressemble à une ancienne version de la politique de la compagnie (commentaire, St-Hilaire 2025). Le tribunal n’avait pas besoin de déterminer pourquoi l’agent s’était trompé. L’analyse de gouvernance doit toutefois poser la question.
Cette idée s’appelle une source de vérité unique. Pour chaque politique, un seul texte à jour, avec un seul responsable, sert à tous les canaux de réponse. La page, l’agent conversationnel et le personnel lisent tous le même texte. Quand le responsable le modifie, tous les canaux changent en même temps. Le canal qui ne peut pas appliquer la règle dirige le client vers une personne, par exemple pour une exception de remboursement.
Description textuelle du diagramme
À gauche, la politique change et seule la page reçoit la nouvelle règle. L’agent conversationnel garde sa propre copie, donc le client reçoit deux réponses. À droite, le responsable de la politique approuve chaque modification d’un seul texte à jour. La page et l’agent lisent tous deux ce texte. Les questions de test passent avant chaque mise en production, et le client reçoit une seule réponse.
Quand l’utiliser : pour toute réponse sur laquelle un client peut se fonder, comme les prix, remboursements, frais et délais. Quand ne pas l’utiliser : pour l’aide générale, comme « comment réinitialiser mon mot de passe? », une vérification plus légère suffit. Son coût : le temps d’un responsable pour chaque politique, des questions de test et une étape de mise en production à chaque changement.
La référence de base : la conception qui a échoué
Section intitulée « La référence de base : la conception qui a échoué »Comparez chaque option au système de la compagnie, pas à la perfection. Selon la décision, la référence de base était un agent conversationnel répondant seul aux clients, avec un lien vers la politique. Le client devait vérifier. Testez-la avec quatre questions, une pour chaque outil du cours : un responsable, une politique, une révision et un registre.
| Question | La référence de base | Preuves dans la décision |
|---|---|---|
| Responsable : qui répond des promesses que l’agent conversationnel peut faire? | Personne de visible. La défense affirmait que l’agent répondait de lui-même | par. 27 |
| Politique : que ne doit-il jamais promettre seul? | Aucune règle. Il a donné une règle de remboursement seul | par. 15 |
| Révision : ses réponses sont-elles vérifiées par rapport à la politique? | Aucun signe de vérification. Les deux réponses se contredisaient | par. 16–17, 28 |
| Registre : l’entreprise peut-elle voir ses propos et les corriger? | Le client avait la capture d’écran. L’entreprise a corrigé l’agent seulement après la plainte | par. 22 |
La référence de base réussit 0 sur 4. Notez ce que signifie la ligne du registre. Sans registre des réponses de son agent, une entreprise apprend l’erreur par le client, des mois plus tard.
Le niveau de l’agent conversationnel, selon la méthode du cours
Section intitulée « Le niveau de l’agent conversationnel, selon la méthode du cours »Évaluez maintenant l’agent de la compagnie avec la méthode de classement du risque du cours. Les scores représentent l’interprétation du cours, pas celle du tribunal :
| Facteur | Score | Pourquoi |
|---|---|---|
| Préjudice d’un résultat erroné | 2 | perte d’argent, qui peut être corrigée |
| Personnes touchées | 2 | clients à l’extérieur de l’entreprise |
| Autonomie | 3 | il répond seul aux clients; personne ne lit la réponse avant |
| Données | 2 | messages des clients |
| Somme et niveau | 9, high | contrôles 12, révision tous les 3 mois |
Un agent de site Web qui « répond seulement aux questions » présente un risque élevé selon cette méthode, car il agit seul. La règle 2 dit la même chose : agir seul avec un préjudice de 2 ou plus donne un risque élevé. Si vous considérez un client en deuil comme vulnérable, la somme atteint 10, toujours élevée. Placez une personne entre l’agent et le client pour approuver chaque réponse, et la somme descend à 8, medium. L’autonomie change le niveau, comme pour le flux de remboursement de Larkfield.
Les options
Section intitulée « Les options »Quatre conceptions auraient pu répondre à la question de Moffatt. Chacune mérite d’être examinée pour une raison.
| Option | Ce qu’elle propose | Pourquoi on la propose |
|---|---|---|
| A. Ajouter un avertissement | Le même agent, avec « vérifiez les renseignements importants » sous chaque réponse | Peu coûteux et rapide à ajouter |
| B. Aucune réponse sur les politiques | L’agent fournit un lien vers la politique sans jamais énoncer de règle | Élimine les réponses risquées |
| C. Une personne approuve | L’agent conversationnel rédige; un agent humain lit et envoie chaque réponse | Une personne voit chaque réponse avant l’envoi |
| D. Un agent conversationnel encadré | Une source de vérité, un responsable, des tests avant chaque mise en production, un journal et des recours | Conserve l’aide, contrôle les promesses |
Une même mesure pour chaque option
Section intitulée « Une même mesure pour chaque option »Une comparaison juste pose les mêmes questions à chaque option, dans le même ordre. Les notes représentent l’interprétation du cours. Ici, la mesure reprend les quatre questions de la référence de base et ajoute un test : aurait-elle empêché la réponse à Moffatt, ou l’aurait-elle détectée et corrigée rapidement?
| Option | Responsable | Politique | Révision | Registre | Empêche ou détecte la réponse à Moffatt? | Coût |
|---|---|---|---|---|---|---|
| Référence de base | non | non | non | non | non | le plus faible |
| A. Avertissement | non | non | non | non | non | très faible |
| B. Aucune réponse sur les politiques | oui, si désigné | oui | en partie | non | l’empêche; le client lit la page | faible; moins d’aide |
| C. Une personne approuve | oui | en partie | oui, chaque réponse | oui | généralement, si l’agent humain la lit | élevé; réponses lentes |
| D. Agent conversationnel encadré | oui | oui | oui, chaque mise en production | oui | empêche la plupart; le journal et les recours détectent le reste | moyen |
Ce que cela nous apprend. L’option A change les mots à l’écran, mais rien derrière eux. Le commentaire ajoute qu’un tel avertissement ne rendrait probablement pas la confiance du client déraisonnable (commentaire). L’option B est sûre, mais retire l’aide que l’agent conversationnel doit offrir. L’option C fonctionne seulement si l’agent humain lit chaque réponse. Incidents, plaintes et recours montrait des approbations données en un temps médian de 3 secondes (construit). L’option D répond aux quatre questions. C’est aussi la seule qui répare le préjudice après une erreur.
La recommandation
Section intitulée « La recommandation »Avant de poursuivre, écrivez votre choix et une raison.
Option D, avec trois contrôles. Chaque contrôle a un responsable, une preuve de son efficacité et une vérification :
Description textuelle du diagramme
L’absence de responsable, de politique et de révision mène au contrôle 1. L’agent conversationnel répond uniquement à partir de la page actuelle et transmet les remboursements à une personne. Le responsable de la politique le vérifie à chaque mise en production. L’absence de registre mène au contrôle 2 : consigner chaque réponse avec sa source. Le responsable technique en vérifie un échantillon chaque mois. La position de la compagnie aérienne, selon laquelle l’agent conversationnel répondait pour lui-même, mène au contrôle 3. Le client qui s’est fié à une mauvaise réponse obtient le résultat promis. Les preuves sont les résultats des tests, le journal des réponses et les dossiers de plaintes.
Le contrôle 1 est la source de vérité unique, avec un test avant la mise en production. Le test comprend des questions sur la politique et les bonnes réponses, rédigées par le responsable de la politique. Évaluer et tester les systèmes d’IA montre comment en créer un. Le contrôle 2 est le registre qui manquait à la compagnie aérienne. Le contrôle 3 est un recours. Le client qui a fait confiance au canal de l’entreprise ne paie pas pour son erreur.
Le coût est réel. Une personne doit assumer la responsabilité de chaque politique et rédiger ses questions de test. Chaque modification de politique devient une petite mise en production. Comparez cela à la référence de base : une mauvaise promesse que l’entreprise découvre des mois plus tard, par le client.
De bout en bout sur de nouvelles données : Larkfield
Section intitulée « De bout en bout sur de nouvelles données : Larkfield »Appliquez maintenant le même examen à des systèmes absents de l’analyse : ceux de Larkfield. Posez la question de Nadia pour chaque système qui répond aux clients ou prépare des réponses pour eux :
| Système (construit) | Ce qui parvient au client | Niveau | Pourrait-il faire une mauvaise promesse? |
|---|---|---|---|
| S1 Service de triage des billets | un brouillon qu’un agent lit et envoie | high (10) | oui, si un agent envoie un brouillon sans le lire |
| S2 Flux de résolution du soutien | un remboursement ou une réponse qu’une personne approuve | medium (8) | oui, par des approbations données sans lecture |
| S2 avec la demande R-12 | des remboursements jusqu’à 25 dollars, sans approbation | high (9) | oui, et personne ne les voit avant |
| S3 Assistant documentaire | une réponse que le personnel répète à un client | low (5) | oui, à partir d’un ancien document de politique |
| S6 Outil de suggestion de réponses TicketHarbor (inventé pour ce cours) | une suggestion qu’un agent modifie et envoie | medium (7) | oui, et personne n’en est responsable |
Aucun système de Larkfield ne parle seul aux clients aujourd’hui. Le problème observé dans l’affaire Moffatt atteint donc les clients de Larkfield par son personnel. Deux constats ressortent.
L’assistant documentaire est l’agent conversationnel de Larkfield. Le personnel lui pose des questions sur les politiques et répète ses réponses aux clients. Dans Projet intégrateur : créer, évaluer et livrer un produit d’IA, il a répondu correctement à 87.8 % des 41 questions réservées au test (consigné). Environ 5 réponses étaient donc fausses (calculé). Regardez ensuite la demande R-09, « Give the document assistant the new returns policy ». Cette modification de faible niveau a attendu 17 jours ouvrables au comité (construit). Pendant tout ce temps, l’assistant pouvait répondre uniquement à partir des documents qu’il avait. La lenteur de la gouvernance a maintenu une copie dépassée.
La demande R-12 reprend la conception de la compagnie aérienne. Elle permettrait au flux de travail de rembourser seul, sans lecture préalable. Le niveau passe de medium à high. L’affaire montre pourquoi l’examen doit précéder le lancement.
Farida répond donc à Nadia : oui, cela pourrait nous arriver, par le personnel aujourd’hui et directement si R-12 est approuvée. Grace est responsable de la politique de remboursement et de la promesse faite aux clients. Elle devient donc responsable des promesses de chaque système destiné aux clients et de ses questions de test. Une mise à jour d’un document de politique suit la voie rapide, en 2 jours ouvrables, sans passer par le comité. Chaque système conserve le journal de ses réponses.
Constats et limites
Section intitulée « Constats et limites »- L’organisation répond de chaque canal. Un agent conversationnel représente la voix de l’entreprise, comme une étiquette de prix représente le magasin.
- La cause était l’absence de responsable, pas un modèle ingénieux. Personne ne répondait des promesses, donc personne ne les testait.
- L’autonomie a changé le niveau. Le même agent conversationnel est de niveau élevé quand il répond seul, et moyen quand une personne approuve chaque réponse.
- Un avertissement n’est pas un contrôle. Il ne change rien derrière l’écran.
- Une gouvernance lente peut créer le risque. Une mise à jour de politique de faible niveau qui attend des semaines maintient une ancienne copie en usage.
- Limites. Une seule décision aux petites créances, rendue sur la base des documents. Nous ignorons comment la compagnie aérienne a créé ou testé son agent conversationnel; la décision ne le précise pas. L’explication de l’« ancienne politique » est un commentaire. Et les leçons présentées ici concernent la gouvernance, pas les conseils juridiques.
Utilisation responsable
Section intitulée « Utilisation responsable »- Ajoutez un lien, résumez, citez brièvement. Citez chaque fait avec son numéro de paragraphe. Ne copiez jamais la décision dans votre examen ou votre portfolio.
- Gardez les étiquettes. Écrivez « source officielle » pour la décision, « commentaire » pour le commentaire d’affaire et « construit » pour Larkfield.
- Respectez la personne. Moffatt a saisi le tribunal après un décès dans la famille. Écrivez « Moffatt » et utilisez un pronom neutre, comme le tribunal. N’ajoutez aucun renseignement sur cette personne absent de la décision.
- Jugez la conception, pas l’entreprise. L’examen cherche ce qui manquait. Il n’affirme pas que quelqu’un a agi de mauvaise foi.
- Aucune conclusion juridique. Dites ce que le tribunal a décidé dans cette affaire. Pour les conséquences sur votre organisation, consultez un avocat.
Votre tâche : rédiger l’examen de gouvernance
Section intitulée « Votre tâche : rédiger l’examen de gouvernance »-
Lisez la décision sur CanLII, du début à la fin. Notez les numéros de paragraphe pendant votre lecture.
-
Remplissez la section 1 de la fiche : ce qui s’est passé, avec un numéro de paragraphe pour chaque réponse.
-
Rédigez la ligne d’inventaire de l’agent conversationnel telle qu’elle aurait dû être, avec son niveau et votre raison.
-
Décrivez les lacunes, chacune avec son type et sa preuve tirée de la décision.
-
Rédigez trois contrôles. Chacun a un responsable, une preuve de son efficacité et une fréquence de vérification.
-
Rédigez la section 5 pour Larkfield : quels systèmes, quelle modification et qui décide.
Vérification : chaque fait a un numéro de paragraphe, et aucune citation ne dépasse une courte expression.
Comparez votre examen au README du dossier de l’affaire. Un bon examen cite la décision, nomme un responsable par contrôle et précise les preuves de l’efficacité de chaque contrôle.
Afficher une réponse possible
Cet examen est défendable, mais ce n’est pas le seul. Un autre examen peut choisir d’autres contrôles, s’il les justifie avec la décision et les outils du cours.
1. Ce qui s’est passé
| Question | Réponse | Paragraphe |
|---|---|---|
| Qu’a demandé le client, et quand? | Le 11 novembre 2022, le jour du décès de sa grand-mère, Moffatt a interrogé l’agent conversationnel du site sur les tarifs de deuil. | 13–14 |
| Qu’a dit l’agent conversationnel? | Moffatt pouvait demander le tarif réduit après le voyage, dans les 90 jours suivant la date d’émission du billet. | 15 |
| Que disait une autre page du même site? | La page liée « Bereavement travel » (voyage en cas de deuil) disait que la politique ne s’applique pas après le voyage. | 16–17 |
| Quel argument l’entreprise a-t-elle avancé concernant son agent conversationnel? | Qu’elle ne pouvait pas être responsable des renseignements fournis par ses représentants, y compris un agent conversationnel. | 27 |
| Qu’a décidé le tribunal, et pour quel motif? | La compagnie aérienne est responsable de tous les renseignements sur son site. Elle n’a pas pris de précautions raisonnables pour assurer l’exactitude de l’agent conversationnel. La confiance de Moffatt était raisonnable. | 27–29 |
| Quel paiement le tribunal a-t-il ordonné à l’entreprise? | 812.02 dollars : 650.88 dollars en dommages-intérêts, 36.14 dollars en intérêts, 125.00 dollars en frais de tribunal. | 44 |
2. Ligne d’inventaire telle qu’elle aurait dû être
| ID | Nom | Type | Objectif | Responsable | Approbateur de ce qu’il peut dire | Données | Autonomie | Niveau |
|---|---|---|---|---|---|---|---|---|
| W1 | Agent conversationnel de soutien du site Web | développé ou acheté | Répond aux questions des clients sur le site Web | le responsable de la politique sur les tarifs et les remboursements | le même responsable de la politique, pour chaque réponse sur la politique | messages des clients | agit seul | élevé (9 : 2/2/3/2; règle 2) |
3. Les lacunes
| Lacune | Type | Preuve |
|---|---|---|
| Personne ne répondait des promesses de l’agent conversationnel | responsable | la défense selon laquelle l’agent conversationnel répondait pour lui-même (paragraphe 27) |
| Aucune règle sur ce qu’il ne doit pas décider ou promettre seul | politique | il a énoncé une règle de remboursement (paragraphe 15) |
| Ses réponses n’étaient pas vérifiées par rapport à la page de politique | révision | deux réponses contradictoires (paragraphes 16–17); aucune précaution raisonnable (paragraphe 28) |
| Aucun registre pour voir et corriger ses réponses | registre | la correction est venue après la plainte (paragraphe 22) |
| L’entreprise affirmait que l’agent conversationnel répondait pour lui-même | responsabilité | la défense que le tribunal a qualifiée de « a remarkable submission » (un argument remarquable) (paragraphe 27) |
4. Trois contrôles
| Contrôle | Responsable | Preuve | Vérification |
|---|---|---|---|
| Les réponses sur la politique viennent uniquement de la page actuelle, avec le lien; les remboursements et les exceptions vont à une personne | le responsable de la politique | un ensemble de questions sur la politique auquel le système répond correctement avant chaque mise en production | chaque mise en production |
| Chaque réponse est consignée avec sa source | le responsable technique | le journal des réponses | échantillon mensuel |
| Le client qui s’est fié à une mauvaise réponse obtient le résultat promis, et la réponse est corrigée | le responsable de la politique | dossiers de plaintes et corrections | chaque plainte |
5. Larkfield
S1 prépare des réponses que les agents envoient. S2 propose des remboursements qu’une personne approuve. S3 répond au personnel, qui répète ses réponses. S6 suggère des réponses. Aucun ne parle seul aux clients aujourd’hui; S2 avec R-12 rembourserait seul. Larkfield répond de chaque réponse, peu importe qui ou quoi l’a rédigée. Grace devient responsable des promesses de chaque système destiné aux clients et des questions de test. Les mises à jour des documents de politique suivent la voie rapide (2 jours ouvrables). Chaque système conserve le journal de ses réponses. Le comité décide de R-12 en imposant ces contrôles comme conditions.
Erreur courante
L'avertissement qui ne corrige rien
Symptôme : après l’examen, l’agent conversationnel affiche « L’IA peut faire des erreurs : vérifiez les renseignements importants ». Au trimestre suivant, il donne une ancienne règle à un autre client.
Cause : la correction a changé l’écran, pas le système. Personne n’est responsable des réponses, personne ne les teste et rien ne les consigne.
Correction : nommez le responsable de la politique. Faites répondre l’agent conversationnel à partir d’une seule source actuelle. Testez-le avant chaque mise en production et consignez chaque réponse.
Faites-en un élément de portfolio
Section intitulée « Faites-en un élément de portfolio »Un tel examen montre à un employeur que vous pouvez transformer une nouvelle en contrôles avec des responsables. Cela compte pour les rôles en risque, en conformité, en audit et en produit.
Quoi publier :
- Une note d’une page à un cadre : l’affaire en trois lignes, les trois contrôles et la décision que vous demandez.
- Des citations de la décision avec les numéros de paragraphe, et un lien vers CanLII. Aucun texte copié au-delà de courtes expressions.
- Une ligne précisant qu’il s’agit d’un exercice de gouvernance sur une décision publique, et non de conseils juridiques. Précisez que Larkfield est une étude de cas du cours.
Personnalisez-le avec une modification. Par exemple, rédigez l’examen pour l’agent conversationnel d’une entreprise que vous connaissez, en utilisant uniquement ses pages publiques. Ou rédigez les dix questions de test du contrôle 1 pour une vraie politique, comme une politique de retour.
Comment le décrire en entrevue, en deux phrases : « J’ai lu une décision publique sur une mauvaise réponse d’un agent conversationnel et relevé l’absence de responsable, de politique, de révision et de registre. J’en ai fait trois contrôles avec des responsables et des preuves, puis je les ai appliqués aux systèmes d’une entreprise. »
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
L'agent conversationnel de la compagnie aérienne donnait un lien vers la bonne page de politique. Pourquoi ce lien n'a-t-il pas protégé l'entreprise, et qu'est-ce qui l'aurait protégée?
Afficher la réponse
Le lien rendait le problème visible : un même site donnait deux réponses à une même question. La compagnie aérienne n’a pas expliqué pourquoi un client devait comparer différentes parties de son site (paragraphe 28). Une source de vérité unique aurait protégé le client, et donc l’entreprise. L’agent conversationnel répond aux questions de politique uniquement à partir de la page actuelle. Un responsable de la politique le teste avant chaque mise en production. Les remboursements et les exceptions vont à une personne.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
By the course's method, the airline's chatbot scores 9, high. What would make it medium, and why might the company still prefer option D?
Afficher la réponse
L’autonomie. Si une personne approuve chaque réponse avant qu’elle parvienne au client, l’autonomie passe de 3 à 2. La somme est alors 8, medium. Mais approuver chaque réponse est lent et coûteux, et les approbations données en quelques secondes ne permettent aucune lecture. L’option D garde l’agent conversationnel rapide. Elle contrôle la promesse avec une source unique, des tests de mise en production, un journal et un recours.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Nadia dit : « Aucun de nos systèmes ne parle seul aux clients, donc cette affaire ne nous concerne pas. » Que répondez-vous?
Afficher la réponse
Elle nous concerne par le personnel. L’assistant documentaire répond au personnel sur les politiques, et le personnel répète ses réponses aux clients. Il a répondu correctement à 87.8 % des 41 questions de test, donc certaines réponses sont fausses. La demande R-09, une mise à jour de la politique de retour, a attendu 17 jours ouvrables. La demande R-12 permettrait au flux de travail de rembourser seul. Larkfield répond de chaque réponse, peu importe qui ou quoi l’a rédigée.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Vous avez lu une décision publique pour relever les faits, cité chaque fait avec son paragraphe et utilisé seulement de courtes citations.
- Le tribunal a tenu la compagnie aérienne responsable de tous les renseignements sur son site, y compris ceux de l’agent conversationnel.
- La référence de base a satisfait à 0 des 4 questions : aucun responsable, aucune politique, aucune révision, aucun registre. Selon la méthode du cours, l’agent conversationnel était de niveau élevé, parce qu’il agissait seul.
- Vous avez appris la source de vérité unique : un texte actuel avec un responsable, lu par chaque canal, testé avant chaque mise en production.
- L’option D, avec trois contrôles, était la seule conception qui répondait aux quatre questions et réparait une erreur.
- Chez Larkfield, le même risque passe aujourd’hui par le personnel et les anciennes copies de politiques, et directement si R-12 est approuvée.
Vous pouvez maintenant examiner la défaillance d’un système. Mais certaines défaillances touchent des milliers de personnes à la fois, par un modèle qui prend des décisions les concernant. Vous allez ensuite tirer les leçons de l’échec public d’un algorithme.
Leçon suivante : Tirer les leçons de l'échec public d'un algorithme