Aller au contenu
English

Une décision de tribunal sur la réponse d'un agent conversationnel

  • Étude de cas 1
  • 120 min
  • Facultative · 1 étude de cas requise pour le certificat

Où nous en sommes

Dans ce cours, nous avons donné aux systèmes de Larkfield des responsables, des politiques, des révisions et des registres. Jusqu'ici, tous les cas concernaient Larkfield et étaient inventés. Cette étude de cas teste ces outils sur une véritable décision publique. Un tribunal a tenu une compagnie aérienne responsable des propos de l'agent conversationnel de son site Web à un client. Nous cherchons ce qui manquait. Nous rédigeons ensuite l'analyse de gouvernance qui aurait évité le problème.

Ce que vous saurez faire

Testez tout le cours sur une véritable décision. Vous lisez une décision publique d’un tribunal sur la réponse erronée d’un agent conversationnel. Vous trouvez le responsable, la politique, la révision et le registre manquants. Vous rédigez l’analyse qui aurait évité le problème. Puis vous l’appliquez à Larkfield.

Étude de casPièce de portfolio

Durée
Environ 2 h
S’exécute dans
Un navigateur et un outil de rédaction
Compétences utilisées
  • Lire une décision pour en relever les faits
  • Citations avec numéros de paragraphes
  • Ligne d'inventaire et niveau de risque
  • Responsable, politique, révision, registre
  • Contrôles avec preuves
  • Une source de vérité
  • Note de gouvernance

Les documents du cas ne sont pas du code : lisez-les dans votre navigateur, ou téléchargez-les pour travailler hors ligne. Écrivez votre réponse dans votre propre outil de traitement de texte. Les documents sont en anglais.

Le dossier du cas contient un README, une fiche source et une feuille de travail. Vous lisez la décision sur CanLII, pas dans le dossier : le cours fournit un lien sans la copier.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 120 minutes

Ce que vous devez savoir

Cette étude de cas utilise tout le cours. Voici les leçons les plus importantes :

Cette page enseigne une nouvelle idée : une source de vérité pour chaque réponse concernant une politique.

Ce qu’il vous faut

  • Un navigateur et un outil de rédaction (un traitement de texte, un éditeur de texte ou un tableur).
  • La décision sur CanLII, ainsi que le README, la fiche source et la feuille de travail du dossier du cas.
  • Aucun compte, aucune installation et aucun argent.

Nadia, responsable des opérations clients de Larkfield, a entendu parler du cas dans les nouvelles. Elle interroge Farida, responsable des risques et de la conformité de Larkfield : « Nos systèmes de soutien répondent aussi aux clients. Est-ce que cela pourrait nous arriver? Qu’est-ce qui aurait évité le problème? » Larkfield, Nadia et sa question sont construits pour ce cours. Le cas est réel.

Votre objectif est une analyse de gouvernance de deux pages, dans la feuille de travail du dossier du cas. Elle décrit les faits, les éléments manquants, les trois contrôles qui auraient évité le problème et les changements nécessaires chez Larkfield. Cette page vous guide dans l’analyse. Vous rédigez votre analyse à la fin, dans vos propres mots.

Les « données » de cette étude de cas se limitent à un document : Moffatt v. Air Canada, 2024 BCCRT 149. Il s’agit d’une décision du Civil Resolution Tribunal de la Colombie-Britannique, rendue le 14 February 2024. Lisez-la sur CanLII (source officielle, vérifiée le 22 octobre 2026). Vous pouvez aussi chercher « 2024 BCCRT 149 » sur le site des décisions du tribunal. La fiche source décrit la décision et les usages permis.

Avant d’analyser une source, vérifiez sa nature. Trois faits changent la portée que vous pouvez donner à cette décision :

  • Il s’agit d’une petite créance. Le tribunal a tranché sur la base des documents, sans audience orale. Moffatt se représentait sans avocat, et un employé représentait la compagnie aérienne (par. 5 et 8).
  • Elle tranche un seul litige. Sa portée pour d’autres cas ou pour votre organisation est une question à poser à un avocat. Cette page en tire des leçons de gouvernance, pas des leçons juridiques.
  • Le tribunal appelle la partie demanderesse « Mr. Moffatt » (M. Moffatt) et utilise « they » (pronom neutre). Cette page utilise « Moffatt » et évite les pronoms genrés.

Un commentaire publié apporte du contexte : Isabelle St-Hilaire, dans la UBC Law Review (2025 CanLIIDocs 1963). Lorsque cette page l’utilise, elle indique commentaire : l’opinion d’une auteure, et non une conclusion du tribunal.

Lisez rapidement la décision une première fois, du début à la fin. Puis relisez seulement les paragraphes indiqués ci-dessous. Ils contiennent tous les faits nécessaires à l’analyse.

Le cas en trois groupes. La conversation, le 11 novembre 2022 : la grand-mère de Moffatt meurt. Moffatt interroge l'agent conversationnel du site de la compagnie aérienne sur les tarifs de deuil (par. 13 à 14). L'agent répond : demandez le tarif réduit après le voyage, dans les 90 jours (par. 15). Son propre lien ouvre la page Bereavement travel (voyage en cas de deuil), qui exclut les demandes après le voyage (par. 16 à 17). Une ligne pointillée entre les deux indique : un site Web, deux réponses. Ce que Moffatt a fait : se fie à l'agent conversationnel et réserve deux vols aller simple (par. 18). Présente une demande le 17 novembre 2022, dans les 90 jours (par. 20). Le litige : le 8 février 2023, la compagnie reconnaît une formulation trompeuse et annonce une mise à jour de l'agent conversationnel (par. 22). La compagnie soutient qu'elle ne peut être responsable de son agent conversationnel; le tribunal rejette cet argument (par. 27 à 29). Le 14 février 2024, le montant ordonné est de 812,02 $, encadré d'une bordure épaisse (par. 44).
Le cas en sept étapes, avec les numéros de paragraphes de la décision. La réponse de l'agent conversationnel (en rouge) contredisait la page liée (en pointillé).
Description textuelle du diagramme

Le 11 novembre 2022, la grand-mère de Moffatt meurt. Moffatt interroge l’agent conversationnel sur les tarifs de deuil (par. 13–14). L’agent conseille de demander le tarif réduit après le voyage, dans les 90 jours (par. 15). Son propre lien mène à une page qui dit le contraire (par. 16–17). Moffatt réserve deux vols et présente une demande dans les 90 jours (par. 18, 20). La compagnie reconnaît une « formulation trompeuse » (par. 22). Le tribunal rejette sa défense (par. 27–29) et lui ordonne de payer 812.02 dollars (par. 44).

Dans nos mots : Moffatt interroge l’agent conversationnel du site de la compagnie sur les tarifs en cas de décès familial. L’agent indique que Moffatt peut demander le tarif réduit après le voyage, « dans les 90 jours suivant l’émission du billet » (par. 15). Les mots « tarifs de deuil » de cette réponse renvoient à la page de politique de la compagnie. Cette page précise que la politique ne s’applique pas après le voyage (par. 16–17). Moffatt fait confiance à l’agent, prend les vols et présente une demande à temps. La compagnie n’accorde pas le tarif réduit. Dans sa réponse, elle reconnaît que l’agent conversationnel a utilisé une « formulation trompeuse » (par. 22).

Regardez la ligne pointillée dans le schéma. Un site Web a donné deux réponses à une seule question. Voilà tout le cas en une image.

La compagnie soutenait surtout qu’elle ne pouvait être tenue responsable des renseignements de ses agents ou représentants, y compris un agent conversationnel. Le tribunal qualifie cet argument de « remarquable » (par. 27). En termes simples, voici ses motifs :

  1. L’entreprise répond de tout son site Web, y compris de l’agent conversationnel. « Que les renseignements proviennent d’une page statique ou d’un agent conversationnel ne change rien. » (par. 27)
  2. L’entreprise n’a pas fait preuve de prudence. Elle « n’a pas pris de précautions raisonnables pour assurer l’exactitude de son agent conversationnel » (par. 28). Elle n’a pas non plus expliqué pourquoi un client devrait vérifier une partie de son site en consultant une autre.
  3. La confiance de Moffatt était raisonnable (par. 29).
  4. Les conditions du contrat n’ont pas aidé la compagnie. Elle invoquait son tarif, sans le déposer en preuve. Elle n’a donc pas prouvé cette défense (par. 31).

Le tribunal a ensuite calculé les montants.

Les montants du cas (source officielle, par. 3, 34, 38–40 et 44). L'ordonnance comprend les intérêts et les frais du tribunal.
Description textuelle du graphique

Un diagramme à quatre colonnes, en dollars canadiens. Le tribunal retient 1630.36 dollars comme montant payé par Moffatt (par. 34, 40). Moffatt réclamait 880.00 dollars. Le tribunal a accordé 650.88 dollars en dommages-intérêts. Le total ordonné était de 812.02 dollars : les dommages-intérêts, 36.14 dollars d’intérêts et 125.00 dollars de frais du tribunal.

Le tribunal retient 1630.36 dollars comme montant payé (par. 34, 40). Vérification faite par le cours : les deux tarifs du paragraphe 18 totalisent 1640.36 dollars.

Ce que cela nous apprend. Le montant est faible : 812.02 dollars en tout, à payer dans les 14 jours (par. 44). La compagnie avait aussi offert un bon de 200.00 dollars, que Moffatt n’a pas accepté (par. 41). Comme pour la facture d’IA de Larkfield, le risque ne tient pas au montant. Il tient à ce que le cas a révélé publiquement. Personne n’a vérifié les promesses de l’agent conversationnel. L’entreprise s’est défendue en disant que l’agent répondait de lui-même.

La gouvernance part de la position inverse. L’organisation répond de chaque système qu’elle déploie, peu importe qui l’a construit. Vous avez vu cette idée dans Une gouvernance qui aide les équipes à livrer, lorsque Tomás disait que le fournisseur était responsable.

Imaginez un petit magasin. Le propriétaire tient une seule liste de prix. Les étiquettes, le site Web et le personnel reprennent tous cette liste. Un jour, le propriétaire augmente un prix et modifie la liste, mais oublie les étiquettes sur la tablette. Un client apporte une étiquette moins chère à la caisse. Le magasin ne peut pas dire : « C’est l’étiquette qui s’est trompée, pas nous. » L’étiquette représente le magasin.

Le problème, c’est la copie que personne ne met à jour. Un agent conversationnel est souvent aussi une copie. Il apprend ou récupère une politique à un moment donné, et cette politique peut changer ensuite. Le commentaire sur le cas suggère que cela s’est produit ici. La réponse de l’agent ressemble à une ancienne version de la politique de la compagnie (commentaire, St-Hilaire 2025). Le tribunal n’avait pas besoin de déterminer pourquoi l’agent s’était trompé. L’analyse de gouvernance doit toutefois poser la question.

Cette idée s’appelle une source de vérité unique. Pour chaque politique, un seul texte à jour, avec un seul responsable, sert à tous les canaux de réponse. La page, l’agent conversationnel et le personnel lisent tous le même texte. Quand le responsable le modifie, tous les canaux changent en même temps. Le canal qui ne peut pas appliquer la règle dirige le client vers une personne, par exemple pour une exception de remboursement.

Deux panneaux. À gauche, deux copies que personne ne garde synchronisées : la politique change; la page de politique reçoit la règle actuelle. Une flèche pointillée portant la mention « personne ne la met à jour » mène à l'agent conversationnel. Celui-ci garde sa propre copie, peut-être une ancienne règle (en rouge). Les deux mènent au résultat : le client reçoit deux réponses (en rouge). À droite, une source de vérité, un responsable : le responsable approuve chaque modification de la politique actuelle, la source unique (bordure épaisse). La page et l'agent conversationnel lisent tous deux cette source. L'agent répond avec le lien; les remboursements et les exceptions vont à une personne. Une flèche pointillée indique : les questions de test passent avant chaque mise en production. Les deux mènent au résultat : le client reçoit une seule réponse (en vert).
À gauche : deux copies divergent, et le client reçoit deux réponses. À droite : un texte à jour avec un responsable, lu par chaque canal et testé avant chaque mise en production.
Description textuelle du diagramme

À gauche, la politique change et seule la page reçoit la nouvelle règle. L’agent conversationnel garde sa propre copie, donc le client reçoit deux réponses. À droite, le responsable de la politique approuve chaque modification d’un seul texte à jour. La page et l’agent lisent tous deux ce texte. Les questions de test passent avant chaque mise en production, et le client reçoit une seule réponse.

Quand l’utiliser : pour toute réponse sur laquelle un client peut se fonder, comme les prix, remboursements, frais et délais. Quand ne pas l’utiliser : pour l’aide générale, comme « comment réinitialiser mon mot de passe? », une vérification plus légère suffit. Son coût : le temps d’un responsable pour chaque politique, des questions de test et une étape de mise en production à chaque changement.

La référence de base : la conception qui a échoué

Section intitulée « La référence de base : la conception qui a échoué »

Comparez chaque option au système de la compagnie, pas à la perfection. Selon la décision, la référence de base était un agent conversationnel répondant seul aux clients, avec un lien vers la politique. Le client devait vérifier. Testez-la avec quatre questions, une pour chaque outil du cours : un responsable, une politique, une révision et un registre.

Question La référence de base Preuves dans la décision
Responsable : qui répond des promesses que l’agent conversationnel peut faire? Personne de visible. La défense affirmait que l’agent répondait de lui-même par. 27
Politique : que ne doit-il jamais promettre seul? Aucune règle. Il a donné une règle de remboursement seul par. 15
Révision : ses réponses sont-elles vérifiées par rapport à la politique? Aucun signe de vérification. Les deux réponses se contredisaient par. 16–17, 28
Registre : l’entreprise peut-elle voir ses propos et les corriger? Le client avait la capture d’écran. L’entreprise a corrigé l’agent seulement après la plainte par. 22

La référence de base réussit 0 sur 4. Notez ce que signifie la ligne du registre. Sans registre des réponses de son agent, une entreprise apprend l’erreur par le client, des mois plus tard.

Le niveau de l’agent conversationnel, selon la méthode du cours

Section intitulée « Le niveau de l’agent conversationnel, selon la méthode du cours »

Évaluez maintenant l’agent de la compagnie avec la méthode de classement du risque du cours. Les scores représentent l’interprétation du cours, pas celle du tribunal :

Facteur Score Pourquoi
Préjudice d’un résultat erroné 2 perte d’argent, qui peut être corrigée
Personnes touchées 2 clients à l’extérieur de l’entreprise
Autonomie 3 il répond seul aux clients; personne ne lit la réponse avant
Données 2 messages des clients
Somme et niveau 9, high contrôles 12, révision tous les 3 mois

Un agent de site Web qui « répond seulement aux questions » présente un risque élevé selon cette méthode, car il agit seul. La règle 2 dit la même chose : agir seul avec un préjudice de 2 ou plus donne un risque élevé. Si vous considérez un client en deuil comme vulnérable, la somme atteint 10, toujours élevée. Placez une personne entre l’agent et le client pour approuver chaque réponse, et la somme descend à 8, medium. L’autonomie change le niveau, comme pour le flux de remboursement de Larkfield.

Quatre conceptions auraient pu répondre à la question de Moffatt. Chacune mérite d’être examinée pour une raison.

Option Ce qu’elle propose Pourquoi on la propose
A. Ajouter un avertissement Le même agent, avec « vérifiez les renseignements importants » sous chaque réponse Peu coûteux et rapide à ajouter
B. Aucune réponse sur les politiques L’agent fournit un lien vers la politique sans jamais énoncer de règle Élimine les réponses risquées
C. Une personne approuve L’agent conversationnel rédige; un agent humain lit et envoie chaque réponse Une personne voit chaque réponse avant l’envoi
D. Un agent conversationnel encadré Une source de vérité, un responsable, des tests avant chaque mise en production, un journal et des recours Conserve l’aide, contrôle les promesses

Une comparaison juste pose les mêmes questions à chaque option, dans le même ordre. Les notes représentent l’interprétation du cours. Ici, la mesure reprend les quatre questions de la référence de base et ajoute un test : aurait-elle empêché la réponse à Moffatt, ou l’aurait-elle détectée et corrigée rapidement?

Option Responsable Politique Révision Registre Empêche ou détecte la réponse à Moffatt? Coût
Référence de base non non non non non le plus faible
A. Avertissement non non non non non très faible
B. Aucune réponse sur les politiques oui, si désigné oui en partie non l’empêche; le client lit la page faible; moins d’aide
C. Une personne approuve oui en partie oui, chaque réponse oui généralement, si l’agent humain la lit élevé; réponses lentes
D. Agent conversationnel encadré oui oui oui, chaque mise en production oui empêche la plupart; le journal et les recours détectent le reste moyen

Ce que cela nous apprend. L’option A change les mots à l’écran, mais rien derrière eux. Le commentaire ajoute qu’un tel avertissement ne rendrait probablement pas la confiance du client déraisonnable (commentaire). L’option B est sûre, mais retire l’aide que l’agent conversationnel doit offrir. L’option C fonctionne seulement si l’agent humain lit chaque réponse. Incidents, plaintes et recours montrait des approbations données en un temps médian de 3 secondes (construit). L’option D répond aux quatre questions. C’est aussi la seule qui répare le préjudice après une erreur.

Avant de poursuivre, écrivez votre choix et une raison.

Option D, avec trois contrôles. Chaque contrôle a un responsable, une preuve de son efficacité et une vérification :

Des cases rouges montrent ce qui manquait. Chacune pointe vers un contrôle vert. Responsable : personne ne répondait des promesses de l'agent conversationnel. Politique : aucune règle sur ce qu'il ne doit pas promettre seul. Révision : ses réponses n'étaient pas vérifiées par rapport à la page de politique. Ces trois lacunes mènent au contrôle 1 : répondre aux questions de politique uniquement à partir de la page actuelle, avec le lien. Transmettre les remboursements et les exceptions à une personne. Responsable : le responsable de la politique. Vérification à chaque mise en production. Registre : aucune trace de ses réponses, de leurs destinataires ou de leurs sources. Cette lacune mène au contrôle 2 : consigner chaque réponse avec sa source. Responsable : le responsable technique. Vérification mensuelle d'un échantillon. Responsabilité : l'entreprise affirmait que l'agent conversationnel répondait pour lui-même. Cette lacune mène au contrôle 3 : accorder le résultat promis au client qui s'est fié à une mauvaise réponse. Corriger aussi la réponse. Responsable : le responsable de la politique. Vérification à chaque plainte. Les trois contrôles mènent aux preuves, dans une case à bordure épaisse : résultats des tests par mise en production, journal des réponses et dossiers de plaintes.
L'examen de gouvernance sur une page : les lacunes en rouge, trois contrôles en vert et les preuves de leur efficacité.
Description textuelle du diagramme

L’absence de responsable, de politique et de révision mène au contrôle 1. L’agent conversationnel répond uniquement à partir de la page actuelle et transmet les remboursements à une personne. Le responsable de la politique le vérifie à chaque mise en production. L’absence de registre mène au contrôle 2 : consigner chaque réponse avec sa source. Le responsable technique en vérifie un échantillon chaque mois. La position de la compagnie aérienne, selon laquelle l’agent conversationnel répondait pour lui-même, mène au contrôle 3. Le client qui s’est fié à une mauvaise réponse obtient le résultat promis. Les preuves sont les résultats des tests, le journal des réponses et les dossiers de plaintes.

Le contrôle 1 est la source de vérité unique, avec un test avant la mise en production. Le test comprend des questions sur la politique et les bonnes réponses, rédigées par le responsable de la politique. Évaluer et tester les systèmes d’IA montre comment en créer un. Le contrôle 2 est le registre qui manquait à la compagnie aérienne. Le contrôle 3 est un recours. Le client qui a fait confiance au canal de l’entreprise ne paie pas pour son erreur.

Le coût est réel. Une personne doit assumer la responsabilité de chaque politique et rédiger ses questions de test. Chaque modification de politique devient une petite mise en production. Comparez cela à la référence de base : une mauvaise promesse que l’entreprise découvre des mois plus tard, par le client.

De bout en bout sur de nouvelles données : Larkfield

Section intitulée « De bout en bout sur de nouvelles données : Larkfield »

Appliquez maintenant le même examen à des systèmes absents de l’analyse : ceux de Larkfield. Posez la question de Nadia pour chaque système qui répond aux clients ou prépare des réponses pour eux :

Système (construit) Ce qui parvient au client Niveau Pourrait-il faire une mauvaise promesse?
S1 Service de triage des billets un brouillon qu’un agent lit et envoie high (10) oui, si un agent envoie un brouillon sans le lire
S2 Flux de résolution du soutien un remboursement ou une réponse qu’une personne approuve medium (8) oui, par des approbations données sans lecture
S2 avec la demande R-12 des remboursements jusqu’à 25 dollars, sans approbation high (9) oui, et personne ne les voit avant
S3 Assistant documentaire une réponse que le personnel répète à un client low (5) oui, à partir d’un ancien document de politique
S6 Outil de suggestion de réponses TicketHarbor (inventé pour ce cours) une suggestion qu’un agent modifie et envoie medium (7) oui, et personne n’en est responsable

Aucun système de Larkfield ne parle seul aux clients aujourd’hui. Le problème observé dans l’affaire Moffatt atteint donc les clients de Larkfield par son personnel. Deux constats ressortent.

L’assistant documentaire est l’agent conversationnel de Larkfield. Le personnel lui pose des questions sur les politiques et répète ses réponses aux clients. Dans Projet intégrateur : créer, évaluer et livrer un produit d’IA, il a répondu correctement à 87.8 % des 41 questions réservées au test (consigné). Environ 5 réponses étaient donc fausses (calculé). Regardez ensuite la demande R-09, « Give the document assistant the new returns policy ». Cette modification de faible niveau a attendu 17 jours ouvrables au comité (construit). Pendant tout ce temps, l’assistant pouvait répondre uniquement à partir des documents qu’il avait. La lenteur de la gouvernance a maintenu une copie dépassée.

La demande R-12 reprend la conception de la compagnie aérienne. Elle permettrait au flux de travail de rembourser seul, sans lecture préalable. Le niveau passe de medium à high. L’affaire montre pourquoi l’examen doit précéder le lancement.

Farida répond donc à Nadia : oui, cela pourrait nous arriver, par le personnel aujourd’hui et directement si R-12 est approuvée. Grace est responsable de la politique de remboursement et de la promesse faite aux clients. Elle devient donc responsable des promesses de chaque système destiné aux clients et de ses questions de test. Une mise à jour d’un document de politique suit la voie rapide, en 2 jours ouvrables, sans passer par le comité. Chaque système conserve le journal de ses réponses.

  • L’organisation répond de chaque canal. Un agent conversationnel représente la voix de l’entreprise, comme une étiquette de prix représente le magasin.
  • La cause était l’absence de responsable, pas un modèle ingénieux. Personne ne répondait des promesses, donc personne ne les testait.
  • L’autonomie a changé le niveau. Le même agent conversationnel est de niveau élevé quand il répond seul, et moyen quand une personne approuve chaque réponse.
  • Un avertissement n’est pas un contrôle. Il ne change rien derrière l’écran.
  • Une gouvernance lente peut créer le risque. Une mise à jour de politique de faible niveau qui attend des semaines maintient une ancienne copie en usage.
  • Limites. Une seule décision aux petites créances, rendue sur la base des documents. Nous ignorons comment la compagnie aérienne a créé ou testé son agent conversationnel; la décision ne le précise pas. L’explication de l’« ancienne politique » est un commentaire. Et les leçons présentées ici concernent la gouvernance, pas les conseils juridiques.
  • Ajoutez un lien, résumez, citez brièvement. Citez chaque fait avec son numéro de paragraphe. Ne copiez jamais la décision dans votre examen ou votre portfolio.
  • Gardez les étiquettes. Écrivez « source officielle » pour la décision, « commentaire » pour le commentaire d’affaire et « construit » pour Larkfield.
  • Respectez la personne. Moffatt a saisi le tribunal après un décès dans la famille. Écrivez « Moffatt » et utilisez un pronom neutre, comme le tribunal. N’ajoutez aucun renseignement sur cette personne absent de la décision.
  • Jugez la conception, pas l’entreprise. L’examen cherche ce qui manquait. Il n’affirme pas que quelqu’un a agi de mauvaise foi.
  • Aucune conclusion juridique. Dites ce que le tribunal a décidé dans cette affaire. Pour les conséquences sur votre organisation, consultez un avocat.
  1. Lisez la décision sur CanLII, du début à la fin. Notez les numéros de paragraphe pendant votre lecture.

  2. Remplissez la section 1 de la fiche : ce qui s’est passé, avec un numéro de paragraphe pour chaque réponse.

  3. Rédigez la ligne d’inventaire de l’agent conversationnel telle qu’elle aurait dû être, avec son niveau et votre raison.

  4. Décrivez les lacunes, chacune avec son type et sa preuve tirée de la décision.

  5. Rédigez trois contrôles. Chacun a un responsable, une preuve de son efficacité et une fréquence de vérification.

  6. Rédigez la section 5 pour Larkfield : quels systèmes, quelle modification et qui décide.

    Vérification : chaque fait a un numéro de paragraphe, et aucune citation ne dépasse une courte expression.

Comparez votre examen au README du dossier de l’affaire. Un bon examen cite la décision, nomme un responsable par contrôle et précise les preuves de l’efficacité de chaque contrôle.

Afficher une réponse possible

Cet examen est défendable, mais ce n’est pas le seul. Un autre examen peut choisir d’autres contrôles, s’il les justifie avec la décision et les outils du cours.

1. Ce qui s’est passé

Question Réponse Paragraphe
Qu’a demandé le client, et quand? Le 11 novembre 2022, le jour du décès de sa grand-mère, Moffatt a interrogé l’agent conversationnel du site sur les tarifs de deuil. 13–14
Qu’a dit l’agent conversationnel? Moffatt pouvait demander le tarif réduit après le voyage, dans les 90 jours suivant la date d’émission du billet. 15
Que disait une autre page du même site? La page liée « Bereavement travel » (voyage en cas de deuil) disait que la politique ne s’applique pas après le voyage. 16–17
Quel argument l’entreprise a-t-elle avancé concernant son agent conversationnel? Qu’elle ne pouvait pas être responsable des renseignements fournis par ses représentants, y compris un agent conversationnel. 27
Qu’a décidé le tribunal, et pour quel motif? La compagnie aérienne est responsable de tous les renseignements sur son site. Elle n’a pas pris de précautions raisonnables pour assurer l’exactitude de l’agent conversationnel. La confiance de Moffatt était raisonnable. 27–29
Quel paiement le tribunal a-t-il ordonné à l’entreprise? 812.02 dollars : 650.88 dollars en dommages-intérêts, 36.14 dollars en intérêts, 125.00 dollars en frais de tribunal. 44

2. Ligne d’inventaire telle qu’elle aurait dû être

ID Nom Type Objectif Responsable Approbateur de ce qu’il peut dire Données Autonomie Niveau
W1 Agent conversationnel de soutien du site Web développé ou acheté Répond aux questions des clients sur le site Web le responsable de la politique sur les tarifs et les remboursements le même responsable de la politique, pour chaque réponse sur la politique messages des clients agit seul élevé (9 : 2/2/3/2; règle 2)

3. Les lacunes

Lacune Type Preuve
Personne ne répondait des promesses de l’agent conversationnel responsable la défense selon laquelle l’agent conversationnel répondait pour lui-même (paragraphe 27)
Aucune règle sur ce qu’il ne doit pas décider ou promettre seul politique il a énoncé une règle de remboursement (paragraphe 15)
Ses réponses n’étaient pas vérifiées par rapport à la page de politique révision deux réponses contradictoires (paragraphes 16–17); aucune précaution raisonnable (paragraphe 28)
Aucun registre pour voir et corriger ses réponses registre la correction est venue après la plainte (paragraphe 22)
L’entreprise affirmait que l’agent conversationnel répondait pour lui-même responsabilité la défense que le tribunal a qualifiée de « a remarkable submission » (un argument remarquable) (paragraphe 27)

4. Trois contrôles

Contrôle Responsable Preuve Vérification
Les réponses sur la politique viennent uniquement de la page actuelle, avec le lien; les remboursements et les exceptions vont à une personne le responsable de la politique un ensemble de questions sur la politique auquel le système répond correctement avant chaque mise en production chaque mise en production
Chaque réponse est consignée avec sa source le responsable technique le journal des réponses échantillon mensuel
Le client qui s’est fié à une mauvaise réponse obtient le résultat promis, et la réponse est corrigée le responsable de la politique dossiers de plaintes et corrections chaque plainte

5. Larkfield

S1 prépare des réponses que les agents envoient. S2 propose des remboursements qu’une personne approuve. S3 répond au personnel, qui répète ses réponses. S6 suggère des réponses. Aucun ne parle seul aux clients aujourd’hui; S2 avec R-12 rembourserait seul. Larkfield répond de chaque réponse, peu importe qui ou quoi l’a rédigée. Grace devient responsable des promesses de chaque système destiné aux clients et des questions de test. Les mises à jour des documents de politique suivent la voie rapide (2 jours ouvrables). Chaque système conserve le journal de ses réponses. Le comité décide de R-12 en imposant ces contrôles comme conditions.

Erreur courante

L'avertissement qui ne corrige rien

Symptôme : après l’examen, l’agent conversationnel affiche « L’IA peut faire des erreurs : vérifiez les renseignements importants ». Au trimestre suivant, il donne une ancienne règle à un autre client.

Cause : la correction a changé l’écran, pas le système. Personne n’est responsable des réponses, personne ne les teste et rien ne les consigne.

Correction : nommez le responsable de la politique. Faites répondre l’agent conversationnel à partir d’une seule source actuelle. Testez-le avant chaque mise en production et consignez chaque réponse.

Un tel examen montre à un employeur que vous pouvez transformer une nouvelle en contrôles avec des responsables. Cela compte pour les rôles en risque, en conformité, en audit et en produit.

Quoi publier :

  • Une note d’une page à un cadre : l’affaire en trois lignes, les trois contrôles et la décision que vous demandez.
  • Des citations de la décision avec les numéros de paragraphe, et un lien vers CanLII. Aucun texte copié au-delà de courtes expressions.
  • Une ligne précisant qu’il s’agit d’un exercice de gouvernance sur une décision publique, et non de conseils juridiques. Précisez que Larkfield est une étude de cas du cours.

Personnalisez-le avec une modification. Par exemple, rédigez l’examen pour l’agent conversationnel d’une entreprise que vous connaissez, en utilisant uniquement ses pages publiques. Ou rédigez les dix questions de test du contrôle 1 pour une vraie politique, comme une politique de retour.

Comment le décrire en entrevue, en deux phrases : « J’ai lu une décision publique sur une mauvaise réponse d’un agent conversationnel et relevé l’absence de responsable, de politique, de révision et de registre. J’en ai fait trois contrôles avec des responsables et des preuves, puis je les ai appliqués aux systèmes d’une entreprise. »

Vérifiez votre compréhension

L'agent conversationnel de la compagnie aérienne donnait un lien vers la bonne page de politique. Pourquoi ce lien n'a-t-il pas protégé l'entreprise, et qu'est-ce qui l'aurait protégée?

Afficher la réponse

Le lien rendait le problème visible : un même site donnait deux réponses à une même question. La compagnie aérienne n’a pas expliqué pourquoi un client devait comparer différentes parties de son site (paragraphe 28). Une source de vérité unique aurait protégé le client, et donc l’entreprise. L’agent conversationnel répond aux questions de politique uniquement à partir de la page actuelle. Un responsable de la politique le teste avant chaque mise en production. Les remboursements et les exceptions vont à une personne.

Vérifiez votre compréhension

By the course's method, the airline's chatbot scores 9, high. What would make it medium, and why might the company still prefer option D?

Afficher la réponse

L’autonomie. Si une personne approuve chaque réponse avant qu’elle parvienne au client, l’autonomie passe de 3 à 2. La somme est alors 8, medium. Mais approuver chaque réponse est lent et coûteux, et les approbations données en quelques secondes ne permettent aucune lecture. L’option D garde l’agent conversationnel rapide. Elle contrôle la promesse avec une source unique, des tests de mise en production, un journal et un recours.

Vérifiez votre compréhension

Nadia dit : « Aucun de nos systèmes ne parle seul aux clients, donc cette affaire ne nous concerne pas. » Que répondez-vous?

Afficher la réponse

Elle nous concerne par le personnel. L’assistant documentaire répond au personnel sur les politiques, et le personnel répète ses réponses aux clients. Il a répondu correctement à 87.8 % des 41 questions de test, donc certaines réponses sont fausses. La demande R-09, une mise à jour de la politique de retour, a attendu 17 jours ouvrables. La demande R-12 permettrait au flux de travail de rembourser seul. Larkfield répond de chaque réponse, peu importe qui ou quoi l’a rédigée.

Récapitulatif

  • Vous avez lu une décision publique pour relever les faits, cité chaque fait avec son paragraphe et utilisé seulement de courtes citations.
  • Le tribunal a tenu la compagnie aérienne responsable de tous les renseignements sur son site, y compris ceux de l’agent conversationnel.
  • La référence de base a satisfait à 0 des 4 questions : aucun responsable, aucune politique, aucune révision, aucun registre. Selon la méthode du cours, l’agent conversationnel était de niveau élevé, parce qu’il agissait seul.
  • Vous avez appris la source de vérité unique : un texte actuel avec un responsable, lu par chaque canal, testé avant chaque mise en production.
  • L’option D, avec trois contrôles, était la seule conception qui répondait aux quatre questions et réparait une erreur.
  • Chez Larkfield, le même risque passe aujourd’hui par le personnel et les anciennes copies de politiques, et directement si R-12 est approuvée.

Vous pouvez maintenant examiner la défaillance d’un système. Mais certaines défaillances touchent des milliers de personnes à la fois, par un modèle qui prend des décisions les concernant. Vous allez ensuite tirer les leçons de l’échec public d’un algorithme.

Leçon suivante : Tirer les leçons de l'échec public d'un algorithme