Incidents, plaintes et recours
- Leçon 18
- 35 min
- Module 6 : Faire vivre la gouvernance
Où nous en sommes
Dans la dernière leçon, nous avons créé un comité pour les changements planifiés. Les incidents ne sont pas planifiés : un résultat erroné a déjà atteint un client, qui porte parfois plainte. Dans cette leçon, nous traitons un incident d'IA et une plainte. Nous suivons l'exemple d'un bon restaurant face à un plat qui n'aurait jamais dû quitter la cuisine.
Leçon 18 sur 19 · Gouvernance de l'IA : politiques, risques et responsabilitéIncidents, plaintes et recours
1. À quoi sert la gouvernance
2. Les lois et les normes en termes simples
3. Inventaire, niveaux de risque et évaluation d'impact
4. Des politiques que l'on peut suivre
5. Contrôles, documentation et preuves
6. Faire vivre la gouvernance
Ce que vous saurez faire
Quand un résultat d’IA nuit à quelqu’un, décidez rapidement qui agit et corrigez le résultat pour chaque personne touchée. Changez ensuite le système pour éviter que cela se reproduise.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Comment fonctionne le comité et qui participe à chaque point, dans Le comité de gouvernance.
- La règle québécoise sur les décisions fondées uniquement sur un traitement automatisé, dans Le Canada, les États-Unis, le Royaume-Uni et ailleurs.
- Pourquoi les réviseurs cessent de lire, dans la leçon Prévoir la révision humaine dès la conception de Diriger des produits et des équipes d’IA (facultatif).
Ce qu’il vous faut
- L’incident INC-07 et la plainte CMP-14.
- Les demandes de révision, l’ordre du jour du comité et votre ordre du jour de la dernière leçon.
Un plat qui n’aurait jamais dû quitter la cuisine
Section intitulée « Un plat qui n’aurait jamais dû quitter la cuisine »Un client informe le serveur d’une allergie aux noix. Le plat arrive avec des noix dans la sauce, et le client se sent mal.
Une bonne gérante agit dans l’ordre. Elle aide le client, prend les choses en main et dit la vérité. Le restaurant paie le repas et le médecin. Elle vérifie les autres tables qui ont commandé la même sauce et demande s’il faut prévenir l’inspecteur sanitaire. Ensuite, elle change les pratiques en cuisine : les commandes avec allergies reçoivent une fiche rouge, et le chef vérifie chacune.
Une mauvaise gérante s’excuse, offre un dessert gratuit et ne change rien. Le mois suivant, cela arrive à un autre client.
Le problème : un incident découvert par hasard
Section intitulée « Le problème : un incident découvert par hasard »Le flux de travail de résolution des demandes de soutien de Larkfield propose des actions. Un chef d’équipe approuve chacune. Voici ce qui s’est passé à la troisième semaine du projet pilote (incident INC-07, construit, découvert dans De la politique au contrôle) :
Description textuelle du diagramme
À la troisième semaine du projet pilote, un chef d’équipe a approuvé 212 actions proposées et en a ouvert 0 auparavant. Le temps médian d’approbation était de 3 secondes. Un billet de soutien en allemand concernant un article endommagé a déclenché l’envoi d’un remplacement. Pourtant, la politique dirige ce type de billet vers une personne. Le client a reçu un remplacement, mais aucune réponse à sa question. Grace l’a découvert dans son échantillon hebdomadaire de dix actions approuvées.
La situation est construite, mais le comportement est consigné. Dans Agents d’IA et orchestration des flux de travail, toutes les propositions ont été approuvées telles quelles. Ensuite, une conception a apporté 3 changements que personne n’avait demandés, dans 2 billets sur 70. Avec un approbateur strict, elle en a apporté 0. Ces chiffres consignés proviennent d’un seul modèle et d’un seul jeu de données de test. Ils montrent à quoi ressemblent les traces, pas la qualité actuelle d’un modèle.
Regardez maintenant comment INC-07 a été découvert. Grace échantillonne 10 actions sur environ 212 chaque semaine. Si une seule action est erronée, un échantillon aléatoire de 10 a une probabilité de 10 ÷ 212 = 4.7 % de la contenir (calculée). Larkfield l’a donc découvert par hasard. Ensuite, personne ne savait qui devait agir : le chef d’équipe, Amira, qui avait créé le flux de travail, ou Grace.
L’idée : incidents, plaintes et recours
Section intitulée « L’idée : incidents, plaintes et recours »Un incident d’IA est un événement où le résultat d’un système d’IA a nui à quelqu’un, aurait pu lui nuire ou a enfreint une règle. Une plainte survient quand une personne vous dit qu’un résultat la concernant est erroné. C’est souvent ainsi que vous découvrez un incident.
Un recours vise à réparer un tort pour la personne touchée. Vous corrigez le résultat, l’expliquez et réparez le préjudice. La personne peut demander une révision humaine. Le terme anglais, « redress », vient d’un ancien mot français qui signifie « redresser ».
Chaque incident et chaque plainte passent par cinq questions, dans l’ordre :
Description textuelle du diagramme
Après la découverte d’un incident : 1, qui décide? Le responsable désigné, qui arrête d’abord le préjudice; un incident grave passe au comité dans les 2 jours ouvrables. 2, que dit-on aux personnes touchées : ce qui s’est passé, ce qu’on fait, comment joindre une personne. 3, corriger le résultat pour cette personne, puis chercher les autres. 4, faut-il prévenir quelqu’un à l’extérieur? Demander à l’avocat et consigner sa réponse et sa justification. 5, qu’est-ce qui change : conception, mesure ou formation, avec confirmation du comité.
La question 4 exige de la prudence. L’obligation de signaler à l’extérieur dépend de la loi, du lieu et des événements, comme une exposition de données personnelles. Ce cours ne présente pas ces obligations et ne constitue pas un avis juridique. Le dossier contient donc toujours une ligne pour la question 4, avec la réponse de l’avocat et sa justification. Pour un outil acheté, l’engagement du fournisseur concernant l’avis d’incident compte aussi. TicketHarbor a répondu « sans retard injustifié », MinuteMoss « dans les 72 heures » (deux réponses inventées pour ce cours).
Exemple détaillé : INC-07, questions 1 à 4
Section intitulée « Exemple détaillé : INC-07, questions 1 à 4 »Farida et Grace appliquent les questions à INC-07. Voici les résultats intermédiaires, avant la réunion du comité :
| Question | INC-07 |
|---|---|
| 1. Qui décide? | Grace, la responsable désignée du flux de travail. Elle arrête le jour même les approbations par simple clic dans la file du projet pilote. Un client est touché et aucune donnée n’a été exposée. Le dossier attend donc la prochaine réunion du comité, sans réunion supplémentaire. |
| 2. Que dit-on au client? | La vérité, dans un délai d’un jour ouvrable : un remplacement a été envoyé, mais personne n’a répondu à la question. Voici la réponse, et le client peut garder le remplacement. Le chef d’équipe de Grace rédige le message. |
| 3. Corriger le résultat | Pour ce client : la réponse. Pour les autres : l’équipe de Grace vérifie les 212 actions approuvées de la semaine. Elle cherche d’autres billets que la politique dirige vers une personne. |
| 4. Faut-il prévenir quelqu’un à l’extérieur? | Farida demande à l’avocat et consigne sa réponse et sa justification dans le dossier. |
| 5. Qu’est-ce qui change? | Le comité doit décider. Vous le rédigez dans l’exercice du module. |
Regardez la question 3. Le chef d’équipe a approuvé 212 actions sans les lire. Celle que Grace a trouvée n’est donc peut-être pas la seule.
La cause n’est pas « un chef d’équipe négligent ». Personne ne peut lire attentivement 212 propositions par semaine. L’écran permettait qu’un clic compte comme une révision. MLOps et LLMOps : exploiter l’IA en production montre comment mener cette révision dans la leçon Tirer des leçons après un incident. La gouvernance prend en charge les questions qui l’entourent : qui décide, qui est informé et ce qui change.
Discussion : qui a décidé pour CMP-14?
Section intitulée « Discussion : qui a décidé pour CMP-14? »Une cliente au Québec a demandé un remboursement pour une livraison en retard. La réponse disait : « Notre système a déterminé que vous n’êtes pas admissible à un remboursement. » Elle demande qui a décidé, quelles informations ont été utilisées et une révision humaine de la décision (plainte CMP-14, construite). Le flux de travail a rédigé la réponse, et un chef d’équipe l’a approuvée en 4 secondes. La révision a révélé que le colis avait 9 jours de retard. La politique de Grace rembourse les frais de livraison après 7 jours de retard.
- Omar : « Une personne l’a approuvée, donc ce n’était pas une décision automatisée. Nous n’avons aucune obligation particulière ici. »
- Tomás : « Ça parle de droits. Envoyons ça à l’avocat et attendons sa réponse. »
- Grace : « Remboursons les 12.95 $ US et fermons le billet. »
- Sam : « Qu’est-ce qu’elle a demandé? »
Avant de poursuivre, répondez à ces questions :
- Qu’est-ce qui ne va pas dans chacune des trois premières positions?
- Que doit contenir la réponse?
- Que demandez-vous exactement à l’avocat?
La réponse du cours. Sam pose la bonne question. La cliente a demandé qui a décidé, quelles informations ont été utilisées et une révision humaine. Larkfield répond aux trois demandes, peu importe ce que dit l’avocat. Une personne de l’équipe de Grace révise la décision et constate qu’elle est erronée. La réponse rembourse les 12.95 $ US de frais de livraison. Elle indique que les dates de livraison de la commande ont été utilisées et nomme une personne à qui répondre.
Le point de vue d’Omar est la question juridique, pas sa réponse. Vous l’avez vue dans Le Canada, les États-Unis, le Royaume-Uni et ailleurs. Pour une décision fondée exclusivement sur un traitement automatisé, l’article 12.1 du Québec exige que l’entreprise en informe la personne. Sur demande, elle explique les informations utilisées et les principales raisons. La personne peut présenter ses observations à un membre du personnel capable de réviser la décision (loi québécoise sur la protection des renseignements personnels dans le secteur privé, article 12.1, source officielle, vérifiée le 22 octobre 2026). Pour les clients dans l’UE, le RGPD donne le droit de ne pas faire l’objet de certaines décisions entièrement automatisées. Ce sont celles ayant des effets juridiques ou des effets importants similaires (RGPD, article 22, source officielle, vérifiée le 22 octobre 2026).
Farida pose donc deux questions à l’avocat. « Une approbation en 4 secondes constitue-t-elle une vraie révision humaine selon ces règles? Et que devons-nous dire aux clients sur les réponses rédigées par le flux de travail? » Tomás a raison de demander, mais tort d’attendre : la cliente reçoit sa réponse maintenant. Le remboursement de Grace corrige un résultat. D’autres colis en retard ont probablement reçu le même refus. L’équipe de Grace révise donc chaque remboursement refusé pour une livraison ayant plus de 7 jours de retard.
Ce qui changerait la réponse : si les refus allaient déjà à l’équipe de Grace avec la règle affichée à l’écran, CMP-14 serait une erreur individuelle, pas un problème de conception.
Quand utiliser les cinq questions et ce qu’elles coûtent
Section intitulée « Quand utiliser les cinq questions et ce qu’elles coûtent »Utilisez-les pour chaque incident et chaque plainte concernant un résultat d’IA. Un cas mineur demande dix minutes au responsable et un court compte rendu, que le comité lit au point 1.
Le contrôle qui a fonctionné était le moins coûteux : dix actions par semaine, lues par la responsable. Il reste faible, comme le montre la probabilité de 4.7 %. Gardez-le et ajoutez des contrôles qui ne dépendent pas du hasard. L’écran affiche l’action et la règle de la politique. Personne ne peut approuver un billet que la politique dirige vers une personne.
Erreur courante
Les excuses qui ne changent rien
Symptôme : le même type de plainte revient le mois suivant, d’un autre client.
Cause : l’équipe a corrigé le résultat pour la seule personne qui s’est plainte. Personne n’a cherché d’autres personnes ayant le même problème, et la conception n’a pas changé.
Correction : répondez chaque fois aux questions 3 et 5. Cherchez les autres avant de fermer le dossier, puis consignez le changement, son responsable et sa mesure.
Exercice du module : tenir la réunion du comité
Section intitulée « Exercice du module : tenir la réunion du comité »-
Ouvrez votre ordre du jour de la dernière leçon et le tableau du procès-verbal dans l’ordre du jour du comité.
-
Rédigez la ligne du procès-verbal pour INC-07 : décision, justification, conditions avec un responsable et ce qui changerait la décision.
-
Lisez la demande R-12 en pensant à INC-07.
Vérifiez : c’est le même flux de travail et la même étape d’approbation qui a échoué pendant le projet pilote.
-
Rédigez la ligne du procès-verbal pour R-12.
-
Comparez les réponses de TicketHarbor au questionnaire destiné aux fournisseurs.
-
Rédigez la ligne du procès-verbal pour R-04.
Vérifiez : chaque condition nomme un responsable, et chaque décision indique ce qui la changerait.
Afficher une réponse possible
| Point | Décision | Justification | Conditions (responsable) | Ce qui changerait la décision |
|---|---|---|---|---|
| INC-07 | Arrêter les approbations par simple clic dans la file du projet pilote; revoir la conception de l’approbation | 212 approbations, 0 propositions ouvertes, médiane de 3 secondes : le contrôle ne fonctionnait pas | L’écran d’approbation affiche l’action exacte et la règle de la politique. Un chef d’équipe ne peut pas approuver un billet que la politique dirige vers une personne (Amira). L’échantillon hebdomadaire reste (Grace). Une réponse à la vraie question du client dans un délai de 1 jour (Grace). Nouvelle mesure : propositions ouvertes avant l’approbation (Farida) | Un deuxième cas dans l’échantillon |
| R-12 | Autoriser sous conditions un projet pilote de 4 semaines sur une seule file | Le niveau passe de moyen à élevé. Le préjudice est financier et peut être corrigé. Dans le cours Agents d’IA et orchestration des flux de travail, la conception avec routeur (le modèle choisit un chemin, puis le code exécute ses étapes fixes) a enregistré 0 changements non demandés | Une limite et un total quotidien, et uniquement la conception avec routeur (Amira); un échantillon hebdomadaire de 20 et une suspension dès un remboursement interdit (Grace); les corrections d’INC-07 d’abord (Farida) | Un remboursement interdit dans l’échantillon; les corrections de l’approbation non réalisées |
| R-04 | Garder l’outil désactivé jusqu’à la modification du contrat; l’activer ensuite | L’entraînement est activé par défaut, et les sous-traitants ne sont pas nommés | Clauses du contrat (Grace et le responsable des finances); les agents lisent chaque suggestion, avec une formation (Farida) | Le fournisseur refuse les clauses : chercher un autre fournisseur |
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Le dossier d'incident INC-07 dit : « Cause : le chef d'équipe n'a pas lu les propositions. » Pourquoi ce constat est-il faible, et que devrait-il dire plutôt?
Afficher la réponse
Il blâme une personne. Sa seule correction est donc « lire plus attentivement », ce qui échouera encore la semaine suivante. Personne ne lit attentivement 212 propositions par semaine. Un constat utile nomme la conception. L’écran n’affichait pas l’action et la règle de la politique. Rien n’empêchait non plus l’approbation d’un billet que la politique dirige vers une personne. L’équipe peut changer et mesurer ces éléments.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Prédisez : Grace double son échantillon hebdomadaire, de 10 à 20 actions sur environ 212. Si une action de la semaine est erronée, quelle est la probabilité que l'échantillon la trouve? Est-ce suffisant?
Afficher la réponse
Environ 20 ÷ 212, soit 9.4 % : deux fois mieux, mais cela dépend encore surtout du hasard. Un échantillon montre si les approbations fonctionnent en général; il ne détecte pas chaque erreur rare. Ajoutez donc un contrôle qui bloque l’erreur par conception. Un chef d’équipe ne peut pas approuver un billet que la politique dirige vers une personne.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Écrivez les trois éléments que la réponse de Larkfield à la cliente dans CMP-14 doit contenir, et la question que Farida pose à l'avocat.
Afficher la réponse
La réponse dit trois choses. Une personne a révisé la décision, l’a jugée erronée et a remboursé les 12.95 $ US de frais de livraison. Les informations utilisées étaient les dates de livraison de la commande. Et la cliente peut répondre à une personne nommée. Les questions pour l’avocat : une approbation en 4 secondes constitue-t-elle une vraie révision humaine selon l’article 12.1 du Québec et l’article 22 du RGPD pour les clients de l’UE? Que doit dire Larkfield aux clients sur les réponses rédigées par le flux de travail? Le cours ne répond pas lui-même à cette question.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Un incident d’IA est un résultat qui a nui à quelqu’un, aurait pu lui nuire ou a enfreint une règle. Une plainte est souvent la façon de le découvrir. Un recours répare le tort pour la personne touchée.
- Cinq questions, dans l’ordre : qui décide (le responsable désigné, qui arrête d’abord le préjudice), quoi dire aux personnes touchées, comment corriger le résultat pour elles et pour les autres, s’il faut prévenir quelqu’un à l’extérieur (l’avocat répond, le dossier conserve la justification) et ce qui change.
- Cherchez la cause dans la conception, pas chez une personne.
Vous pouvez maintenant décider des changements planifiés et gérer ce qui se passe mal. Mais tout cela rend-il Larkfield plus sûre, ou ajoute-t-il seulement des formulaires et de l’attente? Personne ne peut encore le dire. Ensuite, vous mesurez la gouvernance elle-même.
Leçon suivante : Mesurer la gouvernance