Aller au contenu
English

Preuves et audits

  • Leçon 16
  • 35 min
  • Module 5 : Contrôles, documentation et preuves

Où nous en sommes

Dans les deux dernières leçons, nous avons associé un contrôle à chaque énoncé de politique. Nous avons aussi conservé les documents décrivant chaque système. Un auditeur n'accepte pas une description. Il demande la preuve qu'un contrôle a fonctionné, pour les systèmes et la période qu'il choisit. Dans cette leçon, nous répondons aux demandes d'un auditeur à partir du dossier de preuves, en commençant par une demande de remboursement.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité

Ce que vous saurez faire

Répondez à une demande d’audit avec des traces produites par le travail. Pour chacune, décidez ensuite si l’auditeur devrait l’accepter, l’accepter avec un constat ou la refuser.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 35 minutes

Ce que vous devez savoir

Ce qu’il vous faut

Vous demandez le remboursement de 40 dollars pour un dîner avec un client. L’équipe des finances demande le reçu. Le restaurant l’a imprimé au moment du paiement, avec la date et le montant. Une note que vous écrivez aujourd’hui, « J’ai payé 40 dollars », n’est pas un reçu. Elle ne fait que répéter votre affirmation.

L’équipe des finances vérifie aussi deux autres points. Chaque ligne de la demande a-t-elle un reçu, ou seulement certaines? Et la date correspond-elle à la période de la demande? Un reçu de l’an dernier ne prouve pas le dîner de ce mois-ci.

Le problème : une description au lieu d’une preuve

Section intitulée « Le problème : une description au lieu d’une preuve »

Avant la première révision du comité, un auditeur interne envoie des demandes à Farida. Pour montrer la méthode, cette leçon ajoute une sixième demande, A-0, aux cinq du dossier. Les six sont construites pour ce cours.

A-0 : Montrez que l’assistant documentaire ne montre jamais les documents d’un magasin au personnel de l’autre.

Mei répond le matin même. Elle envoie une page bien rédigée : « Conception de l’isolation. Les documents de chaque magasin sont stockés séparément. Chaque question est vérifiée selon le magasin de la personne qui la pose. » La page est correcte. Mais Mei l’a écrite ce matin-là, pour l’audit.

L’auditeur répond brièvement : « Cela me dit ce que vous avez conçu. Montrez-moi que cela a fonctionné. » Comme la note sur le dîner, la page ne fait que répéter l’affirmation.

Comme dans De la politique au contrôle, une preuve est une trace produite par le travail lui-même, au moment où il se fait. Cela peut être un journal, une trace d’approbation, une exécution de test ou une décision signée. Un audit est une vérification indépendante du fonctionnement des contrôles, fondée sur des preuves. L’auditeur donne l’une de ces trois réponses à chaque demande :

  • Accepter : la preuve répond à la demande.
  • Accepter avec un constat : la preuve est réelle, mais limitée. Un constat indique la lacune, un responsable et une date pour la corriger.
  • Refuser : la preuve manque, ou elle montre le contraire de l’affirmation.

Pour choisir, posez quatre questions sur chaque trace.

Une demande d'audit mène à une trace, puis à quatre tests dans l'ordre. 1 Produite par le travail, plutôt que rédigée pour l'audit? 2 Couvre tous les systèmes et toute la période visés? 3 À jour : plus récente que le dernier changement touchant ce qu'elle prouve? 4 Montre que le contrôle a fonctionné, pas seulement qu'il existe? Si les quatre tests réussissent : accepter. Si la trace est réelle, mais échoue au test 2 ou 3 : accepter avec un constat, un responsable et une date. Sans trace, ou en cas d'échec au test 1 ou 4 : refuser.
Quatre tests pour chaque trace, et les trois réponses possibles de l'auditeur.
Description textuelle du diagramme

Le schéma montre une demande d’audit, puis la trace qui y répond, puis quatre tests dans l’ordre. Test 1 : la trace a-t-elle été produite par le travail, plutôt que rédigée pour l’audit? Test 2 : couvre-t-elle tous les systèmes et toute la période visés? Test 3 : est-elle à jour, plus récente que le dernier changement touchant ce qu’elle prouve? Test 4 : montre-t-elle que le contrôle a fonctionné, pas seulement qu’il existe? Si les quatre tests réussissent, la réponse est d’accepter. Si la trace est réelle, mais échoue au test 2 ou 3, la réponse est d’accepter avec un constat. Il faut alors un responsable et une date. Sans trace, ou en cas d’échec au test 1 ou 4, la réponse est de refuser.

Farida cherche une trace produite par le travail. Elle en trouve une : l’assistant documentaire a été testé pendant sa création, dans Projet intégrateur : créer, évaluer et livrer un produit d’IA. Le test a fait 430 tentatives de lecture des documents de l’autre magasin, dont 0 ont réussi (consigné).

Test Ce que Farida trouve Résultat
1. Produite par le travail? une exécution de test enregistrée dans un commit (enregistrement dans le dépôt), pas une page rédigée pour l’audit réussite
2. Couvre ce qui est demandé? un système, comme demandé; les essais couvrent les deux magasins réussite
3. À jour? le test a été exécuté au lancement. Depuis, Larkfield a approuvé trois changements : deux manuels, la politique de retour et le nouveau personnel du magasin partenaire (construits). Personne n’a relancé le test. échec
4. Montre que le contrôle a fonctionné? 0 fuites en 430 tentatives, au moment du test réussite, à ce moment-là

Réponse : accepter avec un constat. La preuve est réelle, mais elle précède trois changements touchant les documents et les utilisateurs. Constat : relancer le test d’isolation après chaque changement aux documents ou aux utilisateurs. Mei en est responsable, d’ici la fin du mois. Sa page de conception reste utile : elle va dans la fiche système. Ce n’est pas la preuve.

Remarquez ce que les tests ont révélé, contrairement à la page : chaque changement fait vieillir la trace. Une trace reste à jour seulement jusqu’au prochain changement touchant ce qu’elle prouve.

La plupart des preuves existent déjà, car la plateforme et les routines les produisent. Chaque source prouve certaines choses, mais pas d’autres.

  • Le registre montre le responsable, le niveau de risque, la date de révision et les outils de chaque système inscrit. Il ne peut pas montrer un système que personne n’a inscrit : il couvre 4 des 8 systèmes connus. L’extrait du registre de Larkfield est construit pour ce cours.
  • Les données de la passerelle montrent quel système a appelé quel modèle, à quelle fréquence et à quel coût. Le rapport d’utilisation de Larkfield repose sur ces données. Il est construit à partir de coûts unitaires consignés et de volumes supposés. Ces données ne montrent pas l’IA utilisant sa propre clé, ni l’IA intégrée aux outils achetés.
  • La piste d’audit consigne chaque action et approbation : qui, quand et l’action exacte. Elle prouve un clic, pas que la personne a lu le billet de soutien.
  • Les traces d’évaluation et de mise en production montrent les résultats d’une version et si elle a franchi la barrière. Elles prouvent les résultats d’une seule version sur un seul jeu de données de test, à un moment donné.
  • Les dossiers des fournisseurs contiennent les réponses au questionnaire et la décision concernant chaque fournisseur. Si personne n’a envoyé le questionnaire, il n’y a rien à montrer.
Les cinq demandes d'audit et l'emplacement de leurs preuves. A-1 chaque système a un responsable nommé : les fiches du portefeuille et l'extrait du registre. A-2 chaque remboursement proposé par l'IA a été approuvé par une personne autorisée : la piste d'audit et les traces d'approbation des cours Agents d'IA et orchestration des flux de travail et MCP : connecter les applications d'IA aux outils et aux données. A-3 le dernier changement à la requête de triage a franchi la barrière de mise en production : les traces d'évaluation et de mise en production. A-4 le flux de résolution des demandes de soutien (S2) a été testé contre des attaques : les résultats des tests et les événements d'audit du cours Sécurité de l'IA, vie privée et conception responsable. A-5 la révision du fournisseur de chaque fonction d'IA achetée : les dossiers des fournisseurs. À vous de donner les réponses.
La demande d'audit et la preuve qui y répond. L'emplacement est indiqué; à vous de décider s'il faut accepter.
Description textuelle du diagramme

Le schéma comporte cinq lignes, une par demande, avec une flèche vers l’emplacement de sa preuve. A-1, chaque système a un responsable nommé : les fiches du portefeuille et l’extrait du registre. A-2, chaque remboursement proposé par un système d’IA a été approuvé par une personne autorisée à le faire : la piste d’audit, avec les traces d’approbation des cours Agents d’IA et orchestration des flux de travail et MCP : connecter les applications d’IA aux outils et aux données. A-3, le dernier changement à la requête de triage a franchi la barrière de mise en production : les traces d’évaluation et de mise en production. A-4, le flux de résolution des demandes de soutien (S2) a été testé contre des attaques avant le lancement : les résultats des tests et les événements d’audit du cours Sécurité de l’IA, vie privée et conception responsable. A-5, la révision du fournisseur de chaque fonction d’IA intégrée à un outil acheté : les dossiers des fournisseurs. À vous de décider s’il faut accepter chaque demande.

Trois situations causent la plupart des constats.

  • Ancienne. Une trace précède le dernier changement touchant ce qu’elle prouve, comme dans A-0. Le registre montre un autre cas : la révision de l’assistant documentaire a 2 mois de retard.
  • Manquante. Aucune trace n’existe. Personne n’a envoyé le questionnaire à LedgerFern (inventé pour ce cours) pour son lecteur de factures. Il n’y a donc aucune révision du fournisseur à montrer. Ne rédigez jamais une trace après coup en lui donnant une date passée. Écrivez « introuvable », la raison et la correction.
  • Une seule exécution. Une exécution de test montre un seul résultat. Dans Sécurité de l’IA, vie privée et conception responsable, les mêmes tests ont été exécutés deux fois. Une des conceptions plus faibles a laissé 9, puis 8 attaques atteindre leur objectif (consigné). Demandez une nouvelle exécution après chaque changement de modèle ou de requête.

ISO/IEC 42001 (page de l’ISO, vérifiée le 22 octobre 2026) définit les exigences d’un système de gestion de l’IA. Un organisme de certification externe peut auditer une organisation selon cette norme. L’ISO vend la norme. Ce cours l’explique donc dans ses propres mots, sans donner de numéros d’articles. L’organisme de certification peut préciser ce que couvre un certificat et comment se déroule l’audit.

Dans les mots du cours, cet auditeur cherche une routine qui fonctionne et laisse des traces. Il prélève des échantillons sur plusieurs mois, pas une pile de documents d’une seule semaine.

Un cycle de six étapes, dans les mots du cours, pas ceux de la norme. 1 Politique et rôles, approuvés et attribués. 2 Inventaire et niveaux de risque. 3 Évaluations pour les niveaux supérieurs. 4 Contrôles avec des responsables. 5 Traces produites par le travail. 6 Vérifications internes et révision par les dirigeants : échantillons, audit interne, décisions sur les corrections à apporter. Une flèche revient à l'étape 1. Une note : l'auditeur prélève des échantillons de traces à chaque étape, sur plusieurs mois.
La routine recherchée par l'auditeur d'un système de gestion, dans les mots du cours. Chaque étape laisse des traces; l'auditeur en prélève des échantillons.
Description textuelle du diagramme

Le schéma montre un cycle de six étapes, dans les mots du cours, pas le texte de la norme. Étape 1 : politique et rôles, approuvés et attribués. Étape 2 : inventaire et niveaux de risque. Étape 3 : évaluations pour les niveaux supérieurs. Étape 4 : contrôles avec des responsables. Étape 5 : traces produites par le travail. Étape 6 : vérifications internes de l’organisation et révision par les dirigeants : échantillons, audit interne et décisions sur les corrections à apporter. Une flèche va de l’étape 6 à l’étape 1. Une note indique que l’auditeur prélève des échantillons de traces à chaque étape, sur plusieurs mois.

La préparation n’est donc pas un projet à faire le mois avant l’audit :

  1. Appliquez d’abord la routine, assez longtemps pour laisser des traces. Un comité qui s’est réuni une fois a un seul procès-verbal.
  2. Faites votre propre audit avec des demandes comme les cinq du dossier, puis corrigez les constats.
  3. Conservez chaque constat, son responsable et sa correction. L’auditeur veut voir que vous trouvez et corrigez vous-mêmes les problèmes.

Discussion : « rédigeons les preuves cette semaine »

Section intitulée « Discussion : « rédigeons les preuves cette semaine » »

L’auditeur arrivera dans deux semaines.

  • Omar : « Écrivons une page par demande cette semaine. Comme ça, tout sera prêt. »
  • Kwame : « Je peux exporter le registre. Ça répond à la question des responsables. »
  • Tomás : « L’auditeur travaille pour nous. On peut expliquer les lacunes à la rencontre. »
  • Sam : « Qu’est-ce qu’on fait quand une trace n’existe pas? »

Avant de poursuivre, répondez à ces questions :

  1. Que prouveraient les pages d’Omar?
  2. Que prouve l’exportation de Kwame, et pour quels systèmes?
  3. Que devrait faire Farida si une trace manque?

La réponse du cours. Les pages d’Omar sont des descriptions, comme la page de conception de Mei. Elles servent de guide vers les preuves, mais ne sont pas des preuves. L’exportation de Kwame est une vraie preuve produite par la plateforme, mais seulement pour les 4 systèmes inscrits sur 8. Tomás a raison de dire qu’un auditeur interne aide. Il a tort de croire que la discussion remplace les traces. Si une trace manque, décrivez honnêtement la lacune, avec un responsable et une date. Une lacune trouvée par Larkfield est un meilleur point de départ qu’une lacune trouvée par l’auditeur.

Ce qui changerait la réponse : un audit de certification externe, pour un contrat client. Un audit interne avec les mêmes demandes doit alors avoir lieu des mois avant. Les constats doivent être corrigés, et les corrections doivent laisser des traces.

Erreur courante

Une preuve qui montre le contraire

Symptôme : l’équipe envoie une vraie trace pour répondre à une demande, mais cette trace montre que le contrôle a échoué. Par exemple, une trace de mise en production montre une version qui n’a pas franchi sa barrière, mais a atteint les clients.

Cause : personne n’a comparé la preuve à l’affirmation. L’équipe a vérifié qu’une trace existait, pas ce qu’elle disait.

Correction : appliquez le test 4 à chaque trace avant de l’envoyer. Si la trace montre un échec, dites-le et indiquez le constat et sa correction. L’envoyer sans explication nuit davantage à la confiance que l’échec lui-même.

  1. Ouvrez audit-requests.md. Copiez les cinq questions de « For each request, write » (pour chaque demande, écrivez) dans votre document, une fois par demande.
  2. Pour chaque demande, ouvrez l’emplacement de la preuve.
  3. Appliquez les quatre tests à chaque trace. Écrivez le résultat de chaque test.
  4. Donnez une réponse à chaque demande : accepter, accepter avec un constat ou refuser.
  5. Pour chaque constat, indiquez la correction, un responsable et comment la preuve existera la prochaine fois, sans travail supplémentaire.

La demande A-4 nomme le flux de résolution des demandes de soutien (S2). Sécurité de l’IA, vie privée et conception responsable l’a testé pour Larkfield sous le nom « support assistant » (assistant de soutien). Ses résultats figurent dans les preuves des cours précédents. Vérifiez un nombre en cours de route : pour A-1, comptez les systèmes sans personne nommée comme responsable. Vous devriez en trouver 5.

Une réponse possible
  • A-1 responsables : refuser. 5 des 8 systèmes n’ont aucune personne nommée (S2, S4, S5, S6, S8), et le registre couvre 4 systèmes sur 8. Correction : nommer les responsables dans l’inventaire et faire refuser par le registre toute inscription sans personne.
  • A-2 approbations des remboursements : accepter le contrôle, avec un constat. Le serveur MCP a refusé une approbation par un membre du personnel et consigné l’approbation de OP-0001 par Grace. Mais les traces d’approbation prouvent des clics : pendant la semaine 3 du projet pilote, 212 approbations ont été ouvertes 0 fois (construit). Ajoutez l’échantillon hebdomadaire comme preuve.
  • A-3 barrière de mise en production : refuser. La version 3 a respecté 0 règles sur 6. Pourtant, pendant la « dernière semaine », elle a atteint tous les clients, et 10 billets nécessitant une personne n’ont été transmis à personne. Une barrière contournable n’est pas un contrôle. Correction : le déploiement refuse toute version sans trace de réussite à la barrière.
  • A-4 tests d’attaque : accepter, avec une note sur la portée. 42 attaques; dans la conception finale, 0 ont atteint leur objectif, et l’exécution a produit 97 événements d’audit. Mais cela couvre un seul modèle et une seule exécution. Demandez une nouvelle exécution après chaque changement de modèle.
  • A-5 révisions des fournisseurs : refuser. Des réponses existent pour 2 des 3 fonctions, aucune n’a encore de registre de décision, et le lecteur de factures n’a aucune révision. Correction : utiliser le formulaire « New AI use » (nouvel usage de l’IA) pour les fonctions ajoutées par des mises à jour, et un registre de décision par fournisseur.

Vérifiez votre compréhension

Choisissez une demande d'audit, A-3 si vous hésitez. Nommez la trace qui y répond, appliquez les quatre tests et dites si un auditeur devrait l'accepter.

Afficher la réponse

Pour A-3, la trace est la vérification de la barrière de mise en production de la version 3 de la requête, et la révision de la « dernière semaine ». Elle a été produite par le travail (réussite au test 1). Elle couvre le changement demandé (test 2) et elle est à jour (test 3). Mais elle échoue au test 4 : la version 3 a respecté 0 règle sur 6 et a quand même atteint tous les clients. De plus, 10 billets nécessitant une personne n’ont été transmis à personne. L’auditeur devrait donc refuser l’affirmation « nous avons une barrière de mise en production ». La preuve est réelle et montre le contraire de l’affirmation.

Vérifiez votre compréhension

La page de Mei sur la conception de l'isolation est correcte. Pourquoi n'est-elle pas une preuve, et où doit-elle figurer?

Afficher la réponse

Elle l’a rédigée le matin de l’audit, pour l’audit. Elle décrit donc la conception et répète l’affirmation. Une preuve est une trace produite pendant le travail, comme le résultat consigné du test avec 430 tentatives et 0 fuite. La page doit figurer dans la fiche du système, comme description, à côté d’un lien vers la preuve.

Vérifiez votre compréhension

Le test d'isolation a réussi au lancement avec 0 fuite. Trois changements plus tard, personne ne l'a relancé. À quel critère échoue-t-il, et quelle est la réponse à la demande?

Afficher la réponse

Il échoue au critère 3 : il précède les derniers changements à ce qu’il prouve (nouveaux documents et nouveaux utilisateurs). La trace est réelle et provient du travail. La réponse est donc d’accepter avec un constat. La correction : relancer le test après chaque changement aux documents ou aux utilisateurs, avec un responsable et une date.

Vérifiez votre compréhension

Larkfield veut un certificat ISO/IEC 42001 d'ici un mois. En deux phrases, expliquez pourquoi la préparation ne peut pas se limiter à un projet d'un mois.

Afficher la réponse

L’auditeur d’un système de gestion cherche une routine en place et échantillonne ses traces sur plusieurs mois, pas des documents rédigés en une semaine. Larkfield doit d’abord appliquer la routine (révisions, décisions du comité, échantillons, audit interne et corrections) assez longtemps pour produire ces traces.

Récapitulatif

  • Une preuve est une trace produite pendant le travail. Une page rédigée pour l’audit est une description.
  • Quatre critères pour chaque trace : provient du travail, couvre la demande, est à jour, montre que le contrôle a fonctionné.
  • Trois réponses : accepter, accepter avec un constat (un responsable et une date), ne pas accepter (trace absente ou qui prouve le contraire).
  • Les preuves vieillissent à chaque changement. Ne créez jamais une trace après coup : consignez la lacune et sa correction.
  • Pour un audit ISO/IEC 42001, appliquez d’abord la routine. L’auditeur échantillonne ses traces sur plusieurs mois.

Dans ce module, vous avez transformé des énoncés de politique en contrôles, conservé les documents et répondu à un auditeur à partir des traces. Mais les contrôles et les traces ne prennent aucune décision. Quelqu’un doit répondre oui ou non à une demande, à temps, et agir quand un problème survient. Ensuite, vous mettez en place le comité de gouvernance qui prend ces décisions.

Leçon suivante : Le comité de gouvernance