Aller au contenu
English

Développer et acheter de l'IA

  • Leçon 12
  • 30 min
  • Module 4 : Des politiques que l'on peut suivre

Où nous en sommes

Dans la dernière leçon, nous avons écrit les règles d'utilisation des outils d'IA par le personnel. Mais les choix du personnel ne sont pas la seule voie d'entrée de l'IA chez Larkfield. Les équipes créent de nouveaux systèmes. Un outil que Larkfield paie déjà peut aussi ajouter une fonction d'IA lors d'une mise à jour. Dans cette leçon, nous définissons les barrières que chaque nouveau projet d'IA doit franchir, selon son risque. Une école fait de même avant de faire sortir les enfants de son bâtiment.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité

Ce que vous saurez faire

Décidez des preuves nécessaires avant de poursuivre avec un nouveau système d’IA, une modification ou une fonction dans un outil acheté. Les vérifications augmentent avec le risque. Les projets à faible risque avancent vite. Ceux à risque élevé s’arrêtent si les preuves manquent.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 30 minutes

Ce que vous devez savoir

Ce qu’il vous faut

Une école fait sortir les enfants de son bâtiment de trois façons. Une promenade au parc demande un enseignant et une note dans le journal de classe. Une journée au musée demande une lettre aux parents et assez d’adultes pour le groupe. Une sortie avec nuitée demande un plan écrit, plus d’adultes et la signature de la direction avant de réserver un autobus.

Les vérifications précèdent chaque étape et augmentent avec le risque. Personne ne demande un plan signé pour aller au parc. Personne ne saute le plan pour une sortie avec nuitée.

Et si la compagnie d’autobus change, l’école vérifie la nouvelle compagnie, même si la sortie reste la même.

La politique de Larkfield n’avait aucune barrière. Elle disait seulement : « Les TI approuvent les nouveaux logiciels, y compris les outils d’IA. » Elle a échoué dans les deux sens décrits dans Une gouvernance qui aide les équipes à livrer. Trop peu de vérifications pour les grands changements, et trop pour les petits. Trois cas le montrent (situations construites).

Un système développé a été livré à tous sans vérification. Dans la « dernière semaine » du cours MLOps et LLMOps : exploiter l’IA en production, tous les clients ont reçu la version 3 de la requête de triage. Ce cours consigne les chiffres : 1,798 billets de soutien traités par la version 3, 186 sans réponse, et 10 billets qui exigeaient une personne n’ont été transmis à personne. Une barrière de mise en production existait. La version 3 satisfait à 0 de ses 6 critères (calcul effectué par ce cours à partir des résultats consignés). Mais aucune règle n’exigeait qu’une modification franchisse cette barrière avant d’atteindre les clients.

Un outil acheté a activé l’IA tout seul. TicketHarbor (inventé pour ce cours) vend un module complémentaire que Larkfield branche sur son propre service de soutien. Une mise à jour a ajouté une fonction de suggestion de réponses par IA. Elle l’a activée par défaut pour tous les agents. Cette fonction lit chaque message client. La fiche système ne présente aucun responsable, aucune vérification du fournisseur et aucune révision. Personne n’a décidé d’utiliser l’IA sur les messages clients : une mise à jour l’a décidé.

Les petites demandes attendaient le comité. Au premier trimestre du comité, 4 demandes de niveau faible ont été soumises au comité complet. Leur attente médiane était de 17.5 jours ouvrables, et les 4 ont été approuvées sans modification. Une « demande d’IA » concernait une formule de tableur. Une politique sans niveaux laisse passer les grands projets et retarde les petits.

Une barrière par étape arrête le travail jusqu’à ce qu’une personne désignée vérifie des preuves précises. Le cours sur la direction utilise des barrières pour planifier un produit. Ici, elles deviennent une politique : chaque nouveau système d’IA et chaque modification majeure franchissent les quatre mêmes barrières. Le niveau détermine les preuves à chaque barrière, ainsi que la personne qui décide.

  1. Idée : un responsable est nommé, le système figure dans l’inventaire et le niveau est établi.
  2. Avant les données réelles : les vérifications qui protègent les données et les personnes avant toute utilisation de données réelles.
  3. Avant les utilisateurs : les preuves que le système fonctionne et la décision de permettre son utilisation.
  4. Après le lancement : la façon de le surveiller et la date de sa prochaine révision.
Une grille de quatre barrières pour trois niveaux. Barrière 1, idée, identique pour chaque niveau : responsable nommé, ligne dans l'inventaire, deux questions avant la notation, niveau établi. Barrière 2, avant les données réelles : faible, règles d'usage acceptable; moyen, fiche système et vérification de la vie privée s'il y a des données personnelles; élevé, ébauche d'évaluation d'impact et révision juridique ou de la vie privée. Barrière 3, avant les utilisateurs : faible, aucune vérification supplémentaire, le responsable et le responsable des risques décident en 2 jours ouvrables; moyen, résultat d'évaluation dans un registre de décision, mécanisme d'approbation des actions prévu, évaluation d'impact signée par le responsable si le système touche les clients, et décision du responsable; élevé, révision de l'évaluation d'impact par le comité, barrière de mise en production avec seuils écrits à franchir, et décision du comité. Barrière 4, après le lancement : faible, révision dans 12 mois; moyen, journal des modifications et révision dans 6 mois; élevé, surveillance avec conditions de suspension, plan d'incident et révision dans 3 mois.
Les barrières de Larkfield pour un système qu'elle développe. Chaque niveau applique aussi les contrôles des niveaux inférieurs, sauf ceux qu'il remplace. Tiré du modèle de politique de développement et d'achat.
Description textuelle du diagramme

Chaque niveau franchit la barrière 1 de la même façon. Un responsable est nommé, le système figure dans l’inventaire, les deux questions avant la notation sont répondues et le niveau est établi. À la barrière 2, avant les données réelles, un système de niveau faible suit les règles d’usage acceptable. Un système de niveau moyen exige une fiche système et une vérification de la vie privée s’il utilise des données personnelles. Un système de niveau élevé exige une ébauche d’évaluation d’impact et une révision juridique ou de la vie privée. À la barrière 3, avant les utilisateurs, un système de niveau faible ne demande aucune vérification supplémentaire. Le responsable et le responsable des risques décident en 2 jours ouvrables. Un système de niveau moyen exige un résultat d’évaluation dans un registre de décision et un mécanisme prévu pour approuver ses actions. S’il touche les clients, il exige aussi une évaluation d’impact signée par le responsable, qui prend la décision. Un système de niveau élevé exige la révision de l’évaluation d’impact par le comité. Il doit franchir une barrière de mise en production avec des seuils écrits; le comité décide. À la barrière 4, après le lancement, un système de niveau faible est révisé dans 12 mois. Un système de niveau moyen tient un journal des modifications et est révisé dans 6 mois. Un système de niveau élevé dispose d’une surveillance avec conditions de suspension et d’un plan d’incident. Il est révisé dans 3 mois.

Les niveaux viennent de la méthode du cours. Les barrières reprennent donc ses contrôles : 4 pour un système de niveau faible, 9 pour le niveau moyen et 12 pour le niveau élevé. Elles ajoutent une chose absente de la liste des contrôles : l’ordre. Un contrôle qui arrive après le lancement ne peut pas arrêter ce lancement.

Le service de triage est de niveau élevé (10 points). Une nouvelle requête doit donc franchir la barrière 3, avec une barrière de mise en production aux seuils écrits. Voici cette barrière appliquée à la version 3, critère par critère. Les résultats sont calculés à partir des résultats consignés du cours Évaluer et tester les systèmes d’IA, selon la barrière de mise en production du cours MLOps et LLMOps : exploiter l’IA en production :

Critère de la barrière de mise en production Seuil Version 3 Résultat
blockers at most 0 1 (billet T-65663) échec
answers without text at most 0 8 échec
decisions: lower end of the difference from v2 at least -0.03 -0.184 échec
needs-a-person tickets caught (share) at least 1.0 0.958 échec
cost per 1,000 tickets (US$) at most 0.4 0.48 échec
p95 latency (s) at most 8.0 8.534 échec

Le résultat à la barrière 3 est arrêt : 0 critères sur 6 sont satisfaits. Personne n’a besoin de débattre pour savoir si la requête « semble meilleure ». Les seuils ont été écrits avant que le résultat existe.

La même modification est revenue au comité sous la demande R-06. Cette fois, la barrière figurait dans la politique. Le comité l’a rejetée en 7 jours ouvrables (situation construite). La différence avec la « dernière semaine » n’était pas un meilleur test. Le test était le même; la politique exigeait maintenant sa réussite.

Une fonction d’IA achetée exige les mêmes barrières. Mais Larkfield ne la développe pas, donc l’ordre change. La mise à jour du fournisseur peut arriver avant toute décision chez Larkfield. La révision commence donc par son repérage.

Un processus pour une fonction d'IA dans un outil acheté. Début : un fournisseur ajoute ou modifie une fonction d'IA, souvent lors d'une mise à jour. Étape 1, la repérer : le responsable du contrat, les TI ou l'équipe utilisatrice avertissent le responsable des risques; une activation par défaut n'est pas une approbation. Étape 2 : ligne dans l'inventaire et niveau, comme pour un système développé. Étape 3, vérifier le fournisseur avec le questionnaire fournisseur : niveau moyen ou élevé, avant l'activation; niveau faible, dans les 30 jours; déjà activée, la vérification est en retard et le responsable décide immédiatement si elle reste active. Étape 4, décision : activer, activer sous conditions ou laisser désactivée, avec inscription dans un registre de décision. À côté du processus, les trois fonctions achetées de Larkfield : la suggestion de réponses, niveau moyen, activée par défaut sans vérification, dont le comité a renvoyé la demande d'activation; l'outil de notes de réunion, niveau faible, avec questionnaire rempli; la lecture de factures, niveau moyen, active, sans questionnaire envoyé.
La révision d'une fonction d'IA dans un outil acheté et la situation des trois fonctions achetées de Larkfield. Exemple construit pour ce cours.
Description textuelle du diagramme

Le processus commence lorsqu’un fournisseur ajoute ou modifie une fonction d’IA, souvent lors d’une mise à jour. L’étape 1 consiste à la repérer. Le responsable du contrat, les TI ou l’équipe utilisatrice avertissent le responsable des risques. Une activation par défaut n’est pas une « approbation ». L’étape 2 lui attribue une ligne dans l’inventaire et un niveau, comme pour un système développé. L’étape 3 vérifie le fournisseur avec le questionnaire fournisseur. Pour les niveaux moyen et élevé, la vérification précède l’activation; pour le niveau faible, elle a lieu dans les 30 jours. Si la fonction est déjà active, la vérification est en retard. Le responsable décide immédiatement si elle reste active jusqu’à la fin de la vérification. L’étape 4 est la décision : activer, activer sous conditions ou laisser désactivée, avec inscription dans un registre de décision. À côté du processus figurent les trois fonctions achetées de Larkfield. La suggestion de réponses est de niveau moyen et a été activée par défaut sans vérification. Le comité a renvoyé sa demande d’activation. L’outil de notes de réunion est de niveau faible et son questionnaire est rempli. La lecture de factures est de niveau moyen et active, mais personne n’a envoyé le questionnaire.

Regardez la suggestion de réponses. Son niveau est moyen (7 points), donc la vérification du fournisseur vient avant l’activation. La mise à jour l’a activée d’abord. La politique a donc été enfreinte le jour de la mise à jour, et personne chez Larkfield n’a réagi. Voilà pourquoi l’étape 1 compte. La demande R-04 a ensuite demandé au comité de l’activer. Le comité l’a renvoyée après 9 jours ouvrables, car le fournisseur n’avait fourni aucune réponse. Maintenant, ces réponses existent : celles de TicketHarbor figurent dans le dossier des exercices pratiques. La prochaine leçon les examine.

Farida présente les barrières à l’équipe.

  • Omar : « La barrière de mise en production ralentit chaque modification de requête. On a développé le triage, on le connaît. Laissez l’équipe décider. »
  • Tomás : « Envoyez chaque modification d’IA au comité. Comme ça, rien ne passe sans vérification. »
  • Kwame : « Une barrière dans un document, c’est un souhait. Le déploiement devrait refuser une modification qui ne l’a pas franchie. »
  • Grace : « Je ne vois jamais les mises à jour du module complémentaire. Les finances sont responsables de ce contrat. »

Avant de poursuivre, répondez à ces questions :

  1. Omar a-t-il raison pour le service de triage? Pour l’assistant documentaire?
  2. Qu’est-ce que la règle de Tomás a déjà coûté au premier trimestre?
  3. Où la remarque de Kwame s’applique-t-elle? Et celle de Grace?

La réponse du cours. Omar a raison pour les projets de niveau faible. C’est le rôle de la voie rapide. Les nouveaux manuels de l’assistant documentaire demandent le responsable et le responsable des risques, pas le comité. Il a tort pour le service de triage. Son niveau est élevé. Sa dernière modification non vérifiée a laissé 10 billets qui exigeaient une personne sans aucun destinataire. La règle de Tomás a fait attendre 4 demandes de niveau faible pendant une durée médiane de 17.5 jours ouvrables. Un comité encombré de petites demandes lit les grandes à la hâte.

Kwame a raison : la barrière la plus solide est celle qu’un système impose. La politique précise les preuves nécessaires à chaque barrière. Un cours sur la gouvernance des agents d’IA montre comment une plateforme peut refuser une modification sans ces preuves. La remarque de Grace concerne l’étape 1. Le responsable du contrat (ici, le responsable des finances) doit avertir le responsable des risques quand le fournisseur ajoute ou modifie une fonction d’IA. Le fournisseur doit aussi l’annoncer avant la modification : la question 8 du questionnaire fournisseur le demande.

Ce qui changerait la réponse : supposons que la plateforme bloque déjà toute modification qui échoue à la barrière de mise en production. La politique pourrait alors renvoyer à ce contrôle plutôt qu’à une réunion. La barrière reste; seule la personne qui la vérifie change.

Utilisez les barrières pour chaque nouveau système d’IA et chaque nouvelle fonction d’IA dans un outil acheté. Utilisez-les aussi pour chaque modification majeure : nouveaux utilisateurs, nouvelles données, autonomie accrue ou nouveau modèle. Ne les utilisez pas pour des projets sans IA : renvoyez ces demandes en un jour.

Le coût se situe au début. Une idée de niveau faible coûte un formulaire et jusqu’à 2 jours ouvrables. Une modification de niveau élevé coûte une évaluation d’impact, une barrière de mise en production et une réunion du comité. Cela prend de quelques jours à quelques semaines. C’est le but. Le coût de la vérification est payé avant que les clients voient la modification, et non par les clients après.

Erreur courante

Approuvée parce qu'elle était déjà active

Symptôme : l’inventaire indique qu’une fonction d’IA achetée est « approuvée ». Personne ne trouve la décision et personne ne se souvient de l’avoir prise.

Cause : la mise à jour du fournisseur l’a activée, et quelqu’un a copié « active » dans le champ de statut. « Active » est devenu « approuvée » sans décision.

Correction : un statut « active, non révisée » jusqu’à ce qu’un registre de décision existe. La politique précise qu’une activation par défaut n’est pas une approbation. Une fonction sans registre de décision après son échéance est immédiatement soumise au responsable. Il la garde active en donnant une raison, ou la désactive.

  1. Ouvrez la fiche système S8, la lecture de factures dans l’outil comptable de LedgerFern (inventé pour ce cours).

  2. Étape 1, la repérer : écrivez qui aurait dû avertir le responsable des risques. La fiche indique que le responsable des finances en est responsable.

  3. Étape 2, niveau : écrivez 7 points, medium (préjudice 2, personnes 2, autonomie 2, données 1).

  4. Étape 3, vérification du fournisseur : écrivez quand elle devait avoir lieu.

    Vérification : avant l’activation. La fonction est active et la fiche indique « vérification du fournisseur : aucune ». La vérification est donc en retard.

  5. Écrivez la décision provisoire : qui décide si elle reste active jusqu’à l’arrivée des réponses.

    Vérification : le responsable des finances décide. Un commis vérifie et comptabilise chaque facture, ce qui limite le préjudice entre-temps.

  6. Écrivez une autre lacune de la fiche : le responsable est un rôle, pas une personne nommée.

À vous : tester la politique avec trois questions « Peut-on…? »

Section intitulée « À vous : tester la politique avec trois questions « Peut-on…? » »

Écrivez trois questions qu’une équipe de Larkfield poserait vraiment sur le développement ou l’achat d’IA. Répondez à chacune avec la politique de développement et d’achat seulement. Écrivez la ligne ou la barrière qui y répond. Utilisez celle-ci en premier : « Peut-on activer la nouvelle fonction d’IA d’un outil qu’on paie déjà? »

Afficher une réponse possible
  1. « Peut-on activer la nouvelle fonction d’IA d’un outil qu’on paie déjà? » Pas encore. Elle compte comme un nouveau système (la révision d’une fonction achetée). Attribuez-lui une ligne dans l’inventaire et un niveau. Si son niveau est moyen ou élevé, la vérification du fournisseur vient d’abord. Ensuite, le comité décide. Le comité de Larkfield décide des fournisseurs pour les usages de niveau moyen et élevé (comme pour R-04). La décision est inscrite dans un registre de décision.
  2. « Peut-on donner à l’assistant documentaire la nouvelle politique de retour sans passer par le comité? » Oui. L’assistant documentaire est de niveau faible (5 points), donc la voie rapide s’applique. Le responsable et le responsable des risques décident en 2 jours ouvrables (barrière 3, niveau faible). Au premier trimestre, la même demande (R-09) a été soumise au comité. Elle a attendu 17 jours ouvrables pour être approuvée sans modification.
  3. « Peut-on publier la version 4 de la requête de triage si elle franchit la barrière de mise en production sur nos billets de développement? » Non. Le service de triage est de niveau élevé. Il doit franchir la barrière de mise en production avec seuils écrits, et le comité révise l’évaluation d’impact (barrière 3, niveau élevé). La réussite sur les billets de développement correspond à l’étape de faisabilité, pas à la barrière.

Si une réponse exige de « demander à Farida », il manque une ligne dans la politique.

Vérifiez votre compréhension

L'équipe veut ajouter un article de base de connaissances au serveur MCP de soutien (niveau moyen). Qui décide? Que doit cette personne voir d'abord?

Afficher la réponse

Le responsable désigné décide, sans le comité (barrière 3, niveau moyen). Il voit d’abord une fiche système à jour, le résultat de l’évaluation dans un dossier de décision et l’entrée du journal des changements. Si le changement touche ce qu’on dit aux clients, le responsable vérifie aussi que l’évaluation d’impact reste valable. Au premier trimestre du comité, une demande semblable a suivi le parcours du responsable. La décision a pris quelques jours.

Vérifiez votre compréhension

Prédisez : TicketHarbor annonce que l'outil de suggestion enverra sa réponse automatiquement si un agent n'a pas répondu depuis 10 minutes. Quel est le niveau de risque? Que faut-il faire avant de l'activer?

Afficher la réponse

Évaluez-le de nouveau : il agit maintenant seul, donc son autonomie vaut 3. Une mauvaise réponse coûte du temps ou de l’argent (préjudice 2). La règle « agit seul avec un préjudice de 2 ou plus » le place au niveau élevé, peu importe la somme. Il s’agit donc d’un changement majeur à une fonction achetée, et ce changement est de niveau élevé. La vérification du fournisseur doit précéder l’activation. Il faut une évaluation d’impact complète, signée par le responsable et examinée par le comité. D’ici là, le paramètre reste désactivé. Le fournisseur aurait dû l’annoncer avant la mise à jour, comme le demande la question 8 du questionnaire.

Récapitulatif

  • Une barrière d’étape bloque le travail jusqu’à ce qu’une personne désignée vérifie des preuves précises. Le niveau détermine les preuves requises et qui décide.
  • Quatre barrières : idée, avant les données réelles, avant les utilisateurs, après le lancement. Le niveau faible suit le parcours rapide; le niveau moyen passe par le responsable après les vérifications. Le niveau élevé passe par le comité, avec une barrière de mise en production à franchir.
  • Les barrières ajoutent un ordre : un contrôle qui arrive après le lancement ne peut pas empêcher ce lancement.
  • Une fonction d’IA dans un outil acheté est un nouveau système : repérez-la, ajoutez une ligne et attribuez-lui un niveau. Vérifiez le fournisseur et consignez la décision. Une activation par défaut n’est pas une approbation.

Vous pouvez maintenant dire ce que chaque nouveau travail d’IA doit présenter, et quand. Mais pour une fonction achetée, une grande partie des preuves vient du fournisseur. Les réponses d’un fournisseur peuvent sembler complètes tout en omettant l’essentiel. Ensuite, vous lirez les réponses de deux fournisseurs et repérerez les lacunes.

Leçon suivante : Vérifier les fournisseurs et les modèles