Aller au contenu
English

Ce qu'il faut enregistrer, et ce qu'il ne faut pas

  • Leçon 2
  • 35 min
  • Module 1 : Pourquoi les agents ont besoin de leur propre observabilité

Où nous en sommes

Nous avons vu qu'une ligne de journal par billet ne peut pas expliquer le double remboursement. La solution n'est pas de tout journaliser : certaines données ne doivent jamais quitter l'application. Dans cette leçon, nous classons les signaux nécessaires à un agent : traces, métriques, événements et enregistrements d'audit. Nous examinons leurs questions, leur durée de conservation et les personnes qui peuvent les lire. Nous commençons dans un petit magasin.

Leçon 2 sur 28 · Observabilité des agents d'IA : traces, coûts et pistes d'auditCe qu'il faut enregistrer, et ce qu'il ne faut pas
Aperçu du cours

Ce que vous saurez faire

Choisissez les enregistrements nécessaires à un agent et les données à exclure. Vous voyez un même événement dans quatre types d’enregistrements. Vous découvrez leurs questions, leur durée de conservation et les personnes qui peuvent les lire. Ensuite, vous décidez où placer le texte des requêtes, les données personnelles et les secrets : par défaut, nulle part.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 35 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

  • Rien de nouveau. Vous ouvrirez vous-même les enregistrements sauvegardés dans la prochaine leçon.

Un petit magasin conserve quatre types d’enregistrements. Chacun a son propre rôle.

Le reçu de caisse indique ce qu’un client a acheté et payé. Le magasin en conserve une copie pendant quelques mois. La caméra au-dessus de la porte enregistre le parcours de chaque client : son arrivée, ses arrêts et son départ. Le magasin supprime la vidéo après 30 jours. Seul le propriétaire peut la regarder. Le total quotidien indique les ventes du jour et le nombre de clients. Il ne contient aucun nom, alors tout le personnel peut le consulter. Le propriétaire le conserve pendant des années. Le registre du coffre-fort est un livre signé. Il indique qui a ouvert le coffre, quand, combien cette personne a retiré et qui l’a autorisé. Personne ne peut arracher une page. Le comptable le lit une fois par année. La loi précise combien de temps le conserver.

Remarquez deux autres choses. La caméra ne filme pas le clavier où les clients entrent leur numéro de carte. Et personne ne copie le registre dans le total quotidien. Chaque enregistrement contient seulement ce qui sert à son rôle.

Tomás, ingénieur en IA chez Larkfield, a une réponse aux questions de Grace : « Journalisons chaque requête et chaque réponse. Ensuite, nous pourrons tout expliquer. »

Essayez cette approche pour le double remboursement. La dernière réponse du modèle dans l’exécution R-1014-040 était le brouillon de réponse. Voici son contenu :

We'll submit a refund of your $9.95 CAD shipping fee for the team's approval.

Ce texte est vrai, mais il n’explique rien. Le modèle a demandé un remboursement. Le deuxième vient du code de nouvelle tentative du flux de travail, après un délai dépassé, un autre jour. Aucune requête ni aucune réponse ne le contient, car aucun modèle n’est intervenu. Un enregistrement des mots du modèle ne peut pas expliquer une action que le modèle n’a pas effectuée.

« Tout journaliser » entraîne aussi des coûts que Tomás ne voit pas :

  • Les données personnelles se répandent. Une requête contient le billet de soutien du client et les détails de la commande. Les vrais clients inscrivent leur nom, leur adresse et parfois leur numéro de carte dans un billet. Chaque copie de la requête est un endroit de plus qui conserve ces données.
  • La télémétrie reste longtemps et circule beaucoup. Les journaux vont vers plusieurs outils, restent pendant des mois et de nombreux ingénieurs peuvent y faire des recherches. Tous peuvent alors lire un secret dans une requête, comme une clé d’API qu’un client a collée.
  • Cela coûte de l’argent. L’équipe du cours a mesuré le flux de travail avec et sans le texte des requêtes. Une exécution a produit 9,3 Ko de données de trace sans le texte, et 26,7 Ko avec lui : presque trois fois plus. Lorsque l’équipe a activé cette option pour la semaine rejouée, 718 spans de modèle contenaient le texte des requêtes.

La question n’est donc pas « quelle quantité pouvons-nous enregistrer? ». C’est « quel enregistrement répond à quelle question, et que faut-il exclure de tous les enregistrements? ».

La télémétrie désigne les données qu’un système en fonctionnement envoie à son propre sujet. Chaque type de télémétrie s’appelle un signal. Un agent en a besoin de quatre, comme le magasin a besoin de quatre enregistrements :

  • Une trace représente le parcours d’une exécution dans le système, comme la caméra du magasin. Elle se compose de spans (spans, unités représentant des étapes) : un par étape, avec un début, une fin et un état. Chaque span contient aussi des valeurs nommées, appelées attributs. Un span peut avoir des spans enfants. Une trace forme donc un arbre d’étapes. Dans ce cours, une exécution correspond à une trace, ou à deux si une personne approuve plus tard.
  • Une métrique est un nombre que le système additionne au fil du temps pour toutes les exécutions, comme le total quotidien. Exemples : exécutions par résultat, écritures par résultat, jetons, coût. Une métrique n’a aucun identifiant d’exécution. Elle est donc petite et peu coûteuse, et elle ne saute jamais d’exécution.
  • Un journal (log) ou un événement enregistre un moment précis, avec des détails. La ligne d’Amira est un journal. Un événement est un enregistrement de journal avec un nom fixe, comme larkfield.run.closed, pour qu’un programme puisse le compter.
  • Un enregistrement d’audit indique qui a décidé quoi, avec quelle autorisation, et ce qui a changé, comme le registre du coffre-fort. Il s’adresse aux personnes hors de l’ingénierie, comme Grace ou un auditeur. Il doit être complet, et personne ne peut le modifier sans que cela se voie. La liste de tous les enregistrements d’audit constitue la piste d’audit.

Les trois premiers proviennent d’OpenTelemetry, la norme ouverte que ce cours utilise pour enregistrer la télémétrie. L’enregistrement d’audit utilise le format propre à Larkfield, car aucune norme de télémétrie ne garantit l’absence de pertes.

Voici le même moment dans chacun des quatre enregistrements : le deuxième remboursement de l’exécution R-1014-040. Chaque valeur provient de la semaine sauvegardée de Larkfield, que vous ouvrirez dans la prochaine leçon.

Un événement : le deuxième remboursement de 9,95 pour la commande LK-793996, jeudi 15 octobre à 9 h 17 min 22 s, exécution R-1014-040, dans quatre panneaux. 1, la ligne de journal, tirée du journal d'Amira : 09:17:22 INFO ticket=T-90104 run=R-1014-040 model=chat-strong status=resolved writes=1 reply=sent. Elle indique que le billet a été fermé comme résolu. Elle ne peut pas indiquer que deux remboursements ont été payés, quelle étape les a payés ni qui a approuvé. 2, la trace, les étapes de la trace 2 de R-1014-040 : approve support-resolution par usr-sam, 10,01 s; request_refund ERROR timeout, 10,00 s, clé 797fbb5bbb9f8a7e; request_refund done, clé 797fbb5bbb9f8a7e-retry1; send_reply sent. Elle indique quelle étape a envoyé le deuxième remboursement, avec quelle clé et après quelle erreur. Elle ne peut pas indiquer si le premier appel a payé. 3, la métrique larkfield.writes pour request_refund, jeudi de 9 h à 10 h : résultat timeout plus 2, résultat done plus 2, et 0 de 5 h à 9 h. Elle indique la fréquence pour toutes les exécutions : deux délais dépassés en une heure. Elle ne peut pas indiquer quels billets. 4, l'enregistrement d'audit 673 sur 1 331, dans une chaîne de hachage : type write, tentative 2, résultat done, remboursement 9,95 RFD-LATE pour LK-793996, clé 797fbb5bbb9f8a7e-retry1, autorisation approval b5188674 par usr-sam, prev 6fbf9d7d, hash ed0673cf. Il indique ce qui a changé et avec quelle autorisation, dans un enregistrement que personne ne peut modifier sans détection. Il ne peut pas indiquer la durée de chaque étape. En bas : l'identifiant d'exécution R-1014-040 relie 1, 2 et 4; l'identifiant de trace 15ba0d93 relie 2 et 4; la métrique n'a aucun identifiant : elle compte.
Le deuxième remboursement de l'exécution R-1014-040 dans quatre enregistrements. Décisions du modèle rejouées, délai dépassé simulé; valeurs de la semaine sauvegardée.
Description textuelle du diagramme

La ligne de journal vient de la dernière leçon : résolu, une écriture, réponse envoyée. La trace montre les quatre étapes après l’approbation. D’abord l’approbation de Sam, puis le remboursement dont le délai a été dépassé, avec la clé 797fbb5bbb9f8a7e. Ensuite, le même remboursement, terminé, avec la clé 797fbb5bbb9f8a7e-retry1, et la réponse. La métrique compte les appels de remboursement par résultat pour toutes les exécutions. Jeudi, entre 9 h et 10 h, 2 ont dépassé le délai et 2 ont terminé, après 0 de 5 h à 9 h. L’enregistrement d’audit porte le numéro 673 sur 1 331. C’est une écriture, tentative 2, terminée : le remboursement de 9,95 avec la deuxième clé. L’approbation b5188674 par usr-sam l’a autorisée. Il contient le hachage de l’enregistrement précédent, ce qui permet de détecter un enregistrement modifié. L’identifiant d’exécution relie la ligne de journal, la trace et l’enregistrement d’audit. L’identifiant de trace relie la trace et l’enregistrement d’audit. La métrique n’a aucun identifiant.

Comparez les quatre vues aux questions de Grace :

  • Quelle étape a payé le deuxième remboursement? La trace : le deuxième span request_refund, avec la clé 797fbb5bbb9f8a7e-retry1. Son span parent est l’approbation de Sam.
  • Est-ce arrivé à d’autres clients? La métrique indique que quelque chose est arrivé deux fois dans cette heure : 2 délais dépassés, 2 remboursements terminés. Elle ne peut pas dire à qui. La trace de chaque exécution le peut.
  • Qui l’a autorisé? L’enregistrement d’audit : l’écriture nomme l’approbation qui l’a autorisée, b5188674. Cette approbation nomme Sam, son rôle et sa limite.
  • Le premier appel a-t-il payé? Aucun enregistrement du flux de travail ne peut le confirmer. Le premier appel a dépassé le délai : le flux de travail n’a jamais reçu la réponse. Seuls les enregistrements du service de paiement, ou une vérification auprès de celui-ci, peuvent répondre. Le module 3 ajoute cette vérification.

La métrique mérite un examen plus attentif. Voici les appels de remboursement du jeudi, heure par heure :

  • terminé
  • délai dépassé
  • indisponible
La métrique larkfield.writes pour request_refund, augmentation par heure, jeudi 15 octobre de 5 h à 18 h (heure de Toronto). Trafic et pannes du service de paiement simulés; décisions rejouées.
Description textuelle du graphique

Trois lignes, un point par heure de 5 h à 17 h. Appels de remboursement terminés : 05:00-06:00 0, 06:00-07:00 0, 07:00-08:00 0, 08:00-09:00 0, 09:00-10:00 2, 10:00-11:00 2, 11:00-12:00 4, 12:00-13:00 0, 13:00-14:00 2, 14:00-15:00 1, 15:00-16:00 0, 16:00-17:00 1, 17:00-18:00 0. Délais dépassés : 09:00-10:00 2, et 0 à toutes les autres heures. Appels refusés parce que le service était indisponible : 09:00-10:00 1, et 0 à toutes les autres heures.

Les délais dépassés apparaissent dans une seule heure, de 9 h à 10 h. Le personnel de Larkfield commençait alors à approuver les propositions de la nuit. Une métrique montrerait cela sur un tableau de bord pendant que cela se produit. Elle peut aussi déclencher une alerte. Mais un délai dépassé ne signifie pas encore un double remboursement. Pour trouver les exécutions qui ont payé deux fois, passez de la métrique aux traces de cette heure. Puis passez d’une trace à ses enregistrements d’audit. Les identifiants rendent ce parcours possible.

La durée de conservation de chaque signal et ses lecteurs

Section intitulée « La durée de conservation de chaque signal et ses lecteurs »

Chaque signal répond à des questions différentes. Chacun a donc sa propre conservation : la durée pendant laquelle il reste avant sa suppression. Chacun a aussi ses propres lecteurs. Cette carte montre les valeurs par défaut des outils du cours et le choix de Larkfield pour la piste d’audit :

Un tableau de quatre signaux avec une barre de durée de conservation, sur une échelle logarithmique de 1 jour à 7 ans. Traces, échantillonnage possible : elles montrent le parcours d'une exécution, ses étapes, ses durées et ses erreurs. Tempo les conserve 14 jours par défaut. Les ingénieurs de garde, Amira et Tomás, les lisent. Métriques, sans échantillonnage : chaque exécution compte. Elles indiquent la fréquence et les quantités, sous forme de comptes pour toutes les exécutions. Prometheus les conserve 15 jours par défaut. Tous ceux qui ont un tableau de bord les lisent : personnel de garde, Omar et Kwame. Journaux et événements, filtrage possible : ils indiquent ce qui s'est passé, avec des détails. Loki ne fixe aucune limite par défaut. Ils restent donc jusqu'à ce que le disque soit plein; la barre est en pointillés avec une flèche. Les ingénieurs les lisent, ainsi que le soutien pour un billet. Enregistrements d'audit, jamais échantillonnés : ils indiquent qui a décidé quoi, avec quelle autorisation, et ce qui a changé. Le stockage d'audit les conserve 7 ans, selon une hypothèse. Grace, les auditeurs et Mei les lisent, avec un accès en lecture seule.
La carte des signaux : leurs questions, leur durée de conservation par défaut dans les outils du cours et leurs lecteurs. Les 7 ans du stockage d'audit sont une hypothèse pour Larkfield.
Description textuelle du diagramme

Quatre lignes. Les traces montrent le parcours d’une exécution. Elles peuvent être échantillonnées. Tempo les conserve 14 jours par défaut, et les ingénieurs de garde les lisent. Les métriques indiquent la fréquence et les quantités, et comptent chaque exécution. Prometheus les conserve 15 jours par défaut. Tous ceux qui ont un tableau de bord les lisent : personnel de garde, Omar pour le produit, Kwame pour le coût. Les journaux et événements indiquent ce qui s’est passé, avec des détails. Ils peuvent être filtrés. Loki ne fixe aucune limite de conservation par défaut. Les ingénieurs les lisent, ou le soutien pour un billet. Les enregistrements d’audit indiquent qui a décidé quoi et ce qui a changé. Ils ne sont jamais échantillonnés. Le stockage d’audit les conserve 7 ans, selon une hypothèse pour Larkfield. Grace, les auditeurs et Mei les lisent, avec un accès en lecture seule.

Les outils utilisés ici sont ceux du conteneur Grafana du cours, grafana/otel-lgtm 0.36.0. Il contient Tempo 3.1.0 pour les traces, Prometheus 3.15.0 pour les métriques et Loki 3.7.8 pour les journaux. Le conteneur ne fixe aucune durée de conservation. La valeur par défaut de chaque produit s’applique donc :

  • Tempo supprime les données de trace après 14 jours (block_retention, conservation des blocs, valeur par défaut de 336 heures).
  • Prometheus supprime les échantillons après 15 jours (--storage.tsdb.retention.time, durée de conservation, valeur par défaut 15d, soit 15 jours).
  • Loki ne supprime rien : la conservation est désactivée par défaut. Les journaux « vivent pour toujours », selon la documentation de Loki, jusqu’à ce que le disque soit plein.

Ces valeurs par défaut conviennent à un conteneur d’exercice, pas à Larkfield. Nous en tirons trois leçons :

  1. La conservation est une décision, pas une valeur par défaut. Par défaut, Loki garde chaque ligne de journal pour toujours. Si un journal contient des données personnelles, « pour toujours » est une promesse impossible à tenir lorsqu’un client demande l’oubli.
  2. La piste d’audit dure plus longtemps que la télémétrie. Une trace du jeudi disparaît deux semaines plus tard. Un auditeur pourrait poser une question sur le remboursement dans un an. C’est une raison de séparer l’enregistrement d’audit : un signal distinct, dans un stockage distinct, et non une trace. Larkfield le conserve 7 ans dans ce cours : c’est une hypothèse. La durée réelle dépend des lois et des contrats applicables. Consultez votre propre équipe juridique.
  3. Un autre outil a une autre limite. Dans le module 8, les mêmes traces vont aussi vers Langfuse. Son forfait gratuit Hobby donne accès aux données pendant 30 jours. Les forfaits changent : vérifiez la page de tarification actuelle.

Les lecteurs comptent autant que la durée. Une trace contient des identifiants de commande, des arguments d’outils et des messages d’erreur. Les ingénieurs qui exploitent le flux de travail en ont besoin. Les traces leur sont donc destinées. Une métrique contient seulement des comptes et des étiquettes. Tout le monde peut donc consulter un tableau de bord. Un enregistrement d’audit nomme la personne qui a approuvé et renvoie à un client. Larkfield le conserve dans un stockage que seuls Grace, les auditeurs et Mei peuvent lire, et que personne ne peut modifier.

Dans l’enregistrement d’audit de l’exemple détaillé, le client n’est pas C-61975. C’est cust:6899a74add4687df, un pseudonyme : un code calculé à partir de l’identifiant du client avec une clé secrète. Le module 6 montre comment supprimer cette clé permet d’« oublier » un client tout en gardant la piste intacte.

Trois types de données restent exclus de chaque signal, sauf si une personne les active pour une raison précise :

Données Pourquoi les exclure Ce que les signaux enregistrent à la place
Texte des requêtes et des réponses Il contient les mots du client et n’explique pas les actions le modèle, les jetons, la raison de fin, le numéro d’étape, la règle de politique
Données personnelles (noms, adresses courriel, numéros de carte, texte du billet) chaque copie est un endroit de plus à protéger, à supprimer et à expliquer l’identifiant du billet, l’identifiant de commande, un pseudonyme du client, la langue
Secrets (clés d’API, jetons, mots de passe) toute personne qui peut lire la télémétrie pourrait les utiliser rien; tout au plus l’identifiant de la clé

« Désactivé par défaut » signifie que le code du flux de travail ne place jamais ces valeurs dans un signal. Ni dans un span, ni dans une métrique, ni dans un enregistrement de journal. Le projet du cours a un seul paramètre, OBS_CAPTURE_CONTENT, et sa valeur par défaut est off (désactivé). Activez-le seulement sur votre ordinateur, avec des données d’exercice, brièvement, pour déboguer une requête.

Le code est la première ligne de défense, mais pas la seule. Dans le module 2, l’OpenTelemetry Collector intervient entre le flux de travail et les outils. Ce programme retire à nouveau ces valeurs avant que quoi que ce soit quitte l’ordinateur. Cela s’appelle le caviardage. L’équipe du cours l’a testé avec une sonde fictive :

before: Write to sam.example@example.com, card 4111 1111 1111 1111
after: Write to [email], card [card number]

Le cours Sécurité de l’IA, vie privée et conception responsable enseigne en détail comment traiter les données personnelles dans les systèmes d’IA. Ce cours applique ses règles à la télémétrie.

Échantillonnage : acceptable pour certains signaux, jamais pour la piste d’audit

Section intitulée « Échantillonnage : acceptable pour certains signaux, jamais pour la piste d’audit »

Un système très occupé ne peut pas conserver chaque trace. Les outils en gardent donc seulement une partie. C’est l’échantillonnage. Il convient aux traces : vous avez besoin d’assez d’exemples de chaque type d’exécution, pas de tous. Il ne convient jamais à la piste d’audit.

L’équipe du cours l’a mesuré. Elle a envoyé la semaine rejouée au Collector du module 2. Ses règles conservent chaque trace avec une approbation, une écriture, une erreur ou une instruction injectée, et 10 % des autres. Sur 434 traces, 275 ont été conservées. 99 exécutions ont perdu une de leurs deux traces, et 60 ont perdu les deux. Dans le même essai, les 1 331 événements d’audit ont tous atteint le stockage d’audit. Aucun n’est allé au stockage des journaux. Une trace montre comment une exécution s’est comportée. Ce n’est pas un enregistrement qui garantit l’absence de pertes.

Reprenez les cinq questions que vous avez écrites dans la dernière leçon.

  1. Pour chaque question, écrivez le signal qui y répond : trace, métrique, journal ou événement, ou enregistrement d’audit. Si deux signaux sont nécessaires, écrivez les deux dans l’ordre où vous les utiliseriez.
  2. Si aucun signal du flux de travail ne peut y répondre, indiquez qui le peut. Par exemple, les enregistrements du service de paiement.
  3. Pour chaque question, indiquez si la réponse contient des données personnelles. Si oui, écrivez comment le signal évite de les conserver : un identifiant, un pseudonyme ou un décompte.
  4. Comparez avec les réponses ci-dessous.
Les cinq questions de la dernière leçon, avec leurs signaux
  1. « Quel appel au service de paiement a effectué le deuxième remboursement, et avec quelle clé? » Trace : le deuxième span request_refund et sa clé. Puis l’enregistrement d’audit de cette écriture, pour savoir qui l’a autorisée.
  2. « Le premier appel a-t-il effectué un remboursement, même si son délai a expiré? » Aucun des signaux du flux de travail. Les enregistrements du service de paiement, ou une vérification qui interroge le service (module 3).
  3. « Qui a approuvé le remboursement, et qu’a vu cette personne exactement? » Enregistrement d’audit : l’approbation, avec la personne, son rôle, sa limite et l’identifiant de la proposition. La personne est désignée par un identifiant d’employé, usr-sam, et non par un client.
  4. « Combien de remboursements ont dépassé le délai cette semaine, et combien ont été envoyés de nouveau? » Métrique : larkfield.writes, par résultat, compte chaque exécution, sans données personnelles. Puis les traces de ces exécutions pour voir lesquelles ont été envoyées de nouveau.
  5. « Quand le billet est-il arrivé, et combien de temps a-t-il attendu une personne? » Trace : la trace 1 commence au début de l’exécution, et la trace 2 enregistre la durée d’attente de l’approbation. Un événement marque aussi le moment où l’exécution a commencé à attendre.

Erreur courante

La trace est là, mais la moitié de l'exécution manque

Symptôme : dans Grafana, ou plus tard avec obs, une exécution a sa première trace, avec la proposition et approval.request, mais aucune deuxième trace. Vous ne pouvez pas voir l’approbation ni les écritures.

Cause : l’échantillonnage. Un Collector qui ne conserve que certaines traces prend une décision pour chaque trace séparément. Dans la mesure effectuée pour le cours, 99 des 316 exécutions ont ainsi perdu une de leurs deux traces.

Diagnostic : cherchez l’exécution dans la piste d’audit. Si ses enregistrements d’approbation et d’écriture sont présents, l’exécution a eu lieu et la trace a été supprimée. Sinon, l’exécution s’est arrêtée avant l’approbation.

Solution : pour répondre à « que s’est-il passé dans cette exécution? », utilisez la piste d’audit; elle n’est jamais échantillonnée. Pour répondre à « comment se comportent les exécutions de ce type? », l’échantillonnage doit conserver les deux traces d’une exécution approuvée. Le module 2 montre pourquoi une règle qui décide trace par trace en perd une. Le module 3 relie les deux traces et explique comment conserver les deux.

Sam, un agent de soutien qui découvre tout cela, demande : « Si les métriques coûtent si peu, pourquoi ne pas utiliser seulement des métriques? »

Amira répond : « Parce qu’un décompte vous dit que quelque chose a mal fonctionné, mais pas où. Jeudi, la métrique indiquait deux dépassements de délai. Seules les traces indiquaient quelles exécutions étaient concernées, et seule la piste d’audit indiquait qui les avait approuvées. »

Enregistrez chaque signal pour la question à laquelle il répond, sans plus. Le cours a mesuré le coût de toute la télémétrie du flux de travail, dans sa version finale. Le code d’une exécution rejouée prenait un temps médian de 0,53 ms sans télémétrie et de 2,42 ms avec télémétrie : 1,9 ms de plus par exécution. Une vraie exécution attend le modèle pendant plusieurs secondes; 2 ms représente donc peu. Le stockage et l’entretien coûtent plus cher que le temps. Quelqu’un doit garder les noms stables, supprimer les données à temps et exclure les textes privés.

N’ajoutez pas de signal que personne ne lira. Chaque enregistrement représente un coût, et un risque s’il contient les mauvaises données.

Vérifiez votre compréhension

Tomás dit : « Nous consignons chaque requête et chaque réponse, donc nous pouvons tout expliquer. » Donnez une raison, tirée du double remboursement, qui montre pourquoi c'est faux, et un coût de cette pratique.

Afficher la réponse

Le deuxième remboursement ne figurait dans aucune requête ni réponse. Le modèle a demandé un remboursement. Après un dépassement de délai, le code de nouvelle tentative du flux de travail a envoyé une deuxième écriture. Un enregistrement des mots du modèle ne peut pas expliquer une action qu’aucun modèle n’a effectuée. Le coût : les requêtes contiennent le texte du billet du client et les détails de sa commande. Les données personnelles se retrouvent donc dans chaque outil qui conserve les journaux. Les données de trace étaient aussi presque trois fois plus volumineuses par exécution : 26,7 Ko contre 9,3 Ko.

Vérifiez votre compréhension

Pourquoi peut-on échantillonner les traces, mais jamais les événements d'audit? Utilisez la mesure du cours.

Afficher la réponse

Une trace indique comment les exécutions se comportent. Un nombre suffisant d’exemples de chaque type d’exécution permet de répondre à cette question. Un enregistrement d’audit indique qui a décidé quoi et ce qui a changé, pour une exécution précise, souvent des mois plus tard. Un enregistrement manquant laisse un vide que personne ne peut combler. Dans la mesure effectuée, l’échantillonnage a conservé 275 des 434 traces, et 99 exécutions ont perdu une de leurs deux traces. Les 1 331 événements d’audit sont tous arrivés dans le stockage d’audit.

Vérifiez votre compréhension

Par défaut, Loki conserve les journaux pour toujours, et Tempo conserve les traces pendant 14 jours. Pourquoi aucun de ces choix ne convient-il à la piste d'audit de Larkfield?

Afficher la réponse

Quatorze jours, c’est trop court : un auditeur ou un client peut poser une question sur un remboursement des mois plus tard. Une conservation permanente est trop longue pour des données qui permettent d’identifier des clients. Larkfield doit pouvoir les supprimer ou les oublier. Les journaux et les traces peuvent aussi être échantillonnés, filtrés ou modifiés. La piste d’audit a besoin de son propre stockage, avec sa propre durée de conservation (7 ans ici, une hypothèse). Elle exige aussi un accès en lecture seule et un moyen de détecter les modifications.

Récapitulatif

  • Un agent a besoin de quatre signaux. Les traces montrent le parcours d’une exécution, les métriques comptent toutes les exécutions, et les journaux et événements enregistrent des moments avec leurs détails. Les enregistrements d’audit indiquent qui a décidé quoi, avec quelle autorité, et ce qui a changé.
  • Un événement, quatre vues. La trace contient le span et la clé du deuxième remboursement, la métrique contient son décompte, et l’enregistrement d’audit contient son autorisation. La ligne de journal ne contient aucun de ces éléments.
  • Aucun enregistrement du flux de travail ne peut dire si une écriture dont le délai a expiré a eu lieu. Seul le système visé par l’écriture, ou une vérification qui l’interroge, peut le dire.
  • La conservation et les personnes autorisées à lire diffèrent. Par défaut, Tempo conserve les données 14 jours, Prometheus 15 jours et Loki pour toujours. Le stockage d’audit les conserve 7 ans (une hypothèse), en lecture seule pour quelques personnes.
  • Le texte des requêtes et des réponses, les données personnelles et les secrets sont exclus par défaut. Le Collector les masque de nouveau avant l’exportation. Les traces peuvent être échantillonnées; la piste d’audit ne l’est jamais.

Vous pouvez maintenant dire quel enregistrement répond à quelle question, et ce qui reste exclu de tous les enregistrements. Mais jusqu’ici, vous avez seulement lu à leur sujet. Ensuite, vous configurez le flux de travail sur votre ordinateur. Vous exécutez des billets enregistrés et lisez la télémétrie sauvegardée de la semaine de Larkfield.

Leçon suivante : Découvrir le flux de travail en production