Aller au contenu
English

Des niveaux de service pour les agents

  • Leçon 23
  • 35 min
  • Module 7 : Alertes, niveaux de service et qualité

Où nous en sommes

Dans le module 6, nous avons rendu les décisions du flux de travail vérifiables après coup : qui a proposé, qui a approuvé, ce qui a changé. Mais personne ne devrait avoir besoin d'une question d'audit pour découvrir que l'agent ne fait plus son travail. Dans cette leçon, nous choisissons des niveaux de service pour un agent. Nous choisissons des indicateurs adaptés aux promesses du service de soutien, et les objectifs qu'ils doivent atteindre. Nous commençons par la promesse d'une pizzeria.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité
Leçon 23 sur 28 · Observabilité des agents d'IA : traces, coûts et pistes d'auditDes niveaux de service pour les agents
Aperçu du cours

Ce que vous saurez faire

Écrivez les promesses du service de soutien. Transformez ensuite chaque promesse en un nombre que la télémétrie de l’agent peut mesurer, puis fixez une cible. Ainsi, la question « l’agent fonctionne-t-il? » reçoit une réponse chaque jour, et pas seulement après un incident.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 35 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

  • Votre projet à la fin du dernier module : l’instantané end-of-m06, où python -m pytest -q se termine par 104 passed, 1 skipped, 1 deselected (104 tests réussis, 1 ignoré, 1 exclu).
  • L’environnement virtuel actif, et un terminal dans le dossier du projet, observable-workflow.

Testé sur macOS (Apple silicon) avec Python 3.12.13. Les commandes Windows et Linux sont fournies, mais n’ont pas été exécutées. Les décisions de la semaine rejouée sont de vrais enregistrements du cours Agents d’IA et orchestration des flux de travail. Son trafic est construit, et les heures d’approbation et les révisions sont simulées.

Une pizzeria affiche sur sa porte : « Votre pizza, chaude et conforme à votre commande, en 30 minutes. » Cette phrase est une promesse aux clients. Pour la tenir, la pizzeria compte deux choses à la porte : les pizzas parties en retard et celles retournées pour une erreur.

Deux détails rendent ce décompte honnête. D’abord, une pizza livrée à temps avec la mauvaise garniture n’est pas une réussite. C’est un échec, même si le four, le livreur et la caisse ont bien fonctionné. Ensuite, les 30 minutes se comptent pendant les heures d’ouverture de la pizzeria. Une commande passée en ligne à minuit pour le dîner suivant n’a pas 12 heures de retard.

Une bonne promesse comporte donc un nombre mesurable. Le décompte suit le point de vue du client et l’horloge de la pizzeria.

Le problème : un nombre dit oui, l’autre dit non, et les deux se trompent

Section intitulée « Le problème : un nombre dit oui, l’autre dit non, et les deux se trompent »

Le flux de travail de Larkfield produit déjà des nombres. Voici un résultat du rapport des coûts du module 5, réparti selon la langue du billet :

language runs resolved cost US$ per run per resolved success
de 6 5 0.0029 0.00048 0.00057 83.3%
en 302 190 0.6480 0.00215 0.00341 62.9%
fr 8 8 0.0158 0.00198 0.00198 100.0%

Les billets en allemand semblent être le meilleur groupe après le français : 83,3 % de « réussite ». Mais cette colonne compte les billets fermés avec l’état resolved (résolu). La règle H5 de Larkfield exige de confier un billet en allemand à une personne. L’agent en a plutôt résolu cinq sur six : il a réexpédié un bac à compost et écrit au client en allemand. Selon les étiquettes du cours, seulement 1 des 6 exécutions en allemand était correcte. Un taux de « réussite » élevé était un échec.

L’autre nombre donne l’impression inverse. Le billet du double remboursement, T-90104, a attendu 15 h 25 min qu’une personne l’approuve. Cela semble être une promesse non tenue. Mais la proposition est arrivée mercredi à 17 h 52, après la fermeture du service de soutien. Sam l’a approuvée à 9 h 17 le lendemain matin, 47 minutes après l’ouverture du service. Personne n’a été lent.

Les deux nombres sont réels. Aucun ne mesure les promesses du service de soutien.

Partez des personnes, comme le fait le cours MLOps et LLMOps : exploiter l’IA en production. Un indicateur de niveau de service, ou SLI, est une proportion mesurée : bons événements ÷ tous les événements. Un objectif de niveau de service, ou SLO, est une cible pour un SLI sur une fenêtre. Cette fenêtre est la portion du travail qu’il compte. Le SLI est le compteur à la porte de la pizzeria; le SLO est la phrase sur la porte.

Pour un service Web, les indicateurs sont souvent « a répondu » et « a répondu rapidement ». Pour un agent, quatre choses changent.

  1. La réussite est le résultat, jugé par une personne. « Résolu » indique seulement que l’exécution s’est terminée dans cet état. Une exécution peut se terminer sans erreur, avec la réponse envoyée, tout en faisant la mauvaise chose. L’indicateur exige un jugement : une personne révise un échantillon d’exécutions. La dernière leçon de ce module montre comment recueillir ce jugement.
  2. Un passage de relais est à la fois une promesse et un coût. Certains billets doivent parvenir à une personne, comme un billet en allemand (règle H5). Chaque passage de relais prend aussi du temps à l’équipe de Grace. Une hausse du taux de passage de relais signifie que l’agent termine moins de tâches. Une baisse peut signifier que l’agent résout des billets qu’il devrait confier à une personne, comme ceux en allemand.
  3. Le temps de l’agent inclut les personnes. Une exécution en attente d’approbation attend une personne. Comptez cette attente selon l’horloge du service de soutien, qui s’arrête quand le service est fermé.
  4. Le coût par billet résolu est un budget, pas une promesse. Les clients ne le ressentent pas, mais Kwame et Omar, oui. Traitez-le comme un objectif avec un responsable.

Chez Larkfield, chaque fenêtre compte des exécutions fermées, et non des heures : 45 exécutions, soit environ une journée de billets. Un nombre d’exécutions signifie la même chose dans une simulation rejouée et dans une vraie journée.

Quatre lignes, chacune allant d'une promesse à un indicateur, puis à un objectif. Première : votre billet obtient le bon résultat; exécutions révisées jugées correctes divisées par les exécutions révisées; au moins 85 % sur une semaine de révisions, responsable Priya. Deuxième : ce que l'agent ne peut pas terminer parvient à une personne qui a le temps; billets confiés à une personne divisés par les billets fermés; au plus 45 % sur les 45 dernières exécutions, responsable Grace. Troisième : une personne décide d'une proposition en moins d'une heure de présence du personnel; approbations décidées en moins d'une heure de présence divisées par les approbations; au moins 95 % sur une semaine, responsable Grace. Quatrième, dans un cadre orange pointillé : un budget, pas une promesse, le coût du modèle par billet résolu; coût du modèle divisé par les billets résolus; au plus 0,002 $ US sur les 45 dernières exécutions, responsable Kwame.
Les quatre niveaux de service du flux de travail de Larkfield, de la promesse à l'objectif. Les cibles sont des hypothèses : les décisions de Larkfield.
Description textuelle du diagramme

Chaque ligne part d’une promesse faite à quelqu’un. Les trois premières sont des promesses du service de soutien : le bon résultat, une personne au besoin et une décision rapide. La quatrième est le budget d’Omar pour les appels de modèle. Chaque promesse devient un indicateur que la télémétrie peut compter : révisions, exécutions par résultat, attente d’approbation et coût d’exécution. Chaque indicateur reçoit une cible, une fenêtre et un responsable.

Voici les dix premières exécutions fermées pendant la semaine rejouée, tôt le lundi 12 octobre. La dernière colonne contient l’étiquette du cours pour chaque exécution. Une vraie équipe ne l’a pas : elle sert ici à montrer ce que les indicateurs manquent.

Nº Exécution Résultat Coût en $ US Attente d’approbation (temps écoulé / présence du personnel) Révision Correct selon les étiquettes
1 R-1012-001 résolu 0.001105 – – non
2 R-1012-002 confié à une personne 0.000266 – – oui
3 R-1012-003 confié à une personne 0.000518 – – oui
4 R-1012-004 résolu 0.000744 – – oui
5 R-1012-006 résolu 0.000540 – – non
6 R-1012-005 résolu 0.000542 123 min / 19 min réussi oui
7 R-1012-008 résolu 0.000503 – – oui
8 R-1012-009 confié à une personne 0.000579 – – oui
9 R-1012-007 résolu 0.000811 39 min / 39 min – oui
10 R-1012-010 confié à une personne 0.000266 – – oui

Calculez à la main les quatre indicateurs de cette fenêtre :

  • Taux de passage de relais : 4 billets confiés à une personne ÷ 10 fermés = 40 %, sous la cible de 45 %.
  • Coût par billet résolu : les dix coûts totalisent 0,005874 $ US. Six exécutions se sont terminées avec un billet résolu. Le coût par billet résolu est donc 0,005874 $ US ÷ 6 = 0,00098 $ US, sous 0,002 $ US.
  • Attente d’approbation : deux exécutions ont attendu une personne. La proposition de l’exécution 6 date de 6 h 46, avant l’ouverture du service à 8 h 30. Elle a attendu 123 minutes de temps écoulé, mais seulement 19 minutes de présence du personnel. Donc, 2 sur 2 ont obtenu une décision en moins d’une heure de présence du personnel.
  • Bon résultat : une des dix exécutions a été révisée, l’exécution 6, et elle a réussi : 1 sur 1.

Regardez maintenant la dernière colonne. Les exécutions 1 et 5 ont résolu leurs billets, mais les étiquettes indiquent qu’elles étaient incorrectes. Les deux billets viennent du groupe adversarial du cours Agents d’IA et orchestration des flux de travail, conçu pour tromper l’agent. La proportion de billets résolus, 6 sur 10, les compte comme des réussites. L’échantillon de révision ne les a pas sélectionnées, donc l’indicateur de bon résultat ne peut pas les voir non plus. Une seule révision n’est pas une mesure. C’est pourquoi l’objectif de bon résultat compte une semaine de révisions, environ 60, et non une journée.

L’attente d’approbation a besoin de sa propre horloge. Le personnel de Larkfield est présent en semaine de 8 h 30 à 17 h 30, et la fin de semaine de 10 h à 16 h. Une proposition faite la nuit attend jusqu’au matin. C’est prévu, ce n’est pas un échec.

Une ligne du temps du mercredi à 17 h au jeudi à 10 h. Des bandes vertes indiquent les heures de présence du personnel : jusqu'à 17 h 30 mercredi, puis à partir de 8 h 30 jeudi. Entre elles, une bande grise indique fermé : nuit. Une ligne verticale marque la proposition à 17 h 52, et une autre marque la décision à 9 h 17. En dessous, une barre orange de 17 h 52 à 9 h 17 indique temps écoulé : 15 h 25 min. Sous celle-ci, une courte barre verte de 8 h 30 à 9 h 17 indique horloge du service de soutien : 47 min.
Une attente, deux horloges : T-90104 pendant la semaine rejouée (exécution R-1014-040). Les heures d'approbation sont simulées.
Description textuelle du diagramme

La proposition pour T-90104 a été faite mercredi à 17 h 52, 22 minutes après la fermeture du service de soutien. Sam l’a approuvée jeudi à 9 h 17. En temps écoulé, l’exécution a attendu 15 heures et 25 minutes. L’horloge du service de soutien compte seulement les heures de présence du personnel. Selon cette horloge, l’attente était de 47 minutes : de 8 h 30 à 9 h 17.

Le projet calcule maintenant les deux. Pour chaque approbation, obs slo additionne la portion de l’attente pendant les heures de présence du personnel (staffed_seconds dans obs/alerts.py). L’indicateur est alors : approbations décidées en moins d’une heure de présence du personnel ÷ toutes les approbations.

Grace, Priya, Omar et Kwame ont écrit un objectif pour chaque indicateur. Chaque cible est une hypothèse : une décision de Larkfield, établie selon les résultats de la semaine saine.

Indicateur Cible et fenêtre Responsable Pourquoi cette cible
Bon résultat, selon les révisions de l’échantillon au moins 85 %, sur une semaine de révisions (environ 60) Priya Selon les étiquettes, la semaine saine était correcte pour 269 exécutions sur 316 (85,1 %). Une cible plus élevée échouerait chaque semaine.
Taux de passage de relais au plus 45 %, sur les 45 dernières exécutions fermées Grace L’équipe de Grace peut recevoir environ 20 passages de relais par jour. Pendant la semaine saine, aucune fenêtre de 45 exécutions n’a dépassé 42,2 %.
Approbations décidées en moins d’une heure de présence du personnel au moins 95 %, sur une semaine Grace La promesse du service à ses agents : personne n’attend plus d’une heure de travail.
Coût par billet résolu au plus 0,002 $ US, sur les 45 dernières exécutions fermées Kwame Le budget d’Omar du module 5. La semaine saine coûte 0,00091 $ US.

Le SLO de bon résultat donne aussi un budget d’erreurs : le nombre de mauvais événements permis par la cible. Avec 85 % de 60 révisions, le budget est de 15 % × 60 = 9 révisions échouées par semaine. Le cours MLOps et LLMOps : exploiter l’IA en production explique comment lire la vitesse de consommation d’un budget, dans Objectifs de service.

La modification du projet pour ce module ajoute quatre commandes : obs slo, obs alerts, obs reviews et resolver review. Elle ajoute aussi les règles d’alerte et les compteurs nécessaires aux alertes. Vérifiez d’abord que la commande n’existe pas encore.

  1. Exécutez python -m obs slo --data data/telemetry/week. Sur end-of-m06, elle échoue avec invalid choice: 'slo' (choix non valide : « slo »).

  2. Copiez les fichiers de ce module à partir de l’instantané end-of-m07 :

    Fenêtre de terminal
    S=../nextia-learning-labs/C31/snapshots/end-of-m07
    cp $S/obs/alerts.py $S/obs/__main__.py obs/
    cp $S/resolver/__main__.py $S/resolver/execute.py $S/resolver/observe.py $S/resolver/telemetry.py resolver/
    cp $S/scenarios/week.py scenarios/
    cp -R $S/grafana/alerts grafana/
    cp $S/grafana/compose.yaml grafana/
    cp $S/tests/test_saved_week.py $S/tests/test_stage_m07.py tests/
    cp $S/README.md .
  3. Exécutez les tests : python -m pytest -q. La dernière ligne indique 112 passed, 1 skipped, 1 deselected (112 tests réussis, 1 ignoré, 1 exclu). Votre projet est maintenant identique à l’instantané end-of-m07.

  4. Lisez les niveaux de service de la semaine rejouée :

    Fenêtre de terminal
    python -m obs slo --data data/telemetry/week
    window (closed runs) runs resolved handoff US$/resolved wait p95 h unrecon. reply fail loops flagged
    Mon 12 Oct 00:57 - 12 Oct 21:03 45 57.8% 28.9% 0.00107 2.0 0 0 0 0
    Tue 13 Oct 02:08 - 13 Oct 15:58 45 75.6% 22.2% 0.00078 15.5 0 0 0 0
    Tue 13 Oct 16:32 - 14 Oct 14:15 45 64.4% 24.4% 0.00399 15.8 1 0 0 1
    Wed 14 Oct 15:00 - 15 Oct 14:03 45 68.9% 31.1% 0.00537 15.4 2 5 0 4
    Thu 15 Oct 14:55 - 16 Oct 11:14 45 71.1% 22.2% 0.00361 6.2 0 4 0 2
    Fri 16 Oct 11:21 - 17 Oct 11:15 45 60.0% 37.8% 0.00452 15.9 0 0 4 2
    Sat 17 Oct 11:18 - 19 Oct 08:45 45 51.1% 42.2% 0.00398 16.7 0 0 9 3
    Mon 19 Oct 08:55 - 19 Oct 08:55 1 100.0% 0.0% 0.00058 14.2 0 0 0 0
    the whole week 316 64.2% 29.7% 0.00328 15.4 3 9 13 12
    Approvals: 118; median wait 31.8 min; 19 waited more than 8 h.
    In staffed hours only (the clock stops at night): decided within 1 h: 118 of 118 (100.0%); median 25.6 min, longest 58.1 min.
    Sampled reviews: 60 of 316 runs (19.0%); right outcome 53 (88.3%). By slice: python -m obs reviews --by language
  5. Exécutez la même commande sur la semaine saine : python -m obs slo --data data/telemetry/healthy-week. Ses trois dernières lignes sont :

    Approvals: 112; median wait 32.0 min; 19 waited more than 8 h.
    In staffed hours only (the clock stops at night): decided within 1 h: 112 of 112 (100.0%); median 25.6 min, longest 59.4 min.
    Sampled reviews: 60 of 316 runs (19.0%); right outcome 55 (91.7%). By slice: python -m obs reviews --by language

Lisez le tableau un bloc à la fois. Chaque ligne est un bloc de 45 exécutions fermées, dans l’ordre de leur fermeture. Le dernier bloc, le lundi 19 octobre, contient une seule exécution : une approbation fermée après la semaine. Un taux sur une seule exécution ne signifie rien, alors ignorez-le. La prochaine leçon revient sur ce problème.

La colonne wait p95 h (95e centile de l’attente en heures) mesure le temps écoulé. Sa valeur est d’environ 15 heures dans presque chaque bloc, pour les deux semaines. Ce n’est pas un service lent : c’est la nuit. Dix-neuf propositions ont attendu plus de 8 heures. Chacune est arrivée après la fermeture du service, ou dans ses dix dernières minutes d’ouverture. Voici les 118 approbations de la semaine selon leur attente en temps écoulé :

Heures d'approbation simulées pendant la semaine rejouée. Bleu : attentes aussi comptées comme inférieures à une heure de présence du personnel; orange : attentes incluant une nuit ou un matin fermé de fin de semaine.
Description textuelle du graphique

Six barres. En temps écoulé, 24 approbations ont attendu moins de 15 minutes, 30 de 15 à 30 minutes et 34 de 30 à 60 minutes. Ensuite, 11 ont attendu de 1 à 8 heures, 8 de 8 à 15 heures et 11 plus de 15 heures. Selon l’horloge du service de soutien, les 118 attentes sont toutes inférieures à une heure : 31 sous 15 minutes, 39 de 15 à 30 et 48 de 30 à 60 minutes.

Comparez maintenant chaque objectif à la sortie.

  • Bon résultat : 53 des 60 révisions de l’échantillon ont réussi, soit 88,3 %. La cible est de 85 %, donc l’objectif est atteint. Sept révisions ont échoué : 78 % du budget hebdomadaire de 9. La semaine saine a fait mieux sur son échantillon, avec 91,7 %.
  • Taux de passage de relais : les blocs de 45 exécutions atteignent au plus 42,2 %, sous 45 %. Mais un bloc découpe la semaine à des endroits fixes. L’alerte de la prochaine leçon examine les 45 dernières exécutions après chaque exécution. Elle trouve un sommet de 53,3 % le samedi soir. L’objectif n’est pas respecté samedi.
  • Approbations : 118 sur 118 ont obtenu une décision en moins d’une heure de présence du personnel, soit 100 %. Soyez honnête sur la raison : les données d’exercice placent chaque décision entre 4 et 60 minutes de présence du personnel. Cet objectif ne peut pas échouer avec les données du cours. Dans un vrai service, une absence pour maladie ou un lundi chargé apparaîtrait ici.
  • Coût par billet résolu : 0,00328 $ US sur la semaine, et plus de 0,002 $ US dans chaque bloc complet à partir du mardi soir. Le module 5 a trouvé la cause : Omar est passé à chat-strong pour les billets difficiles.

La semaine rejouée a donc manqué deux objectifs, le taux de passage de relais et le budget, et en a atteint deux. La semaine saine a atteint les quatre : ses blocs atteignent au plus 33,3 % de passages de relais et 0,00107 $ US par billet résolu. Regardez aussi les révisions de la semaine saine. L’allemand y a également échoué, avec une révision échouée sur une. Gardez cela en tête pour la dernière leçon de ce module.

Quand utiliser les niveaux de service, et ce qu’ils coûtent

Section intitulée « Quand utiliser les niveaux de service, et ce qu’ils coûtent »

Fixez un objectif pour chaque promesse dont le non-respect susciterait une plainte, et limitez leur nombre. Larkfield en a quatre pour ce flux de travail. Chaque objectif doit avoir un responsable qui le vérifie chaque semaine et agit quand il n’est pas atteint.

Sam demande : « Pourquoi pas un seul chiffre, “l’agent fonctionne : oui ou non”? »

Priya répond : « Parce qu’il y a eu deux problèmes différents cette semaine. Le budget a été dépassé mercredi, et les passages de relais ont échoué samedi. Un seul chiffre dirait “non”, sans rien expliquer. »

Chaque indicateur a un coût. Vérifier si le résultat est correct demande du temps humain : Priya révise environ 60 exécutions par semaine. Le résultat arrive avec un jour de retard. Pour mesurer l’attente d’approbation, il faut inscrire les heures du service de soutien dans le code. Quelqu’un doit les modifier quand l’horaire change. Les fenêtres comptées en exécutions exigent assez d’exécutions : une nuit calme, 45 exécutions prennent plusieurs heures. Ne fixez pas non plus d’objectif sur les chiffres bruts disponibles dans le système, comme « résolu » ou l’attente en temps réel. Ils sont faciles à compter, et c’est leur seule raison d’exister.

Ne fixez pas d’objectif pour quelque chose que personne ne peut changer. Si Larkfield n’affecte jamais de personnel la nuit, un objectif sur l’attente en temps réel échouerait chaque nuit. L’équipe apprendrait à l’ignorer.

Erreur courante

L'objectif d'approbation échoue chaque nuit

Symptôme : vous fixez l’objectif « p95 de l’attente d’approbation inférieur à 1 heure » sur la colonne wait p95 h (attente p95 en heures). Il échoue dans chaque bloc des deux semaines, y compris la semaine sans incident.

Cause : la colonne utilise le temps réel. Chaque proposition faite après 17 h 30 attend jusqu’au lendemain matin. Les 5 % les plus lentes sont donc toujours des attentes nocturnes.

Diagnostic : comparez la semaine sans incident à la semaine rejouée. Si un indicateur est aussi mauvais pendant une semaine sans incident, il mesure l’organisation prévue, pas une défaillance. Regardez ensuite les exécutions lentes : python -m obs trace R-1014-040 --data data/telemetry/week montre une proposition à 17 h 52 et une décision à 9 h 17.

Rétablissement : comptez l’attente selon l’horaire du service de soutien, comme le fait maintenant obs slo sur son avant-dernière ligne. Si l’entreprise promet une réponse avant le lendemain matin, formulez cette promesse comme un deuxième objectif, avec sa propre horloge.

À vous de jouer : comparer la semaine sans incident aux objectifs

Section intitulée « À vous de jouer : comparer la semaine sans incident aux objectifs »

Exécutez python -m obs slo --data data/telemetry/healthy-week. Pour chacun des quatre objectifs, écrivez la valeur, la cible et si l’objectif est atteint. Répondez ensuite à la question de Grace : « Si la semaine sans incident a atteint tous les objectifs, le flux de travail est-il bon? » Utilisez les billets de soutien en allemand dans votre réponse. Notre réponse se trouve dans la première vérification des connaissances.

Vérifiez votre compréhension

À vous de jouer : la semaine sans incident atteint-elle les quatre objectifs, et cela rend-il le flux de travail bon?

Afficher la réponse

Elle atteint les quatre. Résultat correct : 55 des 60 révisions échantillonnées ont réussi, soit 91,7 %, contre une cible de 85 %. Taux de passage de relais : les blocs atteignent au plus 33,3 %. Les 45 dernières exécutions n’ont jamais dépassé 42,2 %, contre une cible de 45 %. Approbations : les 112 décisions ont été prises en moins d’une heure avec du personnel présent, soit 100 %, contre 95 %. Coût : 0,00091 $ US par billet résolu sur la semaine, et au plus 0,00107 $ US par bloc, contre 0,002 $ US. Mais « atteint » ne veut pas dire « bon ». Le billet en allemand échoue aussi pendant la semaine sans incident. Sa seule révision a échoué. Selon les étiquettes du cours, aucune des 6 exécutions en allemand n’était correcte. Les objectifs comptent l’ensemble du flux de travail. Une petite partie qui échoue toujours se cache dans une bonne moyenne. La dernière leçon de ce module examine ces sous-groupes.

Vérifiez votre compréhension

Prédisez : pourquoi la proportion de billets « résolus » n'est-elle pas l'indicateur de réussite de la tâche? Utilisez les billets en allemand.

Afficher la réponse

« Résolu » indique seulement que l’exécution s’est terminée avec une réponse et sans passage de relais. Cela ne dit pas si cette fin était correcte. La règle H5 de Larkfield envoie les billets en allemand à une personne. L’agent a résolu 5 des 6 billets en allemand de la semaine. Le sous-groupe allemand affiche donc 83,3 % de « réussite » dans obs cost --by language. Selon les étiquettes du cours, une seule des 6 exécutions était correcte. Une exécution peut se terminer sans erreur, avec une réponse envoyée, et être quand même incorrecte. La réussite exige un jugement sur le résultat, comme la révision d’un échantillon d’exécutions par une personne.

Vérifiez votre compréhension

T-90104 a attendu 15 h 25 minutes pour son approbation. A-t-il enfreint l'objectif d'approbation? Montrez les chiffres.

Afficher la réponse

Non. La proposition a été faite mercredi à 17 h 52, après la fermeture du service à 17 h 30. Personne n’était présent avant jeudi à 8 h 30, et Sam l’a approuvée à 9 h 17. Selon l’horloge du service de soutien, qui compte seulement les heures avec du personnel présent, l’attente était de 47 minutes. C’est moins que la cible d’une heure. L’attente en temps réel, soit 15 h 25 minutes, mesure la nuit, pas le service. L’objectif compte les approbations décidées en moins d’une heure avec du personnel présent. La semaine rejouée en comptait 118 sur 118.

Récapitulatif

  • Un SLI est une proportion mesurée d’événements satisfaisants; un SLO est sa cible sur une fenêtre. Partez de la promesse, pas des chiffres dont vous disposez.
  • Pour un agent, la réussite est un résultat correct jugé par une personne, pas un billet « résolu ». Un passage de relais est une promesse et un coût. L’attente d’approbation se compte selon l’horaire du service de soutien. Le coût par billet résolu est un budget qui a un responsable.
  • Les quatre objectifs de Larkfield : au moins 85 % de résultats corrects sur une semaine de révisions. Au plus 45 % de passages de relais sur les 45 dernières exécutions. Aussi, au moins 95 % des approbations en moins d’une heure avec du personnel présent. Et au plus 0,002 $ US par billet résolu.
  • obs slo les lit à partir de la semaine enregistrée. La semaine rejouée a dépassé le budget dès mardi soir et le taux de passage de relais samedi. La semaine sans incident a atteint les quatre objectifs.
  • T-90104 a attendu 15 h 25 minutes en temps réel, et 47 minutes selon l’horaire du service de soutien.

Vous pouvez maintenant dire, pour n’importe quel jour, si le flux de travail tient ses promesses. Mais personne ne lit un tableau chaque heure. Quand un objectif n’est pas atteint un samedi soir, quelqu’un doit en être informé, avec assez d’information pour agir. Vous allez maintenant transformer ces indicateurs en alertes qui mènent à une action.

Leçon suivante : Des alertes qui mènent à une action