Où un LLM aide, et où il n'aide pas
- Leçon 27
- 30 min
- Module 6 : Méthodes profondes et plongements
Où nous en sommes
Nous savons maintenant trouver des événements inhabituels dans les nombres et dans le texte. Tomás demande pourquoi nous ne donnons pas tous les événements à un LLM. Dans cette leçon, nous voyons pourquoi un LLM est un mauvais détecteur. Nous l'utilisons après la détection pour résumer un groupe d'alertes à Sofia, en vérifiant chaque résumé avec les données.
Leçon 27 sur 38 · Détection d'anomalies : trouver ce qui est inhabituelOù un LLM aide, et où il n'aide pas
1. Ce que « inhabituel » veut dire
2. Des références de base simples et difficiles à battre
3. Maîtrise statistique des procédés et dérive de distribution
- Cartes de contrôle : cette variation est-elle normale?
- Règles pour les motifs, et le prix de chaque règle
- Cartes pour les taux et les dénombrements
- Petits décalages durables : CUSUM et EWMA
- La distribution a-t-elle changé?
- Dérive dans de nombreuses variables, et quoi faire
- Loi de Benford et autres vérifications d'affaires
4. Distance, densité et isolement
5. Les anomalies dans le temps
6. Méthodes profondes et plongements
7. Évaluer avec peu d'étiquettes
8. Apprendre des réviseurs
9. Exploiter un détecteur en production
Ce que vous saurez faire
Utilisez un modèle de langage là où il aide : après le détecteur, pour résumer les faits d’une alerte au réviseur. Vérifiez chaque résumé avec ses faits à l’aide de code. Sachez aussi ce que cette vérification ne peut pas voir.
Carnet JupyterFaites cette leçon dans un carnet Jupyter
Le carnet (notebook) Jupyter reprend les 20 résumés enregistrés et vérifie chacun d’eux. Il nécessite pandas, NumPy et un fichier de 22 Ko. Aucun compte, aucune clé et aucun appel au modèle. Environ 30 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Le budget d’alertes de 50 alertes par jour, présenté dans Le paiement qui ne cadrait pas.
- Les variables de comportement et Isolation Forest (forêt d’isolement), présentées dans Isolation Forest.
- Savoir comment une application appelle un modèle de langage est utile, mais pas obligatoire. Ce qu’est une API de LLM, dans Créer des applications fiables avec les API de LLM, l’explique.
Ce qu’il vous faut sur votre ordinateur
Un navigateur et un compte Google ou Kaggle gratuit pour le carnet, ou l’installation locale de Découvrir les données de Larkfield. Les réponses du modèle ont été enregistrées une fois. Vous n’avez donc besoin d’aucune clé ni d’aucun service payant.
Testé avec Python 3.12.13 dans Jupyter sur macOS. Colab, Kaggle et Windows n’ont pas été testés.
Le laboratoire et la note
Section intitulée « Le laboratoire et la note »Imaginez le laboratoire d’un hôpital. Une machine analyse des milliers d’échantillons de sang par jour. Elle est rapide, coûte peu par échantillon et fonctionne toujours de la même façon. Elle signale les quelques échantillons dont les valeurs sortent de la plage normale.
Ensuite, un assistant écrit une courte note au médecin pour chaque échantillon signalé : « Potassium : 6,1, au-dessus de la plage normale. Le mois dernier : 4,2. Vérifiez d’abord les résultats des reins. » Le médecin lit la note, regarde les nombres et décide.
Personne ne demande à l’assistant de lire chaque échantillon du laboratoire. L’assistant est lent et coûteux, et ce n’est pas son travail. Son travail consiste à rendre les échantillons signalés faciles à comprendre. Et le médecin fait confiance à la note seulement parce que les nombres figurent à côté.
La question de Tomás
Section intitulée « La question de Tomás »Un grand modèle de langage, ou LLM, est un modèle entraîné sur une grande quantité de texte. À partir d’un texte, il écrit d’autre texte : une réponse, un résumé, une liste. Il écrit des phrases fluides et assurées sur presque tout.
Tomás a une idée : « Pourquoi créer des détecteurs? Envoyons chaque paiement à un LLM et demandons-lui : est-ce inhabituel? » Cela semble moderne. Voyons ce que cela représenterait pour Larkfield.
Le problème : un LLM comme détecteur
Section intitulée « Le problème : un LLM comme détecteur »Les 20 appels enregistrés pour cette leçon donnent des moyennes réelles par appel. La moyenne était de 324,8 jetons en entrée, de 166,4 jetons en sortie et de 0,000116 $ US. Le temps médian était de 3,08 secondes. Un jeton (token) est un morceau de mot. C’est l’unité dans laquelle les modèles lisent le texte et sont facturés.
Multipliez maintenant ces valeurs par les 169 803 paiements des mois d’évaluation. C’est une estimation construite, pas une mesure :
| Un appel (mesuré) | Chaque paiement, de septembre à novembre (construit) | |
|---|---|---|
| Jetons | environ 491 | environ 83 millions |
| Coût | 0,000116 $ US | environ 19.65 $ US |
| Temps, un appel à la fois | 3,08 s (médiane) | environ 145 heures, 1.6 heures par jour |
Avec un petit modèle, l’argent n’est pas le problème. Les prix changent : consultez la page actuelle du fournisseur. Plusieurs appels peuvent aussi s’exécuter en même temps. Les vrais problèmes sont ailleurs :
- Un paiement seul ne dit rien. « 24,27 dollars au Portugal » est normal pour un client et étrange pour un autre. Le modèle a besoin de l’historique du client. Pour lui fournir cet historique, nous devons d’abord calculer les variables de comportement. Une fois celles-ci disponibles, Isolation Forest apprend et calcule les scores de 343 074 paiements en 1,4 seconde sur la machine de test.
- Il n’y a aucune mesure. Chaque détecteur de ce cours a une ligne dans le tableau comparatif : même découpage, même budget, précision et coût. Un détecteur LLM n’a aucune ligne. Personne n’a mesuré s’il choisirait de meilleures alertes. Une phrase fluide comme « cela semble inhabituel » n’est pas une mesure de précision.
- Il peut répondre différemment. Posez deux fois la même question. Les mots, et parfois la réponse, peuvent changer.
- Les données quittent l’entreprise. Chaque paiement de chaque client serait envoyé à un service externe. Cela nécessite une raison et une entente, pas seulement une clé d’API.
Le LLM est donc un mauvais détecteur ici. Le détecteur trouve l’alerte. La question est de savoir si le LLM peut aider après.
L’idée : le détecteur trouve, le LLM explique
Section intitulée « L’idée : le détecteur trouve, le LLM explique »L’équipe de Sofia révise 50 alertes par jour. Elle doit comprendre chaque alerte rapidement. Le tableau comparatif prévoit 3 minutes pour expliquer une alerte d’Isolation Forest (une hypothèse du cours). Un résumé court et exact pourrait économiser une partie de ce temps. C’est le travail de l’assistant de l’hôpital : rendre les cas signalés faciles à lire.
Description textuelle du diagramme
Le diagramme présente un flux de gauche à droite. Il commence avec tous les paiements, environ 1 866 par jour pendant les mois d’évaluation. Le détecteur, Isolation Forest, trouve les 50 plus inhabituels de chaque jour. Les alertes sont réunies en groupes, un par client et par jour. Le code calcule un tableau de faits pour chaque groupe. Le LLM reçoit seulement ce tableau et écrit un résumé et une première vérification. Ensuite, le code vérifie le résumé : chaque nombre et chaque pays figurent-ils dans les faits? Si oui, Sofia lit le résumé avec les faits et décide. Sinon, elle reçoit seulement les faits, et le problème est consigné.
Trois choix comptent dans cette conception :
- Un groupe d’alertes, pas un paiement. Les alertes d’un client pour une journée forment un seul ensemble à examiner. Dix paiements d’une carte volée racontent une seule histoire, pas dix.
- Les faits, pas le tableau brut. Le code calcule environ 20 faits, comme les montants, les heures, les pays et le montant habituel du client. Le modèle les met seulement en mots. Il ne reçoit aucun nom ni numéro de carte.
- Le modèle ne décide pas. Ses instructions disent : utilisez seulement les faits fournis, sans inventer de nombres ni de raisons. Ne dites pas qu’il s’agit de fraude. Sofia décide.
Vingt résumés enregistrés
Section intitulée « Vingt résumés enregistrés »Pour cette leçon, nous avons choisi 20 groupes d’alertes avec une graine aléatoire fixe. Ils proviennent des 50 alertes quotidiennes d’Isolation Forest pendant les mois d’évaluation. Chaque groupe a été envoyé une fois à un petit modèle hébergé, par un déploiement Azure nommé chat-small. Le modèle a indiqué son nom : gpt-6-luna-2026-09-22. Les 20 appels ont utilisé 6 496 jetons en entrée et 3 328 en sortie, pour un coût total de 0,0023 $ US. Le carnet reprend ces réponses enregistrées; si vous appelez vous-même un modèle, vos réponses seront différentes.
Voici un groupe correspondant à un cas de carte volée inséré. Une partie de son tableau de faits :
| Fait | Valeur |
|---|---|
| client, jour | C-02349, 2025-10-18 |
| paiements dans le groupe | 10 |
| premier et dernier paiement | 02:25 et 02:46 |
| montants (dollars) | 15,68; 26,10; 25,50; 8,45; 14,15; 23,81; 52,71; 8,10; 26,17; 12,30 |
| total | 212,97 |
| pays, devises | DE, EUR |
| montant habituel du client | 44,35 |
| nouveau pays, nouvel appareil | oui, oui |
Et le résumé du modèle, tel qu’enregistré :
Customer C-02349 made 10 payments totaling CAD 212.97 between 02:25 and 02:46 on 2025-10-18. They were in EUR to Germany, a new country for the customer, and used a new device. The payments covered gift cards, home, and kitchen.
First check: Review whether the customer recognizes the new device and the payments to Germany.Il est court, exact et utile. Sofia comprend l’histoire en dix secondes : nuit, nouveau pays, nouvel appareil, dix paiements en environ 20 minutes.
Ce que les 20 groupes étaient vraiment
Section intitulée « Ce que les 20 groupes étaient vraiment »Le modèle n’a jamais vu le corrigé. Nous l’avons consulté après l’enregistrement :
| Ce que le groupe était vraiment | Groupes |
|---|---|
| Test de carte inséré | 9 |
| Carte volée insérée | 2 |
| Prise de contrôle de compte insérée | 1 |
| Commande groupée honnête d’une entreprise cliente | 5 |
| Honnête : nouvel appareil après le lancement de l’application | 1 |
| Honnête : client de la nouvelle région | 1 |
| Honnête : paiement élevé ordinaire | 1 |
Comparez deux résumés. Un test de carte inséré :
One payment of CAD 1.84 for gift cards was made in JPY in Japan. This is a new country and device for the customer; the device had 35 payments in one hour.
First check: Review the device’s activity in that hour.Une commande groupée honnête :
Customer C-03875 made 7 payments totaling CAD 2,980.34 between 19:30 and 19:38 on 2025-09-23. The payments were in CAD, in Canada, and covered garden and tools; each was above the customer’s usual amount of CAD 190.13.
First check: Review the seven payment amounts and timing against the customer’s usual activity.Les deux sont calmes et factuels. Le modèle n’a pas qualifié la commande honnête de « fraude », ni le test de carte de « sans danger ». C’est ce que nous lui avons demandé. Un résumé qui affirme une fraude avec assurance pousserait Sofia à bloquer des entreprises clientes honnêtes.
Les appels n’étaient pas tous aussi rapides :
Description textuelle du graphique
Une rangée de 20 points sur un axe de secondes allant de 0 à 13. La plupart des points sont entre 1,7 et 4,5 secondes. Deux sont plus lents : 7,52 et 12,19 secondes. Un repère indique la médiane, 3,08 secondes.
Vérifiez chaque résumé avec ses faits
Section intitulée « Vérifiez chaque résumé avec ses faits »Un modèle peut écrire un nombre qui ne figure pas dans ses faits. Il peut nommer le mauvais pays ou oublier la première vérification. Sofia ne doit pas avoir à vérifier chaque résumé à la main. Le code le vérifie donc avant qu’elle le lise. La vérification du carnet comporte quatre règles :
- Chaque nombre du résumé doit figurer dans les faits, ou correspondre au nombre d’éléments d’une liste des faits.
- Chaque code de pays à deux lettres du résumé doit figurer dans les faits.
- Le résumé doit avoir une ligne qui commence par « First check: » (première vérification).
- Le résumé ne doit pas dire que le paiement est une fraude.
Voici la règle 1 appliquée au résumé de la carte volée, nombre par nombre :
| Nombre dans le résumé | Où il figure dans les faits |
|---|---|
| 10 | paiements dans le groupe : 10 |
| 212,97 | total : 212,97 |
| 02:25 | premier paiement : 02:25 |
| 02:46 | dernier paiement : 02:46 |
| 2025-10-18 | jour : 2025-10-18 |
Chaque nombre a une source, donc le résumé réussit la vérification. « Germany » (Allemagne) est un mot, pas un code. Les faits indiquent DE, et la vérification ne teste pas les mots. Pour les 20 résumés, le carnet affiche :
Summaries with a problem: 0 of 20Testez la vérification
Section intitulée « Testez la vérification »Zéro problème est une bonne nouvelle seulement si la vérification peut trouver un problème. Le carnet en insère donc un : il remplace « 1.03 » par « 10.30 » dans le premier résumé et relance la vérification :
Customer C-06825 made one gift-card payment of CAD 10.30 in EUR in the Netherlands on 2025-09-03, below their usual amount of CAD 54.15. The country and device are both new for this customer.['number 10.3 is not in the facts']La vérification a trouvé l’erreur insérée. C’est la même idée que les anomalies insérées de ce cours. Faites confiance à un détecteur ou à une vérification seulement après l’avoir vu détecter une erreur que vous avez insérée.
Une vérification trop stricte
Section intitulée « Une vérification trop stricte »La première version de la vérification ne savait pas qu’un résumé pouvait écrire la date en mots. Elle a signalé 3 des 20 résumés :
C-04445 2025-09-25 ['number 25 is not in the facts'] | Customer C-04445 made one CAD 3.56 gift-card payment in EUR from Italy on SeptemC-07286 2025-09-30 ['number 30 is not in the facts'] | Customer C-07286 made one CAD 1.39 gift-card payment in USD in the US on SeptembC-12874 2025-09-30 ['number 30 is not in the facts'] | On September 30, customer C-12874 made one US gift-card payment in USD, totaling« September 25 » (25 septembre) correspond au jour dans les faits. Les trois signalements étaient donc des fausses alertes sur les résumés. La vérification corrigée accepte aussi chaque partie d’une date (2025, 9 et 25 dans 2025-09-25). Elle accepte chaque partie d’une heure (02 et 25 dans 02:25). Une vérification trop stricte a le même problème qu’un détecteur qui produit trop d’alertes : les gens cessent de lire ses avertissements.
Ce que la vérification ne peut pas voir
Section intitulée « Ce que la vérification ne peut pas voir »La vérification des nombres teste les nombres. Elle ne peut pas tester une comparaison. Regardez ce résumé enregistré d’une commande groupée honnête :
Customer C-13297 made six payments totaling CAD 4,658.72 between 10:43 and 10:49 on 2025-09-20. The payments were all in CAD and from Canada, across furniture, garden, and tools; the amounts were above the customer’s usual CAD 441.75. The country and device were not new for this customer.
First check: Review the six payment amounts and their timing against the customer’s usual payment pattern.Chaque nombre figure dans les faits, donc la vérification a accepté le résumé. Mais les montants étaient de 725,43, 972,08, 798,71, 383,17, 987,16 et 792,17. Un des six est inférieur au montant habituel de 441,75. « Les montants étaient supérieurs » n’est pas vrai pour tous.
C’est une petite erreur, qui ne changerait pas la décision de Sofia. Mais elle montre la limite : le code peut vérifier ce que le résumé cite, pas chaque affirmation qu’il fait. Deux protections aident :
- Affichez le tableau de faits à côté du résumé. Sofia peut voir elle-même les montants en une seconde.
- Ajoutez des vérifications pour les affirmations importantes. Par exemple : si un résumé dit que les montants dépassaient le montant habituel, testez chaque montant. Votre première tâche dans le carnet consiste à écrire cette vérification.
Erreur courante
Faire confiance à un résumé parce qu'il a réussi la vérification
Symptôme : Omar, le gestionnaire de produit de Larkfield, aime les résumés. « La vérification a trouvé 0 problème sur 20, dit-il. Affichons seulement le résumé et cachons le tableau de faits. L’écran est plus épuré. »
Cause : la vérification prouve que chaque nombre d’un résumé vient des faits. Elle ne prouve pas que chaque phrase est vraie. Un des 20 résumés enregistrés disait que les montants du client C-13297 dépassaient le montant habituel. Pourtant, un montant était inférieur. Sans les faits à l’écran, personne ne peut le voir.
Solution : gardez les faits à côté du résumé. Testez la vérification avec des erreurs insérées. Ajoutez une vérification pour chaque type d’affirmation qui guide les actions du réviseur, comme « supérieur au montant habituel » ou « nouveau pays ».
Conséquence pour le travail en IA : une vérification automatique donne une apparence sûre à un texte fluide. Sachez exactement ce que votre vérification teste et indiquez-le dans le texte d’aide de l’écran. Ainsi, personne ne lira « 0 problème » comme « 0 erreur ».
Quand utiliser un LLM ici, et ce qu’il coûte
Section intitulée « Quand utiliser un LLM ici, et ce qu’il coûte »Utilisez-le quand :
- le détecteur a déjà trouvé quelques alertes par jour, et des personnes doivent lire chacune d’elles;
- les faits peuvent être calculés par code, et le modèle les met seulement en mots;
- vous pouvez vérifier sa sortie et afficher les faits à côté.
Ne l’utilisez pas :
- comme détecteur pour chaque événement : il n’a aucune ligne dans le tableau comparatif et nécessite les variables que le détecteur utilise déjà;
- quand le réviseur doit lui faire confiance aveuglément, sans les faits;
- pour décider : bloquer une carte est la décision de Sofia, avec les coûts que cela entraîne.
Les coûts de cette leçon sont faibles : 0,0023 $ US pour 20 appels, et une médiane de 3 secondes chacun. Pour 50 alertes par jour, cela représente environ 50 appels, soit moins d’un cent par jour avec ce petit modèle. Les coûts les plus importants sont la vérification à écrire et à maintenir, et le temps pour décider ce que le modèle peut voir.
À vous de jouer dans le carnet
Section intitulée « À vous de jouer dans le carnet »Le carnet se termine par deux tâches, avec des vérifications :
- Trouvez le résumé qui dit que tous les montants dépassaient le montant habituel du client, alors qu’un montant était inférieur. Écrivez vous-même la vérification, avec
amounts_cadetcustomer_usual_amount_cad. - Estimez le coût et le temps du plan de Tomás, un LLM sur chaque paiement, à partir des moyennes mesurées par appel.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Expliquez pourquoi un LLM qui lit chaque paiement est un mauvais détecteur pour Larkfield, même si chaque appel coûte peu.
Afficher la réponse
Un seul paiement en dit peu. Le modèle a besoin de l’historique du client. Il faut donc d’abord calculer les variables de comportement. Avec celles-ci, Isolation Forest (forêt d’isolement) attribue un score à tous les paiements en environ une seconde. Aucun détecteur LLM ne figure dans le tableau comparatif. Personne ne connaît donc sa précision pour le budget prévu. Ses réponses peuvent changer d’une exécution à l’autre. Et chaque paiement de chaque client serait envoyé à un service externe. L’estimation pour les mois d’évaluation était d’environ 145 heures, avec un appel à la fois. L’argent (environ 20 dollars) était le plus petit problème.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Prédisez le résultat : vous remplacez un montant de 26,17 par 26,71 dans un résumé, puis lancez la vérification. Que se passe-t-il? Et si vous remplacez « un nouvel appareil » par « un appareil connu »?
Afficher la réponse
La vérification détecte le premier changement. Elle indique « number 26.71 is not in the facts » (le nombre 26,71 ne figure pas dans les faits). Elle ne détecte pas le deuxième changement. Elle vérifie les nombres et les codes de pays, pas le sens des mots. Le tableau des faits reste donc à côté du résumé. Et les affirmations importantes, comme « un nouvel appareil », nécessitent leur propre vérification.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
L'équipe de Sofia a une **procédure d'intervention** (*runbook*) : sa liste écrite d'étapes pour chaque type d'alerte. Sofia demande : « La première vérification proposée par le modèle peut-elle remplacer la procédure d'intervention de mon équipe? » Que répondez-vous, d'après ce que vous avez vu dans les 20 résumés?
Afficher la réponse
Non. Les premières vérifications proposées étaient courtes et raisonnables. Par exemple : « Examinez le nouvel appareil » ou « Examinez l’activité de l’appareil pendant cette heure ». Mais elles ne font que répéter les faits autrement; le modèle ne connaît pas les procédures de Larkfield. Une procédure d’intervention définit la première étape convenue par l’équipe. Des personnes en sont responsables et la tiennent à jour. Le résumé peut indiquer les faits pertinents; la procédure d’intervention de l’équipe dit quoi faire.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Comme détecteur, un LLM a besoin des variables qu’un détecteur moins coûteux utilise déjà. Sa précision n’a pas été mesurée, et ses réponses peuvent changer. L’estimation pour tous les paiements des mois d’évaluation : environ 145 heures, un appel à la fois, et environ 20 dollars.
- Après la détection, il est utile : il transforme environ 20 faits d’un groupe d’alertes en un court résumé et une première vérification. Le détecteur trouve; le LLM explique; Sofia décide.
- Les 20 résumés enregistrés ont coûté 0,0023 $ US, avec une médiane de 3,08 secondes par appel. Le code a vérifié chaque nombre et chaque pays : 0 problème. Il a détecté une erreur insérée. La première vérification, trop stricte, a signalé 3 dates écrites en mots.
- La vérification ne peut pas tester une comparaison. Un résumé disait que tous les montants dépassaient le montant habituel, mais ce n’était pas le cas pour l’un d’eux. Gardez les faits à côté du résumé.
Vous avez maintenant essayé des règles, des statistiques, des modèles classiques, un réseau de neurones, des plongements (embeddings) et un LLM sur les mêmes données. Mais la méthode la plus avancée n’a jamais gagné à elle seule. Ensuite, vous lirez le tableau comparatif pour les cas où une règle ou une statistique simple était la meilleure réponse.
Leçon suivante : Quand ne pas utiliser l'apprentissage automatique