Découvrez ce qu’une alerte vous indique vraiment lorsqu’elle se déclenche. Même une bonne alerte peut produire surtout de fausses alertes si le problème est rare. Une équipe qui l’oublie envoie les mauvais billets de soutien aux mauvaises personnes.
Carnet JupyterFacultatif : vérifier les nombres dans un carnet JupyterColab · Kaggle · GitHub · en anglais
Le carnet (notebook) Jupyter est facultatif : une calculatrice suffit pour cette leçon. Il compte les résultats de l’alerte de paiement sur 10 000 billets et modifie le taux de base, comme l’explorateur. Il contient aussi l’exercice guidé et la variante. Ses vérifications indiquent si votre réponse est correcte sans la montrer. Il utilise seulement la bibliothèque standard de Python. Aucune installation n’est donc nécessaire.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 45 minutes
Ce que vous devez préparer (rien de tout cela n’est nécessaire pour le carnet)
Une calculatrice. Celle d’un téléphone suffit.
Votre fichier c03-notes.md, avec le titre ## Probability (probabilité) de l’encadré « Avant de commencer » d’Événements et incertitude. Ajoutez un titre : ### Conditional probability (probabilité conditionnelle). Si vous ne trouvez pas le fichier, créez un fichier vide portant ce nom : cette leçon n’utilise pas vos réponses précédentes.
Le carnet a été testé dans Jupyter avec Python 3.14.6 (bibliothèque standard seulement).
Alertes de fraude. Le modèle d’une banque signale les paiements par carte qui semblent frauduleux. La plupart des paiements ne sont pas frauduleux. La plupart des paiements signalés sont donc vérifiés, puis autorisés.
Filtres antipourriel et contre les abus. Un filtre détecte presque tous les pourriels. S’il détecte aussi une petite part des courriels normaux, une personne peut perdre des messages importants.
Dépistage de type médical. Un test détecte une maladie rare chez 90 personnes sur 100 qui en sont atteintes. Beaucoup de personnes ayant un résultat positif n’en sont pourtant pas atteintes. Les outils d’IA qui examinent des images ou des dossiers ont le même problème.
L’alerte de paiement de Larkfield. Une alerte par mots-clés signale les billets qui semblent concerner des problèmes de paiement. Cette leçon détermine combien de ces signalements sont justifiés.
Reprenez les 100 billets du mardi de la leçon précédente. Voici leur tableau de contingence : un tableau qui compte les billets pour chaque combinaison de deux propriétés.
Urgent
Non urgent
Total
Billet de paiement
4
11
15
Autre équipe
4
81
85
Total
8
92
100
Posez maintenant deux questions qui semblent presque identiques :
Parmi les billets de paiement, combien sont urgents? Regardez seulement la ligne des paiements : 4 sur 15. Cela donne 4/15 = 0,27.
Parmi les billets urgents, combien sont des billets de paiement? Regardez seulement la colonne des billets urgents : 4 sur 8. Cela donne 4/8 = 0,50.
Chaque réponse est une probabilité conditionnelle : la probabilité d’un événement lorsqu’on considère seulement les cas d’un groupe. Le groupe est la condition. Vous l’écrivez avec une barre verticale, qui se lit « sachant que » :
P(urgent | paiement) = 0,27 se lit « la probabilité que le billet soit urgent, sachant que c’est un billet de paiement ».
P(paiement | urgent) = 0,50 se lit « la probabilité que le billet concerne un paiement, sachant qu’il est urgent ».
Le numérateur est identique dans les deux fractions : les 4 billets qui répondent aux deux critères. Le dénominateur diffère : c’est la taille du groupe considéré. La condition détermine par quoi vous divisez. P(A | B) et P(B | A) sont donc des nombres différents. Les confondre est l’erreur la plus courante dans ce module.
Environ 2 billets de Larkfield sur 100 concernent un problème de paiement. Un client a été facturé deux fois ou voit des frais qu’il ne reconnaît pas. Ces billets doivent arriver rapidement à l’équipe des paiements.
Tomás crée une alerte par mots-clés. Elle cherche des expressions comme « facturé deux fois » et « frais inconnus ». Il la teste sur d’anciens billets :
Sur 100 vrais problèmes de paiement, l’alerte en signale 90. Cette proportion est le rappel : P(signalement | problème de paiement) = 0,90.
Sur 100 autres billets, l’alerte en signale 5 par erreur. Cette proportion est le taux de faux positifs : P(signalement | autre billet) = 0,05. Un signalement erroné est une fausse alerte.
Tomás écrit dans la discussion d’équipe : « L’alerte a une exactitude de 90 %. Quand elle signale un billet, envoyez-le directement à l’équipe des paiements. »
Grace pose la question importante pour son équipe : quand l’alerte signale un billet, à quelle fréquence concerne-t-il vraiment un problème de paiement? C’est P(problème de paiement | signalement). C’est l’inverse du 90 %. Le test de Tomás ne donne donc pas directement cette valeur. Il faut compter.
Priya imagine 10 000 billets, soit environ deux mois de travail chez Larkfield. Des nombres entiers de billets sont plus faciles à comprendre que de petits nombres décimaux. Cette façon de compter s’appelle les fréquences naturelles.
Combien concernent des problèmes de paiement? 2 % de 10 000 = 200. Les 9 800 restants sont d’autres billets.
Sur les 200 problèmes de paiement, combien l’alerte en signale-t-elle? 90 % de 200 = 180. Elle manque les 20 autres.
Sur les 9 800 autres billets, combien en signale-t-elle? 5 % de 9 800 = 490 fausses alertes. Elle laisse correctement 9 310 billets sans signalement.
Combien de signalements au total? 180 + 490 = 670.
Sur les 670 signalements, combien sont justifiés? 180. Donc 180/670 = 0,27, soit environ 27 sur 100.
L'alerte de paiement sur 10 000 billets. Chaque branche montre une proportion; chaque case montre combien de billets y arrivent. Les deux cases colorées regroupent tous les billets signalés.Description textuelle du graphique
Un arbre qui commence avec 10 000 billets. 2 % (200) concernent des problèmes de paiement et 98 % (9 800) sont d’autres billets. Parmi les 200 problèmes de paiement, 90 % (180) sont signalés : ce sont des signalements justifiés. Les 10 % (20) restants ne sont pas signalés : ils sont manqués. Parmi les 9 800 autres billets, 5 % (490) sont signalés : ce sont des fausses alertes. Les 95 % (9 310) restants ne sont pas signalés. Les billets signalés regroupent les 180 signalements justifiés et les 490 fausses alertes : 670 au total.
L’alerte détecte 9 vrais problèmes sur 10. Mais seulement environ 1 signalement sur 4 est justifié. Les 3 autres sont des fausses alertes. La raison est le taux de base : la proportion de tous les billets qui présentent le problème avant toute alerte. Ici, il est de 2 %. Un faible taux de fausses alertes sur un très grand groupe (5 % de 9 800) produit plus de signalements qu’un rappel élevé sur un petit groupe (90 % de 200).
Les quatre mêmes nombres entrent dans un tableau de 2 × 2. Les lignes représentent la réalité; les colonnes représentent ce que fait l’alerte. Dans le module 6, ce même tableau s’appelle une matrice de confusion.
Situation réelle
Signalé
Non signalé
Total
Problème de paiement
180vrai signalement
20manqué
200total
Autre billet
490fausse alerte
9 310laissé à raison
9 800total
Total
670total
9 330total
10 000total
Part des cas réels qui sont signalés (rappel) : 180 ÷ 200 = 90 %
Part des signalements qui sont vrais (précision) : 180 ÷ 670 = 26,9 %
Part des autres billets signalés par erreur (taux de faux positifs) : 490 ÷ 9 800 = 5 %
Part de tous les billets bien étiquetés (exactitude) : 9 490 ÷ 10 000 = 94,9 %
L'alerte de paiement sur 10 000 billets. La colonne encadrée contient tous les billets signalés : 180 signalements justifiés et 490 fausses alertes.Description textuelle du tableau
Un tableau de deux lignes et deux colonnes, avec les totaux. Problèmes de paiement : 180 signalés (signalements justifiés) et 20 non signalés (manqués), soit 200 au total. Autres billets : 490 signalés (fausses alertes) et 9 310 non signalés, soit 9 800 au total. Total des billets signalés : 670; non signalés : 9 330; tous les billets : 10 000. Les proportions sous le tableau : rappel, 180 ÷ 200 = 90 %. Proportion des signalements justifiés : 180 ÷ 670 = 26,9 %. Taux de faux positifs : 490 ÷ 9 800 = 5 %. Exactitude : (180 + 9 310) ÷ 10 000 = 94,9 %.
Chaque proportion utilise un total différent comme dénominateur :
Le rappel considère la ligne des problèmes de paiement : 180 sur 200.
La proportion des signalements justifiés considère la colonne des billets signalés : 180 sur 670. Son nom technique est la précision. Le module 6 la reprend.
L’exactitude considère tout le tableau : (180 + 9 310) sur 10 000 = 94,9 %.
Le « 90 % d’exactitude » de Tomás était le rappel. L’exactitude réelle est encore plus élevée : 94,9 %. Pourtant, 73 signalements sur 100 sont erronés. L’exactitude est élevée parce que 9 310 billets faciles à classer comme « non signalés » remplissent le tableau.
Une alerte qui ne signale jamais rien classe correctement les 9 800 autres billets. Son exactitude est de 98 %, meilleure que celle de Tomás, mais elle ne détecte aucun problème de paiement. Quand une classe est rare, l’exactitude masque les erreurs importantes. Le module 6 revient sur ce point.
Comment le taux de base change le sens d'un signalement
Prédisez d’abord : Pendant une panne de paiement, les problèmes de paiement deviennent 10 fois plus fréquents : 20 % des billets. L'alerte ne change pas. La plupart des signalements seront-ils alors justifiés ou seront-ils des fausses alertes?
Problèmes de paiement sur 10 000
200
Vrais signalements
180
Fausses alertes
490
Tous les signalements
670
Part des signalements qui sont vrais
26,9 %
Exactitude (billets bien étiquetés)
94,9 %
Sur 670 billets signalés, 180 sont des problèmes de paiement : environ 27 sur 100. La plupart des signalements sont de fausses alertes.
1 000 carrés. Chaque carré vaut 10 billets.
Signalé, problème de paiement
Signalé, fausse alerte
Manqué, problème de paiement
Non signalé, à raison
Les mêmes billets en arbre de fréquences
L'alerte de paiement avec un rappel de 90 % et un taux de fausses alertes de 5 %. Seul le taux de base change. Chaque carré représente 10 des 10 000 billets.Description textuelle de l’explorateur
L’explorateur possède un curseur : la fréquence des problèmes de paiement, de 0 % à 50 %. Le rappel de l’alerte reste à 90 % et son taux de fausses alertes reste à 5 %. Il montre 1 000 carrés, chacun représentant 10 billets. Les carrés orange sont des signalements justifiés et les carrés bleus sont des fausses alertes. Les contours orange représentent les problèmes de paiement manqués. Les carrés gris sont les autres billets que l’alerte ne signale pas. Sous la grille, un arbre de fréquences montre les mêmes nombres pour 10 000 billets. Au départ (2 %), il y a 670 signalements, dont 180 justifiés : 26,9 %. À 20 %, il y a 2 000 problèmes de paiement, 1 800 signalements justifiés et 400 fausses alertes. Ainsi, 81,8 % des 2 200 signalements sont justifiés. À 0,5 %, il y a 45 signalements justifiés et 498 fausses alertes : 8,3 %. À 0 %, chaque signalement est une fausse alerte. L’alerte est identique dans tous les cas; seul le taux de base change le sens d’un signalement.
La règle de Bayes : le même calcul sous forme de formule
Vous avez trouvé 0,27 sans formule. La règle de Bayes écrit les mêmes étapes en une seule ligne. Elle transforme P(signalement | problème), que mesure un test, en P(problème | signalement), dont l’équipe a besoin.
Lisez-la ainsi : « La probabilité d’un vrai problème, sachant qu’il est signalé, est la proportion de billets problématiques et signalés, divisée par la proportion de tous les billets signalés. » Chaque partie correspond à une étape de l’arbre :
Partie
En mots
Valeur
Dans l’arbre
P(problème)
le taux de base
0,02
200 sur 10 000
P(signalement | problème)
le rappel
0,90
180 sur 200
numérateur
problème et signalé
0,90 × 0,02 = 0,018
180 sur 10 000
P(signalement)
tous les signalements : justifiés + fausses alertes
0,018 + 0,05 × 0,98 = 0,018 + 0,049 = 0,067
670 sur 10 000
résultat
0,018 / 0,067 = 0,269
180 sur 670
La formule et l’arbre donnent la même réponse, car ils comptent la même chose. En cas de doute, dessinez l’arbre.
Priya répond dans la discussion d’équipe avec les nombres, pas la formule :
« Sur 10 000 billets, l’alerte en signale 670. Parmi eux, 180 concernent des problèmes de paiement et 490 n’en concernent pas. Si on envoie chaque billet signalé directement à l’équipe des paiements, elle reçoit 490 mauvais billets tous les deux mois. C’est environ 60 par semaine. Ces clients attendent plus longtemps, parce que leur billet arrive d’abord à la mauvaise équipe. »
Omar demande quoi faire. Priya propose trois options, chacune avec son propre nombre :
Utiliser le signalement pour trier, pas pour décider. Les billets signalés passent en tête de file, et une personne vérifie chacun. Les 20 problèmes manqués suivent toujours le parcours normal.
Réduire les fausses alertes. Si le taux de fausses alertes baisse, la proportion des signalements justifiés augmente rapidement. Vous calculez cela dans l’exercice guidé.
Mesurer de nouveau le taux de base. Certaines semaines, les problèmes de paiement sont plus fréquents. La même alerte donne alors une proportion plus élevée de signalements justifiés.
Mei constate que beaucoup de fausses alertes contiennent le mot « charge » dans un autre sens (« free delivery charge », frais de livraison gratuits). Elle retire ces expressions. La nouvelle alerte conserve le même rappel (90 %), et le taux de fausses alertes baisse à 1 sur 100.
Commencez avec 10 000 billets. Écrivez le nombre de problèmes de paiement et d’autres billets. Résultat attendu : 200 et 9 800.
Calculez les signalements justifiés : 90 % des problèmes de paiement. Résultat attendu : 180.
Calculez les fausses alertes : 1 % des autres billets. Résultat attendu : 98.
Additionnez-les pour obtenir tous les signalements. Résultat attendu : 278.
Divisez les signalements justifiés par tous les signalements. Résultat attendu : environ 0,65.
Écrivez une phrase pour Grace : qu’est-ce qui a changé, et pourquoi?
Afficher un exemple de réponse
Étape
Calcul
Nombre
Problèmes de paiement
2 % de 10 000
200
Autres billets
10 000 − 200
9 800
Signalements justifiés
90 % de 200
180
Fausses alertes
1 % de 9 800
98
Tous les signalements
180 + 98
278
Proportion des signalements justifiés
180 ÷ 278
0,647, environ 65 %
« L’alerte détecte les mêmes 180 problèmes de paiement, mais elle signale maintenant 98 autres billets au lieu de 490. Environ 2 signalements sur 3 sont maintenant justifiés, plutôt que 1 sur 4. » Le rappel n’a pas changé. Le taux de fausses alertes a changé. Quand le problème est rare, les fausses alertes déterminent ce que signifie un signalement.
Vérification : vos signalements justifiés plus vos fausses alertes égalent votre total de signalements.
Variation indépendante : les clients changent leurs mots
Changez une condition. Une nouvelle application de paiement envoie aux clients des messages formulés autrement, et les clients les copient. Tomás teste de nouveau l’alerte originale : elle détecte maintenant seulement 60 problèmes de paiement sur 100. Le taux de fausses alertes revient à 5 sur 100, et 2 % des billets concernent des problèmes de paiement.
Dessinez l’arbre des fréquences pour 10 000 billets. Combien de billets sont signalés, et quelle proportion concerne un vrai problème? Combien de problèmes de paiement l’alerte manque-t-elle?
Afficher un exemple de réponse
Problèmes de paiement : 200. Autres billets : 9 800.
Proportion des billets signalés qui concernent un vrai problème : 120 ÷ 610 = 0,197, soit environ 20 %.
La proportion des billets signalés qui concernent un vrai problème passe de 27 % à 20 %. L’alerte manque maintenant 80 problèmes de paiement au lieu de 20. Le nombre de fausses alertes ne change pas. Elles proviennent des autres billets, et le taux de fausses alertes n’a pas changé.
Erreur courante
Interpréter le chiffre de l'alerte à l'envers
Symptôme : un plan indique : « L’alerte a une exactitude de 90 %, donc 90 % des billets signalés concernent des problèmes de paiement. » L’équipe des paiements reçoit environ 60 billets mal dirigés par semaine et commence à ignorer le signalement.
Cause : 90 % correspond à P(signalement | problème de paiement), le rappel. Le plan avait besoin de P(problème de paiement | signalement), la probabilité inverse. Avec un taux de base de 2 %, la probabilité inverse est de 27 %, pas de 90 %.
Correction : avant d’utiliser un chiffre provenant d’un test, écrivez-le avec la barre : P( … | … ). Demandez-vous par quel groupe on divise. Dessinez ensuite l’arbre des fréquences avec le vrai taux de base. Dans les cases des billets signalés, lisez la proportion qui concerne un vrai problème.
Vérifiez votre compréhension
Grace dit : « La moitié des billets urgents concernent des paiements, donc la moitié des billets de paiement sont urgents. » Utilisez le tableau du mardi (4 billets de paiement urgents, 15 billets de paiement, 8 billets urgents) pour expliquer son erreur.
Afficher la réponse
P(paiement | urgent) = 4/8 = 0,50 est vrai. Mais P(urgent | paiement) = 4/15 = 0,27. Les deux ont le même numérateur : les 4 billets qui appartiennent aux deux groupes. Mais on divise par des groupes différents : 8 billets urgents ou 15 billets de paiement. Une probabilité conditionnelle et sa probabilité inverse sont généralement différentes.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Prédisez : le taux de base des problèmes de paiement passe de 2 % à 1 %. L'alerte garde un rappel de 90 % et un taux de fausses alertes de 5 %. La proportion des billets signalés qui concernent un vrai problème augmente-t-elle ou diminue-t-elle? Vérifiez avec 10 000 billets.
Afficher la réponse
Elle diminue. 1 % de 10 000 = 100 problèmes de paiement, donc 90 vrais problèmes signalés. Fausses alertes : 5 % de 9 900 = 495. Total des billets signalés : 585. Proportion concernant un vrai problème : 90 ÷ 585 = 0,154, soit environ 15 %. Plus le problème est rare, plus les fausses alertes du grand groupe des autres billets dominent les signalements.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Pourquoi une alerte avec une exactitude de 94,9 % peut-elle se tromper pour la plupart des billets qu'elle signale?
Afficher la réponse
L’exactitude compte tous les billets. La plupart sont des billets sans problème de paiement que l’alerte laisse correctement de côté (9 310 sur 10 000). Ces cas faciles rendent l’exactitude élevée. Les billets signalés forment un petit groupe (670). Comme le problème est rare, 490 d’entre eux sont de fausses alertes. L’exactitude et la proportion des billets signalés qui concernent un vrai problème utilisent des groupes différents comme dénominateurs. Elles répondent donc à des questions différentes.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
Une probabilité conditionnelle considère un seul groupe : P(A | B) divise par le nombre de cas où B est vrai.
P(signalement | problème) et P(problème | signalement) sont des nombres différents. Un test mesure le premier; une équipe a généralement besoin du second.
Comptez 10 000 cas dans un arbre des fréquences : d’abord le taux de base, puis le rappel et le taux de fausses alertes. Les cases des billets signalés donnent la proportion qui concerne un vrai problème.
Quand un problème est rare, un faible taux de fausses alertes sur beaucoup d’autres billets peut produire la majorité des signalements.
La règle de Bayes exprime ce même décompte sous forme de formule.
Ensuite, vous décrirez des régularités du hasard : combien de billets urgents arrivent dans un lot, et quand la courbe normale convient.