Loi de Benford et autres vérifications d'affaires
- Leçon 14
- 35 min
- Module 3 : Maîtrise statistique des procédés et dérive de distribution
Où nous en sommes
Nous avons des cartes pour les processus et des tests pour les distributions. Les auditeurs vérifient aussi directement les montants. Dans cette leçon, nous testons les premiers chiffres avec la loi de Benford et cherchons les remboursements juste sous la limite d'approbation. Nous voyons aussi ce que ces vérifications prouvent et ce qu'elles ne prouvent pas.
Leçon 14 sur 38 · Détection d'anomalies : trouver ce qui est inhabituelLoi de Benford et autres vérifications d'affaires
1. Ce que « inhabituel » veut dire
2. Des références de base simples et difficiles à battre
3. Maîtrise statistique des procédés et dérive de distribution
- Cartes de contrôle : cette variation est-elle normale?
- Règles pour les motifs, et le prix de chaque règle
- Cartes pour les taux et les dénombrements
- Petits décalages durables : CUSUM et EWMA
- La distribution a-t-elle changé?
- Dérive dans de nombreuses variables, et quoi faire
- Loi de Benford et autres vérifications d'affaires
4. Distance, densité et isolement
5. Les anomalies dans le temps
6. Méthodes profondes et plongements
7. Évaluer avec peu d'étiquettes
8. Apprendre des réviseurs
9. Exploiter un détecteur en production
Ce que vous saurez faire
Vérifiez les montants comme les auditeurs : premiers chiffres, montants juste sous une limite, doublons, nombres ronds et totaux qui doivent concorder. Chaque vérification est rapide et facile à expliquer. Chacune peut aussi désigner une personne innocente si vous l’appliquez aux mauvaises données.
Carnet JupyterFaites cette leçon dans un carnet
Le carnet (notebook) Jupyter contient toutes les cellules de code, les tâches et les vérifications de cette leçon. Il teste la loi de Benford sur les paiements et les remboursements. Il vérifie ensuite les remboursements juste sous la limite d’approbation, les doublons, les montants ronds et les totaux quotidiens. Ses cellules de préparation installent les paquets et téléchargent les données (environ 8 Mo). Environ 35 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Les pourcentages et une valeur p avec la correction de Bonferroni, de Dérive dans de nombreuses variables, et quoi faire.
- Les tables de remboursements : une ligne par remboursement, et une ligne par agent et par jour, de Découvrir les données de Larkfield.
Ce qu’il vous faut sur votre ordinateur
Rien. Le carnet fonctionne dans Colab, Kaggle ou VS Code.
Testé avec Python 3.12.13 dans Jupyter sur macOS, avec pandas 3.1.1, NumPy 2.5.4 et SciPy 1.18.1. Colab et Kaggle n’ont pas été testés.
De l’argent qui augmente
Section intitulée « De l’argent qui augmente »Placez 10 dollars dans un compte d’épargne qui augmente de 12 % chaque année. Notez le solde chaque année et regardez son premier chiffre. Pour passer de 10 à 20 dollars, le solde doit doubler, ce qui prend environ six ans. Pour passer de 90 à 100 dollars, il suffit de 11 % de plus : moins d’un an. Le solde garde donc longtemps un premier chiffre de 1, et très peu de temps un premier chiffre de 9.
Voici les 21 soldes de 10 dollars à 96,50 dollars. C’est un exemple construit :
[10.0, 11.2, 12.5, 14.0, 15.7, 17.6, 19.7, 22.1, 24.8, 27.7, 31.1, 34.8, 39.0, 43.6, 48.9, 54.7, 61.3, 68.7, 76.9, 86.1, 96.5]first digits: {1: 7, 2: 3, 3: 3, 4: 2, 5: 1, 6: 2, 7: 1, 8: 1, 9: 1}Description textuelle du graphique
Un diagramme à neuf colonnes, pour les premiers chiffres de 1 à 9. Le chiffre 1 a la colonne la plus haute : 7 des 21 soldes. Les chiffres 2 et 3 en ont 3 chacun, 4 et 6 en ont 2 chacun. Les chiffres 5, 7, 8 et 9 en ont 1 chacun.
Un tiers des soldes commencent par 1. La même chose arrive dans beaucoup de collections de nombres réels : populations des villes, longueurs des rivières, montants des factures.
Le problème : les nombres inventés sont différents
Section intitulée « Le problème : les nombres inventés sont différents »Les personnes qui inventent des nombres ne le savent pas. Quand quelqu’un invente les montants de fausses demandes de remboursement de dépenses, il utilise généralement chaque premier chiffre aussi souvent. Ces personnes aiment aussi les montants juste sous une limite qui exige une approbation, et les nombres ronds. Les auditeurs utilisent ces habitudes pour choisir les dossiers à réviser.
Mais une vérification appliquée aux mauvaises données désigne des personnes innocentes. Pour chaque vérification, nous devons donc savoir ce qu’elle montre et quand elle ne s’applique pas.
La loi de Benford
Section intitulée « La loi de Benford »L’astronome Simon Newcomb a remarqué ce phénomène en 1881. Le physicien Frank Benford l’a testé sur des milliers de nombres en 1938. Selon la loi de Benford, dans ce type de données, la proportion du premier chiffre d est log₁₀(1 + 1/d) :
| Premier chiffre | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 |
|---|---|---|---|---|---|---|---|---|---|
| Proportion selon Benford | 30,1 % | 17,6 % | 12,5 % | 9,7 % | 7,9 % | 6,7 % | 5,8 % | 5,1 % | 4,6 % |
Pour comparer les données à la loi, calculez la proportion de chaque premier chiffre dans les données. Prenez ensuite l’écart absolu moyen (MAD) : la moyenne des neuf différences, sans leur signe. Attention : cette MAD est une moyenne, et elle compare les proportions des chiffres. Ce n’est pas l’écart absolu médian de Médiane, MAD et IQR. Les tests de Benford utilisent la même abréviation. L’auditeur Mark Nigrini donne des limites pour le premier chiffre (Nigrini, Benford’s Law, Wiley, 2012). Une MAD inférieure à 0,006 indique une bonne concordance, et de 0,006 à 0,012, elle est acceptable. De 0,012 à 0,015, elle est marginale, et au-dessus de 0,015, c’est une non-conformité.
Benford sur les montants de Larkfield
Section intitulée « Benford sur les montants de Larkfield »Avant de lire la sortie, faites une prédiction : lesquels suivent la loi de Benford? Tous les paiements, tous les remboursements, les remboursements de l’agent A-29 et les paiements de moins de 5 dollars.
amounts n MAD Nigrini orders of magnitude first digit 1 first digit 9 payments 343074 0.0215 nonconformity 2.24 0.2488 0.0323 refunds 9923 0.0132 marginal 1.61 0.2516 0.0424 refunds of A-29 249 0.0449 nonconformity 1.72 0.1727 0.1807payments under 5 dollars 2712 0.0905 nonconformity 0.67 0.1947 0.0000La colonne orders of magnitude (ordres de grandeur) mesure l’étendue des montants. C’est le log₁₀ du plus grand (99e percentile) divisé par le plus petit (1er percentile). Une valeur de 2 signifie que les montants couvrent un facteur de 100.
- Loi de Benford
- Tous les paiements
- Remboursements de A-29
Description textuelle du graphique
Le graphique a trois courbes avec des points, pour les premiers chiffres de 1 à 9. La loi de Benford descend régulièrement de 30,1 % pour le chiffre 1 à 4,6 % pour le chiffre 9. Les paiements commencent plus bas, à 24,9 % pour le chiffre 1. Ils dépassent la loi pour les chiffres 2 à 4 (21,1 %, 16,3 % et 11,8 %). Ils passent ensuite sous la loi, jusqu’à 3,2 % pour le chiffre 9. Les remboursements de A-29 sont près de 15 % à 17 % pour les chiffres 1 à 3. Ils se situent entre 4 % et 7 % pour les chiffres 5 à 8. Ils montent brusquement à 18,1 % pour le chiffre 9.
Aucun groupe ne concorde bien. Chaque résultat demande sa propre interprétation :
- Les paiements présentent une non-conformité (MAD de 0,0215), et personne n’a inséré quoi que ce soit dans leurs premiers chiffres. Les paiements mélangent diverses tailles de paniers : la plupart se situent entre 15 et 300 dollars. Leurs premiers chiffres ne suivent pas la courbe de Benford. Le test n’est pas erroné : la loi ne s’applique pas à ces données.
- Les paiements de moins de 5 dollars couvrent moins d’un ordre de grandeur (0,67). Leur premier chiffre ne peut être que de 1 à 4. Benford ne peut pas du tout s’appliquer.
- Les remboursements ont une concordance marginale (MAD de 0,0132). Ils sont plafonnés au montant payé par le client, et ceux de plus de 100 dollars exigent une approbation.
- Les remboursements de A-29 ont 18,1 % de premiers chiffres 9, contre 4,6 % selon la loi. Ce résultat désigne une personne. Il mérite une révision, et la prochaine vérification explique pourquoi.
Quand la loi de Benford s’applique
Section intitulée « Quand la loi de Benford s’applique »Utilisez-la seulement sur des données qui ont toutes ces propriétés :
- Les valeurs proviennent de nombreuses causes multiplicatives : croissance, prix multipliés par quantités, ou sommes de nombreux articles.
- Elles couvrent plusieurs ordres de grandeur : des dizaines aux milliers de dollars, par exemple.
- Elles n’ont aucun minimum ou maximum imposé, comme une liste de prix, un plafond ou des frais.
- Elles sont mesurées, pas attribuées : les numéros de factures, les numéros de téléphone et les codes de produits ne la suivent pas.
- Elles sont assez nombreuses : au moins des centaines, et de préférence des milliers.
Même alors, un écart est une raison de réviser, pas une preuve de fraude.
Juste sous la limite d’approbation
Section intitulée « Juste sous la limite d’approbation »Chez Larkfield, un remboursement de 100 dollars ou plus exige l’approbation d’un chef d’équipe. Des remboursements regroupés juste sous la limite peuvent indiquer que quelqu’un évite l’approbation. Cette vérification pose directement la question d’affaires. Pour chaque agent, le carnet calcule la proportion de remboursements entre 90 et 99,99 dollars. Il compare ensuite cette proportion à celle de tous les agents, avec un test binomial et la correction de Bonferroni pour 40 agents :
refunds["just_below"] = (refunds.amount >= 90) & (refunds.amount < 100) # the approval limit is 100 dollarsshare_all = refunds.just_below.mean()per_agent = refunds.groupby("agent_id").just_below.agg(["mean", "sum", "size"])per_agent["p"] = [stats.binomtest(int(k), int(n), share_all, alternative="greater").pvalue for k, n in zip(per_agent["sum"], per_agent["size"])]per_agent["after Bonferroni"] = per_agent.p < 0.05 / len(per_agent)all agents: 3.5% of refunds at 90 to 99.99 dollars mean sum size p after Bonferroniagent_idA-29 0.161 40 249 0.000 TrueA-28 0.054 11 202 0.105 FalseA-26 0.053 13 245 0.097 FalseA-15 0.050 11 222 0.166 FalseA-30 0.049 12 245 0.162 FalseDescription textuelle du graphique
Un diagramme à six colonnes. A-29 a 16,1 % de ses remboursements entre 90 et 99,99 dollars. Les quatre agents suivants, A-28, A-26, A-15 et A-30, ont entre 4,9 % et 5,4 %. La dernière colonne, tous les agents réunis, est à 3,5 %.
A-29 a 40 remboursements sur 249 juste sous la limite : 16,1 %, contre 3,5 % pour tous les agents. A-29 est le seul agent retenu après la correction de Bonferroni. Nous avons inséré cette anomalie à partir du 2 septembre 2024. Les autres agents parmi les cinq premiers sont un peu au-dessus de 3,5 %, et leurs valeurs p approchent 0,1. Avec 40 agents, quelques-uns paraissent toujours un peu élevés par hasard.
Cette vérification est plus claire que la loi de Benford, car elle pose la vraie question : quelqu’un évite-t-il l’approbation? Le test du premier chiffre montrait seulement une accumulation de 9, que la limite explique.
Une révision demanderait des explications à A-29 et à son gestionnaire. Il peut y avoir une raison honnête, comme un produit à 95 dollars qui arrive souvent brisé. La vérification indique où regarder, et une personne trouve pourquoi.
Doublons, nombres ronds et totaux
Section intitulée « Doublons, nombres ronds et totaux »Trois autres vérifications prennent une ligne chacune.
Doublons. La même commande remboursée deux fois avec le même montant :
14 pairs: the same order refunded twice with the same amount date agent_id order_id amount reason2024-09-28 A-03 O-17912763 72.54 missing2024-09-28 A-03 O-17912763 72.54 missing2024-04-21 A-11 O-21434121 35.04 late2024-04-23 A-11 O-21434121 35.04 lateChaque paire est un remboursement payé deux fois (inséré). Certaines paires sont espacées de deux jours; une vérification limitée à une seule journée les manque donc. Un remboursement réel peut être divisé en deux parties. Un doublon est donc une raison de réviser, pas une preuve.
Nombres ronds. Seulement 1,01 % des remboursements de Larkfield sont en dollars entiers. Une équipe qui saisit les montants à la main, ou les invente, présente beaucoup plus de montants ronds, comme 50,00 ou 100,00.
Totaux qui ne concordent pas. Le flux quotidien donne le montant total des remboursements de chaque agent. La table des remboursements contient chaque remboursement. Les deux doivent concorder :
21 agent-days where the feed total does not match the refunds size sumdate2025-03-16 1 1000.002025-04-06 1 99.002025-07-04 1 -250.002025-11-10 18 -1692.39Le 10 novembre 2025, le flux a envoyé des zéros. Les 18 agents ayant effectué des remboursements ce jour-là montrent tous une différence négative. C’est le flux défectueux que la carte de contrôle de la première leçon montrait comme une journée à 0 %. Les trois autres journées-agents sont des différences isolées, que nous avons insérées. Un rapprochement trouve des données défectueuses aussi souvent que de la fraude.
Ce que ces vérifications montrent, et ce qu’elles ne montrent pas
Section intitulée « Ce que ces vérifications montrent, et ce qu’elles ne montrent pas »| Vérification | Elle montre | Elle ne montre pas |
|---|---|---|
| Premiers chiffres (Benford) | un groupe dont les chiffres diffèrent de la loi | la fraude, ni quoi que ce soit si la loi ne s’applique pas |
| Juste sous une limite | une personne ou une équipe qui évite une approbation plus souvent que les autres | la raison |
| Doublons | le même remboursement payé deux fois | que le deuxième paiement n’était pas autorisé |
| Nombres ronds | des montants saisis ou choisis à la main | qu’ils sont faux |
| Totaux qui ne concordent pas | deux enregistrements qui diffèrent | quel enregistrement est erroné |
Ces vérifications sont peu coûteuses, rapides et faciles à expliquer à un auditeur. Elles coûtent le temps des personnes qui révisent leurs résultats. Une vérification appliquée aux mauvaises données gaspille ce temps ou nuit à quelqu’un.
Exercices guidés : les vérifications dans le carnet
Section intitulée « Exercices guidés : les vérifications dans le carnet »- Ouvrez le carnet dans l’encadré Faites cette leçon dans un carnet en haut de cette page.
- Exécutez les cellules de préparation. La cellule de données se termine par la ligne
Ready:(prêt). - Dans la section 1, écrivez votre prédiction. Exécutez ensuite la cellule. Le chiffre 1 apparaît 7 fois.
- Exécutez la cellule Benford, la cellule des fonctions utilitaires et la cellule de données.
- Dans la section 2, écrivez votre prédiction, puis exécutez le tableau de Benford. Vous voyez une MAD de
0.0215pour les paiements. - Exécutez la cellule du graphique. La courbe des paiements est sous la loi à 1 et au-dessus de 2 à 4.
- Dans la section 3, exécutez la cellule. A-29 est premier, avec
True(vrai) après Bonferroni. - Dans les sections 4 et 5, exécutez les cellules. Vous voyez
14 pairs(14 paires) et21 agent-days(21 journées-agents). - Dans la section 6, écrivez les trois réponses et exécutez chaque cellule de vérification. Chacune affiche
Check passed(vérification réussie).
À vous de jouer : le deuxième agent
Section intitulée « À vous de jouer : le deuxième agent »Changez une chose : regardez le deuxième agent plutôt que le premier. Quel agent a la deuxième plus forte proportion de remboursements juste sous la limite? Avant de regarder, faites une prédiction : cet agent sera-t-il aussi retenu après la correction de Bonferroni? Dans le carnet, placez l’identifiant de l’agent dans second_agent.
Afficher la réponse
second_agent = per_agent.sort_values("mean", ascending=False).index[1]Check passed: second_agent is right.Le deuxième agent est A-28, avec 11 remboursements sur 202 (5,4 %) juste sous la limite. Sa valeur p est de 0,105, bien au-dessus de la limite de Bonferroni de 0,05 / 40 = 0,00125. A-28 est le plus élevé des agents qui semblent normaux. Avec 40 agents, l’un d’eux doit être le plus élevé par hasard. Réviser A-28 coûterait du temps sans raison.
Erreur courante
Benford sur les mauvaises données
Symptôme : Tomás applique la loi de Benford aux 343 074 paiements. La MAD est de 0,0215 : une non-conformité selon les limites de Nigrini. Il demande à l’équipe de Sofia d’auditer les paiements des six derniers mois.
payments 343074 0.0215 nonconformity 2.24 0.2488 0.0323Cause : les paiements mélangent diverses tailles de paniers, surtout entre 15 et 300 dollars. Leurs premiers chiffres ne suivent donc pas la courbe de Benford. Personne n’a inséré quoi que ce soit dans les premiers chiffres des paiements. La loi ne convient pas à ces données; son résultat ne dit donc rien sur la fraude.
Diagnostic : vérifiez les conditions avant de vous fier au test. Les valeurs se multiplient-elles, couvrent-elles plusieurs ordres de grandeur et n’ont-elles aucun minimum ou maximum? Existe-t-il une raison honnête connue pour cette forme, comme une liste de prix?
Correction : utilisez plutôt une vérification directe de la question d’affaires : montants juste sous une limite, doublons, totaux qui ne concordent pas. Pour la fraude dans les paiements, utilisez les détecteurs des prochains modules. Ils comparent chaque paiement au comportement habituel du client.
Conséquence pour le travail en IA : un test qui ne s’applique pas affiche quand même un nombre, et un nombre ressemble à une preuve. Une équipe de révision qui le poursuit perd des jours, et les personnes visées perdent confiance.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Expliquez dans vos mots pourquoi le premier chiffre 1 est plus courant que 9 dans des données comme les soldes d'épargne. Nommez trois conditions pour que la loi de Benford s'applique.
Afficher la réponse
Une valeur qui augmente par multiplication doit doubler pour passer de 10 à 20. Mais il suffit de 11 % de plus pour passer de 90 à 100. Elle garde donc beaucoup plus longtemps un premier chiffre de 1 qu’un 9. Dans l’exemple, 7 des 21 soldes commençaient par 1. Les conditions : les valeurs proviennent de causes multiplicatives, et elles couvrent plusieurs ordres de grandeur. Elles n’ont aucun minimum ou maximum imposé, elles sont mesurées (pas des nombres attribués), et elles sont assez nombreuses.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Les paiements de Larkfield donnent une MAD de Benford de 0,0215, une non-conformité. Les remboursements de A-29 donnent 0,0449 avec 18,1 % de premiers chiffres 9. Que vous dit chaque résultat?
Afficher la réponse
Les paiements ne vous disent rien sur la fraude. Ils mélangent diverses tailles de paniers, surtout entre 15 et 300 dollars; la loi de Benford ne s’applique donc pas. Rien n’a été inséré dans leurs premiers chiffres. L’accumulation de 9 chez A-29 mérite un examen, et une vérification directe l’explique. 16,1 % des remboursements de A-29 se situent entre 90 et 99,99 dollars, juste sous la limite d’approbation de 100 dollars. Pour tous les agents, la proportion est de 3,5 %. C’est une raison de faire réviser les remboursements de A-29 par une personne, pas une preuve de fraude.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Mei trouve 21 journées-agents où le montant total des remboursements du flux ne correspond pas à la table des remboursements. Parmi elles, 18 sont le 10 novembre 2025. Que concluez-vous, et que faites-vous ensuite?
Afficher la réponse
Les 18 journées-agents du 10 novembre 2025 représentent un seul problème : ce jour-là, le flux quotidien a envoyé des zéros. Chaque agent ayant effectué des remboursements montre donc une différence négative. Ce sont des données défectueuses, pas de la fraude. Mei devrait corriger ou renvoyer le flux pour cette journée. Les trois autres journées-agents (16 mars 2025, 6 avril 2025 et 4 juillet 2025) sont des différences isolées. Elles demandent une révision des remboursements de ces agents. Un rapprochement montre que deux enregistrements diffèrent, pas lequel est erroné.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- La loi de Benford convient aux données qui augmentent par multiplication sur plusieurs ordres de grandeur. Les paiements de Larkfield n’y correspondent pas (MAD de 0,0215), et ils n’ont rien d’anormal.
- Une vérification directe de la question d’affaires est plus claire. A-29 a 16,1 % de remboursements juste sous la limite de 100 dollars, contre 3,5 % pour tous les agents.
- Les doublons, les nombres ronds et les totaux qui ne concordent pas trouvent des remboursements payés deux fois et des flux défectueux : 14 paires, 1,01 % en dollars entiers, 21 journées-agents.
- Chaque vérification est une raison de réviser, pas une preuve.
Dans ce module, vous avez surveillé des processus avec des cartes de contrôle, comparé des distributions et vérifié des montants. Mais chaque méthode examine un nombre ou une variable à la fois. Une carte volée peut sembler normale pour chaque variable séparément et étrange pour toutes les variables ensemble. Ensuite, vous trouverez des paiements loin de leurs voisins sur plusieurs variables à la fois.
Leçon suivante : Loin des voisins : la distance kNN