Beaucoup de mesures et beaucoup de tests
- Leçon 14
- 35 min
- Module 4 : Les pièges des vrais tests
Où nous en sommes
Les regards répétés examinent une mesure plusieurs fois. Un autre piège consiste à examiner plusieurs mesures une seule fois. Dans cette leçon, nous vérifions 20 mesures dans un test. Nous trouvons un résultat gagnant sans effet réel, puis appliquons Bonferroni et Benjamini–Hochberg.
Leçon 14 sur 30 · Expériences et impact causal : notre changement a-t-il fonctionné?Beaucoup de mesures et beaucoup de tests
1. Pourquoi « ça a monté » n'est pas une réponse
2. Concevoir un test A/B
3. Analyser le test
4. Les pièges des vrais tests
5. Quand la répartition aléatoire est impossible : les expériences naturelles
6. Ajuster pour les facteurs de confusion dans des données d'observation
7. Le gain incrémental : à qui appliquer le traitement?
8. Les expériences pour les fonctions d'IA et en production
Ce que vous saurez faire
Lisez un test avec plusieurs mesures sans trouver de résultats gagnants qui n’existent pas. Vérifiez 20 mesures avec la règle des 5 % : environ une mesure « gagne » par hasard. Une correction et une mesure principale choisie avant le test limitent ces faux résultats gagnants.
Carnet JupyterFaites cette leçon dans un carnet Jupyter
Dans le carnet (notebook) Jupyter, vous simulez 1 000 tests A/A avec 20 mesures chacun. Vous comptez les faux résultats gagnants et appliquez Bonferroni et Benjamini–Hochberg. Ensuite, vous appliquez Benjamini–Hochberg à la main à cinq valeurs p. Les cellules de préparation installent les paquets. Aucune préparation locale n’est donc nécessaire. Environ 25 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Les regards répétés et le sens des 5 %, vus dans Regards répétés.
- Les mesures principales, les garde-fous et les mesures de diagnostic, vus dans Choisir les mesures.
- Les tests d’hypothèse et les valeurs p, vus dans Comparer des options du cours Mathématiques et statistiques essentielles pour l’IA.
Ce qu’il vous faut sur votre ordinateur (seulement pour les étapes du projet)
- Le projet
larkfield-experimentsà l’instantanéend-of-m04, provenant de Regards répétés, avec.venvactif.
Testé sur macOS avec Python 3.12 et l’instantané end-of-m04 du projet. Windows n’a pas été testé.
Un nouveau déjeuner et vingt résultats scolaires
Section intitulée « Un nouveau déjeuner et vingt résultats scolaires »Une école donne un nouveau déjeuner à ses élèves pendant un mois. Ensuite, le directeur compare les élèves à ceux de l’année précédente selon 20 résultats : mathématiques, lecture, orthographe, course, présence et 15 autres. Un résultat est meilleur, avec p = 0,03 : l’orthographe.
Le journal écrit : « Le nouveau déjeuner améliore l’orthographe. » Mais personne ne s’attendait à un changement en orthographe. Avec 20 résultats, l’un d’eux risque de sembler meilleur par pur hasard. Le directeur n’a pas trouvé d’effet. Il a trouvé le plus chanceux de 20 nombres.
Le problème : une mise en page qui « augmente les ajouts à la liste de souhaits »
Section intitulée « Le problème : une mise en page qui « augmente les ajouts à la liste de souhaits » »TermeLarkfieldUne boutique en ligne canadienne inventée, qui vend des articles pour la maison et le jardin. Ce n’est pas une vraie entreprise. Tous les cours Nextia utilisent son service d’assistance et ses données comme exemple.En savoir plus Découvrez Larkfield a testé une nouvelle mise en page de sa page produit. Le plan nommait une mesure principale : le revenu par client. Le tableau de bord montre 19 autres mesures : commandes, visites, ajouts au panier, ajouts à la liste de souhaits, lectures de vidéos et autres. Le simulateur propose ce test comme scénario. Son faux résultat gagnant est un exercice créé volontairement : la mise en page ne change rien.
-
Exécutez le test de mise en page.
Fenêtre de terminal sim run --scenario many-metricsScenario many-metrics (seed 2001): A new product page layout with no real effect, checked on 20 metrics (planted: one false winner).Wrote runs/many-metrics-s2001: customers (33,357 rows), visits (107,695 rows). Synthetic data. 3.9 s -
Analysez la mesure principale.
Fenêtre de terminal xp analyseRun many-metrics-s2001 (synthetic): A new product page layout with no real effect, checked on 20 metrics (planted: one false winner).Metric: revenue. A: 16,451 customers, mean 25.4117. B: 16,906 customers, mean 24.6490.difference -0.7627 (-3.0%), 95% interval -2.2962 to +0.7709, p = 0.33 (Welch t-test)Saved to runs/many-metrics-s2001/analysis.json. Compare with the true effect: xp check -
Testez les 20 mesures en même temps.
Fenêtre de terminal xp metricsRun many-metrics-s2001: 20 metrics. Primary metric: revenue.metric relative p p<0.05 Bonferroni BHrevenue -3.00% 0.3297 - - -orders -0.81% 0.7448 - - -converted -0.80% 0.6996 - - -returns -8.83% 0.1948 - - -visits -0.13% 0.8942 - - -pages_viewed -0.16% 0.8994 - - -add_to_cart -1.07% 0.4960 - - -wishlist_adds +5.31% 0.0307 yes - -reviews_read -0.68% 0.6344 - - -search_uses +1.07% 0.4363 - - -newsletter_signups +11.35% 0.1746 - - -minutes_on_site -0.09% 0.9562 - - -support_contacts +0.47% 0.9115 - - -coupon_uses -0.06% 0.9874 - - -share_clicks +11.72% 0.0637 - - -photo_zooms +0.65% 0.6465 - - -size_guide_views +0.38% 0.8931 - - -video_plays +0.27% 0.8978 - - -compare_uses +0.79% 0.7636 - - -stock_alerts -3.55% 0.4553 - - -Without a correction: 1 winner(s) ['wishlist_adds']. Bonferroni: 0. Benjamini-Hochberg: 0. -
Comparez avec la réalité.
Fenêtre de terminal xp checkRun many-metrics-s2001: the last analysis was `xp metrics`.Metrics with a real effect (from the simulator): none.Your winners without a correction: wishlist_adds; false winners: wishlist_adds.After Benjamini-Hochberg: none.
La mesure principale n’a pas changé : −3,0 %, p = 0,33. Mais une mesure a « gagné » : les ajouts à la liste de souhaits, +5,3 %, p = 0,031. Un rapport pourrait dire : « La nouvelle mise en page augmente les ajouts à la liste de souhaits de 5 %. » Le simulateur indique qu’aucune mesure ne présente d’effet réel.
Description textuelle du graphique
Vingt lignes sur un axe allant de −25 % à +30 %, avec une ligne d’absence d’effet à 0. Chaque ligne représente une mesure avec son estimation et son TermeIntervalle de confianceUne plage autour d’une valeur mesurée, obtenue par une méthode qui contient la vraie valeur 95 fois sur 100. Si l’intervalle d’une différence ne contient pas zéro, la différence n’est probablement pas due au hasard.En savoir plus Estimer l'incertitudeMathématiques et statistiques essentielles pour l'IA à 95 %. revenue : −3 % (−9 à 3); orders : −0,8 % (−5,7 à 4); converted : −0,8 % (−4,9 à 3,3); returns : −8,8 % (−22,2 à 4,5); visits : −0,1 % (−2,1 à 1,8); pages_viewed : −0,2 % (−2,6 à 2,3); add_to_cart : −1,1 % (−4,1 à 2); wishlist_adds : 5,3 % (0,5 à 10,1); reviews_read : −0,7 % (−3,5 à 2,1); search_uses : 1,1 % (−1,6 à 3,8); newsletter_signups : 11,3 % (−5 à 27,7); minutes_on_site : −0,1 % (−3,4 à 3,3); support_contacts : 0,5 % (−7,8 à 8,7); coupon_uses : −0,1 % (−7 à 6,8); share_clicks : 11,7 % (−0,7 à 24,1); photo_zooms : 0,7 % (−2,1 à 3,4); size_guide_views : 0,4 % (−5,1 à 5,9); video_plays : 0,3 % (−3,8 à 4,4); compare_uses : 0,8 % (−4,4 à 5,9); stock_alerts : −3,5 % (−12,9 à 5,8). Seul l’intervalle des ajouts à la liste de souhaits se situe entièrement au-dessus de zéro. Le revenu, la mesure principale, est à −3,0 %, avec un intervalle qui contient zéro.
Dix-neuf intervalles contiennent zéro, et un l’exclut. C’est ce que font les intervalles à 95 % : environ 1 sur 20 exclut la valeur réelle. Avec 20 mesures, vous devriez vous attendre à environ une exclusion.
L’idée : plusieurs chances, un faux résultat gagnant
Section intitulée « L’idée : plusieurs chances, un faux résultat gagnant »Chaque mesure est un test. Chaque test sans effet réel a 5 % de chances d’afficher p < 0,05. Si vous exécutez 20 tests de ce type, la probabilité qu’au moins un franchisse le seuil dépasse largement 5 %. C’est le problème des tests multiples. Un résultat gagnant dû uniquement au hasard est une fausse découverte.
Si les 20 mesures étaient indépendantes, la probabilité serait de 1 − 0,9520 = 64 %. C’est le même calcul que pour 20 segments dans Segments et effets différents. Les mesures réelles évoluent ensemble : un client qui consulte plus de pages ajoute aussi plus d’articles au panier. Elles offrent donc moins de chances indépendantes. Le cours a exécuté le test de mise en page avec 300 graines (seeds) :
Description textuelle du graphique
Cinq barres. La formule pour 20 mesures indépendantes : 64,2 %. Taux mesuré sans correction : 56,0 %. Bonferroni : 4,0 %. Benjamini–Hochberg : 4,7 %. La mesure principale seule : 7,0 %.
Plus de la moitié des exécutions présentent un faux résultat gagnant. La mesure principale seule donne 7,0 %, près de 5 %. Avec seulement 300 exécutions, le hasard fait varier le taux mesuré d’un point ou deux.
Deux corrections
Section intitulée « Deux corrections »Une correction rend le test de chaque mesure plus strict pour que l’ensemble des tests respecte une promesse. Les deux corrections courantes respectent deux promesses différentes.
Bonferroni : un seuil plus strict pour chaque mesure
Section intitulée « Bonferroni : un seuil plus strict pour chaque mesure »Bonferroni divise 0,05 par le nombre de mesures. Avec 20 mesures, une mesure gagne seulement si p < 0,05 / 20 = 0,0025. Sa promesse : la probabilité d’un faux résultat gagnant quelconque, parmi toutes les mesures, reste sous 5 %. Cette probabilité s’appelle le taux d’erreur familial.
Cette correction est simple et sûre. Elle est aussi stricte : un effet réel de taille moyenne peut ne pas atteindre p < 0,0025. Vous risquez donc de le manquer.
Benjamini–Hochberg : contrôler la proportion de faux résultats gagnants
Section intitulée « Benjamini–Hochberg : contrôler la proportion de faux résultats gagnants »Benjamini–Hochberg (BH) respecte une autre promesse. Parmi les mesures que vous déclarez gagnantes, la proportion de fausses gagnantes reste sous 5 % en moyenne. Cette proportion est le taux de fausses découvertes (FDR).
La méthode comporte trois étapes :
- Triez les m valeurs p de la plus petite à la plus grande.
- Donnez à la k-ième plus petite la limite k / m × 0,05.
- Trouvez le plus grand k dont la valeur p ne dépasse pas sa limite. Toutes les mesures jusqu’à ce k gagnent.
Voici un petit exemple avec cinq mesures. Nous avons inventé les valeurs p pour cet exemple.
| Rang k | Valeur p | Limite de Bonferroni (0,05 / 5) | Limite BH (k / 5 × 0,05) | BH : respecte la limite? |
|---|---|---|---|---|
| 1 | 0,004 | 0,01 : gagne | 0,01 | oui |
| 2 | 0,012 | 0,01 : non | 0,02 | oui |
| 3 | 0,030 | 0,01 : non | 0,03 | oui |
| 4 | 0,30 | 0,01 : non | 0,04 | non |
| 5 | 0,70 | 0,01 : non | 0,05 | non |
Le plus grand k qui respecte sa limite est 3. BH conserve donc trois résultats gagnants : les rangs 1, 2 et 3. Bonferroni n’en conserve qu’un. BH est moins stricte et trouve donc plus d’effets réels. Elle accepte que quelques résultats gagnants soient faux.
Les 20 mesures de Larkfield
Section intitulée « Les 20 mesures de Larkfield »Appliquez BH au test de mise en page. Voici les cinq plus petites valeurs p parmi les 20 :
| Rang k | Mesure | Valeur p | Limite BH (k / 20 × 0,05) |
|---|---|---|---|
| 1 | wishlist_adds | 0,0307 | 0,0025 |
| 2 | share_clicks | 0,0637 | 0,0050 |
| 3 | newsletter_signups | 0,1746 | 0,0075 |
| 4 | returns | 0,1948 | 0,0100 |
| 5 | revenue | 0,3297 | 0,0125 |
Même la plus petite valeur p, 0,0307, dépasse largement sa limite, 0,0025. Aucune mesure ne gagne. C’est ce que xp metrics a affiché : Bonferroni 0, Benjamini–Hochberg 0. Sur 300 exécutions, BH a laissé au moins un faux résultat gagnant dans 4,7 % des cas, et Bonferroni dans 4,0 %.
Choisir la mesure principale avant le test
Section intitulée « Choisir la mesure principale avant le test »Les corrections aident, mais la règle la plus solide est plus ancienne : une mesure principale décide, et vous la choisissez avant le test. Vous l’avez inscrite dans le plan dans Écrire le plan d’abord. Une mesure, un seul regard à la fin : les 5 % restent valides.
Les autres mesures ont toujours un rôle :
- Les mesures de diagnostic expliquent le résultat : le revenu a-t-il augmenté grâce à plus de commandes ou à des paniers plus gros? Lisez-les avec BH. Traitez une surprise comme une idée pour le prochain test, pas comme un résultat.
- Les garde-fous protègent le magasin : retours, plaintes, vitesse des pages. Un garde-fou demande « Est-ce que cela a empiré? » Il ne cherche donc pas de résultats gagnants. Nommez les garde-fous dans le plan, et ne les éliminez pas par une correction.
Ce qui n’est pas permis : choisir la mesure après avoir vu les données. Si les ajouts à la liste de souhaits avaient été la mesure principale du plan, p = 0,031 serait un résultat valable. Choisie après le test parmi 20 mesures, cette valeur est la plus chanceuse de 20 nombres.
Beaucoup de tests, pas seulement beaucoup de mesures
Section intitulée « Beaucoup de tests, pas seulement beaucoup de mesures »Le même problème apparaît d’un test à l’autre. Mateo, qui tient le journal des tests de Larkfield, compte 40 tests par année. Si la plupart des changements ne font rien, environ 5 % « gagnent » quand même. Le journal conserve chaque test, avec son plan et son résultat. L’équipe peut ainsi voir combien de résultats gagnants attendre du seul hasard. Les segments sont une autre forme de tests multiples : vous avez vu 20 segments dans Segments et effets différents.
| Vous vérifiez | Promesse nécessaire | À utiliser |
|---|---|---|
| Une mesure principale, choisie dans le plan | 5 % de faux résultats gagnants | Le test habituel, sans correction |
| Quelques mesures de diagnostic pour expliquer le résultat | Peu de faux résultats gagnants parmi les gagnants | Benjamini–Hochberg |
| Plusieurs mesures où tout faux résultat gagnant coûte cher | Aucun faux résultat gagnant, au seuil de 5 % | Bonferroni |
| Des garde-fous | Détecter rapidement les dommages | Une règle distincte pour chacun, inscrite dans le plan |
Exercice guidé : compter et corriger les faux résultats gagnants
Section intitulée « Exercice guidé : compter et corriger les faux résultats gagnants »- Ouvrez le carnet Jupyter de l’encadré Faites cette leçon dans un carnet Jupyter en haut de cette page.
- Exécutez les cellules de préparation et la cellule auxiliaire.
- Dans la section 1, prédisez combien des 20 mesures d’un test A/A affichent p < 0,05. Exécutez ensuite la cellule.
- Dans la section 2, exécutez 1 000 tests A/A. Environ 65 % des tests présentent un faux résultat gagnant avec des mesures indépendantes, et moins avec des mesures liées.
- Dans la section 3, appliquez Bonferroni et Benjamini–Hochberg aux mêmes tests. Les deux ramènent le taux près de 5 %.
- Dans la section 4, calculez les cinq limites BH et le nombre de mesures que BH conserve.
- Exécutez les cellules de vérification. Elles affichent
Check passed(vérification réussie).
Afficher la réponse à l’étape 6
p5 = [0.004, 0.012, 0.030, 0.30, 0.70] # already sortedbh_limits = [round(k / 5 * 0.05, 3) for k in range(1, 6)]passes = [p <= limit for p, limit in zip(p5, bh_limits)]kept = max(k + 1 for k, ok in enumerate(passes) if ok)print(bh_limits, passes, kept)Les limites sont 0,01, 0,02, 0,03, 0,04 et 0,05. Les trois premières valeurs p respectent les limites, donc kept vaut 3.
À vous : l’effet sur la liste de souhaits est-il réel?
Section intitulée « À vous : l’effet sur la liste de souhaits est-il réel? »TermeOmarLe gestionnaire de produit de Larkfield. Il pose les questions d’affaires : ce qu’un changement coûte et ce qu’il apporte à la boutique. demande : « Oubliez les 19 autres. Vérifiez seulement les ajouts à la liste de souhaits. L’effet est-il réel? » Faites d’abord une prédiction : le test de cette seule mesure dira-t-il oui ou non? L’intervalle contiendra-t-il la valeur réelle? Analysez ensuite wishlist_adds seule et vérifiez.
Afficher la réponse
xp analyse --metric wishlist_addsxp checkRun many-metrics-s2001 (synthetic): A new product page layout with no real effect, checked on 20 metrics (planted: one false winner).Metric: wishlist_adds. A: 16,451 customers, mean 0.2839. B: 16,906 customers, mean 0.2989. difference +0.0151 (+5.3%), 95% interval +0.0014 to +0.0287, p = 0.0307 (Welch t-test)Saved to runs/many-metrics-s2001/analysis.json. Compare with the true effect: xp checkRun many-metrics-s2001: the last analysis was `xp analyse`.True effect (from the simulator): +0.0000 every metric: no real effect.Your estimate: +0.0151, 95% interval +0.0014 to +0.0287: the interval does NOT contain the true effect.Le test d’une seule mesure donne p = 0,031, et son intervalle exclut la valeur réelle. Le test n’est pas incorrect : c’est l’un des 1 sur 20 intervalles qui excluent la valeur réelle. L’erreur est le choix. Nous avons choisi cette mesure parce qu’elle avait la plus petite des 20 valeurs p. Pour vérifier l’idée équitablement, lancez un nouveau test avec les ajouts à la liste de souhaits comme mesure principale.
Erreur courante
« Le revenu n'a pas changé, mais les ajouts à la liste de souhaits, oui »
Symptôme : le test de mise en page se termine sans changement du revenu. Le rapport dit : « La nouvelle mise en page augmente les ajouts à la liste de souhaits de 5,3 % (p = 0,03). Nous recommandons sa mise en production. » Quelques mois plus tard, les ajouts à la liste de souhaits sont revenus au niveau précédent.
Cause : le rapport a choisi la mesure après le test, parmi 20 mesures. Avec 20 tests à 5 %, environ un faux résultat gagnant est normal. Dans les 300 exécutions du cours, 56 % en avaient au moins un. La valeur p d’une mesure ne tient pas compte des 19 autres chances.
Solution : choisissez la mesure principale dans le plan. Présentez toutes les mesures vérifiées, avec une correction : xp metrics affiche Bonferroni et Benjamini–Hochberg. Traitez une surprise dans une mesure de diagnostic comme une idée pour un nouveau test.
Vérifiez votre compréhension
Un test comporte 10 mesures. Avec Bonferroni à 5 %, quelle valeur p une mesure doit-elle avoir pour gagner? Trois mesures ont p = 0,003, 0,008 et 0,04. Lesquelles gagnent?
Afficher la réponse
La limite de Bonferroni est 0,05 / 10 = 0,005. Seule la mesure avec p = 0,003 gagne. La mesure avec p = 0,008 dépasse 0,005, tout comme celle avec p = 0,04.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Appliquez Benjamini–Hochberg à 5 % à quatre mesures avec p = 0,001, 0,020, 0,030 et 0,50. Quelles mesures gagnent?
Afficher la réponse
Triez les valeurs p. Donnez à la k-ième la limite k / 4 × 0,05 : 0,0125, 0,025, 0,0375 et 0,05. Comparez ensuite. 0,001 ≤ 0,0125 oui; 0,020 ≤ 0,025 oui; 0,030 ≤ 0,0375 oui; 0,50 ≤ 0,05 non. Le plus grand k qui respecte sa limite est 3, donc les trois premières mesures gagnent. Bonferroni (0,05 / 4 = 0,0125) ne conserverait que la première.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Tomás dit : « Nous vérifions 20 mesures et appliquons Bonferroni, donc nous n'avons pas besoin d'une mesure principale. » Qu'est-ce qui ne va pas dans ce raisonnement?
Afficher la réponse
Bonferroni limite les faux résultats gagnants. Mais elle rend le test de chaque mesure très strict (p < 0,0025). Le test risque donc de manquer l’effet réel sur la mesure importante. Elle ne dit pas non plus quel résultat décide. Une mesure principale choisie dans le plan conserve la règle normale des 5 % pour la mesure qui décide. Nous planifions aussi la taille d’échantillon du test pour cette mesure. Les autres mesures expliquent le résultat ou protègent contre les dommages.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Avec plusieurs mesures, certaines « gagnent » par hasard. C’est le problème des tests multiples. Un résultat gagnant dû uniquement au hasard est une fausse découverte.
- Le test de mise en page, un exercice créé volontairement, n’avait aucun effet réel. Une des 20 mesures, les ajouts à la liste de souhaits, affichait +5,3 % avec p = 0,031. Sur 300 exécutions, 56 % avaient au moins un faux résultat gagnant.
- Bonferroni divise 0,05 par le nombre de mesures. Elle contrôle la probabilité d’un faux résultat gagnant quelconque (4,0 % sur 300 exécutions).
- Benjamini–Hochberg compare la k-ième plus petite valeur p à k / m × 0,05. Elle contrôle la proportion de faux résultats gagnants parmi les gagnants (4,7 % des exécutions en avaient un). Elle trouve plus d’effets réels que Bonferroni.
- La règle la plus solide : une mesure principale, choisie dans le plan, décide. Les mesures de diagnostic expliquent; les garde-fous protègent.
Vous pouvez maintenant contrôler les faux résultats gagnants au fil des jours et parmi les mesures. Ensuite, un effet réel qui ne dure pas : un composant qui gagne pendant ses premières semaines, puis perd.
Leçon suivante : Effets de nouveauté et d'apprentissage