Aller au contenu
English

Taille d'échantillon et puissance

  • Leçon 7
  • 40 min
  • Module 2 : Concevoir un test A/B

Où nous en sommes

Nous avons une unité et une mesure principale. La prochaine question est le nombre de clients nécessaires et la durée du test. Dans cette leçon, nous calculons la taille d'échantillon et la puissance d'un test avec statsmodels. Nous vérifions la réponse par simulation et voyons quoi faire si le test est trop long.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité
Leçon 7 sur 30 · Expériences et impact causal : notre changement a-t-il fonctionné?Taille d'échantillon et puissance

Ce que vous saurez faire

Calculez combien de clients un test exige pour détecter un effet de la taille qui compte, et combien de jours cela prend. Vérifiez ce nombre en simulant de nombreux tests fictifs. Un test trop petit manque souvent un effet réel. Quand il en détecte un, il en surestime la taille.

Carnet JupyterFaites cette leçon dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet calcule la taille d’échantillon du courriel de rappel avec statsmodels et lance 200 tests fictifs pour la vérifier. Ensuite, il trace les courbes de puissance et convertit le nombre de clients en jours. Il trouve aussi le plus petit effet que le test de livraison gratuite peut détecter. Ses cellules de préparation installent pandas et statsmodels et téléchargent les données d’exercice. Il ne nécessite donc aucune configuration locale. Environ 40 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 40 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

  • Le dossier de projet larkfield-experiments, avec son environnement virtuel actif, et l’exécution delivery-s40 de Choisir les mesures. Dans l’exercice guidé, vous copiez les fichiers de cette leçon depuis l’instantané end-of-m02 dans ../nextia-learning-labs/C40/snapshots/.

Testé sur macOS avec Python 3.12, statsmodels 0.15.0 et l’instantané end-of-m02. Windows n’a pas été testé.

La boulangère de Répartir au hasard tire maintenant à pile ou face à l’entrée. Elle mène son test de dégustation gratuite pendant une matinée : 30 clients, dont 15 goûtent et 15 ne goûtent pas. Ceux qui goûtent achètent un peu plus de pain. Est-ce grâce à la dégustation? Elle ne peut pas le savoir. Certains matins, une famille achète six pains pour une fête. Une seule famille comme celle-là, dans l’un ou l’autre groupe, influence le résultat plus qu’un petit effet de dégustation.

Combien de matinées lui faudrait-il? Cela dépend de trois choses. Quelle est la taille de l’effet qui compte pour elle? Une dégustation qui double les ventes se remarque en une journée; une hausse de 3 % exige des semaines. À quel point les ventes varient-elles d’un client à l’autre? Et à quel point veut-elle être certaine de détecter l’effet, s’il existe? Cette leçon transforme ces trois questions en nombre de clients, puis ce nombre en jours.

Le problème : un effet réel et un test qui le manque

Section intitulée « Le problème : un effet réel et un test qui le manque »

Le test de livraison gratuite de Hana a un effet réel. Le simulateur le connaît : environ +0,70 $ par client, soit +2,8 % (simulé). Le test a duré 28 jours avec environ 55 000 clients par groupe. Cela semble beaucoup. Mais lancez le même test avec quatre graines (seeds) différentes, soit quatre ensembles de clients et quatre tirages à pile ou face :

Le même test de livraison gratuite avec quatre graines. L'effet réel est d'environ +0,70 à +0,77 $ chaque fois. Deux tests le détectent (bleu); deux indiquent « aucun effet clair » (gris), et l'un estime −0,05.
Description textuelle du graphique

Quatre lignes sur un axe de −1,2 à +2,6 $, avec une ligne à 0 portant la mention « aucun effet ». Graine 40 : +1,0266, TermeIntervalle de confianceUne plage autour d’une valeur mesurée, obtenue par une méthode qui contient la vraie valeur 95 fois sur 100. Si l’intervalle d’une différence ne contient pas zéro, la différence n’est probablement pas due au hasard.En savoir plus Estimer l'incertitudeMathématiques et statistiques essentielles pour l'IA de +0,1583 à +1,895, p = 0,0205. Graine 41 : −0,0492, intervalle de −0,9353 à +0,8369, p = 0,913. Graine 42 : +0,3646, intervalle de −0,4894 à +1,2186, p = 0,403. Graine 43 : +1,4322, intervalle de +0,5404 à +2,3241, p = 0,00165. Les effets réels se situent entre +0,70 et +0,77 $. Les intervalles des graines 40 et 43 sont au-dessus de 0; ceux des graines 41 et 42 traversent 0.

La graine 40, utilisée par défaut, a détecté l’effet : p = 0,0205. La graine 41 a estimé −0,05 $, p = 0,913 : « aucun effet ». Chaque intervalle contient l’effet réel de sa graine, donc aucun test ne se trompe. Mais deux tests sur quatre n’ont pas pu distinguer un gain réel de 70 cents d’un gain nul.

Sur 200 graines, le test de livraison gratuite détecte l’effet dans seulement 41,5 % des exécutions. La graine par défaut fait partie des cas chanceux. Une équipe qui ne mènerait ce test qu’une fois manquerait un effet réel plus souvent qu’elle ne le détecterait.

Il y a un deuxième problème, moins visible. Regardez les deux tests qui ont détecté l’effet : +1,03 et +1,43 $, contre des effets réels de +0,70 et +0,77. Quand un petit test détecte un effet, c’est généralement parce que le hasard a poussé l’estimation vers le haut. Un « succès » dans un petit test surestime donc souvent l’effet.

Quatre nombres déterminent la taille d’un test :

  1. L’effet minimal détectable (EMD, MDE). Le plus petit effet qu’il vous importe de détecter. C’est une question d’affaires, pas de statistiques : « en dessous, le changement n’en vaut pas la peine ». Pour le courriel de rappel, Rafael propose 1 point de pourcentage : passer de 9 % à 10 % de clients qui commandent.
  2. La puissance. La probabilité que le test détecte un effet exactement égal à l’EMD, s’il existe. Le choix habituel est 80 % : un effet réel sur cinq passe inaperçu.
  3. Le seuil de signification, alpha. La valeur p sous laquelle vous dites « détecté ». Le choix habituel est 0,05 : sans effet réel, 5 % des exécutions en « détectent » un par hasard.
  4. Le bruit de la mesure. Pour une proportion comme 9 %, il découle de la proportion elle-même. Pour une moyenne comme le revenu, c’est l’écart-type : la distance habituelle entre un client et la moyenne.

À partir de ces quatre nombres, une formule donne la taille d’échantillon : le nombre de clients par groupe. La durée est ensuite cette taille divisée par le nombre de clients qui entrent dans le test chaque jour. On l’arrondit à des semaines complètes. Les habitudes d’achat diffèrent le dimanche et le mardi. Chaque jour de la semaine doit donc apparaître aussi souvent dans le test.

Une règle approximative donne une première réponse. Pour une proportion, le nombre de clients par groupe est d’environ :

n ≈ 16 × p × (1 − p) ÷ EMD²

Avec toutes les valeurs du courriel :

Étape Valeur
p, la proportion qui commande sans le courriel 0,09
p × (1 − p) = 0,09 × 0,91 0,0819
EMD² = 0,01 × 0,01 0,0001
0,0819 ÷ 0,0001 819
× 16 13 104 clients par groupe

D’où vient le 16? Les seuils sont 1,96 pour un alpha de 0,05 et 0,84 pour une puissance de 80 %, en erreurs types. (1,96 + 0,84)² × 2 groupes = 2,80² × 2 = 15,7, soit environ 16. Le cours de mathématiques explique l’origine de ces seuils : L’intervalle de confiance : une plage avec un taux de réussite connu.

La formule montre trois choses à la fois. La taille augmente avec le bruit, p × (1 − p). Elle diminue avec le carré de l’effet : un effet deux fois plus petit exige quatre fois plus de clients. Et elle ne dépend pas du nombre total de clients de TermeLarkfieldUne boutique en ligne canadienne inventée, qui vend des articles pour la maison et le jardin. Ce n’est pas une vraie entreprise. Tous les cours Nextia utilisent son service d’assistance et ses données comme exemple.En savoir plus Découvrez Larkfield.

statsmodels fait le calcul exact. Il utilise les deux proportions, 9 % et 10 %, et donne 13 488 clients par groupe, près de l’approximation. Le fichier power.py du projet l’appelle :

from statsmodels.stats.power import NormalIndPower
from statsmodels.stats.proportion import proportion_effectsize
es = abs(proportion_effectsize(0.09 + 0.01, 0.09)) # 9% -> 10% as one standard effect size
n = NormalIndPower().solve_power(effect_size=es, power=0.8, alpha=0.05, ratio=1.0)

Une formule repose sur des hypothèses. Une simulation montre ce qu’elle signifie. Créez 200 tests fictifs de 13 488 clients par groupe. Dans chacun, les clients de A commandent avec une probabilité de 9 % et ceux de B avec 10 %. L’effet réel est donc exactement de 1 point. Lancez le test t de Welch sur chacun, comme le fait xp analyse :

200 tests fictifs avec un effet réel d'exactement 1 point. Le hasard répartit leurs estimations d'environ +0,3 à +2,1 points. Les 79,5 % à droite de la ligne pointillée ont p < 0,05 : cette part est la puissance.
Description textuelle du graphique

Un histogramme des différences détectées par 200 tests fictifs, sur un axe de 0,2 à 2,2 points de pourcentage. L’effet réel est de 1 point dans chaque test, indiqué par une ligne. Les estimations forment une bosse autour de 1 point, de +0,29 à +2,07. Une deuxième ligne, à environ +0,7 points, indique où p passe sous 0,05. 79,5 % des tests sont à droite de cette ligne : ils ont détecté l’effet. Les autres sont à gauche : le hasard a réduit leur différence, et ils indiquent « aucun effet clair ».

L’effet réel est le même dans les 200 tests, mais chacun observe une différence distincte. Un test « détecte » l’effet quand sa différence dépasse environ 0,7 points, soit environ deux erreurs types. 79,5 % des tests fictifs l’ont fait : la simulation concorde avec les 80 % de la formule.

La puissance n’est pas une réponse « oui ou non ». Un test plus petit détecte quand même l’effet parfois, et un test plus grand le détecte plus souvent. Le graphique montre la puissance selon le nombre de clients par groupe, pour trois effets. Les points sont des simulations de 200 tests fictifs chacune :

  • Effet de 0,5 point
  • Effet de 1 point
  • Effet de 1,5 point
  • 1 point, 200 tests fictifs chacun
La puissance selon le nombre de clients par groupe, pour le courriel (9 % commandent sans lui). Une puissance de 80 % exige 6 131 clients par groupe pour 1,5 point, 13 488 pour 1 point et 52 700 pour un demi-point.
Description textuelle du graphique

Un graphique en courbes de la puissance, de 0 à 100 %, selon le nombre de clients par groupe, de 0 à 40 000. Trois courbes montent de gauche à droite et s’aplatissent près de 100 %. La courbe de 1,5 point monte le plus vite et dépasse 80 % à 6 131 clients par groupe. La courbe de 1 point dépasse 80 % à 13 488. La courbe d’un demi-point monte lentement et atteint seulement environ 68,5 % à 40 000; elle exige 52 700 clients par groupe pour 80 %. Six points, issus de simulations de 200 tests fictifs chacune, se trouvent près de la courbe de 1 point : 32,5 % à 3 372, 53 % à 6 744, 72 % à 10 116, 79,5 % à 13 488, 90,5 % à 20 232, 97,5 % à 26 976.

Lisez le graphique de gauche à droite. La puissance monte vite au début, puis lentement. Passer de 80 % à 90 % de puissance exige environ un tiers de clients de plus. Réduire l’EMD de moitié en exige quatre fois plus.

La commande xp power du projet calcule la formule, la durée et la simulation en une seule étape. Environ 4 000 clients par jour atteignent « 30 jours sans commande » et peuvent donc entrer dans le test :

Fenêtre de terminal
xp power --baseline 0.09 --mde 0.01 --per-day 4000 --simulate 200
To find an effect of +0.01 on a proportion (baseline 0.09) with 80% power at alpha 0.05:
13,488 customers per group, 26,976 in total.
with 6,744 per group, power = 0.51
with 10,116 per group, power = 0.68
with 13,488 per group, power = 0.80
with 20,232 per group, power = 0.93
with 26,976 per group, power = 0.98
At 4,000 new customers a day: 7 days; run full weeks: 1 week (7 days).
Simulated: 200 fake tests with 13,488 customers per group and a true effect of +0.01: 80% found it (p < 0.05).

Le test de courriel exige donc 26 976 clients : 7 jours à 4 000 par jour, soit exactement une semaine complète. La simulation concorde avec la formule. Et l’effet réel? Le simulateur sait que l’effet réel du courriel est de +1,19 point, plus grand que l’EMD. Sur 200 tests de courriel simulés de cette taille, produits par le simulateur lui-même, 94 % l’ont détecté. La formule prévoit 91 %.

Le revenu par client est une mesure beaucoup plus bruitée. 78 % des clients ne dépensent rien, et quelques-uns dépensent des centaines de dollars. Dans le groupe A, la moyenne est de 25,05 $ et l’écart-type est de 73,22 $ : environ trois fois la moyenne. Inversez la question : avec 55 430 clients par groupe, quel est le plus petit effet détectable avec une puissance de 80 %?

Fenêtre de terminal
xp power --from-run delivery --mde 1.23 --per-day 3956
From delivery, group A: revenue mean 25.0504, standard deviation 73.2223.
To find an effect of +1.23 on a mean with standard deviation 73.222 (baseline 25.0504) with 80% power at alpha 0.05:
55,632 customers per group, 111,264 in total.
with 27,816 per group, power = 0.51
with 41,724 per group, power = 0.68
with 55,632 per group, power = 0.80
with 83,448 per group, power = 0.93
with 111,264 per group, power = 0.98
At 3,956 new customers a day: 29 days; run full weeks: 5 weeks (35 days).

Environ 1,23 $, soit 4,9 %. La taille réelle du test, 55 430 clients par groupe, est juste sous 55 632. L’effet réel, +0,70 $, est beaucoup plus petit que 1,23. Le test manquait donc de puissance : trop petit pour détecter l’effet de façon fiable. Selon la formule, sa puissance pour +0,70 est d’environ 35,5 %. Sur [object Object],[object Object],[object Object],[object Object] graines du simulateur, il a détecté l’effet dans 41,5 % des cas. Les deux nombres diffèrent un peu parce que l’effet réel varie d’une graine à l’autre (+0,74 $ en moyenne). Les deux disent la même chose : bien en dessous de 80 %.

La puissance que vise un plan de test (80 %), et la puissance réelle du test de livraison gratuite pour son effet réel : 35,5 % selon la formule, 41,5 % sur 200 graines simulées, 48,5 % avec CUPED (une façon d'éliminer du bruit, vue au module 3).
Description textuelle du graphique

Un graphique à quatre colonnes, sur un axe de 0 à 100 %. Puissance prévue : 80 %. Puissance selon la formule pour l’effet réel de +0,70 $ : 35,5 %. Proportion des 200 graines simulées où le test a détecté l’effet : 41,5 %. Même calcul avec CUPED, une méthode du module 3 qui élimine une partie du bruit : 48,5 %. Les trois valeurs réelles sont bien en dessous des 80 % prévus.

Quelle taille faudrait-il au test de livraison gratuite pour détecter de petits effets? Larkfield reçoit environ 3 956 nouveaux clients par jour :

Les jours nécessaires au test de livraison gratuite pour une puissance de 80 %, selon la taille de l'effet, à 3 956 clients par jour. Un effet de 1 % exige 679 jours : presque deux ans.
Description textuelle du graphique

Un graphique en colonnes des jours nécessaires au test de livraison gratuite, pour quatre tailles d’effet. 1 % du revenu par client (0,25 $) : 1 341 205 clients par groupe, 679 jours. 2 % : 335 302 par groupe, 170 jours. 3 % : 149 024 par groupe, 76 jours. 5 % : 53 650 par groupe, 28 jours, soit la durée du test réel.

Un effet de 3 %, proche de la réalité, exige 149 024 clients par groupe : 76 jours, soit 11 semaines complètes. Un effet de 1 % exige presque deux ans. C’est trop long : la saison change, le magasin change, et Hana ne peut pas attendre. Vous avez six options, chacune avec un coût :

  1. Demandez quel effet compte vraiment. L’EMD est une question d’affaires. Un gain inférieur à environ 1,25 $ (5 %) par client pourrait ne pas couvrir le coût supplémentaire de livraison. Dans ce cas, 4 semaines suffisent pour la décision de Hana. Manquer un effet plus petit coûte peu, puisqu’il ne serait pas rentable. La prochaine leçon inscrit cela dans le plan.
  2. Réduisez le bruit. CUPED utilise les dépenses de chaque client avant le test pour éliminer une partie du bruit. Sur 200 graines, il a éliminé environ un cinquième de la variance : environ 20 % moins de clients pour la même précision. Vous l’utilisez au module 3, Gagner en précision avec CUPED.
  3. Utilisez davantage du trafic. Incluez chaque client admissible dans le test et répartissez-les à 50/50. Une répartition inégale, comme 90/10, exige plus de clients au total.
  4. Choisissez une mesure moins bruitée, avec soin. La proportion de clients qui commandent est moins bruitée que le revenu. Mais elle doit rester liée à la décision. Choisissez-la avant le test, jamais parce qu’elle a donné le plus petit nombre.
  5. Acceptez moins, en connaissance de cause. Une puissance de 70 % ou un alpha plus grand raccourcit le test. Inscrivez ce choix dans le plan avec son coût : plus d’effets manqués ou plus de faux succès.
  6. Ne faites pas le test. Un test incapable de détecter l’effet qui compte fait perdre du temps. Un « succès » chanceux surestimera l’effet. Décidez avec d’autres éléments de preuve, ou revenez aux méthodes du module 5 une fois le changement déployé.

Cette leçon ajoute deux fichiers au projet, power.py et la commande xp power, ainsi que leurs tests.

  1. Dans larkfield-experiments, avec l’TermeEnvironnement virtuelUn dossier avec son propre Python et ses propres paquets, pour un seul projet. Les paquets installés là ne changent pas les autres projets.En savoir plus Isoler les dépendancesPython pour l'ingénierie de l'IA en pratique actif, copiez les fichiers depuis l’instantané end-of-m02 :

    Fenêtre de terminal
    S=../nextia-learning-labs/C40/snapshots/end-of-m02
    for f in larkfield_experiments/power.py larkfield_experiments/commands/power.py tests/test_design.py; do
    cp "$S/$f" "$f"
    done

    Si vous avez téléchargé le fichier ZIP dans Découvrir le simulateur, le dossier des exercices est nextia-learning-labs-main. Utilisez ce nom dans S. xp trouve ses commandes grâce aux fichiers dans larkfield_experiments/commands/; vous n’avez donc pas besoin de refaire l’installation.

  2. Lancez les tests. Un test dans test_design.py exige xp plan, qui arrive dans la prochaine leçon. Excluez-le pour le moment :

    Fenêtre de terminal
    python -m pytest -q -k "not plan"
    13 passed, 1 deselected in 1.26s

    La durée peut être différente sur votre ordinateur.

  3. Lisez larkfield_experiments/power.py. sample_size utilise NormalIndPower pour une proportion et TTestIndPower pour une moyenne. simulated_power lance une fonction de test plusieurs fois et compte les valeurs p sous alpha.

  4. Calculez la taille du test de courriel, avec la simulation :

    Fenêtre de terminal
    xp power --baseline 0.09 --mde 0.01 --per-day 4000 --simulate 200

    Vous voyez 13,488 customers per group (13 488 clients par groupe), 7 days (7 jours) et 80% found it (80 % l’ont détecté), comme ci-dessus.

  5. Trouvez le plus petit effet détectable du test de livraison gratuite. La commande lit l’écart-type dans l’exécution delivery-s40 :

    Fenêtre de terminal
    xp power --from-run delivery --mde 1.23 --per-day 3956

    Vous voyez 55,632 customers per group (55 632 clients par groupe) et 29 days (29 jours). Dans un vrai plan, vous prenez l’écart-type des semaines avant le test. Le cours utilise le groupe A pour les représenter : il contient le même type de clients.

  6. Demandez un effet de 3 % : 3 % de 25,05 $ donne 0,7515 $.

    Fenêtre de terminal
    xp power --from-run delivery --mde 0.7515 --per-day 3956

    La deuxième et la dernière ligne :

    149,029 customers per group, 298,058 in total.
    At 3,956 new customers a day: 76 days; run full weeks: 11 weeks (77 days).

    Le graphique ci-dessus utilise les 3 % exacts (0,75151 $) et affiche 149 024 : la même réponse, arrondie différemment.

Rafael constate qu’environ 1 000 clients par jour atteignent « 30 jours sans commande » en dehors de la période des Fêtes. Il garde l’EMD de 1 point. Faites d’abord une prédiction : combien de semaines complètes le test du courriel exige-t-il maintenant? Pourquoi pas exactement 7 × 4 = 28 jours? Puis exécutez xp power avec --per-day 1000.

Afficher la réponse
Fenêtre de terminal
xp power --baseline 0.09 --mde 0.01 --per-day 1000

La dernière ligne :

At 1,000 new customers a day: 27 days; run full weeks: 4 weeks (28 days).

La taille d’échantillon ne change pas : 13 488 par groupe, 26 976 au total. Elle dépend de l’EMD, du bruit, de la puissance et d’alpha, pas du trafic. À 1 000 par jour, il faut 27 jours pour atteindre 26 976 clients. En arrondissant aux semaines complètes, cela donne 4 semaines, soit 28 jours. Le jour supplémentaire permet d’inclure chaque jour de la semaine quatre fois dans le test.

Erreur courante

Deux jours de courriels, et « aucun effet »

Symptôme : TermeTomásL’ingénieur en IA de Larkfield. Il propose souvent un raccourci rapide, et la leçon montre pourquoi il échoue. envoie le courriel de rappel pendant deux jours, sans calcul de puissance : environ 4 000 clients par groupe. La différence n’est pas significative. Il écrit : « Le courriel ne fonctionne pas. Arrêtons de l’envoyer. »

Cause : le test était trop petit. Avec 4 000 clients par groupe, la puissance pour détecter un effet de 1 point est d’environ 33 %. Même pour l’effet réel du courriel, +1,19 point, elle est d’environ 44 %. Plus de la moitié de ces tests indiquent « aucun effet clair » pour un courriel qui fonctionne. « Non significatif » dans un test de puissance insuffisante signifie « nous ne pouvons pas trancher », pas « aucun effet ».

Solution : calculez la taille d’échantillon avant le test, à partir de l’EMD qui compte. Exécutez le test pendant le nombre complet de semaines. Si un test est déjà terminé, présentez son intervalle, pas seulement la valeur p. Un intervalle large qui comprend à la fois 0 et l’EMD dit clairement que le test ne peut pas trancher.

Conséquence pour le travail en IA : un test trop petit d’un modèle ou d’une requête élimine de bons changements (« aucun effet »). Il met aussi en production des changements chanceux avec des chiffres exagérés. Déterminez à l’avance la taille de chaque test en ligne d’un modèle, d’une requête ou d’un changement de classement. Faites-le comme pour un TermeJeu de testUn ensemble fixe d’exemples dont on connaît les bonnes réponses. Chaque version d’un prompt ou d’un modèle passe sur le même ensemble, pour comparer les résultats équitablement.En savoir plus Créer un jeu de test représentatifLes LLM : comment ils fonctionnent et comment en choisir un hors ligne.

Vérifiez votre compréhension

Vérification de fin : un test du taux de commande a une référence de base de 9 %. Son EMD est de 1 point de pourcentage, sa puissance de 80 % et alpha de 0,05. Chaque jour, 2 000 clients admissibles arrivent. Combien de jours faut-il, et pourquoi?

Afficher la réponse

La taille d’échantillon est de 13 488 clients par groupe, soit 26 976 au total (statsmodels). La règle approximative 16 × 0,09 × 0,91 ÷ 0,01² donne environ 13 100. À 2 000 par jour, cela donne 26 976 ÷ 2 000 = 13,5, donc 14 jours. Ces 14 jours correspondent exactement à 2 semaines complètes, donc le test dure 14 jours. Les semaines complètes comptent, car les habitudes d’achat des clients varient selon le jour de la semaine. La taille dépend de l’EMD, du bruit, de la puissance et d’alpha; le trafic sert seulement à la convertir en jours.

Vérifiez votre compréhension

Prédisez : Rafael veut détecter un effet d'un demi-point plutôt que de 1 point. Environ combien de clients par groupe lui faut-il, et pourquoi?

Afficher la réponse

Environ quatre fois plus : la taille augmente selon 1 ÷ EMD², et (1 ÷ 0,5)² = 4. statsmodels donne 52 700 par groupe, contre 13 488 pour 1 point. À 4 000 clients par jour, le test passe de 1 semaine à 27 jours (4 semaines complètes). Un effet plus petit est plus difficile à distinguer du bruit.

Vérifiez votre compréhension

Le test de livraison gratuite a trouvé +1,03 $ avec p = 0,0205. Hana dit : « Ça a fonctionné, et ça ajoute 1,03 $ par client. » Que lui dites-vous sur la puissance du test et sur ce chiffre?

Afficher la réponse

Le test avait une puissance insuffisante pour l’effet réel. Avec environ 55 000 clients par groupe, il détecte un effet de 1,23 $ avec une puissance de 80 %. Mais l’effet réel est d’environ 0,70 $. Sur 200 graines (seeds) simulées, il a détecté l’effet dans seulement 41,5 % des exécutions. La graine 41 du même test a donné une estimation de −0,05 $. La graine par défaut a eu de la chance. Quand un petit test détecte un effet, le hasard a généralement poussé l’estimation vers le haut. Ainsi, 1,03 $ est probablement trop élevé : la valeur réelle est de 0,70 $. Présentez l’intervalle, de +0,16 à +1,90 $, pas seulement l’estimation ponctuelle.

Récapitulatif

  • La taille d’échantillon dépend de quatre nombres : l’effet minimal détectable (un choix d’affaires), la puissance (habituellement 80 %), alpha (habituellement 0,05) et le bruit de la mesure. Un effet deux fois plus petit exige quatre fois plus de clients.
  • Le plan du courriel : référence de base de 9 %, 1 point, puissance de 80 % : 13 488 clients par groupe. Sur 200 tests simulés, 80 % ont détecté l’effet. À 4 000 clients par jour, il faut 7 jours : une semaine complète.
  • Durée = clients ÷ clients par jour, arrondie aux semaines complètes.
  • Le test de livraison gratuite pouvait détecter 1,23 $ (4,9 %) avec une puissance de 80 %; la valeur réelle est de 0,70 $. Sur 200 graines, il a détecté l’effet dans seulement 41,5 % des cas (48,5 % avec CUPED). La graine par défaut est chanceuse, et son estimation de +1,03 $ est trop élevée.
  • Quand un test prendrait un an : demandez quel effet compte vraiment, réduisez le bruit (CUPED), utilisez tout le trafic avec une répartition 50/50, ou ne faites pas le test.

Vous pouvez maintenant déterminer la taille d’un test. Ensuite, vous consignerez chaque choix de ce module dans un plan d’une page avant le début du test. Vous y préciserez la décision pour chaque résultat possible.

Leçon suivante : Écrire le plan d'abord