Taille d'échantillon et puissance
- Leçon 7
- 40 min
- Module 2 : Concevoir un test A/B
Où nous en sommes
Nous avons une unité et une mesure principale. La prochaine question est le nombre de clients nécessaires et la durée du test. Dans cette leçon, nous calculons la taille d'échantillon et la puissance d'un test avec statsmodels. Nous vérifions la réponse par simulation et voyons quoi faire si le test est trop long.
Leçon 7 sur 30 · Expériences et impact causal : notre changement a-t-il fonctionné?Taille d'échantillon et puissance
1. Pourquoi « ça a monté » n'est pas une réponse
2. Concevoir un test A/B
3. Analyser le test
4. Les pièges des vrais tests
5. Quand la répartition aléatoire est impossible : les expériences naturelles
6. Ajuster pour les facteurs de confusion dans des données d'observation
7. Le gain incrémental : à qui appliquer le traitement?
8. Les expériences pour les fonctions d'IA et en production
Ce que vous saurez faire
Calculez combien de clients un test exige pour détecter un effet de la taille qui compte, et combien de jours cela prend. Vérifiez ce nombre en simulant de nombreux tests fictifs. Un test trop petit manque souvent un effet réel. Quand il en détecte un, il en surestime la taille.
Carnet JupyterFaites cette leçon dans un carnet Jupyter
Le carnet calcule la taille d’échantillon du courriel de rappel avec statsmodels et lance 200 tests fictifs pour la vérifier. Ensuite, il trace les courbes de puissance et convertit le nombre de clients en jours. Il trouve aussi le plus petit effet que le test de livraison gratuite peut détecter. Ses cellules de préparation installent pandas et statsmodels et téléchargent les données d’exercice. Il ne nécessite donc aucune configuration locale. Environ 40 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- La mesure principale, le revenu par client, et son garde-fou, vus dans Choisir les mesures.
- Une valeur p et « p < 0,05 », vus dans le cours de mathématiques : Les noms de ce que vous venez de faire. L’erreur type, la taille habituelle de l’erreur due au hasard, vue dans Estimer l’incertitude.
Ce qu’il vous faut sur votre ordinateur
- Le dossier de projet
larkfield-experiments, avec son environnement virtuel actif, et l’exécutiondelivery-s40de Choisir les mesures. Dans l’exercice guidé, vous copiez les fichiers de cette leçon depuis l’instantanéend-of-m02dans../nextia-learning-labs/C40/snapshots/.
Testé sur macOS avec Python 3.12, statsmodels 0.15.0 et l’instantané end-of-m02. Windows n’a pas été testé.
Combien de matinées faut-il à la boulangère?
Section intitulée « Combien de matinées faut-il à la boulangère? »La boulangère de Répartir au hasard tire maintenant à pile ou face à l’entrée. Elle mène son test de dégustation gratuite pendant une matinée : 30 clients, dont 15 goûtent et 15 ne goûtent pas. Ceux qui goûtent achètent un peu plus de pain. Est-ce grâce à la dégustation? Elle ne peut pas le savoir. Certains matins, une famille achète six pains pour une fête. Une seule famille comme celle-là, dans l’un ou l’autre groupe, influence le résultat plus qu’un petit effet de dégustation.
Combien de matinées lui faudrait-il? Cela dépend de trois choses. Quelle est la taille de l’effet qui compte pour elle? Une dégustation qui double les ventes se remarque en une journée; une hausse de 3 % exige des semaines. À quel point les ventes varient-elles d’un client à l’autre? Et à quel point veut-elle être certaine de détecter l’effet, s’il existe? Cette leçon transforme ces trois questions en nombre de clients, puis ce nombre en jours.
Le problème : un effet réel et un test qui le manque
Section intitulée « Le problème : un effet réel et un test qui le manque »Le test de livraison gratuite de Hana a un effet réel. Le simulateur le connaît : environ +0,70 $ par client, soit +2,8 % (simulé). Le test a duré 28 jours avec environ 55 000 clients par groupe. Cela semble beaucoup. Mais lancez le même test avec quatre graines (seeds) différentes, soit quatre ensembles de clients et quatre tirages à pile ou face :
Description textuelle du graphique
Quatre lignes sur un axe de −1,2 à +2,6 $, avec une ligne à 0 portant la mention « aucun effet ». Graine 40 : +1,0266, TermeIntervalle de confianceUne plage autour d’une valeur mesurée, obtenue par une méthode qui contient la vraie valeur 95 fois sur 100. Si l’intervalle d’une différence ne contient pas zéro, la différence n’est probablement pas due au hasard.En savoir plus Estimer l'incertitudeMathématiques et statistiques essentielles pour l'IA de +0,1583 à +1,895, p = 0,0205. Graine 41 : −0,0492, intervalle de −0,9353 à +0,8369, p = 0,913. Graine 42 : +0,3646, intervalle de −0,4894 à +1,2186, p = 0,403. Graine 43 : +1,4322, intervalle de +0,5404 à +2,3241, p = 0,00165. Les effets réels se situent entre +0,70 et +0,77 $. Les intervalles des graines 40 et 43 sont au-dessus de 0; ceux des graines 41 et 42 traversent 0.
La graine 40, utilisée par défaut, a détecté l’effet : p = 0,0205. La graine 41 a estimé −0,05 $, p = 0,913 : « aucun effet ». Chaque intervalle contient l’effet réel de sa graine, donc aucun test ne se trompe. Mais deux tests sur quatre n’ont pas pu distinguer un gain réel de 70 cents d’un gain nul.
Sur 200 graines, le test de livraison gratuite détecte l’effet dans seulement 41,5 % des exécutions. La graine par défaut fait partie des cas chanceux. Une équipe qui ne mènerait ce test qu’une fois manquerait un effet réel plus souvent qu’elle ne le détecterait.
Il y a un deuxième problème, moins visible. Regardez les deux tests qui ont détecté l’effet : +1,03 et +1,43 $, contre des effets réels de +0,70 et +0,77. Quand un petit test détecte un effet, c’est généralement parce que le hasard a poussé l’estimation vers le haut. Un « succès » dans un petit test surestime donc souvent l’effet.
L’idée : décider de la taille avant le test
Section intitulée « L’idée : décider de la taille avant le test »Quatre nombres déterminent la taille d’un test :
- L’effet minimal détectable (EMD, MDE). Le plus petit effet qu’il vous importe de détecter. C’est une question d’affaires, pas de statistiques : « en dessous, le changement n’en vaut pas la peine ». Pour le courriel de rappel, Rafael propose 1 point de pourcentage : passer de 9 % à 10 % de clients qui commandent.
- La puissance. La probabilité que le test détecte un effet exactement égal à l’EMD, s’il existe. Le choix habituel est 80 % : un effet réel sur cinq passe inaperçu.
- Le seuil de signification, alpha. La valeur p sous laquelle vous dites « détecté ». Le choix habituel est 0,05 : sans effet réel, 5 % des exécutions en « détectent » un par hasard.
- Le bruit de la mesure. Pour une proportion comme 9 %, il découle de la proportion elle-même. Pour une moyenne comme le revenu, c’est l’écart-type : la distance habituelle entre un client et la moyenne.
À partir de ces quatre nombres, une formule donne la taille d’échantillon : le nombre de clients par groupe. La durée est ensuite cette taille divisée par le nombre de clients qui entrent dans le test chaque jour. On l’arrondit à des semaines complètes. Les habitudes d’achat diffèrent le dimanche et le mardi. Chaque jour de la semaine doit donc apparaître aussi souvent dans le test.
Un petit exemple : le courriel, à la main
Section intitulée « Un petit exemple : le courriel, à la main »Une règle approximative donne une première réponse. Pour une proportion, le nombre de clients par groupe est d’environ :
n ≈ 16 × p × (1 − p) ÷ EMD²
Avec toutes les valeurs du courriel :
| Étape | Valeur |
|---|---|
| p, la proportion qui commande sans le courriel | 0,09 |
| p × (1 − p) = 0,09 × 0,91 | 0,0819 |
| EMD² = 0,01 × 0,01 | 0,0001 |
| 0,0819 ÷ 0,0001 | 819 |
| × 16 | 13 104 clients par groupe |
D’où vient le 16? Les seuils sont 1,96 pour un alpha de 0,05 et 0,84 pour une puissance de 80 %, en erreurs types. (1,96 + 0,84)² × 2 groupes = 2,80² × 2 = 15,7, soit environ 16. Le cours de mathématiques explique l’origine de ces seuils : L’intervalle de confiance : une plage avec un taux de réussite connu.
La formule montre trois choses à la fois. La taille augmente avec le bruit, p × (1 − p). Elle diminue avec le carré de l’effet : un effet deux fois plus petit exige quatre fois plus de clients. Et elle ne dépend pas du nombre total de clients de TermeLarkfieldUne boutique en ligne canadienne inventée, qui vend des articles pour la maison et le jardin. Ce n’est pas une vraie entreprise. Tous les cours Nextia utilisent son service d’assistance et ses données comme exemple.En savoir plus Découvrez Larkfield.
statsmodels fait le calcul exact. Il utilise les deux proportions, 9 % et 10 %, et donne 13 488 clients par groupe, près de l’approximation. Le fichier power.py du projet l’appelle :
from statsmodels.stats.power import NormalIndPowerfrom statsmodels.stats.proportion import proportion_effectsize
es = abs(proportion_effectsize(0.09 + 0.01, 0.09)) # 9% -> 10% as one standard effect sizen = NormalIndPower().solve_power(effect_size=es, power=0.8, alpha=0.05, ratio=1.0)Vérifier la formule : 200 tests fictifs
Section intitulée « Vérifier la formule : 200 tests fictifs »Une formule repose sur des hypothèses. Une simulation montre ce qu’elle signifie. Créez 200 tests fictifs de 13 488 clients par groupe. Dans chacun, les clients de A commandent avec une probabilité de 9 % et ceux de B avec 10 %. L’effet réel est donc exactement de 1 point. Lancez le test t de Welch sur chacun, comme le fait xp analyse :
Description textuelle du graphique
Un histogramme des différences détectées par 200 tests fictifs, sur un axe de 0,2 à 2,2 points de pourcentage. L’effet réel est de 1 point dans chaque test, indiqué par une ligne. Les estimations forment une bosse autour de 1 point, de +0,29 à +2,07. Une deuxième ligne, à environ +0,7 points, indique où p passe sous 0,05. 79,5 % des tests sont à droite de cette ligne : ils ont détecté l’effet. Les autres sont à gauche : le hasard a réduit leur différence, et ils indiquent « aucun effet clair ».
L’effet réel est le même dans les 200 tests, mais chacun observe une différence distincte. Un test « détecte » l’effet quand sa différence dépasse environ 0,7 points, soit environ deux erreurs types. 79,5 % des tests fictifs l’ont fait : la simulation concorde avec les 80 % de la formule.
Courbes de puissance
Section intitulée « Courbes de puissance »La puissance n’est pas une réponse « oui ou non ». Un test plus petit détecte quand même l’effet parfois, et un test plus grand le détecte plus souvent. Le graphique montre la puissance selon le nombre de clients par groupe, pour trois effets. Les points sont des simulations de 200 tests fictifs chacune :
- Effet de 0,5 point
- Effet de 1 point
- Effet de 1,5 point
- 1 point, 200 tests fictifs chacun
Description textuelle du graphique
Un graphique en courbes de la puissance, de 0 à 100 %, selon le nombre de clients par groupe, de 0 à 40 000. Trois courbes montent de gauche à droite et s’aplatissent près de 100 %. La courbe de 1,5 point monte le plus vite et dépasse 80 % à 6 131 clients par groupe. La courbe de 1 point dépasse 80 % à 13 488. La courbe d’un demi-point monte lentement et atteint seulement environ 68,5 % à 40 000; elle exige 52 700 clients par groupe pour 80 %. Six points, issus de simulations de 200 tests fictifs chacune, se trouvent près de la courbe de 1 point : 32,5 % à 3 372, 53 % à 6 744, 72 % à 10 116, 79,5 % à 13 488, 90,5 % à 20 232, 97,5 % à 26 976.
Lisez le graphique de gauche à droite. La puissance monte vite au début, puis lentement. Passer de 80 % à 90 % de puissance exige environ un tiers de clients de plus. Réduire l’EMD de moitié en exige quatre fois plus.
Larkfield : le plan de courriel avec xp power
Section intitulée « Larkfield : le plan de courriel avec xp power »La commande xp power du projet calcule la formule, la durée et la simulation en une seule étape. Environ 4 000 clients par jour atteignent « 30 jours sans commande » et peuvent donc entrer dans le test :
xp power --baseline 0.09 --mde 0.01 --per-day 4000 --simulate 200To find an effect of +0.01 on a proportion (baseline 0.09) with 80% power at alpha 0.05: 13,488 customers per group, 26,976 in total. with 6,744 per group, power = 0.51 with 10,116 per group, power = 0.68 with 13,488 per group, power = 0.80 with 20,232 per group, power = 0.93 with 26,976 per group, power = 0.98 At 4,000 new customers a day: 7 days; run full weeks: 1 week (7 days). Simulated: 200 fake tests with 13,488 customers per group and a true effect of +0.01: 80% found it (p < 0.05).Le test de courriel exige donc 26 976 clients : 7 jours à 4 000 par jour, soit exactement une semaine complète. La simulation concorde avec la formule. Et l’effet réel? Le simulateur sait que l’effet réel du courriel est de +1,19 point, plus grand que l’EMD. Sur 200 tests de courriel simulés de cette taille, produits par le simulateur lui-même, 94 % l’ont détecté. La formule prévoit 91 %.
Le test de livraison gratuite était trop petit
Section intitulée « Le test de livraison gratuite était trop petit »Le revenu par client est une mesure beaucoup plus bruitée. 78 % des clients ne dépensent rien, et quelques-uns dépensent des centaines de dollars. Dans le groupe A, la moyenne est de 25,05 $ et l’écart-type est de 73,22 $ : environ trois fois la moyenne. Inversez la question : avec 55 430 clients par groupe, quel est le plus petit effet détectable avec une puissance de 80 %?
xp power --from-run delivery --mde 1.23 --per-day 3956From delivery, group A: revenue mean 25.0504, standard deviation 73.2223.To find an effect of +1.23 on a mean with standard deviation 73.222 (baseline 25.0504) with 80% power at alpha 0.05: 55,632 customers per group, 111,264 in total. with 27,816 per group, power = 0.51 with 41,724 per group, power = 0.68 with 55,632 per group, power = 0.80 with 83,448 per group, power = 0.93 with 111,264 per group, power = 0.98 At 3,956 new customers a day: 29 days; run full weeks: 5 weeks (35 days).Environ 1,23 $, soit 4,9 %. La taille réelle du test, 55 430 clients par groupe, est juste sous 55 632. L’effet réel, +0,70 $, est beaucoup plus petit que 1,23. Le test manquait donc de puissance : trop petit pour détecter l’effet de façon fiable. Selon la formule, sa puissance pour +0,70 est d’environ 35,5 %. Sur [object Object],[object Object],[object Object],[object Object] graines du simulateur, il a détecté l’effet dans 41,5 % des cas. Les deux nombres diffèrent un peu parce que l’effet réel varie d’une graine à l’autre (+0,74 $ en moyenne). Les deux disent la même chose : bien en dessous de 80 %.
Description textuelle du graphique
Un graphique à quatre colonnes, sur un axe de 0 à 100 %. Puissance prévue : 80 %. Puissance selon la formule pour l’effet réel de +0,70 $ : 35,5 %. Proportion des 200 graines simulées où le test a détecté l’effet : 41,5 %. Même calcul avec CUPED, une méthode du module 3 qui élimine une partie du bruit : 48,5 %. Les trois valeurs réelles sont bien en dessous des 80 % prévus.
Quoi faire si le test prendrait un an
Section intitulée « Quoi faire si le test prendrait un an »Quelle taille faudrait-il au test de livraison gratuite pour détecter de petits effets? Larkfield reçoit environ 3 956 nouveaux clients par jour :
Description textuelle du graphique
Un graphique en colonnes des jours nécessaires au test de livraison gratuite, pour quatre tailles d’effet. 1 % du revenu par client (0,25 $) : 1 341 205 clients par groupe, 679 jours. 2 % : 335 302 par groupe, 170 jours. 3 % : 149 024 par groupe, 76 jours. 5 % : 53 650 par groupe, 28 jours, soit la durée du test réel.
Un effet de 3 %, proche de la réalité, exige 149 024 clients par groupe : 76 jours, soit 11 semaines complètes. Un effet de 1 % exige presque deux ans. C’est trop long : la saison change, le magasin change, et Hana ne peut pas attendre. Vous avez six options, chacune avec un coût :
- Demandez quel effet compte vraiment. L’EMD est une question d’affaires. Un gain inférieur à environ 1,25 $ (5 %) par client pourrait ne pas couvrir le coût supplémentaire de livraison. Dans ce cas, 4 semaines suffisent pour la décision de Hana. Manquer un effet plus petit coûte peu, puisqu’il ne serait pas rentable. La prochaine leçon inscrit cela dans le plan.
- Réduisez le bruit. CUPED utilise les dépenses de chaque client avant le test pour éliminer une partie du bruit. Sur 200 graines, il a éliminé environ un cinquième de la variance : environ 20 % moins de clients pour la même précision. Vous l’utilisez au module 3, Gagner en précision avec CUPED.
- Utilisez davantage du trafic. Incluez chaque client admissible dans le test et répartissez-les à 50/50. Une répartition inégale, comme 90/10, exige plus de clients au total.
- Choisissez une mesure moins bruitée, avec soin. La proportion de clients qui commandent est moins bruitée que le revenu. Mais elle doit rester liée à la décision. Choisissez-la avant le test, jamais parce qu’elle a donné le plus petit nombre.
- Acceptez moins, en connaissance de cause. Une puissance de 70 % ou un alpha plus grand raccourcit le test. Inscrivez ce choix dans le plan avec son coût : plus d’effets manqués ou plus de faux succès.
- Ne faites pas le test. Un test incapable de détecter l’effet qui compte fait perdre du temps. Un « succès » chanceux surestimera l’effet. Décidez avec d’autres éléments de preuve, ou revenez aux méthodes du module 5 une fois le changement déployé.
Exercice guidé : ajouter xp power au projet
Section intitulée « Exercice guidé : ajouter xp power au projet »Cette leçon ajoute deux fichiers au projet, power.py et la commande xp power, ainsi que leurs tests.
-
Dans
larkfield-experiments, avec l’TermeEnvironnement virtuelUn dossier avec son propre Python et ses propres paquets, pour un seul projet. Les paquets installés là ne changent pas les autres projets.En savoir plus Isoler les dépendancesPython pour l'ingénierie de l'IA en pratique actif, copiez les fichiers depuis l’instantanéend-of-m02:Fenêtre de terminal S=../nextia-learning-labs/C40/snapshots/end-of-m02for f in larkfield_experiments/power.py larkfield_experiments/commands/power.py tests/test_design.py; docp "$S/$f" "$f"doneFenêtre de terminal $S = "..\nextia-learning-labs\C40\snapshots\end-of-m02"foreach ($f in 'larkfield_experiments\power.py', 'larkfield_experiments\commands\power.py', 'tests\test_design.py') { Copy-Item "$S\$f" $f }Si vous avez téléchargé le fichier ZIP dans Découvrir le simulateur, le dossier des exercices est
nextia-learning-labs-main. Utilisez ce nom dansS.xptrouve ses commandes grâce aux fichiers danslarkfield_experiments/commands/; vous n’avez donc pas besoin de refaire l’installation. -
Lancez les tests. Un test dans
test_design.pyexigexp plan, qui arrive dans la prochaine leçon. Excluez-le pour le moment :Fenêtre de terminal python -m pytest -q -k "not plan"13 passed, 1 deselected in 1.26sLa durée peut être différente sur votre ordinateur.
-
Lisez
larkfield_experiments/power.py.sample_sizeutiliseNormalIndPowerpour une proportion etTTestIndPowerpour une moyenne.simulated_powerlance une fonction de test plusieurs fois et compte les valeurs p sous alpha. -
Calculez la taille du test de courriel, avec la simulation :
Fenêtre de terminal xp power --baseline 0.09 --mde 0.01 --per-day 4000 --simulate 200Vous voyez
13,488 customers per group(13 488 clients par groupe),7 days(7 jours) et80% found it(80 % l’ont détecté), comme ci-dessus. -
Trouvez le plus petit effet détectable du test de livraison gratuite. La commande lit l’écart-type dans l’exécution
delivery-s40:Fenêtre de terminal xp power --from-run delivery --mde 1.23 --per-day 3956Vous voyez
55,632 customers per group(55 632 clients par groupe) et29 days(29 jours). Dans un vrai plan, vous prenez l’écart-type des semaines avant le test. Le cours utilise le groupe A pour les représenter : il contient le même type de clients. -
Demandez un effet de 3 % : 3 % de 25,05 $ donne 0,7515 $.
Fenêtre de terminal xp power --from-run delivery --mde 0.7515 --per-day 3956La deuxième et la dernière ligne :
149,029 customers per group, 298,058 in total.At 3,956 new customers a day: 76 days; run full weeks: 11 weeks (77 days).Le graphique ci-dessus utilise les 3 % exacts (0,75151 $) et affiche 149 024 : la même réponse, arrondie différemment.
À vous de jouer : une liste plus petite
Section intitulée « À vous de jouer : une liste plus petite »Rafael constate qu’environ 1 000 clients par jour atteignent « 30 jours sans commande » en dehors de la période des Fêtes. Il garde l’EMD de 1 point. Faites d’abord une prédiction : combien de semaines complètes le test du courriel exige-t-il maintenant? Pourquoi pas exactement 7 × 4 = 28 jours? Puis exécutez xp power avec --per-day 1000.
Afficher la réponse
xp power --baseline 0.09 --mde 0.01 --per-day 1000La dernière ligne :
At 1,000 new customers a day: 27 days; run full weeks: 4 weeks (28 days).La taille d’échantillon ne change pas : 13 488 par groupe, 26 976 au total. Elle dépend de l’EMD, du bruit, de la puissance et d’alpha, pas du trafic. À 1 000 par jour, il faut 27 jours pour atteindre 26 976 clients. En arrondissant aux semaines complètes, cela donne 4 semaines, soit 28 jours. Le jour supplémentaire permet d’inclure chaque jour de la semaine quatre fois dans le test.
Erreur courante
Deux jours de courriels, et « aucun effet »
Symptôme : TermeTomásL’ingénieur en IA de Larkfield. Il propose souvent un raccourci rapide, et la leçon montre pourquoi il échoue. envoie le courriel de rappel pendant deux jours, sans calcul de puissance : environ 4 000 clients par groupe. La différence n’est pas significative. Il écrit : « Le courriel ne fonctionne pas. Arrêtons de l’envoyer. »
Cause : le test était trop petit. Avec 4 000 clients par groupe, la puissance pour détecter un effet de 1 point est d’environ 33 %. Même pour l’effet réel du courriel, +1,19 point, elle est d’environ 44 %. Plus de la moitié de ces tests indiquent « aucun effet clair » pour un courriel qui fonctionne. « Non significatif » dans un test de puissance insuffisante signifie « nous ne pouvons pas trancher », pas « aucun effet ».
Solution : calculez la taille d’échantillon avant le test, à partir de l’EMD qui compte. Exécutez le test pendant le nombre complet de semaines. Si un test est déjà terminé, présentez son intervalle, pas seulement la valeur p. Un intervalle large qui comprend à la fois 0 et l’EMD dit clairement que le test ne peut pas trancher.
Conséquence pour le travail en IA : un test trop petit d’un modèle ou d’une requête élimine de bons changements (« aucun effet »). Il met aussi en production des changements chanceux avec des chiffres exagérés. Déterminez à l’avance la taille de chaque test en ligne d’un modèle, d’une requête ou d’un changement de classement. Faites-le comme pour un TermeJeu de testUn ensemble fixe d’exemples dont on connaît les bonnes réponses. Chaque version d’un prompt ou d’un modèle passe sur le même ensemble, pour comparer les résultats équitablement.En savoir plus Créer un jeu de test représentatifLes LLM : comment ils fonctionnent et comment en choisir un hors ligne.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Vérification de fin : un test du taux de commande a une référence de base de 9 %. Son EMD est de 1 point de pourcentage, sa puissance de 80 % et alpha de 0,05. Chaque jour, 2 000 clients admissibles arrivent. Combien de jours faut-il, et pourquoi?
Afficher la réponse
La taille d’échantillon est de 13 488 clients par groupe, soit 26 976 au total (statsmodels). La règle approximative 16 × 0,09 × 0,91 ÷ 0,01² donne environ 13 100. À 2 000 par jour, cela donne 26 976 ÷ 2 000 = 13,5, donc 14 jours. Ces 14 jours correspondent exactement à 2 semaines complètes, donc le test dure 14 jours. Les semaines complètes comptent, car les habitudes d’achat des clients varient selon le jour de la semaine. La taille dépend de l’EMD, du bruit, de la puissance et d’alpha; le trafic sert seulement à la convertir en jours.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Prédisez : Rafael veut détecter un effet d'un demi-point plutôt que de 1 point. Environ combien de clients par groupe lui faut-il, et pourquoi?
Afficher la réponse
Environ quatre fois plus : la taille augmente selon 1 ÷ EMD², et (1 ÷ 0,5)² = 4. statsmodels donne 52 700 par groupe, contre 13 488 pour 1 point. À 4 000 clients par jour, le test passe de 1 semaine à 27 jours (4 semaines complètes). Un effet plus petit est plus difficile à distinguer du bruit.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Le test de livraison gratuite a trouvé +1,03 $ avec p = 0,0205. Hana dit : « Ça a fonctionné, et ça ajoute 1,03 $ par client. » Que lui dites-vous sur la puissance du test et sur ce chiffre?
Afficher la réponse
Le test avait une puissance insuffisante pour l’effet réel. Avec environ 55 000 clients par groupe, il détecte un effet de 1,23 $ avec une puissance de 80 %. Mais l’effet réel est d’environ 0,70 $. Sur 200 graines (seeds) simulées, il a détecté l’effet dans seulement 41,5 % des exécutions. La graine 41 du même test a donné une estimation de −0,05 $. La graine par défaut a eu de la chance. Quand un petit test détecte un effet, le hasard a généralement poussé l’estimation vers le haut. Ainsi, 1,03 $ est probablement trop élevé : la valeur réelle est de 0,70 $. Présentez l’intervalle, de +0,16 à +1,90 $, pas seulement l’estimation ponctuelle.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- La taille d’échantillon dépend de quatre nombres : l’effet minimal détectable (un choix d’affaires), la puissance (habituellement 80 %), alpha (habituellement 0,05) et le bruit de la mesure. Un effet deux fois plus petit exige quatre fois plus de clients.
- Le plan du courriel : référence de base de 9 %, 1 point, puissance de 80 % : 13 488 clients par groupe. Sur 200 tests simulés, 80 % ont détecté l’effet. À 4 000 clients par jour, il faut 7 jours : une semaine complète.
- Durée = clients ÷ clients par jour, arrondie aux semaines complètes.
- Le test de livraison gratuite pouvait détecter 1,23 $ (4,9 %) avec une puissance de 80 %; la valeur réelle est de 0,70 $. Sur 200 graines, il a détecté l’effet dans seulement 41,5 % des cas (48,5 % avec CUPED). La graine par défaut est chanceuse, et son estimation de +1,03 $ est trop élevée.
- Quand un test prendrait un an : demandez quel effet compte vraiment, réduisez le bruit (CUPED), utilisez tout le trafic avec une répartition 50/50, ou ne faites pas le test.
Vous pouvez maintenant déterminer la taille d’un test. Ensuite, vous consignerez chaque choix de ce module dans un plan d’une page avant le début du test. Vous y préciserez la décision pour chaque résultat possible.
Leçon suivante : Écrire le plan d'abord