Vérifier le test avant le résultat
- Leçon 10
- 35 min
- Module 3 : Analyser le test
Où nous en sommes
Nous pouvons calculer un résultat et son intervalle. Mais sa qualité dépend du test qui le produit. Dans cette leçon, nous vérifions le test avant de lire le résultat : déséquilibre de répartition, journaux d'exposition et test A/A du système lui-même.
Leçon 10 sur 30 · Expériences et impact causal : notre changement a-t-il fonctionné?Vérifier le test avant le résultat
1. Pourquoi « ça a monté » n'est pas une réponse
2. Concevoir un test A/B
3. Analyser le test
4. Les pièges des vrais tests
5. Quand la répartition aléatoire est impossible : les expériences naturelles
6. Ajuster pour les facteurs de confusion dans des données d'observation
7. Le gain incrémental : à qui appliquer le traitement?
8. Les expériences pour les fonctions d'IA et en production
Ce que vous saurez faire
Vérifiez qu’un test a bien fonctionné avant de lire son résultat. Une répartition défectueuse ou un groupe de clients perdu donne une réponse assurée, précise et fausse. Le résultat lui-même ne le révèle jamais.
Carnet JupyterFaire cette leçon dans un carnet Jupyter
Dans le carnet (notebook) Jupyter, vous insérez vous-même un bogue de redirection dans les données de livraison gratuite. Vous le trouvez ensuite avec un test du khi-deux, observez son effet sur le résultat et exécutez 1 000 tests A/A. Ses cellules de préparation installent les paquets et téléchargent les données d’exercice. Aucune préparation locale n’est nécessaire. Environ 25 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Le résultat et son intervalle, ainsi que le test de livraison gratuite, présentés dans Le résultat et son incertitude.
- Pourquoi un tirage à pile ou face rend les groupes semblables, expliqué dans Répartir au hasard.
- Les tests d’hypothèse et les valeurs p, présentés dans Comparer des options du cours Mathématiques et statistiques essentielles pour l’IA.
Ce qu’il vous faut sur votre ordinateur (seulement pour les étapes du projet)
- Le projet
larkfield-experimentsà l’instantanéend-of-m03, tiré de Le résultat et son incertitude, avec.venvactif.
Testé sur macOS avec Python 3.12 et l’instantané end-of-m03 du projet. Windows n’a pas été testé.
Une classe qui a perdu des élèves
Section intitulée « Une classe qui a perdu des élèves »Une école teste une nouvelle application de devoirs. Une enseignante tire à pile ou face pour chacun des 60 élèves : 30 reçoivent l’application, 30 gardent les devoirs papier. À la fin de la session, elle compare les notes. Mais seulement 24 élèves du groupe avec l’application ont passé l’examen final, contre 30 dans le groupe papier.
Qui sont les six élèves manquants? L’application exigeait un téléphone à la maison. Les élèves sans téléphone ont cessé de l’utiliser, ont pris du retard et ont manqué l’examen. Le groupe avec l’application qui a passé l’examen n’est donc pas celui que le tirage avait formé. Sa moyenne semble meilleure, mais cela tient en partie aux élèves qui restent.
Avant de comparer les notes, l’enseignante doit compter les élèves. Si les groupes n’ont pas la taille prévue par le tirage, la comparaison est faussée. Aucune statistique ne peut la réparer après coup.
Le problème : une réponse précise, mais fausse
Section intitulée « Le problème : une réponse précise, mais fausse »TermeLarkfieldUne boutique en ligne canadienne inventée, qui vend des articles pour la maison et le jardin. Ce n’est pas une vraie entreprise. Tous les cours Nextia utilisent son service d’assistance et ses données comme exemple.En savoir plus Découvrez Larkfield a eu le même problème. TermeAmiraLa développeuse de Larkfield. Elle écrit le code des outils du service d’assistance dans les cours., la développeuse, présentait la version B du test de livraison gratuite par une redirection. Celle-ci chargeait une seconde page, la nouvelle. Le simulateur propose ce test comme scénario. Son bogue est un problème d’exercice que nous avons créé volontairement.
-
Exécutez le test avec le bogue de redirection.
Fenêtre de terminal sim run --scenario srmScenario srm (seed 40): The free-delivery test with a redirect bug that loses some B customers (planted): a 52/48 split.Wrote runs/srm-s40: customers (106,651 rows), visits (353,064 rows). Synthetic data. 11.6 s -
Analysez-le comme dans la dernière leçon.
Fenêtre de terminal xp analyseRun srm-s40 (synthetic): The free-delivery test with a redirect bug that loses some B customers (planted): a 52/48 split.Metric: revenue. A: 55,354 customers, mean 24.6616. B: 51,297 customers, mean 27.5628.difference +2.9012 (+11.8%), 95% interval +2.0226 to +3.7798, p = 9.71e-11 (Welch t-test)Saved to runs/srm-s40/analysis.json. Compare with the true effect: xp check -
Comparez-le à la réalité.
Fenêtre de terminal xp checkRun srm-s40: the last analysis was `xp analyse`.True effect (from the simulator): +0.8671 dollars per customer.Your estimate: +2.9012, 95% interval +2.0226 to +3.7798: the interval does NOT contain the true effect.
Le résultat semble formidable : +11,8 %, un TermeIntervalle de confianceUne plage autour d’une valeur mesurée, obtenue par une méthode qui contient la vraie valeur 95 fois sur 100. Si l’intervalle d’une différence ne contient pas zéro, la différence n’est probablement pas due au hasard.En savoir plus Estimer l'incertitudeMathématiques et statistiques essentielles pour l'IA étroit, p = 0,0000000001. Il est aussi faux. L’effet réel est de +0,87 dollar, et l’estimation est plus de trois fois plus grande. L’intervalle est loin de la réalité.
Description textuelle du graphique
Quatre lignes sur un axe allant de −0,5 à +4,5 dollars, avec une ligne pointillée à 0 indiquant l’absence d’effet. Test sans bogue, estimation : +1,03, intervalle de +0,16 à +1,90. Test sans bogue, effet réel : +0,70, dans cet intervalle. Bogue de redirection, estimation : +2,90, intervalle de +2,02 à +3,78. Bogue de redirection, effet réel : +0,87, bien à gauche de cet intervalle.
Ce n’est pas de la malchance. Sur 200 graines (seeds) de ce scénario, l’intervalle contenait la réalité dans seulement 3 % des exécutions. En moyenne, l’estimation était trop élevée de 1,67 dollar. Un test plus grand n’aide pas. Il rend la mauvaise réponse plus précise.
Rien dans le résultat ne vous avertit. Vous devez d’abord vérifier le test lui-même.
L’idée : compter les clients d’abord
Section intitulée « L’idée : compter les clients d’abord »Le plan prévoyait 50/50 : le tirage donne à chaque client une chance égale de recevoir A ou B. Avec 106 651 clients, nous attendons environ 53 326 clients dans chaque groupe. Le journal en compte 55 354 dans A et 51 297 dans B. B contient 48,10 % des clients plutôt que 50 %.
Un écart par rapport à la répartition prévue est un déséquilibre de répartition (SRM). Le « rapport des échantillons » est le rapport entre les tailles des groupes. Un tirage ne donne jamais exactement 50/50, alors il faut un test : cet écart dépasse-t-il ce que produit le hasard?
Le test du khi-deux
Section intitulée « Le test du khi-deux »Le test du khi-deux compare les nombres observés aux nombres attendus. Pour chaque groupe, il calcule (observé − attendu)² / attendu, puis additionne les résultats. Un total élevé signifie que les nombres s’écartent beaucoup du plan.
Voici une répartition de 52/48 pour trois tailles. Chaque test prévoyait 50/50.
| Clients | A | B | Nombre attendu dans chaque groupe | Khi-deux | Valeur p |
|---|---|---|---|---|---|
| 1 000 | 520 | 480 | 500 | 0,8 + 0,8 = 1,6 | 0,21 |
| 10 000 | 5 200 | 4 800 | 5 000 | 8 + 8 = 16 | 0,00006 |
| 100 000 | 52 000 | 48 000 | 50 000 | 80 + 80 = 160 | 1 × 10⁻³⁶ |
Pour 1 000 clients : (520 − 500)² / 500 = 400 / 500 = 0,8 pour A, et pareil pour B. Un tirage produit un tel écart dans un test sur cinq (p = 0,21). Avec 100 000 clients, la même répartition 52/48 est presque impossible par hasard. Un grand test doit avoir une répartition très proche du plan.
La valeur p indique la fréquence à laquelle un tirage équitable produit une répartition au moins aussi éloignée du plan. La plupart des équipes signalent un SRM quand p < 0,001. Cette limite est volontairement stricte : vous vérifiez la répartition de chaque test et vous ne voulez pas de fausses alertes.
Vérifier les répartitions de Larkfield
Section intitulée « Vérifier les répartitions de Larkfield »Exécutez la vérification sur le test sans bogue d’abord, puis sur le test défectueux.
-
Vérifiez le test de livraison gratuite sans bogue.
Fenêtre de terminal xp srm deliveryRun delivery-s40: A 55,430, B 55,329 customers; B is 49.95% (planned 50%).chi-square 0.1, p = 0.762: no mismatch. -
Vérifiez le test avec le bogue de redirection.
Fenêtre de terminal xp srm srmRun srm-s40: A 55,354, B 51,297 customers; B is 48.10% (planned 50%).chi-square 154.3, p = 1.96e-35: SAMPLE RATIO MISMATCH: do not use this result; find the cause first. -
Cherchez où la répartition se dégrade. Vérifiez chaque type d’appareil.
Fenêtre de terminal xp srm srm --by deviceRun srm-s40: A 55,354, B 51,297 customers; B is 48.10% (planned 50%).chi-square 154.3, p = 1.96e-35: SAMPLE RATIO MISMATCH: do not use this result; find the cause first.device = desktop: A 23,265, B 23,299 (B 50.04%), p = 0.875device = mobile: A 32,089, B 27,998 (B 46.60%), p = 1.57e-62
Le premier argument de xp srm nomme l’exécution. Sans cet argument, xp utilise la dernière exécution créée par sim run.
Description textuelle du graphique
Trois barres sur un axe qui commence à 40 %. Tous les clients : 48,10 %. Ordinateur : 50,04 %. Mobile : 46,60 %. La part prévue est de 50 %.
Les ordinateurs respectent le plan. Les mobiles, non : B contient seulement 46,60 % des clients sur mobile. Amira examine la redirection. Sur une connexion mobile lente, le second chargement échoue parfois, et le client part avant qu’une page apparaisse.
Pourquoi le résultat est faux, pas seulement plus petit
Section intitulée « Pourquoi le résultat est faux, pas seulement plus petit »Les clients perdus ne sont pas une partie aléatoire de B. Ce sont des clients sur mobile avec des connexions lentes, qui visitent moins et achètent moins. Le groupe B que voit le journal a perdu ses plus faibles acheteurs, donc sa moyenne est trop élevée. A, sans redirection, les a tous gardés.
Les deux groupes ne sont donc plus semblables. Le tirage les avait rendus semblables, et le bogue a annulé cela. La différence mélange maintenant l’effet de la livraison gratuite et l’effet des clients perdus. Voilà pourquoi la règle est : en présence d’un SRM, n’utilisez pas le résultat. Trouvez la cause, corrigez-la et recommencez le test.
Le simulateur vous indique ce qu’il a inséré :
xp checkRun srm-s40: the last analysis was `xp srm`.Your check: a mismatch (p = 1.96e-35).The simulator: A redirect bug loses B customers on slow mobile connections. They visit and buy less than average, so the B group that the log sees is better than the real B group.Journaux de répartition et d’exposition
Section intitulée « Journaux de répartition et d’exposition »Où Amira pouvait-elle voir la perte? Un test écrit habituellement deux journaux.
- Le journal de répartition consigne le tirage : le client 123 a reçu B, à 10 h 02. Il est écrit avant le chargement de la page.
- Le journal d’exposition consigne que le client a vraiment vu la version : la page au seuil de 50 dollars est apparue, à 10 h 02.
Dans un test sain, presque chaque client réparti est exposé, dans les deux groupes. Comparez les deux journaux groupe par groupe. Ici, le journal de répartition est à 50/50 et le journal d’exposition est à 52/48. Les clients B manquants se trouvent entre les deux journaux : répartis, mais jamais exposés. La perte indique exactement à Amira où chercher.
L’analyse utilise le journal d’exposition, car seuls les clients exposés pouvaient réagir au changement. Ce choix est correct seulement si les deux groupes perdent des clients de la même façon. Un SRM montre que ce n’est pas le cas.
Deux autres vérifications s’ajoutent ici. Une mesure que le changement ne peut pas modifier, comme les dépenses avant le test (pre_spend), devrait être identique dans les deux groupes. Un écart signifie que les groupes diffèrent par leur composition. Et le test doit couvrir les jours prévus au plan, sans interruption dans les journaux.
Tests A/A : vérifier le système
Section intitulée « Tests A/A : vérifier le système »Une vérification du SRM détecte une répartition défectueuse dans un test. Mais si le système lui-même est défectueux? Par exemple, le code d’analyse pourrait produire des intervalles trop étroits. Chaque test trouverait alors des « effets » trop souvent.
Pensez à une nouvelle balance de cuisine. Pour la vérifier, vous pesez deux fois le même sac de farine. Si elle indique deux poids différents, la balance est défectueuse, pas la farine.
Un test A/A fait la même chose avec le système de test. Les deux groupes reçoivent la même boutique, la version actuelle, donc l’effet réel est nul. Un système sain trouve un effet avec p < 0,05 dans environ 5 % des tests A/A. C’est ce que signifie 0,05. S’il en trouve un dans 20 % des tests A/A, quelque chose ne va pas dans le système.
-
Exécutez un test A/A.
Fenêtre de terminal sim run --scenario aaScenario aa (seed 41): An A/A test: both groups get today's shop, 28 days. The true effect is zero.Wrote runs/aa-s41: customers (111,078 rows), visits (361,090 rows). Synthetic data. 10.0 s -
Vérifiez sa répartition.
Fenêtre de terminal xp srmRun aa-s41: A 55,497, B 55,581 customers; B is 50.04% (planned 50%).chi-square 0.1, p = 0.801: no mismatch. -
Analysez-le.
Fenêtre de terminal xp analyseRun aa-s41 (synthetic): An A/A test: both groups get today's shop, 28 days. The true effect is zero.Metric: revenue. A: 55,497 customers, mean 25.8076. B: 55,581 customers, mean 24.9696.difference -0.8380 (-3.2%), 95% interval -1.7179 to +0.0418, p = 0.0619 (Welch t-test)Saved to runs/aa-s41/analysis.json. Compare with the true effect: xp check
Les deux groupes ont vu la même boutique, et B a dépensé 84 cents de moins par client : −3,2 %, avec p = 0,06. C’est le hasard, et il a presque produit un résultat « significatif ». Retenez ce nombre. Deux groupes identiques de 55 000 clients peuvent différer de 3 % en un mois.
Un seul test A/A nous apprend peu. De nombreux tests A/A vérifient le système. Le graphique montre les valeurs p de 100 tests A/A sur 100 graines.
Description textuelle du graphique
Vingt barres de largeur 0,05 entre 0 et 1. Les barres ont à peu près la même hauteur, environ 5 tests chacune, avec des variations aléatoires. Un repère indique p = 0,05; la première barre, sous ce seuil, a environ la même hauteur que les autres.
Les valeurs p sont réparties uniformément : dans un système sain, chaque valeur p est aussi probable quand rien ne change. Sur 200 exécutions A/A, le cours a mesuré 5,5 % de faux positifs, près des 5 % attendus. Le système est sain.
Exécutez un test A/A quand le système de test est nouveau ou change : nouveau code de répartition, bibliothèque de journalisation ou analyse. Il consomme du trafic et du temps. Il ne détecte pas un bogue qui touche une seule version, comme la redirection. C’est le rôle de la vérification du SRM.
Les vérifications avant le résultat
Section intitulée « Les vérifications avant le résultat »Mateo, qui tient le journal des tests de Larkfield, ajoute cette liste à chaque révision de test. Tout cela précède la lecture de l’effet.
- La répartition : test du khi-deux des tailles des groupes, globalement et par type d’appareil. Si p < 0,001, arrêtez.
- Les journaux : les clients répartis et exposés par groupe. Une perte dans un seul groupe est un bogue.
- Une mesure de cohérence : les dépenses avant le test, identiques dans les deux groupes.
- Les dates : les jours prévus, sans interruption.
- Le système : un test A/A récent avec environ 5 % de faux positifs.
Exercice guidé : insérer et trouver un bogue
Section intitulée « Exercice guidé : insérer et trouver un bogue »- Ouvrez le carnet depuis l’encadré Faire cette leçon dans un carnet Jupyter en haut de cette page.
- Exécutez les cellules de préparation et la cellule utilitaire. La cellule de données se termine par
Ready: 2 files in data/.(prêt : 2 fichiers dans data/). - Dans la section 1, vérifiez la répartition du test sans bogue. Vous voyez
chi-square 0.09, p = 0.762(khi-deux de 0,09, valeur p de 0,762). - Dans la section 2, insérez le bogue de redirection : la cellule retire certains clients B sur mobile venus une seule fois. Prédisez : le revenu moyen de B augmentera-t-il ou diminuera-t-il? Puis exécutez-la.
- Vérifiez la répartition dans le journal défectueux. Vous voyez un déséquilibre, et seuls les mobiles s’écartent du plan.
- Dans la section 3, comparez l’estimation avant et après le bogue à l’effet réel.
- Dans la section 4, exécutez 1 000 tests A/A créés uniquement à partir du groupe A. Vous voyez une part de faux positifs proche de 5 %.
- Dans la section 5, calculez
chi_mobile: la statistique du khi-deux pour les clients sur mobile dans le journal défectueux. - Exécutez la cellule de vérification. Elle affiche
Check passed(vérification réussie).
Afficher la réponse à l’étape 8
seen = broken[broken.device == "mobile"].variant.value_counts()expected = seen.sum() / 2chi_mobile = round(((seen["A"] - expected) ** 2 + (seen["B"] - expected) ** 2) / expected, 1)print(seen["A"], seen["B"], chi_mobile)Le carnet affiche les nombres et la statistique, et stats.chisquare donne la même valeur. Un khi-deux supérieur à environ 10,8 signifie p < 0,001 pour deux groupes.
À vous de jouer : est-ce les nouveaux clients?
Section intitulée « À vous de jouer : est-ce les nouveaux clients? »Mateo demande : « La perte touche les nouveaux clients ou ceux qui reviennent? » Vérifiez le test défectueux par new_customer (1 pour nouveau, 0 pour client qui revient). Faites d’abord une prédiction : un des deux types respectera-t-il le plan, comme les ordinateurs?
Afficher la réponse
xp srm srm --by new_customerRun srm-s40: A 55,354, B 51,297 customers; B is 48.10% (planned 50%). chi-square 154.3, p = 1.96e-35: SAMPLE RATIO MISMATCH: do not use this result; find the cause first. new_customer = 0: A 38,657, B 35,947 (B 48.18%), p = 3.35e-23 new_customer = 1: A 16,697, B 15,350 (B 47.90%), p = 5.29e-14Les deux types s’écartent du plan, à peu près autant. Le bogue ne dépend pas du fait qu’un client est nouveau : il dépend de l’appareil et de la connexion. Un contrôle qui échoue dans tous les segments d’une colonne, mais dans un seul d’une autre, indique la cause. Ici, il faut suivre la colonne de l’appareil.
Erreur courante
« L'écart n'est que de 2 points »
Symptôme : TermeTomásL’ingénieur en IA de Larkfield. Il propose souvent un raccourci rapide, et la leçon montre pourquoi il échoue. voit B is 48.10% (B représente 48,10 %) et dit : « C’est proche de 50 %. Utilisons le résultat, et réduisons peut-être un peu l’effet par prudence. » Le rapport indique +2,90 $; la réalité est +0,87 $.
Cause : la taille du déséquilibre n’indique pas la taille de l’erreur. L’écart de 1,9 point dans la répartition cache un groupe de clients perdus pour une raison précise. C’étaient les acheteurs sur mobile qui dépensaient le moins. L’erreur sur le revenu dépasse donc largement 2 %. Aucune correction simple ne l’élimine, car vous ne savez pas qui a été perdu.
Solution : avec p < 0,001, n’utilisez pas le résultat. Trouvez la cause dans les journaux, corrigez-la et refaites le test. Consignez le test défectueux et sa cause dans le journal des tests pour éviter de répéter l’erreur au prochain test.
Vérifiez votre compréhension
Un test prévu à 50/50 compte 201 000 clients dans A et 199 000 dans B. Est-ce un déséquilibre de répartition? Calculez la statistique du khi-deux et dites ce que vous faites ensuite.
Afficher la réponse
L’effectif attendu est de 200 000 dans chaque groupe. Khi-deux = (201 000 − 200 000)² / 200 000 + (199 000 − 200 000)² / 200 000 = 5 + 5 = 10. Pour deux groupes, cela donne p ≈ 0,0016. Cette valeur dépasse le seuil de 0,001. La règle habituelle ne signale donc pas de déséquilibre de répartition (SRM). Mais elle est proche du seuil. Vérifiez la répartition par appareil et par navigateur, puis comparez les journaux de répartition et d’exposition. Si un segment s’écarte beaucoup du plan, traitez-le comme un déséquilibre.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Vérification de fin. Dans le test avec le bogue de redirection, B compte 48,10 % des clients et l'estimation est de +2,90 $ par client. Expliquez pourquoi il ne faut pas utiliser ce résultat, en trois ou quatre phrases, comme vous le feriez avec Omar.
Afficher la réponse
Le tirage donnait à chaque client une probabilité de 50 % d’être dans B, mais le journal n’en compte que 48,10 %. Avec 106 651 clients, un tirage équitable ne donne presque jamais ce résultat (p = 2 × 10⁻³⁵). Certains clients de B manquent donc. Le contrôle par appareil montre lesquels : les clients sur mobile, perdus par une redirection qui échoue sur les connexions lentes. Ils achètent moins que la moyenne. Le groupe B observé dépense donc plus que le vrai groupe B. Les +2,90 $ reflètent surtout les clients perdus, pas la livraison gratuite. L’effet réel est de +0,87 $. Nous corrigeons la redirection et refaisons le test avant de décider.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Sur 100 tests A/A, un nouvel outil d'analyse trouve p < 0,05 dans 19 tests. Qu'est-ce que cela vous indique? Que montrerait un outil qui fonctionne bien?
Afficher la réponse
Les groupes d’un test A/A voient la même boutique, donc l’effet réel est nul. Un outil qui fonctionne bien trouve p < 0,05 dans environ 5 tests sur 100. Dix-neuf, c’est beaucoup plus. L’outil est défectueux : par exemple, ses intervalles sont trop étroits. Ou il compte chaque visite comme indépendante alors que le tirage portait sur les clients. Chaque « gagnant » trouvé dans les vrais tests est maintenant douteux. Corrigez l’outil et refaites les tests A/A avant de lui faire confiance.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Un test défectueux donne une réponse confiante, précise et fausse. Le bogue de redirection a perdu des clients de B sur des connexions mobiles lentes. L’estimation était de +2,90 $, contre un effet réel de +0,87 $. L’intervalle excluait l’effet réel pour 97 % des 200 graines (seeds).
- Un déséquilibre de répartition (SRM) est une répartition qui s’écarte du plan plus que le hasard ne l’explique. Le test du khi-deux compare les effectifs au plan. Signalez un SRM si p < 0,001. Le test défectueux de Larkfield comptait 48,10 % dans B, avec p = 2 × 10⁻³⁵. Le contrôle par appareil a repéré le mobile (46,60 %).
- En cas de SRM, n’utilisez pas le résultat. Les clients perdus ne le sont pas au hasard, donc les groupes ne se ressemblent plus. Trouvez la cause, corrigez-la et refaites le test.
- Comparez le journal de répartition (le tirage au sort) au journal d’exposition (qui a vu la version), groupe par groupe. Une perte dans un groupe indique où se trouve le bogue.
- Un test A/A donne la même version aux deux groupes. Un système qui fonctionne bien trouve p < 0,05 dans environ 5 % de ces tests. Le cours a mesuré 5,5 % sur 200 exécutions.
Vous pouvez maintenant vérifier qu’un test est fiable avant de lire son résultat. Mais un test qui fonctionne bien peut encore être trop bruité pour répondre. L’intervalle pour la livraison gratuite avait une largeur de 1,74 $. Ensuite, vous utilisez les dépenses des clients avant le test pour éliminer une partie de ce bruit.
Leçon suivante : Gagner en précision avec CUPED