Aller au contenu
English

Le résultat et son incertitude

  • Leçon 9
  • 40 min
  • Module 3 : Analyser le test

Où nous en sommes

Notre plan de test est écrit et le test est terminé. Maintenant, nous lisons le résultat. Dans cette leçon, nous calculons la différence entre les groupes, son intervalle de confiance et sa valeur p. Nous utilisons un test t et le bootstrap, puis nous présentons l'effet et son intervalle.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité
Leçon 9 sur 30 · Expériences et impact causal : notre changement a-t-il fonctionné?Le résultat et son incertitude

Ce que vous saurez faire

Présentez le résultat d’un test comme un effet avec son intervalle, pas comme un seul nombre ou une valeur p. Un seul nombre cache la part de la différence qui pourrait venir du hasard. Une décision fondée sur le hasard est une mauvaise décision qui passe inaperçue.

Carnet JupyterFaites cette leçon dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter calcule le résultat de livraison gratuite étape par étape : moyennes, test t de Welch, bootstrap et TermeIntervalle de confianceUne plage autour d’une valeur mesurée, obtenue par une méthode qui contient la vraie valeur 95 fois sur 100. Si l’intervalle d’une différence ne contient pas zéro, la différence n’est probablement pas due au hasard.En savoir plus Estimer l'incertitudeMathématiques et statistiques essentielles pour l'IA pour une proportion de clients. Il compare chaque réponse à l’effet réel du simulateur. Ses cellules de préparation installent les paquets et téléchargent les données d’exercice. Vous n’avez donc rien à configurer localement. Environ 30 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 40 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur (seulement pour les étapes du projet; le carnet n’en a pas besoin)

  • Le dossier larkfield-experiments avec son .venv, présenté dans Découvrir le simulateur, et le dossier des exercices nextia-learning-labs à côté. Si sim list échoue, activez de nouveau .venv.

Testé sur macOS avec Python 3.12 et l’instantané end-of-m03 du projet. Windows n’a pas été testé.

Revenons à la propriétaire de la boutique de cadeaux et à sa nouvelle vitrine. Pendant les deux semaines suivantes, 46 clients entrent chaque jour. Avant le changement, la moyenne était de 40. La vitrine a-t-elle attiré 6 clients de plus par jour?

Elle a raison d’en douter. Son nombre quotidien de clients n’était jamais fixé à 40. Certains jours, il était de 30, d’autres jours, de 55 : pluie, jour férié, autobus arrêté à proximité. La vraie question n’est donc pas « 6 de plus? », mais « 6 de plus, avec quelle marge d’incertitude? ». Si la marge est de 2 clients, la vitrine a fonctionné. Si elle est de 15, la propriétaire ne sait presque rien encore.

Chaque test A/B pose la même question. La différence entre les groupes est un seul nombre. Le hasard seul crée aussi une différence entre deux groupes, même quand le changement n’a aucun effet. Avant de vous fier à la différence, vous devez savoir quelle ampleur le hasard peut avoir.

Voici un minuscule test, construit pour que vous puissiez voir chaque valeur. Six clients ont vu la version A d’une boutique, et six ont vu la version B. Voici ce que chacun a dépensé pendant le test, en dollars :

Groupe Client 1 2 3 4 5 6 Moyenne
A 0 0 0 40 0 80 20
B 0 60 0 0 50 70 30

La moyenne de B est supérieure de 10 dollars : +50 %. TermeOmarLe gestionnaire de produit de Larkfield. Il pose les questions d’affaires : ce qu’un changement coûte et ce qu’il apporte à la boutique., le gestionnaire de produit, écrirait « B a augmenté le revenu de 50 % ». Mais regardez les lignes. La plupart des clients n’ont rien dépensé. Une grosse commande de plus ou de moins changerait tout. Si le client 6 de A avait dépensé 140 au lieu de 80, les deux moyennes seraient égales.

Nous voulons un intervalle d’effets compatible avec les données. La largeur de cet intervalle dépend de deux choses. La première est la variation entre les clients : l’écart-type. La deuxième est le nombre de clients dans chaque groupe.

L’erreur type (SE) est la taille habituelle de l’erreur due au hasard dans la différence. Pour une différence de deux moyennes, elle vaut :

SE = √(sdA² / nA + sdB² / nB)

Dans le minuscule test, chaque groupe a un écart-type de 33,47 dollars et 6 clients. Donc SE = √(33,47² / 6 + 33,47² / 6) = 19,32 dollars.

L’intervalle de confiance à 95 % est la différence, plus ou moins environ deux erreurs types (1,96, pour être exact) :

10 − 1,96 × 19,32 = −27,9 et 10 + 1,96 × 19,32 = +47,9 dollars.

B pourrait donc rapporter 28 dollars de moins ou 48 dollars de plus. L’intervalle contient zéro, la ligne « aucun effet ». Le minuscule test ne peut pas distinguer un bon changement d’un mauvais.

Imaginez maintenant le même profil avec 100 fois plus de clients : 600 par groupe, avec les mêmes moyennes et la même dispersion. L’erreur type diminue d’un facteur √100 = 10, pour atteindre 1,93 dollar. L’intervalle devient +6,2 à +13,8 dollars. La différence reste la même, mais zéro est maintenant loin de l’intervalle.

La même différence de +10 dollars, avec 6 et avec 600 clients par groupe (un exemple construit). Avec 6 clients, l'intervalle traverse la ligne d'absence d'effet. Avec 600, il est dix fois plus étroit et reste du côté d'un gain.
Description textuelle du graphique

Deux lignes. La première, avec 6 clients par groupe, montre la différence +10,0 et un intervalle de −27,9 à +47,9 dollars. Elle traverse la ligne pointillée d’absence d’effet à 0. La deuxième, avec 600 clients par groupe, montre +10,0 et un intervalle de +6,2 à +13,8 dollars, entièrement à droite de 0.

L’intervalle vient d’un test t. Avec très peu de clients, le test utilise un nombre un peu supérieur à 1,96. Pour 6 clients par groupe, l’intervalle exact est de −33,1 à +53,1 dollars. Avec des milliers de clients, le nombre est 1,96. Le test t de Welch permet aux deux groupes d’avoir des dispersions différentes. C’est le choix sûr par défaut, et le projet du cours l’utilise.

Le test donne aussi une valeur p. Elle répond à une question : si le changement n’avait aucun effet, à quelle fréquence le hasard seul produirait-il une différence au moins aussi grande? Pour le minuscule test, p = 0,62 : le hasard produit cela très souvent. Une petite valeur p, comme 0,01, indique que « aucun effet » est difficile à croire. Elle ne dit pas quelle est la taille de l’effet, ni si le changement en vaut la peine. L’intervalle dit les deux.

Un intervalle à 95 % n’est pas une promesse pour un seul test. C’est une méthode qui contient l’effet réel dans environ 95 tests sur 100. Notre simulateur peut vérifier cette promesse, car il connaît la vérité.

Hana, la responsable du marchandisage, a testé la livraison gratuite dès 50 dollars au lieu de 75. Pendant 28 jours, un tirage à pile ou face attribuait à chaque client la version A (seuil actuel) ou B. Le simulateur a créé les données et connaît l’effet réel. Vous faites l’analyse avec le projet du cours.

D’abord, mettez le projet à jour avec l’instantané end-of-m03. Il ajoute tous les outils de ce module : bootstrap, vérification du déséquilibre de répartition, CUPED et segments. Vous copiez ses fichiers dans votre dossier de projet. Vos propres exécutions et plans restent en place.

  1. Ouvrez un terminal dans le dossier contenant larkfield-experiments et nextia-learning-labs, par exemple ~/projects. Si vous avez cloné le dépôt des exercices avec Git, mettez-le à jour d’abord.

    Fenêtre de terminal
    git -C nextia-learning-labs pull
  2. Copiez l’instantané dans votre projet.

    Fenêtre de terminal
    cp -R nextia-learning-labs/C40/snapshots/end-of-m03/. larkfield-experiments/
    cd larkfield-experiments
    source .venv/bin/activate

    Les paquets sont les mêmes que dans le module 2. Vous n’installez donc rien de nouveau.

  3. Exécutez les tests.

    Fenêtre de terminal
    python -m pytest -q
    ............... [100%]
    17 passed in 2.72s

    Dix-sept tests réussissent. Votre durée sera différente.

  4. Exécutez le test de livraison gratuite.

    Fenêtre de terminal
    sim run --scenario delivery
    Scenario delivery (seed 40): Free delivery from 50 dollars instead of 75: an A/B test by customer, 28 days.
    Wrote runs/delivery-s40: customers (110,759 rows), visits (358,302 rows). Synthetic data. 21.7 s
  5. Analysez-le.

    Fenêtre de terminal
    xp analyse
    Run delivery-s40 (synthetic): Free delivery from 50 dollars instead of 75: an A/B test by customer, 28 days.
    Metric: revenue. A: 55,430 customers, mean 25.0504. B: 55,329 customers, mean 26.0770.
    difference +1.0266 (+4.1%), 95% interval +0.1583 to +1.8950, p = 0.0205 (Welch t-test)
    Saved to runs/delivery-s40/analysis.json. Compare with the true effect: xp check

Chaque groupe compte environ 55 000 clients. Sur les 28 jours, les clients de A ont dépensé 25,05 dollars chacun, et ceux de B, 26,08. La différence est de +1,03 dollar, soit +4,1 %. L’intervalle à 95 % va de +0,16 à +1,90 dollar, et p = 0,0205.

L’intervalle ne traverse pas zéro, donc le test a trouvé un gain. Mais regardez sa largeur. Le gain pourrait être de 16 cents ou de 1,90 dollar par client. Sur une année de clients, ces deux nombres mènent à des décisions très différentes. La livraison gratuite coûte de l’argent à TermeLarkfieldUne boutique en ligne canadienne inventée, qui vend des articles pour la maison et le jardin. Ce n’est pas une vraie entreprise. Tous les cours Nextia utilisent son service d’assistance et ses données comme exemple.En savoir plus Découvrez Larkfield pour chaque commande supplémentaire. Hana a donc besoin de l’intervalle complet.

Interrogez maintenant le simulateur.

Fenêtre de terminal
xp check
Run delivery-s40: the last analysis was `xp analyse`.
True effect (from the simulator): +0.6979 dollars per customer.
Your estimate: +1.0266, 95% interval +0.1583 to +1.8950: the interval contains the true effect.

L’effet réel est de +0,70 dollar par client (+2,8 %). L’intervalle le contient, comme il le devrait. Mais l’estimation, +1,03, est presque 50 % plus élevée que la vérité. Cette exécution a bénéficié du hasard.

Chaque graine (seed) du simulateur représente un nouveau mois de clients, avec le même changement réel. Le graphique montre le test sur 20 autres graines.

Le test de livraison gratuite sur 20 graines du simulateur. Lignes bleues : l'intervalle dépasse zéro, donc le test trouve un gain. Lignes grises : l'intervalle traverse zéro. L'effet réel est d'environ +0,74 dollar en moyenne sur les graines; la vérité propre à chaque graine est proche.
Description textuelle du graphique

Vingt lignes, une par graine. Chaque ligne montre la différence estimée avec son intervalle à 95 %, sur un axe de −1,5 à +3 dollars. Une ligne pointillée marque 0 (aucun effet) et une autre marque l’effet réel, environ +0,74. Dix-huit intervalles contiennent l’effet réel de leur graine. Seulement 8 restent entièrement au-dessus de 0. Les 12 autres traversent la ligne d’absence d’effet; sur ces graines, le test ne trouve donc rien.

Dix-huit des 20 intervalles contiennent la vérité de leur graine, et seulement 8 restent au-dessus de zéro. Sur 200 graines, le cours a mesuré que 95,5 % des intervalles contiennent la vérité. La promesse d’un intervalle à 95 % tient donc. Mais seulement 41,5 % des intervalles restent au-dessus de zéro. Sur la plupart des graines, le test de Hana dirait « aucun effet clair », même si le changement fonctionne. Vous avez vu pourquoi dans Taille d’échantillon et puissance. Le test peut détecter 1,23 dollar avec une puissance de 80 %, et la vérité est de 0,70. Notre graine par défaut fait partie des graines chanceuses. Gardez cela en tête pour le reste du module.

La formule de l’erreur type suppose que la moyenne se comporte bien. Le revenu est une mesure particulière : 78 % des clients ne dépensent rien, et quelques-uns dépensent des centaines de dollars. La formule reste-t-elle juste? Le bootstrap le vérifie avec un ordinateur plutôt qu’une formule.

Imaginez le test comme un sac de fiches de clients. Vous tirez une fiche, la notez, puis la remettez dans le sac. Vous continuez jusqu’à avoir autant de fiches que le groupe comptait de clients. Ce nouvel échantillon diffère un peu du groupe réel : certains clients apparaissent deux fois, d’autres pas du tout. Sa différence B − A est un peu différente aussi. Répétez cela 1 000 fois. La dispersion des 1 000 différences montre à quel point le hasard fait varier le résultat.

Cinq encadrés en ligne (en colonne sur un téléphone). Les clients du test, A 55 430 et B 55 329. Une flèche vers : tirer le même nombre dans chaque groupe, au hasard, avec remise. Une flèche vers : calculer la différence B moins A de ce nouvel échantillon. Une flèche nommée « encore » revient à l'étape du tirage. Une flèche vers : répéter 1 000 fois, 1 000 différences. Une flèche vers un encadré vert : garder les 95 % du milieu, +0,19 à +1,86 dollar.
Le bootstrap. Chaque tour tire un nouvel échantillon parmi les clients du test, avec remise. Les 95 % du milieu des 1 000 différences forment l'intervalle.
Fenêtre de terminal
xp analyse --bootstrap 1000
Run delivery-s40 (synthetic): Free delivery from 50 dollars instead of 75: an A/B test by customer, 28 days.
Metric: revenue. A: 55,430 customers, mean 25.0504. B: 55,329 customers, mean 26.0770.
difference +1.0266 (+4.1%), 95% interval +0.1927 to +1.8592, p = 0.014 (bootstrap (1000 resamples))
Saved to runs/delivery-s40/analysis.json. Compare with the true effect: xp check

L’intervalle du bootstrap, +0,19 à +1,86, est presque identique à celui de Welch, +0,16 à +1,90. Voici la dispersion des 1 000 différences du bootstrap dans le carnet :

1 000 différences bootstrap du test de livraison gratuite (exécution du carnet). Elles forment une colline régulière autour de +1,03. Les 95 % du milieu vont de +0,19 à +1,86 dollar, et très peu d'échantillons sont sous zéro.
Description textuelle du graphique

Un histogramme de 1 000 valeurs allant d’environ −0,4 à +2,4 dollars, en forme de cloche centrée près de +1,0. Des repères montrent 0 (aucun effet), le point à 2,5 % à +0,19 et celui à 97,5 % à +1,86.

Avec 110 000 clients, la formule et le bootstrap concordent. Utilisez le bootstrap quand aucune formule simple n’existe. Par exemple, pour une TermeMédianeLa valeur du milieu quand on trie les valeurs. La moitié est plus basse, l’autre plus haute. Un seul appel très lent la change peu : c’est un bon temps « habituel ».En savoir plus Mesurer la performance en pratiqueLes LLM : comment ils fonctionnent et comment en choisir un, un centile ou une mesure calculée en plusieurs étapes. Il coûte du temps de calcul : 1 000 tours sur tous les clients prennent ici quelques secondes. Ils prennent beaucoup plus de temps avec les données d’une grande boutique. Sur 50 graines, l’intervalle du bootstrap contenait la vérité 98 % du temps.

Le revenu par client est une moyenne. Deux autres types de mesures nécessitent un petit changement.

Une proportion, comme celle des clients ayant commandé, est une moyenne de valeurs 0 et 1. Le même test fonctionne. Son erreur type a une forme courte : √(pA(1 − pA)/nA + pB(1 − pB)/nB). C’est le test z pour deux proportions. Avec des milliers de clients, il donne la même réponse que le test t de Welch.

Fenêtre de terminal
xp analyse --metric converted
Run delivery-s40 (synthetic): Free delivery from 50 dollars instead of 75: an A/B test by customer, 28 days.
Metric: converted. A: 55,430 customers, mean 0.2146. B: 55,329 customers, mean 0.2261.
difference +0.0115 (+5.4%), 95% interval +0.0066 to +0.0164, p = 3.84e-06 (Welch t-test)
Saved to runs/delivery-s40/analysis.json. Compare with the true effect: xp check

La proportion ayant commandé est passée de 21,46 % à 22,61 % : +1,15 point de pourcentage. C’est la différence simple entre deux pourcentages. En termes relatifs, c’est +5,4 %. Précisez toujours lequel vous utilisez. xp check donne la vérité : +0,75 point, à l’intérieur de l’intervalle.

Un ratio, comme les retours par commande, nécessite la méthode delta pour que le client reste l’unité. Vous l’avez vue dans Choisir les mesures. Voici le garde-fou du plan :

Fenêtre de terminal
xp analyse --metric return_rate
Run delivery-s40 (synthetic): Free delivery from 50 dollars instead of 75: an A/B test by customer, 28 days.
Metric: return_rate. A: 11,893 customers, mean 0.0831. B: 12,508 customers, mean 0.0960.
difference +0.0129 (+15.5%), 95% interval +0.0068 to +0.0190, p = 3.7e-05 (ratio, delta method)
Saved to runs/delivery-s40/analysis.json. Compare with the true effect: xp check

Les retours sont passés de 8,31 % à 9,60 % des commandes : +1,29 point, avec un intervalle de +0,68 à +1,90. La vérité est de +1,17 point. Le garde-fou s’est clairement dégradé.

Placez les résultats côte à côte, chacun avec son intervalle et la ligne d’absence d’effet. C’est ainsi qu’un résultat devrait être présenté aux personnes qui décident.

Trois résultats avec leurs intervalles à 95 %, la ligne d'absence d'effet (0) et l'effet réel du simulateur. Le test du courriel est loin de zéro. Le gain de revenu de la livraison gratuite est réel, mais incertain : l'intervalle va de presque rien à presque 2 dollars. Les retours par commande augmentent clairement.
Description textuelle du graphique

Trois panneaux, chacun avec son propre axe. Le courriel de rappel : +1,47 point de pourcentage, intervalle de +1,00 à +1,94; effet réel +1,19. Livraison gratuite, revenu par client : +1,03 dollar, intervalle de +0,16 à +1,90; effet réel +0,70. Livraison gratuite, retours par commande : +1,29 point de pourcentage, intervalle de +0,68 à +1,90; effet réel +1,17. Les trois intervalles sont à droite de la ligne d’absence d’effet, et chacun contient son effet réel.

TermePriyaLa scientifique des données de Larkfield. Elle mesure la qualité de l’assistant sur des jeux de test, pas à l’intuition. présente ainsi le résultat de livraison gratuite à Hana :

La livraison gratuite dès 50 dollars a augmenté le revenu par client de 1,03 dollar (+4,1 %) dans notre test. L’effet réel se situe probablement entre 0,16 et 1,90 dollar. Les retours ont aussi augmenté, de 8,3 % à 9,6 % des commandes (+0,7 à +1,9 point). Avant de décider, nous devons vérifier le test lui-même. Nous devons aussi comparer le gain au coût des livraisons et des retours supplémentaires.

Chaque phrase donne l’effet, son unité et son intervalle, et aucune valeur p sans effet.

  1. Ouvrez le carnet dans l’encadré Faites cette leçon dans un carnet Jupyter en haut de cette page.
  2. Exécutez les cellules de préparation et la cellule auxiliaire. La cellule de données se termine par Ready: 2 files in data/. (prêt : 2 fichiers dans data/).
  3. Dans la section 1, prédisez : la moyenne ou la médiane montrera-t-elle le changement? Puis exécutez la cellule. Les deux médianes sont 0, et share with no order: 0.78 (proportion sans commande : 0,78).
  4. Dans la section 2, exécutez le test t de Welch. Vous voyez difference +1.027 dollars (+4.1%), SE 0.443, 95% interval +0.158 to +1.895, p = 0.0205 (différence, erreur type, intervalle à 95 % et valeur p).
  5. Dans la section 3, exécutez le bootstrap. Vous voyez bootstrap 95% interval +0.193 to +1.859 (intervalle bootstrap à 95 %).
  6. Dans la section 4, comparez avec la vérité. Vous voyez inside Welch's interval: True (dans l’intervalle de Welch : vrai).
  7. Dans la section 5, calculez conv_low : la borne inférieure de l’intervalle pour la proportion ayant commandé.
  8. Exécutez la cellule de vérification. Elle affiche Check passed (vérification réussie).
Afficher la réponse à l’étape 7
pa = (d.loc[d.variant == "A", "orders"] > 0).mean()
pb = (d.loc[d.variant == "B", "orders"] > 0).mean()
na, nb = len(a), len(b)
se_c = np.sqrt(pa * (1 - pa) / na + pb * (1 - pb) / nb)
conv_low = round(pb - pa - 1.96 * se_c, 4)
print(pa, pb, conv_low)

La borne inférieure est 0.0066 : +0,66 point de pourcentage, comme avec xp analyse --metric converted. La formule pour deux proportions et le test t de Welch concordent.

Changez une chose : la mesure. La livraison gratuite pourrait entraîner plus de commandes, des commandes plus petites, ou les deux. Analysez les commandes par client dans le projet, avec --metric orders. Avant de lancer l’analyse, faites une prédiction : l’intervalle sera-t-il au-dessus de zéro? Comparez ensuite votre intervalle à la vérité.

Afficher la réponse
Fenêtre de terminal
xp analyse --metric orders
xp check
difference +0.0171 (+5.8%), 95% interval +0.0090 to +0.0252, p = 3.19e-05 (Welch t-test)
...
True effect (from the simulator): +0.0130 orders per customer.
Your estimate: +0.0171, 95% interval +0.0090 to +0.0252: the interval contains the true effect.

Les clients du groupe B ont passé chacun 0,0171 commande de plus : +5,8 %, de +0,0090 à +0,0252. La vérité, +0,0130, se trouve dans l’intervalle. Les commandes ont augmenté plus que le revenu (+4,1 %), parce qu’elles sont un peu plus petites. Cela correspond au changement : les clients commandent maintenant des paniers plus petits pour obtenir la livraison gratuite. C’est une mesure de diagnostic : elle explique la mesure principale, mais elle ne détermine pas la décision.

Erreur courante

« p < 0,05, donc ça fonctionne »

Symptôme : TermeTomásL’ingénieur en IA de Larkfield. Il propose souvent un raccourci rapide, et la leçon montre pourquoi il échoue. lit p = 0.0205 (valeur p de 0,0205) et écrit à Omar : « La livraison gratuite augmente le revenu de 4,1 %. C’est significatif, donc on la lance. » Le simulateur indique que le gain réel est de +2,8 %, et le garde-fou des retours se dégrade nettement.

Cause : la valeur p indique seulement qu’une « absence totale d’effet » est difficile à croire. Elle ne dit pas quelle est l’ampleur de l’effet. Dans un petit test, l’estimation qui satisfait p < 0,05 est souvent élevée par chance. Avec cette graine (seed), c’est +4,1 % contre un effet réel de +2,8 %.

Solution : présentez l’effet avec son intervalle et son unité : « +1,03 $ par client, probablement entre +0,16 et +1,90 $ ». Présentez les garde-fous de la même façon. Laissez les personnes qui décident comparer tout l’intervalle au coût. La valeur p peut figurer en note de bas de page.

Vérifiez votre compréhension

Deux tests donnent tous deux p = 0,03. Test 1 : +0,20 $ par client, intervalle à 95 % de +0,02 à +0,38. Test 2 : +3,00 $, intervalle de +0,30 à +5,70. Sont-ils d'aussi bonnes nouvelles? Qu'est-ce que chaque intervalle indique à Hana?

Afficher la réponse

Non. La même valeur p indique seulement que les deux effets ne sont probablement pas nuls. Le test 1 est précis et l’effet est petit : le gain est d’au plus 38 cents par client. Si la livraison gratuite coûte plus que cela, elle fait perdre de l’argent. L’effet du test 2 pourrait être grand, mais il est très incertain : de 30 cents à 5,70 $. Hana devrait décider maintenant pour le test 1. Pour le test 2, elle devrait probablement prolonger le test ou ajouter des clients avant de compter sur son gain.

Vérifiez votre compréhension

Prédisez et expliquez : Hana refait le test de livraison gratuite avec 4 fois plus de clients dans chaque groupe. Les clients dépensent de la même façon. Qu'arrive-t-il à la largeur de l'intervalle? Et à l'effet réel?

Afficher la réponse

L’intervalle devient environ deux fois moins large, car l’erreur type diminue selon la racine carrée du nombre de clients : √4 = 2. L’intervalle de 0,16 à 1,90 $ (largeur de 1,74) aurait une largeur d’environ 0,87. L’effet réel ne change pas : il reste d’environ +0,70 $, parce que le changement est le même. Plus de clients rendent la mesure plus précise. Ils n’augmentent pas l’effet.

Vérifiez votre compréhension

Sur 200 graines du test de livraison gratuite, 95,5 % des intervalles contiennent l'effet réel. Mais seulement 41,5 % sont au-dessus de zéro. Expliquez ces deux nombres dans vos mots. Lequel vous indique que le test est trop petit?

Afficher la réponse

Le premier nombre est la couverture : la méthode d’intervalle est honnête. Elle contient la vérité environ 95 % du temps, comme elle le promet. Le second nombre est la puissance : la fréquence à laquelle le test détecte un gain qui existe vraiment. Elle est faible parce que l’effet réel, 0,70 $, est inférieur à 1,23 $. C’est l’effet que ce test peut détecter avec une puissance de 80 %. Le second nombre montre que le test est trop petit. Un intervalle honnête peut quand même être trop large pour donner une réponse.

Récapitulatif

  • Une différence entre deux groupes est un seul nombre, et le hasard seul crée aussi des différences. L’intervalle de confiance à 95 % montre l’éventail des effets compatibles avec les données. L’erreur type détermine sa largeur et diminue selon la racine carrée du nombre de clients.
  • Le test t de Welch donne l’intervalle et la valeur p pour une différence de moyennes. Une proportion utilise le même test (le test z pour deux proportions). Un ratio par commande utilise la méthode delta, pour que le client reste l’unité.
  • Le bootstrap donne un intervalle sans formule, à partir de 1 000 échantillons tirés avec remise. Pour le test de livraison gratuite, il concorde avec Welch : +0,19 à +1,86 contre +0,16 à +1,90 $.
  • Le test de livraison gratuite a trouvé +1,03 $ (+4,1 %), de +0,16 à +1,90; la vérité du simulateur est +0,70. Les intervalles contiennent la vérité pour 95,5 % des 200 graines, mais détectent le gain dans seulement 41,5 % des cas. Notre graine est chanceuse. Les retours par commande ont augmenté de 1,29 point.
  • Présentez l’effet, son unité et son intervalle, pour la mesure principale et les garde-fous. Une valeur p seule cache l’ampleur de l’effet.

Vous pouvez maintenant lire un résultat et son intervalle. Mais la qualité d’un résultat dépend de celle du test qui l’a produit. Ensuite, vous vérifiez le test lui-même avant de vous fier à son résultat.

Leçon suivante : Vérifier le test avant le résultat