Tester votre propre réponse
- Leçon 23
- 35 min
- Module 6 : Ajuster pour les facteurs de confusion dans des données d'observation
Où nous en sommes
La régression, l'appariement et la pondération nous ont donné des réponses semblables. Des réponses semblables peuvent toutes être fausses. Dans cette leçon, nous testons notre estimation avec les tests de réfutation de DoWhy. Nous demandons aussi quelle force faudrait-il à un facteur de confusion caché pour changer la décision.
Leçon 23 sur 30 · Expériences et impact causal : notre changement a-t-il fonctionné?Tester votre propre réponse
1. Pourquoi « ça a monté » n'est pas une réponse
2. Concevoir un test A/B
3. Analyser le test
4. Les pièges des vrais tests
5. Quand la répartition aléatoire est impossible : les expériences naturelles
6. Ajuster pour les facteurs de confusion dans des données d'observation
7. Le gain incrémental : à qui appliquer le traitement?
8. Les expériences pour les fonctions d'IA et en production
Ce que vous saurez faire
Essayez de mettre votre estimation en défaut avec trois tests de réfutation. Découvrez ce que signifie un test réussi. Posez ensuite la question à laquelle les tests ne peuvent pas répondre : quelle force faudrait-il à un facteur de confusion caché pour changer la décision?
Carnet JupyterFaire cette leçon dans un carnet Jupyter
Dans le carnet (notebook) Jupyter, vous écrivez les trois tests de réfutation à la main. Vous vérifiez ensuite la règle d’un facteur de confusion caché sur une colonne inventée, puis construisez la grille de sensibilité. Les cellules de préparation téléchargent les données des journaux et installent les paquets. Aucune préparation locale n’est donc nécessaire. Environ 35 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- L’ajustement par régression, dans Ajustement par régression.
- L’équilibre et pourquoi trois méthodes peuvent être d’accord tout en se trompant, dans Scores de propension, appariement et pondération.
- Une valeur p. Pour un rappel, consultez Comparer des options dans le cours de mathématiques.
Ce qu’il vous faut sur votre ordinateur (seulement pour les étapes du projet)
- Le projet
larkfield-experimentsà l’instantanéend-of-m06, dans Ajustement par régression, avec.venvactif et l’exécution des journaux de la graine 40.
Testé sur macOS avec Python 3.12 et l’instantané end-of-m06 du projet. Windows n’a pas été testé.
Vérifier votre propre travail
Section intitulée « Vérifier votre propre travail »La propriétaire de la boutique est fière de sa réponse : la nouvelle étagère ajoute 3 dollars par client. Avant d’en parler à la banque, elle la vérifie de trois façons.
D’abord, elle choisit cinq clients au hasard et fait comme s’ils s’étaient arrêtés à l’étagère. Sa méthode ne devrait trouver aucun effet pour une étagère inventée. Ensuite, elle ajoute une colonne sans importance à sa comparaison : le dernier chiffre de chaque numéro de reçu. Cela ne devrait rien changer. Enfin, elle répète l’analyse sur la moitié des reçus. La réponse devrait rester à peu près la même.
Les trois vérifications réussissent. A-t-elle raison? Pas nécessairement. Sa méthode fonctionne avec les données qu’elle possède. Mais elle n’a jamais noté quels clients venaient en voiture. Ces clients achètent plus, et l’étagère est près du stationnement. Aucune vérification de ses données ne peut trouver une colonne absente de ses données.
Le problème : trois réponses qui concordent
Section intitulée « Le problème : trois réponses qui concordent »Avec les journaux de TermeLarkfieldUne boutique en ligne canadienne inventée, qui vend des articles pour la maison et le jardin. Ce n’est pas une vraie entreprise. Tous les cours Nextia utilisent son service d’assistance et ses données comme exemple.En savoir plus Découvrez Larkfield, les deux dernières leçons ont donné trois réponses ajustées : régression +3,38 dollars, appariement +4,43, pondération +2,87. Elles concordent à peu près. Elles sont toutes beaucoup plus petites que la réponse naïve de +9,70.
TermeOmarLe gestionnaire de produit de Larkfield. Il pose les questions d’affaires : ce qu’un changement coûte et ce qu’il apporte à la boutique. veut annoncer +3 dollars par client et passer à la suite. Dans un vrai magasin, personne ne connaît la vérité. Ici, le simulateur la connaît : +2,37 dollars si tout le monde utilisait le bloc (ATE). Les trois réponses sont trop élevées, car elles ont le même angle mort : le jardin.
Larkfield ne peut pas interroger le simulateur. Alors, comment une équipe peut-elle savoir si sa réponse est fragile? Il existe deux types de vérification. Les tests de réfutation cherchent des problèmes dans la méthode et les données que vous avez. L’analyse de sensibilité demande ce qu’une colonne absente pourrait changer.
L’idée : essayer de mettre votre réponse en défaut
Section intitulée « L’idée : essayer de mettre votre réponse en défaut »Un test de réfutation modifie les données d’une façon dont vous connaissez le résultat à l’avance, puis réexécute votre méthode. Si la méthode ne donne pas le résultat connu, quelque chose ne va pas. « Réfuter » signifie prouver qu’une chose est fausse. Vous essayez de prouver que votre réponse est fausse, en espérant échouer.
DoWhy est une bibliothèque Python gratuite pour les questions causales (licence MIT). Vous lui donnez le traitement, le résultat et les facteurs de confusion. Elle estime l’effet, puis exécute des tests de réfutation sur cette estimation. La commande xp refute du projet en utilise trois.
Un petit exemple : un placebo à la petite boutique
Section intitulée « Un petit exemple : un placebo à la petite boutique »Reprenons les dix clients de la petite boutique. Les nombres sont inventés pour cet exemple. Les vrais utilisateurs étaient les clients 1 à 4 (enthousiastes) et 6 (occasionnel). L’effet ajusté était de +3 dollars.
Choisissez maintenant cinq clients au hasard comme faux « utilisateurs » : 1 et 5 (enthousiastes), et 6, 7 et 8 (occasionnels). Comparez ensuite les clients semblables, comme avant :
- les faux utilisateurs enthousiastes (60 et 57 : moyenne 58,50) aux autres clients enthousiastes (60, 60, 60 : moyenne 60) : −1,50 dollar;
- les faux utilisateurs occasionnels (23, 20, 20 : moyenne 21) aux autres clients occasionnels (20, 20 : moyenne 20) : +1,00 dollar;
- la moyenne des deux types : (−1,50 + 1,00) / 2 = −0,25 dollar.
La fausse étagère obtient environ 0, beaucoup moins que le vrai +3. Le test réussit. Supposons que la méthode ait aussi trouvé +3 pour un groupe aléatoire. Alors, le vrai +3 ne signifierait rien : il viendrait de la méthode, pas de l’étagère.
Larkfield : exécuter les tests de réfutation
Section intitulée « Larkfield : exécuter les tests de réfutation »Votre projet devrait être à end-of-m06, avec les journaux de la graine 40 comme dernière exécution des journaux. Si vous avez exécuté la graine 41 dans la dernière leçon, exécutez d’abord sim run --scenario logs.
-
Exécutez les tests de réfutation. DoWhy répète chaque test 20 fois. Cela peut donc prendre jusqu’à une minute.
Fenêtre de terminal xp refuteDoWhy estimate (backdoor adjustment, linear regression): +3.38 dollars per customer.placebo_treatment_refuter new effect -0.07 (p = 0.47)random_common_cause new effect +3.38 (p = 0.50)data_subset_refuter new effect +3.45 (p = 0.42)Expected: the placebo gives about 0; the other two stay close to the estimate. Passing does not prove the estimate: these tests cannot see a confounder that is missing from the data.Hidden confounder: how big must it be to move the estimate to 0? (a 0/1 cause; its share among users minus non-users × its effect on revenue in dollars)share gap 0.05: 5 $ → +3.13 10 $ → +2.88 20 $ → +2.38 40 $ → +1.38share gap 0.10: 5 $ → +2.88 10 $ → +2.38 20 $ → +1.38 40 $ → -0.62share gap 0.20: 5 $ → +2.38 10 $ → +1.38 20 $ → -0.62 40 $ → -4.62share gap 0.30: 5 $ → +1.88 10 $ → +0.38 20 $ → -2.62 40 $ → -8.62 -
Comparez avec la vérité.
Fenêtre de terminal xp checkRun logs-s40: the last analysis was `xp refute`.True effect (from the simulator): ATE +2.37 dollars per customer; your DoWhy estimate +3.38.The refutation tests passed or failed without knowing this: has_garden (45% of customers): users are more likely to have a garden, and gardeners spend more. It is not in the log.
L’estimation de DoWhy est de +3,38 dollars : la même régression que xp adjust, avec les mêmes six facteurs de confusion. DoWhy appelle l’ajustement pour les facteurs de confusion « Backdoor adjustment » (ajustement par la porte arrière).
Description textuelle du graphique
Un panneau avec une ligne à 0 et une ligne à l’effet réel, +2,37 dollars. Notre estimation : +3,38. Traitement placebo : −0,07, soit environ 0. Cause commune aléatoire : +3,38, comme l’estimation. Sous-ensemble de données de 80 % : +3,45, près de l’estimation. L’estimation et les deux tests qui la conservent se trouvent environ 1 dollar à droite de la vérité.
Lisez chaque ligne :
- Traitement placebo : −0,07 dollar. Avec
used_blockmélangé, la méthode ne trouve presque rien. C’est bon : le +3,38 n’est pas un effet secondaire de la méthode. - Cause commune aléatoire : +3,38. Une colonne de bruit ne change rien. C’est bon : une colonne supplémentaire ne fragilise pas l’estimation.
- Sous-ensemble de données : +3,45. Sur des échantillons de 80 %, la réponse reste proche. C’est bon : elle ne repose pas sur quelques clients.
Chaque valeur p pose la question : le résultat correspond-il à ce qu’une estimation solide donnerait? Une grande valeur p, ici de 0,42 à 0,50, signifie que le test n’a trouvé aucun problème. Une valeur p inférieure à 0,05 signifierait un échec du test.
Pourquoi réussir n’est pas une preuve
Section intitulée « Pourquoi réussir n’est pas une preuve »Les trois tests réussissent, et l’estimation est encore trop élevée de 1,01 dollar. Ce n’est pas un bogue dans DoWhy. Cela montre ce que ces tests peuvent et ne peuvent pas faire.
Chaque test change quelque chose dans les données : la colonne du traitement, une colonne de bruit ajoutée, les lignes. Il vérifie ensuite que la méthode réagit comme elle le devrait. Les tests détectent donc des problèmes dans la méthode et dans les données que vous avez. Exemples : une erreur de code, une estimation qui dépend de quelques clients, une méthode qui trouve des effets partout.
Le jardin n’est pas dans les données. Chaque test utilise les mêmes six colonnes. Chaque test a donc le même angle mort. La méthode est correcte pour ces six colonnes. C’est la liste des colonnes qui est incomplète.
Ce n’est pas non plus la chance d’une seule graine. Sur les journaux de la graine 41, l’estimation est de +2,66 dollars, et l’ATE réel est de +2,16. Les tests réussissent encore : placebo −0,14, cause commune aléatoire +2,67, sous-ensemble de données +2,65.
Réussir signifie donc « aucun bogue trouvé ». Cela ne signifie pas « l’estimation est juste ». C’est aussi pourquoi la régression, l’appariement et la pondération concordent : les mêmes colonnes, le même angle mort. La concordance et les tests réussis sont utiles. Ils ne fournissent aucune preuve concernant un facteur de confusion manquant.
Sensibilité : quelle force faudrait-il à un facteur de confusion caché?
Section intitulée « Sensibilité : quelle force faudrait-il à un facteur de confusion caché? »Si aucun test ne peut trouver la colonne manquante, posez une autre question. Supposons qu’un facteur de confusion manque. Quelle force lui faudrait-il pour changer notre décision? C’est l’analyse de sensibilité.
Le projet utilise la version la plus simple. Imaginez une cause cachée de type oui ou non, comme « possède un jardin ». Elle a deux dimensions :
- l’écart de proportion : à quel point elle est plus fréquente chez les utilisateurs que chez les non-utilisateurs;
- son effet en dollars : combien ses propriétaires dépensent de plus.
Le biais qu’elle ajoute vaut environ écart de proportion × dollars. L’effet réel vaut alors environ notre estimation moins ce biais.
La règle, avec chaque valeur visible
Section intitulée « La règle, avec chaque valeur visible »Dix utilisateurs et dix non-utilisateurs. Les nombres sont inventés pour cet exemple. Six utilisateurs ont un jardin; cinq non-utilisateurs en ont un. Un jardin ajoute 10 dollars de dépenses, et le traitement ne fait rien.
- Les utilisateurs dépensent 6 × 10 = 60 dollars de plus, soit 60 / 10 = 6 dollars chacun.
- Les non-utilisateurs dépensent 5 × 10 = 50 dollars de plus, soit 50 / 10 = 5 dollars chacun.
- Les utilisateurs semblent dépenser 1 dollar de plus, uniquement à cause du jardin.
L’écart de proportion est de 6/10 − 5/10 = 0,10. Le biais est de 0,10 × 10 = 1 dollar. Le carnet vérifie la règle sur une colonne inventée dans les journaux de Larkfield. Pour une régression avec d’autres colonnes, la règle est approximative, pas exacte.
La grille
Section intitulée « La grille »La grille dans la sortie de xp refute applique cette règle à l’estimation de +3,38 dollars :
| Écart de proportion | Vaut 5 $ | Vaut 10 $ | Vaut 20 $ | Vaut 40 $ |
|---|---|---|---|---|
| 0,05 | +3,13 | +2,88 | +2,38 | +1,38 |
| 0,10 | +2,88 | +2,38 | +1,38 | −0,62 |
| 0,20 | +2,38 | +1,38 | −0,62 | −4,62 |
| 0,30 | +1,88 | +0,38 | −2,62 | −8,62 |
Chaque cellule indique l’effet qui resterait si un facteur de confusion caché avait ces dimensions. Les facteurs de confusion petits ou faibles laissent un effet positif. Seul un facteur à la fois fréquent chez les utilisateurs et valant beaucoup d’argent inverse le signe.
Le jardin du simulateur a un écart de proportion de 0,087 et vaut 10,27 dollars. C’est près de la cellule (0,10, 10 dollars), qui laisse +2,38 : presque exactement le vrai +2,37. Dans une vraie étude, vous ne connaissez pas les dimensions du jardin. Vous demandez aux personnes qui connaissent les clients : « Existe-t-il une cause aussi forte que nous n’avons pas mesurée? »
Le graphique : où la réponse change de signe
Section intitulée « Le graphique : où la réponse change de signe »- Ramène l'estimation à 0
- Explique le biais réel
- Le jardin
Description textuelle du graphique
Un graphique avec l’écart de proportion de 0 à 0,3 à l’horizontale et l’effet en dollars de la cause cachée à la verticale. Une courbe orange descend de 67,6 dollars pour un écart de 0,05 à 33,8 dollars pour 0,10 et 11,3 dollars pour 0,30. Tout facteur de confusion sur cette courbe ou au-dessus ramènerait l’estimation à 0. Une courbe bleue en tirets descend de 33,7 dollars pour 0,03 à 10,1 dollars pour 0,10 et 3,4 dollars pour 0,30. Tout facteur de confusion sur cette courbe explique le biais réel de 1,01 dollar. Un point indique le jardin à un écart de proportion de 0,087 et à 10,27 dollars. Il est près de la courbe bleue et bien en dessous de la courbe orange.
Selon la règle, le jardin ajoute 0,087 × 10,27 = 0,89 dollar de biais. Le biais réel de cette exécution est de 1,01 dollar. La règle est proche, mais pas exacte, car le jardin est un peu lié aux autres colonnes.
Une cause semblable au jardin pourrait-elle ramener la réponse à 0? Avec l’écart de proportion du jardin, elle devrait valoir environ 3,38 / 0,087 = 39 dollars. C’est presque quatre fois le jardin. Le signe de la réponse est donc sûr : le bloc aide. Sa taille ne l’est pas : une cause semblable au jardin peut la déplacer d’un dollar. Larkfield devrait annoncer « environ +2 à +3 dollars par client, probablement un peu moins que notre estimation », et non « +3,38 ».
Quand les utiliser, quand les éviter et à quel coût
Section intitulée « Quand les utiliser, quand les éviter et à quel coût »Utilisez les tests de réfutation :
- chaque fois que vous estimez un effet sans test. Ils coûtent peu. Ils détectent de vrais bogues : une mauvaise colonne, une méthode qui trouve des effets dans le bruit, une réponse qui repose sur quelques clients;
- comme trace : un rapport qui énumère les tests exécutés inspire davantage confiance.
Utilisez une analyse de sensibilité :
- chaque fois qu’un facteur de confusion pourrait manquer, ce qui est presque toujours le cas avec des journaux;
- pour transformer « il pourrait y avoir un biais » en nombre. Par exemple : « pour changer la décision, une cause doit valoir X dollars et être Y points plus fréquente chez les utilisateurs ».
Ne considérez ni l’un ni l’autre comme une preuve. Les tests de réfutation ne peuvent pas voir les colonnes manquantes. Une grille de sensibilité ne dit pas si une telle cause existe. Les personnes qui connaissent les clients doivent en juger. Notre grille suppose aussi une cause simple de type oui ou non. DoWhy et d’autres bibliothèques proposent des méthodes plus générales.
Le coût : moins d’une minute de calcul pour les tests de réfutation sur 40 000 clients, et une conversation sur ce qui pourrait manquer. Cette conversation est la partie précieuse.
Exercice guidé : réfuter et mesurer à la main
Section intitulée « Exercice guidé : réfuter et mesurer à la main »- Ouvrez le carnet depuis l’encadré Faire cette leçon dans un carnet Jupyter en haut de cette page.
- Exécutez les cellules de préparation et la cellule utilitaire. Le carnet lit les mêmes journaux que
sim run --scenario logs(graine 40). Il écrit les trois tests à la main, sans DoWhy. Ses nombres aléatoires diffèrent donc un peu. - Dans la section 1, ajustez l’estimation. Vous voyez
estimate: +3.38 dollars per customer(estimation : +3,38 dollars par client). - Dans les sections 2 à 4, exécutez les trois tests. Vous voyez
placebo: mean +0.03(placebo : moyenne +0,03),random common cause: mean +3.38(cause commune aléatoire : moyenne +3,38) etdata subsets: mean +3.31(sous-ensembles de données : moyenne +3,31). - Dans la section 5, vérifiez la règle sur une colonne inventée. Vous voyez
share gap 0.103; the naive difference moved by +1.03 (rule: +1.03)(écart de proportion 0,103; la différence naïve a changé de +1,03; règle : +1,03). - Dans la section 6, trouvez l’écart de proportion qui ramène l’estimation à 0 pour un facteur de confusion de 10 dollars. Mettez-le dans
gap_needed. Exécutez la cellule de vérification. Elle afficheCheck passed(vérification réussie).
Afficher la réponse à l’étape 6
gap_needed = round(est / 10, 3)print(gap_needed)La valeur est de 0,338. Le biais vaut l’écart de proportion × 10 dollars, et il doit égaler l’estimation. L’écart de proportion est donc de 3,38 / 10.
À vous de jouer : la décision tient-elle?
Section intitulée « À vous de jouer : la décision tient-elle? »Omar dit : « Le bloc nous coûte environ 2 $ par client. Nous le gardons s’il ajoute plus de 2 $. » Utilisez la grille ci-dessus. Quels facteurs de confusion cachés changeraient sa décision? Le jardin en fait-il partie? Répondez avant d’ouvrir la solution.
Afficher la réponse
La décision change lorsqu’une cellule passe sous +2,00. Dans la grille, ce sont :
- un écart de 0,05 avec 40 $ (+1,38);
- un écart de 0,10 avec 20 ou 40 $;
- un écart de 0,20 avec 10 $ ou plus;
- un écart de 0,30 avec chacun des quatre montants (même 5 $ laisse +1,88).
Une cause de la taille du jardin (écart de proportion de 0,087, 10,27 $) laisse environ 3,38 − 0,89 = +2,49 $ selon la règle. L’ATE réel est de +2,37. Les deux dépassent 2, donc la décision tient. Mais la marge est mince : une deuxième cause cachée de la taille du jardin ferait passer la réponse sous 2.
Le rapport honnête dit donc : « Le bloc ajoute environ 2,5 à 3,4 $ par client. Une deuxième cause manquante aussi forte qu’un jardin changerait la décision. Un test trancherait. » Planifiez ensuite un test : dans Répartir au hasard, une pièce de monnaie a équilibré le jardin sans le voir.
Erreur courante
« DoWhy dit que l'estimation est robuste »
Symptôme : une équipe estime l’effet d’une fonctionnalité à partir des journaux et exécute les tests de réfutation de DoWhy. Tous les tests réussissent. Le rapport dit « robuste : validé par les tests de réfutation ». Plus tard, un vrai test A/B trouve un effet inférieur d’un tiers.
Cause : les tests modifient seulement les données que l’équipe possède. Ils ne peuvent pas voir un facteur de confusion qui en est absent. L’estimation était correcte pour les colonnes du journal, mais une colonne absente la biaisait.
Solution : rapportez ce que les tests montrent : ils n’ont trouvé aucun bogue dans la méthode. Ajoutez une analyse de sensibilité : quelle force un facteur de confusion caché devrait-il avoir pour changer la décision? Demandez aux personnes qui connaissent les clients si une telle cause existe. Quand la décision est importante, faites un test.
Vérifiez votre compréhension
Un test placebo sur votre estimation donne un nouvel effet de +3,10 $, proche de votre estimation de +3,38. Qu'est-ce que cela vous indique?
Afficher la réponse
Le test a échoué. Si on mélange le traitement au hasard, une méthode fiable devrait trouver environ 0. Trouver +3,10 signifie que la méthode produit un « effet » même quand le traitement ne signifie rien. Le +3,38 vient donc probablement de la méthode ou des données, pas du traitement. Exemples : une erreur de code ou une colonne qui laisse fuiter le résultat.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Les trois tests de réfutation réussissent sur les journaux de Larkfield, mais l'estimation (+3,38) dépasse la vérité (+2,37) de 1 $. Expliquez pourquoi les tests n'ont pas pu détecter cela.
Afficher la réponse
Les tests modifient des éléments dans les données : la colonne de traitement, une colonne de bruit ajoutée, les lignes. Ils vérifient que la méthode réagit correctement à ces changements. Le biais vient du jardin, un facteur de confusion totalement absent des données. Chaque test utilise les six mêmes colonnes, donc chaque test a le même angle mort. Une réussite signifie qu’on n’a trouvé aucun bogue, pas que l’estimation est juste.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Un facteur de confusion caché est plus courant de 20 points chez les utilisateurs que chez les non-utilisateurs (écart de proportion de 0,20). Il ajoute 15 $ de dépenses. Selon la règle, quel effet resterait d'une estimation de +3,38?
Afficher la réponse
Le biais est d’environ 0,20 × 15 = 3,00 $. L’effet restant est d’environ 3,38 − 3,00 = +0,38 $ : encore positif, mais proche de 0. Un facteur de confusion de cette taille changerait la plupart des décisions. L’équipe doit donc se demander si une telle cause pourrait exister.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Un test de réfutation modifie les données d’une façon connue et vérifie la réponse de la méthode. Un traitement placebo devrait donner environ 0; une cause commune aléatoire et un sous-ensemble de données devraient laisser l’estimation à peu près inchangée.
- Sur les journaux de Larkfield, les trois tests de DoWhy réussissent : −0,07, +3,38 et +3,45 pour une estimation de +3,38. La vérité est +2,37. Une réussite signifie « aucun bogue trouvé », pas « juste ».
- Aucun test des données ne peut voir une colonne manquante. Trois méthodes qui concordent et des tests qui réussissent partagent le même angle mort.
- L’analyse de sensibilité demande quelle force un facteur de confusion caché doit avoir : biais ≈ écart de proportion × dollars. Le jardin (0,087 × 10,27 = 0,89) explique la majeure partie du biais réel (1,01). Pour ramener la réponse à 0, il devrait valoir environ 39 $.
- Rapportez l’effet sous forme d’intervalle avec son point faible, et faites un test quand la décision est importante.
Ensuite, une nouvelle question : non pas si un changement fonctionne en moyenne, mais pour qui.
Leçon suivante : La moyenne cache les personnes