Ajustement par régression
- Leçon 21
- 35 min
- Module 6 : Ajuster pour les facteurs de confusion dans des données d'observation
Où nous en sommes
Les expériences naturelles exigent un heureux concours de circonstances dans leur conception. Souvent, nous avons seulement des journaux : qui a utilisé une fonctionnalité, et combien ces personnes ont dépensé. Dans cette leçon, nous ajoutons les facteurs de confusion de notre graphe causal à une régression. Nous voyons ensuite comment un facteur manquant et un médiateur changent la réponse.
Leçon 21 sur 30 · Expériences et impact causal : notre changement a-t-il fonctionné?Ajustement par régression
1. Pourquoi « ça a monté » n'est pas une réponse
2. Concevoir un test A/B
3. Analyser le test
4. Les pièges des vrais tests
5. Quand la répartition aléatoire est impossible : les expériences naturelles
6. Ajuster pour les facteurs de confusion dans des données d'observation
7. Le gain incrémental : à qui appliquer le traitement?
8. Les expériences pour les fonctions d'IA et en production
Ce que vous saurez faire
Estimez l’effet d’une fonctionnalité à partir des journaux, sans répartition aléatoire des utilisateurs. Ajoutez les facteurs de confusion à une régression pour comparer des personnes semblables. Apprenez quelles colonnes inclure dans la régression et lesquelles faussent ses résultats.
Carnet JupyterFaites cette leçon dans un carnet Jupyter
Dans le carnet (notebook) Jupyter, vous estimez la réponse naïve par régression et ajoutez les facteurs de confusion. Vous en retirez un, puis ajoutez un médiateur et un collisionneur. Les cellules de préparation téléchargent les données des journaux et installent les paquets. Aucune préparation locale n’est donc nécessaire. Environ 35 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Les facteurs de confusion, les médiateurs et les collisionneurs (colliders), vus dans Dessiner les causes.
- Pourquoi les utilisateurs et les non-utilisateurs du bloc diffèrent, vu dans Causes et comparaisons.
- Une droite avec une pente. Pour un rappel, consultez Fonctions et variation dans le cours de mathématiques.
- Un intervalle à 95 %, vu dans Le résultat et son incertitude.
Ce qu’il vous faut sur votre ordinateur (seulement pour les étapes du projet)
- Le projet
larkfield-experimentsà l’instantanéend-of-m05, vu dans Différence des différences, avec.venvactif. Cette leçon le met à jour versend-of-m06.
Testé sur macOS avec Python 3.12 et l’instantané end-of-m06 du projet. Windows n’a pas été testé.
Une nouvelle étagère dans une petite boutique
Section intitulée « Une nouvelle étagère dans une petite boutique »Une petite boutique installe une nouvelle étagère près de la porte : « Nos favoris du mois ». À la fin du mois, la propriétaire examine les reçus de caisse. Les clients qui se sont arrêtés à l’étagère ont dépensé 25 dollars de plus que ceux qui sont passés devant.
L’étagère a-t-elle rapporté 25 dollars par client? La propriétaire n’en est pas certaine. Les habitués s’arrêtent partout. Ils connaissent la boutique, ont du temps et achètent beaucoup de toute façon. Les personnes qui passent devant sont souvent des visiteurs pressés.
La propriétaire fait donc une comparaison plus juste. Elle compare les habitués qui se sont arrêtés avec ceux qui ne se sont pas arrêtés. Puis elle compare les visiteurs qui se sont arrêtés avec ceux qui ne se sont pas arrêtés. Chaque comparaison porte sur des personnes semblables. La différence qui reste vient de l’étagère.
C’est toute l’idée de cette leçon. Le reste explique comment faire avec plusieurs colonnes à la fois, et quelles colonnes exclure.
Le problème : les utilisateurs du bloc ont dépensé 9,70 dollars de plus
Section intitulée « Le problème : les utilisateurs du bloc ont dépensé 9,70 dollars de plus »TermeLarkfieldUne boutique en ligne canadienne inventée, qui vend des articles pour la maison et le jardin. Ce n’est pas une vraie entreprise. Tous les cours Nextia utilisent son service d’assistance et ses données comme exemple.En savoir plus Découvrez Larkfield a lancé son bloc de recommandations pour tout le monde le 6 octobre 2025. Il n’y a eu aucun test. Les clients ont choisi de cliquer ou non sur le bloc. Le scénario logs du simulateur contient 28 jours de ces journaux, pour 40 000 clients. Toutes ces données sont synthétiques.
TermeOmarLe gestionnaire de produit de Larkfield. Il pose les questions d’affaires : ce qu’un changement coûte et ce qu’il apporte à la boutique., le gestionnaire de produit, lit le tableau de bord. Les 13 338 clients qui ont utilisé le bloc ont dépensé 39,19 dollars chacun. Les 26 662 autres ont dépensé 29,48 dollars. La différence est de +9,70 dollars. « Le bloc rapporte presque 10 dollars par client », dit Omar.
Vous avez vu dans Causes et comparaisons pourquoi ce nombre est trop élevé. Les utilisateurs étaient différents avant même que le bloc existe. Ils avaient dépensé 51,77 dollars dans les 8 semaines précédant le lancement, contre 41,28 pour les autres. Ils visitent le site plus souvent. Ils utilisent plus souvent un ordinateur. Ces colonnes sont des facteurs de confusion : elles causent à la fois l’utilisation du bloc et les dépenses.
Le simulateur connaît la vérité. Si chaque client utilisait le bloc, chacun dépenserait en moyenne +2,37 dollars de plus. Pour les clients qui l’ont réellement utilisé, l’effet est de +2,73 dollars. La réponse naïve de +9,70 est plus de trois fois trop élevée. Nous avons créé volontairement cet écart entre +9,70 et +2,73 comme exercice.
Un tirage à pile ou face réglerait ce problème. Mais le bloc est déjà accessible à tout le monde. Larkfield n’a que les journaux. Peuvent-ils donner une réponse juste?
L’idée : comparer des personnes semblables
Section intitulée « L’idée : comparer des personnes semblables »L’ajustement par régression compare des utilisateurs et des non-utilisateurs semblables quant aux facteurs de confusion. « Ajuster pour les dépenses passées » signifie comparer des clients ayant les mêmes dépenses passées. Une régression le fait pour plusieurs colonnes à la fois.
Un petit exemple où toutes les valeurs sont visibles
Section intitulée « Un petit exemple où toutes les valeurs sont visibles »Dix clients de la petite boutique. Les nombres sont inventés pour cet exemple. Quatre des cinq clients enthousiastes ont utilisé l’étagère. Un seul des cinq clients occasionnels l’a fait.
| Client | Type | A utilisé l’étagère? | Dépenses (dollars) |
|---|---|---|---|
| 1 à 4 | enthousiaste | oui | 60 chacun |
| 5 | enthousiaste | non | 57 |
| 6 | occasionnel | oui | 23 |
| 7 à 10 | occasionnel | non | 20 chacun |
La réponse naïve :
- utilisateurs : (4 × 60 + 23) / 5 = 263 / 5 = 52,60 dollars;
- non-utilisateurs : (57 + 4 × 20) / 5 = 137 / 5 = 27,40 dollars;
- différence : 52,60 − 27,40 = +25,20 dollars.
Comparez maintenant des personnes semblables :
- les utilisateurs enthousiastes contre le non-utilisateur enthousiaste : 60 − 57 = +3 dollars;
- l’utilisateur occasionnel contre les non-utilisateurs occasionnels : 23 − 20 = +3 dollars.
L’étagère ajoute 3 dollars pour les deux types. Les 22,20 autres dollars de la réponse naïve viennent des personnes qui ont utilisé l’étagère, pas de l’étagère. Le type de client est le facteur de confusion : les enthousiastes utilisent davantage l’étagère et dépensent plus.
Ce que fait la régression
Section intitulée « Ce que fait la régression »Avec 40 000 clients et six facteurs de confusion, impossible de faire un tableau pour chaque type de client. Une régression fait la comparaison pour vous. Elle ajuste une équation :
revenue = a + b × used_block + c × pre_spend + d × visits + … (one term for each confounder)Chaque lettre est un nombre que la régression trouve dans les données. Le nombre b est la différence de revenu entre utilisateurs et non-utilisateurs ayant les mêmes valeurs dans toutes les autres colonnes. C’est l’effet ajusté. Écrivez cette équation pour la petite boutique, avec une colonne keen (enthousiaste, 1 ou 0). La régression trouve b = +3,00 dollars, exactement comme le tableau.
La régression suppose une forme simple : chaque colonne ajoute un montant selon une droite. Le bloc ajoute le même b pour tout le monde. Quand la forme réelle n’est pas une droite, la réponse peut être légèrement inexacte.
Deux types d’effet : ATE et ATT
Section intitulée « Deux types d’effet : ATE et ATT »Nos outils affichent deux noms pour l’effet. Ils répondent à deux questions différentes.
- ATE, l’effet moyen du traitement : la variation moyenne si tout le monde utilisait le bloc, comparativement à personne. Chez Larkfield, la vérité est de +2,37 dollars.
- ATT, l’effet moyen sur les traités : la variation moyenne pour les clients qui l’ont utilisé. La vérité est de +2,73 dollars.
Les deux diffèrent parce que les utilisateurs sont des clients plus actifs. Le bloc augmente la probabilité que chaque client commande à chaque visite. Il aide donc davantage un client qui visite plus souvent. Une régression comme la nôtre estime l’ATE.
Larkfield : ajuster les journaux
Section intitulée « Larkfield : ajuster les journaux »D’abord, mettez le projet à jour vers l’instantané end-of-m06. Il ajoute xp adjust (cette leçon et la suivante) et xp refute (la troisième leçon). Il ajoute aussi deux paquets : scikit-learn et DoWhy. Vos propres exécutions et plans restent en place.
-
Ouvrez un terminal dans le dossier qui contient
larkfield-experimentsetnextia-learning-labs. Si vous avez cloné le dépôt des laboratoires avec Git, mettez-le d’abord à jour.Fenêtre de terminal git -C nextia-learning-labs pull -
Copiez l’instantané dans votre projet et installez les nouveaux paquets.
Fenêtre de terminal cp -R nextia-learning-labs/C40/snapshots/end-of-m06/. larkfield-experiments/cd larkfield-experimentssource .venv/bin/activatepython -m pip install -r requirements.txtFenêtre de terminal Copy-Item -Recurse -Force nextia-learning-labs\C40\snapshots\end-of-m06\* larkfield-experimentscd larkfield-experiments.venv\Scripts\Activate.ps1python -m pip install -r requirements.txtDoWhy ajoute plusieurs autres paquets. L’installation prend donc quelques minutes.
-
Exécutez les tests.
Fenêtre de terminal python -m pytest -q.......................... [100%]29 passed in 5.51sVingt-neuf tests réussissent. Votre durée sera différente.
-
Simulez les journaux.
Fenêtre de terminal sim run --scenario logsScenario logs (seed 40): 28 days of logs after the recommendation block's launch: who used it and what they spent (no test).Wrote runs/logs-s40: customers (40,000 rows). Synthetic data. 0.5 s -
Ajustez pour les six facteurs de confusion, puis comparez avec la vérité.
Fenêtre de terminal xp adjustxp checkRun logs-s40: effect of used_block on revenue (dollars per customer, 28 days).Covariates: pre_spend, pre_orders, visits, tenure_days, new_customer, desktopnaive (users − non-users) +9.70regression +3.38 (95% interval +1.74 to +5.03; ATE)matching (nearest neighbour) +4.43 (95% interval +1.96 to +6.89; ATT)weighting (IPW) +2.87 (95% interval +0.98 to +5.16; ATE)Overlap: propensity scores 0.191–0.505 (users), 0.191–0.508 (non-users).Balance (standardised mean difference; below 0.1 is good): pre_spend +0.08 → -0.01, pre_orders +0.10 → -0.00, visits +0.09 → +0.00, tenure_days +0.14 → -0.00, new_customer -0.15 → -0.00, desktop +0.15 → +0.00Run logs-s40: the last analysis was `xp adjust`.True effect (from the simulator): ATE +2.37, ATT +2.73 dollars per customer. Naive: +9.70.regression: +3.38 against ATE +2.37: the interval contains it.matching (nearest neighbour): +4.43 against ATT +2.73: the interval contains it.weighting (IPW): +2.87 against ATE +2.37: the interval contains it.Hidden from the log: has_garden (45% of customers): users are more likely to have a garden, and gardeners spend more. It is not in the log.
Regardez la ligne regression (régression). Les six facteurs de confusion font passer la réponse de +9,70 à +3,38 dollars (+1,74 à +5,03). C’est beaucoup plus proche de la valeur réelle de +2,37. L’TermeIntervalle de confianceUne plage autour d’une valeur mesurée, obtenue par une méthode qui contient la vraie valeur 95 fois sur 100. Si l’intervalle d’une différence ne contient pas zéro, la différence n’est probablement pas due au hasard.En savoir plus Estimer l'incertitudeMathématiques et statistiques essentielles pour l'IA contient la vérité.
Mais +3,38 reste environ 1 dollar trop élevé. La dernière ligne de xp check explique pourquoi : la présence d’un jardin chez le client. Les jardiniers utilisent davantage le bloc et dépensent plus. Le jardin est donc aussi un facteur de confusion. Larkfield ne l’a jamais enregistré. Aucune régression ne peut donc en tenir compte.
Les autres lignes de xp adjust concernent la prochaine leçon : appariement, pondération, chevauchement et équilibre.
Ce que le jardin changerait
Section intitulée « Ce que le jardin changerait »Seul un simulateur peut faire cela. Notre script de mesure a réexécuté les mêmes journaux avec la colonne cachée du jardin et l’a ajoutée à la régression. La réponse est devenue +2,38 dollars (+0,74 à +4,01), contre la valeur réelle de +2,37. Avec tous les facteurs de confusion, l’ajustement par régression fonctionne ici. Avec un facteur manquant, il reste environ 1 dollar trop élevé.
Une vraie boutique n’obtient jamais cette vérification. Elle ne peut pas ajouter une colonne que personne n’a enregistrée.
Quelles colonnes inclure?
Section intitulée « Quelles colonnes inclure? »Le graphe causal de Dessiner les causes indiquait quelles colonnes ajouter : les six facteurs de confusion. Que se passe-t-il si notre liste est incorrecte? Le graphique montre sept régressions sur les mêmes journaux.
Description textuelle du graphique
Un panneau avec une ligne à 0 (aucun effet) et une ligne à l’effet réel, +2,37 dollars. Aucun ajout (naïve) : +9,70 (+7,56 à +11,84). Les 6 facteurs de confusion : +3,38 (+1,74 à +5,03). Sans pre_spend : +2,76 (+0,94 à +4,59). Sans pre_spend et visits : +3,97 (+2,07 à +5,87). Les 6 facteurs de confusion et le médiateur pages_viewed : +2,79 (+0,81 à +4,76). Les 6 facteurs de confusion et le collisionneur left_review : −3,16 (−4,70 à −1,61), sous zéro. Les 6 facteurs de confusion et le jardin caché, seulement dans le simulateur : +2,38 (+0,74 à +4,01), sur la vérité.
Un facteur de confusion manquant
Section intitulée « Un facteur de confusion manquant »Retirez les dépenses passées et les visites :
xp adjust --covariates pre_orders,tenure_days,new_customer,desktop regression +3.97 (95% interval +2.07 to +5.87; ATE)Nous montrons seulement la ligne de régression de la sortie. L’estimation monte à +3,97 dollars. Sans les dépenses passées et les visites, la régression ignore une partie de ce qui rend les utilisateurs différents. Cette partie se retrouve dans l’« effet » du bloc. Un facteur de confusion manquant éloigne la réponse de la vérité, dans le sens de ce facteur. Ici, les utilisateurs sont les clients les plus actifs. La réponse augmente donc.
Plus proche par chance ne veut pas dire mieux
Section intitulée « Plus proche par chance ne veut pas dire mieux »Retirez maintenant seulement les dépenses passées :
xp adjust --covariates pre_orders,visits,tenure_days,new_customer,desktop regression +2.76 (95% interval +0.94 to +4.59; ATE)La réponse est de +2,76 dollars : plus proche de la vérité (+2,37) que la liste complète (+3,38). Cela signifie-t-il qu’il faut retirer pre_spend?
Non. Deux erreurs s’annulent ici par chance. Le jardin caché pousse la réponse vers le haut. Retirer pre_spend change la façon dont les autres colonnes se partagent le travail. Ici, cela tire la réponse vers le bas par hasard. Avec d’autres données, cela pourrait la pousser vers le haut. Dans une vraie étude, vous ne connaissez pas la vérité. Vous ne pouvez donc pas voir quelles erreurs s’annulent. Choisissez les colonnes à partir du graphe causal, avant de voir l’estimation. Ne les choisissez jamais selon l’apparence de la réponse.
Un médiateur ajouté par erreur
Section intitulée « Un médiateur ajouté par erreur »pages_viewed compte les pages qu’un client a vues pendant les 28 jours. Le bloc lui-même ajoute des pages : les clients y cliquent sur des produits. Ainsi, pages_viewed est un médiateur : il se trouve sur le chemin du bloc vers le revenu.
xp adjust --add pages_viewed regression +2.79 (95% interval +0.81 to +4.76; ATE)La réponse est de +2,79 dollars : encore plus proche de la vérité, et encore pour une mauvaise raison. Ajuster pour les pages compare des utilisateurs et des non-utilisateurs ayant vu le même nombre de pages. Cela retire la partie de l’effet qui passe par les pages. Cela fait aussi intervenir le désir d’achat de chaque client, qui influence également les pages. Ici, ces erreurs tirent la réponse vers le bas, et le jardin caché la pousse vers le haut. Elles s’annulent par hasard.
La règle de Dessiner les causes reste valable : n’ajustez pour rien que le traitement peut changer. Une colonne enregistrée après le début du traitement exige un examen attentif du graphe.
Sur plusieurs graines
Section intitulée « Sur plusieurs graines »Une exécution peut être chanceuse. Les mesures du cours ont exécuté la régression sur 50 journaux simulés, chacun avec 20 000 clients et son propre effet réel. En moyenne, la régression était +1,19 dollars trop élevée. Son intervalle à 95 % contenait la vérité dans 86 % des exécutions, et non 95 %.
L’intervalle de la graine (seed) 40 contenait donc la vérité, mais cela ne rend pas la méthode sans biais. L’intervalle mesure le bruit de l’échantillon. Il ne mesure pas le biais d’un facteur de confusion manquant. Plus de clients rendent l’intervalle plus étroit autour de la même mauvaise réponse.
Quand l’utiliser, quand l’éviter et combien cela coûte
Section intitulée « Quand l’utiliser, quand l’éviter et combien cela coûte »Utilisez l’ajustement par régression quand :
- vous ne pouvez pas faire de test et vous avez des journaux contenant les facteurs de confusion;
- vous avez d’abord dessiné le graphe causal et vous savez quelles colonnes sont des facteurs de confusion;
- les utilisateurs et les non-utilisateurs se chevauchent : pour chaque type d’utilisateur, il existe des non-utilisateurs du même type. La prochaine leçon montre comment le vérifier.
Ne lui faites pas confiance quand :
- un facteur de confusion important manque dans les données, comme le jardin. La réponse reste biaisée, et rien dans la sortie ne vous avertit;
- vous êtes tenté d’ajouter toutes vos colonnes. Les médiateurs et les collisionneurs faussent les résultats;
- les utilisateurs et les non-utilisateurs sont très différents. Par exemple, tous les utilisateurs dépensent beaucoup, mais aucun non-utilisateur ne le fait. La régression doit alors deviner, avec ses droites, ce qu’un gros acheteur ferait sans le bloc.
Cela coûte peu : les données que vous avez déjà et une régression. Le vrai coût est la réflexion : un graphe causal défendable et la liste des facteurs de confusion impossibles à mesurer.
Exercice guidé : construire l’ajustement étape par étape
Section intitulée « Exercice guidé : construire l’ajustement étape par étape »- Ouvrez le carnet depuis l’encadré Faites cette leçon dans un carnet Jupyter en haut de cette page.
- Exécutez les cellules de préparation et la cellule auxiliaire. Le carnet lit les mêmes journaux que
sim run --scenario logs(graine 40). - Dans la section 1, estimez la réponse naïve par régression. Vous voyez
naive: +9.70 dollars (95% interval +7.56 to +11.84)(naïve : +9,70 dollars, intervalle à 95 % de +7,56 à +11,84). - Dans la section 2, ajoutez les six facteurs de confusion. Vous voyez
adjusted: +3.38 dollars (95% interval +1.74 to +5.03)(ajustée : +3,38 dollars, intervalle à 95 % de +1,74 à +5,03). - Dans la section 3, faites une prédiction, puis retirez les dépenses passées et les visites. Vous voyez
+3.97 dollars(+3,97 dollars). - Dans la section 4, ajoutez le médiateur. Vous voyez
with the mediator: +2.79 dollars(avec le médiateur : +2,79 dollars). - Dans la section 5, ajoutez le collisionneur
left_review. Placez le coefficient deused_blockdanswith_collider. Exécutez la cellule de vérification. Elle afficheCheck passed(vérification réussie).
Afficher la réponse à l’étape 7
mc = smf.ols(f"revenue ~ used_block + {confounders} + left_review", data=logs).fit()with_collider = round(float(mc.params["used_block"]), 2)print(with_collider)La valeur est −3,16 : la même que pour xp adjust --add left_review.
À vous de jouer : un collisionneur dans le projet
Section intitulée « À vous de jouer : un collisionneur dans le projet »TermeTomásL’ingénieur en IA de Larkfield. Il propose souvent un raccourci rapide, et la leçon montre pourquoi il échoue., l’ingénieur en IA, dit : « Les clients qui écrivent des avis sont nos clients les plus engagés. Ajustons aussi pour left_review (a laissé un avis). » Avant de lancer quoi que ce soit, faites une prédiction : l’estimation va-t-elle augmenter, diminuer ou rester près de +3,38? Ensuite, exécutez xp adjust --add left_review et xp check.
Afficher la réponse
xp adjust --add left_reviewxp checkRun logs-s40: effect of used_block on revenue (dollars per customer, 28 days). Covariates: pre_spend, pre_orders, visits, tenure_days, new_customer, desktop, left_review naive (users − non-users) +9.70 regression -3.16 (95% interval -4.70 to -1.61; ATE) matching (nearest neighbour) -3.87 (95% interval -6.27 to -1.47; ATT) weighting (IPW) -4.55 (95% interval -6.29 to -2.43; ATE) Overlap: propensity scores 0.187–0.628 (users), 0.187–0.630 (non-users). Balance (standardised mean difference; below 0.1 is good): pre_spend +0.08 → -0.04, pre_orders +0.10 → -0.01, visits +0.09 → -0.00, tenure_days +0.14 → -0.00, new_customer -0.15 → -0.00, desktop +0.15 → +0.00, left_review +0.26 → +0.00Run logs-s40: the last analysis was `xp adjust`.True effect (from the simulator): ATE +2.37, ATT +2.73 dollars per customer. Naive: +9.70. regression: -3.16 against ATE +2.37: the interval does NOT contain it. matching (nearest neighbour): -3.87 against ATT +2.73: the interval does NOT contain it. weighting (IPW): -4.55 against ATE +2.37: the interval does NOT contain it.Hidden from the log: has_garden (45% of customers): users are more likely to have a garden, and gardeners spend more. It is not in the log.L’estimation descend à −3,16 $ : le bloc semble maintenant faire perdre de l’argent. Les trois méthodes donnent le mauvais signe, et aucun intervalle ne contient l’effet réel.
Le bloc et les dépenses causent tous deux des avis. Donc, left_review est un collisionneur (collider). Comparez seulement les clients qui ont écrit un avis. Un client qui n’a pas utilisé le bloc a probablement beaucoup dépensé. Les dépenses sont l’autre raison d’écrire un avis. Parmi ces clients, les non-utilisateurs semblent donc dépenser beaucoup. La comparaison n’est plus équitable. Les clients engagés existent vraiment, mais ici, on mesure l’engagement après l’utilisation du bloc, qui l’a modifié. Excluez cette variable.
Erreur courante
« Plus de variables de contrôle, c'est toujours mieux »
Symptôme : un analyste ajoute chaque colonne du journal à la régression : dépenses passées, visites, pages consultées, avis, retours. L’estimation de l’effet du bloc devient négative, avec un intervalle étroit. L’équipe retire une fonctionnalité qui fonctionne.
Cause : certaines colonnes étaient des résultats du traitement. Le nombre de pages consultées est un médiateur : il transmet une partie de l’effet. Les avis sont un collisionneur : le bloc et les dépenses les causent tous deux. Ajuster pour ces variables retire une partie de l’effet et crée un faux lien. Les colonnes supplémentaires ont réduit la largeur de l’intervalle. La mauvaise réponse semblait donc plus certaine.
Solution : dessinez d’abord le graphe causal et ajustez seulement pour les facteurs de confusion. Ce sont les causes du traitement et du résultat, mesurées avant le traitement. Notez la liste avant de voir l’estimation. Excluez tout ce que le traitement peut modifier, même si cela semble utile.
Vérifiez votre compréhension
Dans un magasin, les utilisateurs enthousiastes ont dépensé 70 $ et le non-utilisateur enthousiaste, 66 $. Les utilisateurs occasionnels ont dépensé 25 $ et les non-utilisateurs occasionnels, 21 $. La plupart des utilisateurs sont enthousiastes et la plupart des non-utilisateurs sont occasionnels. Que donne l'ajustement pour le type de client, et pourquoi la réponse naïve est-elle plus élevée?
Afficher la réponse
Dans chaque type, la différence est de 70 − 66 = +4 $ et de 25 − 21 = +4 $. L’effet ajusté est donc de +4 $. La réponse naïve est plus élevée parce qu’elle compare surtout des clients enthousiastes à des clients occasionnels. Les clients enthousiastes dépensent davantage de toute façon, et cette différence s’ajoute à l’effet. Le type de client est un facteur de confusion.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
La régression de Larkfield avec les six facteurs de confusion donne +3,38 $, et l'effet réel est de +2,37 $. Son intervalle à 95 % (+1,74 à +5,03) contient l'effet réel. La méthode est-elle sans biais? Expliquez à l'aide de la mesure sur 50 graines.
Afficher la réponse
Non. Un facteur de confusion, le jardin, manque dans les journaux, ce qui pousse l’estimation vers le haut. Sur 50 journaux simulés, la régression donnait en moyenne 1,19 $ de trop. Son intervalle contenait l’effet réel dans seulement 86 % des exécutions, et non 95 %. L’intervalle mesure le bruit de l’échantillon, pas le biais causé par un facteur de confusion manquant.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Exclure pre_spend donne +2,76 $, et ajouter le médiateur pages_viewed donne +2,79 $. Les deux estimations sont plus proches de l'effet réel (+2,37) que celle avec les six facteurs de confusion (+3,38). Larkfield devrait-elle présenter l'une de ces estimations? Pourquoi?
Afficher la réponse
Non. Les deux sont plus proches par chance : deux erreurs s’annulent. Le jardin caché pousse la réponse vers le haut, et la mauvaise colonne la tire vers le bas. Avec d’autres données, les erreurs pourraient ne pas s’annuler. Dans une étude réelle, personne ne connaît l’effet réel. Personne ne peut donc voir que les erreurs s’annulent. Choisissez les colonnes à partir du graphe causal avant de voir l’estimation : seulement les facteurs de confusion, sans médiateur.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- L’ajustement par régression compare les utilisateurs et les non-utilisateurs ayant les mêmes valeurs pour les facteurs de confusion. Le coefficient du traitement est l’effet ajusté.
- Avec les journaux de Larkfield, l’estimation naïve de +9,70 $ descend à +3,38 (+1,74 à +5,03) avec les six facteurs de confusion. L’effet réel est de +2,37 (ATE) et de +2,73 (ATT).
- L’estimation reste trop élevée parce que le jardin manque. Avec le jardin, ce qui est possible seulement dans le simulateur : +2,38. Sur 50 graines : biais de +1,19 $, couverture de 86 %.
- Un facteur de confusion manquant éloigne la réponse de l’effet réel. Un médiateur (+2,79) ou un facteur de confusion retiré (+2,76) peut donner une estimation plus proche par chance. Un collisionneur (−3,16) donne le mauvais signe.
- Choisissez les colonnes à partir du graphe causal, avant de voir la réponse.
Ensuite, une deuxième façon d’ajuster : modéliser qui a utilisé le bloc, puis apparier ou pondérer les clients.
Leçon suivante : Scores de propension, appariement et pondération