Aller au contenu
English

Ajustement par régression

  • Leçon 21
  • 35 min
  • Module 6 : Ajuster pour les facteurs de confusion dans des données d'observation

Où nous en sommes

Les expériences naturelles exigent un heureux concours de circonstances dans leur conception. Souvent, nous avons seulement des journaux : qui a utilisé une fonctionnalité, et combien ces personnes ont dépensé. Dans cette leçon, nous ajoutons les facteurs de confusion de notre graphe causal à une régression. Nous voyons ensuite comment un facteur manquant et un médiateur changent la réponse.

Leçon 21 sur 30 · Expériences et impact causal : notre changement a-t-il fonctionné?Ajustement par régression

Ce que vous saurez faire

Estimez l’effet d’une fonctionnalité à partir des journaux, sans répartition aléatoire des utilisateurs. Ajoutez les facteurs de confusion à une régression pour comparer des personnes semblables. Apprenez quelles colonnes inclure dans la régression et lesquelles faussent ses résultats.

Carnet JupyterFaites cette leçon dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Dans le carnet (notebook) Jupyter, vous estimez la réponse naïve par régression et ajoutez les facteurs de confusion. Vous en retirez un, puis ajoutez un médiateur et un collisionneur. Les cellules de préparation téléchargent les données des journaux et installent les paquets. Aucune préparation locale n’est donc nécessaire. Environ 35 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 35 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur (seulement pour les étapes du projet)

  • Le projet larkfield-experiments à l’instantané end-of-m05, vu dans Différence des différences, avec .venv actif. Cette leçon le met à jour vers end-of-m06.

Testé sur macOS avec Python 3.12 et l’instantané end-of-m06 du projet. Windows n’a pas été testé.

Une petite boutique installe une nouvelle étagère près de la porte : « Nos favoris du mois ». À la fin du mois, la propriétaire examine les reçus de caisse. Les clients qui se sont arrêtés à l’étagère ont dépensé 25 dollars de plus que ceux qui sont passés devant.

L’étagère a-t-elle rapporté 25 dollars par client? La propriétaire n’en est pas certaine. Les habitués s’arrêtent partout. Ils connaissent la boutique, ont du temps et achètent beaucoup de toute façon. Les personnes qui passent devant sont souvent des visiteurs pressés.

La propriétaire fait donc une comparaison plus juste. Elle compare les habitués qui se sont arrêtés avec ceux qui ne se sont pas arrêtés. Puis elle compare les visiteurs qui se sont arrêtés avec ceux qui ne se sont pas arrêtés. Chaque comparaison porte sur des personnes semblables. La différence qui reste vient de l’étagère.

C’est toute l’idée de cette leçon. Le reste explique comment faire avec plusieurs colonnes à la fois, et quelles colonnes exclure.

Le problème : les utilisateurs du bloc ont dépensé 9,70 dollars de plus

Section intitulée « Le problème : les utilisateurs du bloc ont dépensé 9,70 dollars de plus »

TermeLarkfieldUne boutique en ligne canadienne inventée, qui vend des articles pour la maison et le jardin. Ce n’est pas une vraie entreprise. Tous les cours Nextia utilisent son service d’assistance et ses données comme exemple.En savoir plus Découvrez Larkfield a lancé son bloc de recommandations pour tout le monde le 6 octobre 2025. Il n’y a eu aucun test. Les clients ont choisi de cliquer ou non sur le bloc. Le scénario logs du simulateur contient 28 jours de ces journaux, pour 40 000 clients. Toutes ces données sont synthétiques.

TermeOmarLe gestionnaire de produit de Larkfield. Il pose les questions d’affaires : ce qu’un changement coûte et ce qu’il apporte à la boutique., le gestionnaire de produit, lit le tableau de bord. Les 13 338 clients qui ont utilisé le bloc ont dépensé 39,19 dollars chacun. Les 26 662 autres ont dépensé 29,48 dollars. La différence est de +9,70 dollars. « Le bloc rapporte presque 10 dollars par client », dit Omar.

Vous avez vu dans Causes et comparaisons pourquoi ce nombre est trop élevé. Les utilisateurs étaient différents avant même que le bloc existe. Ils avaient dépensé 51,77 dollars dans les 8 semaines précédant le lancement, contre 41,28 pour les autres. Ils visitent le site plus souvent. Ils utilisent plus souvent un ordinateur. Ces colonnes sont des facteurs de confusion : elles causent à la fois l’utilisation du bloc et les dépenses.

Le simulateur connaît la vérité. Si chaque client utilisait le bloc, chacun dépenserait en moyenne +2,37 dollars de plus. Pour les clients qui l’ont réellement utilisé, l’effet est de +2,73 dollars. La réponse naïve de +9,70 est plus de trois fois trop élevée. Nous avons créé volontairement cet écart entre +9,70 et +2,73 comme exercice.

Un tirage à pile ou face réglerait ce problème. Mais le bloc est déjà accessible à tout le monde. Larkfield n’a que les journaux. Peuvent-ils donner une réponse juste?

L’ajustement par régression compare des utilisateurs et des non-utilisateurs semblables quant aux facteurs de confusion. « Ajuster pour les dépenses passées » signifie comparer des clients ayant les mêmes dépenses passées. Une régression le fait pour plusieurs colonnes à la fois.

Moitié supérieure, la comparaison naïve. Un encadré bleu : étagère utilisée, 5 clients, 4 enthousiastes ayant dépensé 60 dollars chacun et 1 occasionnel ayant dépensé 23 dollars. Un encadré gris : étagère non utilisée, 5 clients, 1 enthousiaste ayant dépensé 57 dollars et 4 occasionnels ayant dépensé 20 dollars chacun. Des flèches rouges mènent à un encadré rouge : tous les utilisateurs contre tous les non-utilisateurs, 52,60 moins 27,40 donne plus 25,20 dollars, surtout des enthousiastes contre surtout des occasionnels. Moitié inférieure, la comparaison ajustée. Deux encadrés verts : enthousiastes avec enthousiastes, 60 moins 57 donne plus 3 dollars; occasionnels avec occasionnels, 23 moins 20 donne plus 3 dollars. Des flèches bleues mènent à un encadré vert : ajustement pour le type de client, plus 3 dollars; une régression avec une colonne pour les enthousiastes fait cela.
Comparez des personnes semblables. La comparaison naïve oppose surtout des clients enthousiastes à des clients occasionnels. Pour chaque type, l'étagère ajoute 3 dollars. Les dix clients sont inventés pour cet exemple.

Dix clients de la petite boutique. Les nombres sont inventés pour cet exemple. Quatre des cinq clients enthousiastes ont utilisé l’étagère. Un seul des cinq clients occasionnels l’a fait.

Client Type A utilisé l’étagère? Dépenses (dollars)
1 à 4 enthousiaste oui 60 chacun
5 enthousiaste non 57
6 occasionnel oui 23
7 à 10 occasionnel non 20 chacun

La réponse naïve :

  • utilisateurs : (4 × 60 + 23) / 5 = 263 / 5 = 52,60 dollars;
  • non-utilisateurs : (57 + 4 × 20) / 5 = 137 / 5 = 27,40 dollars;
  • différence : 52,60 − 27,40 = +25,20 dollars.

Comparez maintenant des personnes semblables :

  • les utilisateurs enthousiastes contre le non-utilisateur enthousiaste : 60 − 57 = +3 dollars;
  • l’utilisateur occasionnel contre les non-utilisateurs occasionnels : 23 − 20 = +3 dollars.

L’étagère ajoute 3 dollars pour les deux types. Les 22,20 autres dollars de la réponse naïve viennent des personnes qui ont utilisé l’étagère, pas de l’étagère. Le type de client est le facteur de confusion : les enthousiastes utilisent davantage l’étagère et dépensent plus.

Avec 40 000 clients et six facteurs de confusion, impossible de faire un tableau pour chaque type de client. Une régression fait la comparaison pour vous. Elle ajuste une équation :

revenue = a + b × used_block + c × pre_spend + d × visits + … (one term for each confounder)

Chaque lettre est un nombre que la régression trouve dans les données. Le nombre b est la différence de revenu entre utilisateurs et non-utilisateurs ayant les mêmes valeurs dans toutes les autres colonnes. C’est l’effet ajusté. Écrivez cette équation pour la petite boutique, avec une colonne keen (enthousiaste, 1 ou 0). La régression trouve b = +3,00 dollars, exactement comme le tableau.

La régression suppose une forme simple : chaque colonne ajoute un montant selon une droite. Le bloc ajoute le même b pour tout le monde. Quand la forme réelle n’est pas une droite, la réponse peut être légèrement inexacte.

Nos outils affichent deux noms pour l’effet. Ils répondent à deux questions différentes.

  • ATE, l’effet moyen du traitement : la variation moyenne si tout le monde utilisait le bloc, comparativement à personne. Chez Larkfield, la vérité est de +2,37 dollars.
  • ATT, l’effet moyen sur les traités : la variation moyenne pour les clients qui l’ont utilisé. La vérité est de +2,73 dollars.

Les deux diffèrent parce que les utilisateurs sont des clients plus actifs. Le bloc augmente la probabilité que chaque client commande à chaque visite. Il aide donc davantage un client qui visite plus souvent. Une régression comme la nôtre estime l’ATE.

D’abord, mettez le projet à jour vers l’instantané end-of-m06. Il ajoute xp adjust (cette leçon et la suivante) et xp refute (la troisième leçon). Il ajoute aussi deux paquets : scikit-learn et DoWhy. Vos propres exécutions et plans restent en place.

  1. Ouvrez un terminal dans le dossier qui contient larkfield-experiments et nextia-learning-labs. Si vous avez cloné le dépôt des laboratoires avec Git, mettez-le d’abord à jour.

    Fenêtre de terminal
    git -C nextia-learning-labs pull
  2. Copiez l’instantané dans votre projet et installez les nouveaux paquets.

    Fenêtre de terminal
    cp -R nextia-learning-labs/C40/snapshots/end-of-m06/. larkfield-experiments/
    cd larkfield-experiments
    source .venv/bin/activate
    python -m pip install -r requirements.txt

    DoWhy ajoute plusieurs autres paquets. L’installation prend donc quelques minutes.

  3. Exécutez les tests.

    Fenêtre de terminal
    python -m pytest -q
    .......................... [100%]
    29 passed in 5.51s

    Vingt-neuf tests réussissent. Votre durée sera différente.

  4. Simulez les journaux.

    Fenêtre de terminal
    sim run --scenario logs
    Scenario logs (seed 40): 28 days of logs after the recommendation block's launch: who used it and what they spent (no test).
    Wrote runs/logs-s40: customers (40,000 rows). Synthetic data. 0.5 s
  5. Ajustez pour les six facteurs de confusion, puis comparez avec la vérité.

    Fenêtre de terminal
    xp adjust
    xp check
    Run logs-s40: effect of used_block on revenue (dollars per customer, 28 days).
    Covariates: pre_spend, pre_orders, visits, tenure_days, new_customer, desktop
    naive (users − non-users) +9.70
    regression +3.38 (95% interval +1.74 to +5.03; ATE)
    matching (nearest neighbour) +4.43 (95% interval +1.96 to +6.89; ATT)
    weighting (IPW) +2.87 (95% interval +0.98 to +5.16; ATE)
    Overlap: propensity scores 0.191–0.505 (users), 0.191–0.508 (non-users).
    Balance (standardised mean difference; below 0.1 is good): pre_spend +0.08 → -0.01, pre_orders +0.10 → -0.00, visits +0.09 → +0.00, tenure_days +0.14 → -0.00, new_customer -0.15 → -0.00, desktop +0.15 → +0.00
    Run logs-s40: the last analysis was `xp adjust`.
    True effect (from the simulator): ATE +2.37, ATT +2.73 dollars per customer. Naive: +9.70.
    regression: +3.38 against ATE +2.37: the interval contains it.
    matching (nearest neighbour): +4.43 against ATT +2.73: the interval contains it.
    weighting (IPW): +2.87 against ATE +2.37: the interval contains it.
    Hidden from the log: has_garden (45% of customers): users are more likely to have a garden, and gardeners spend more. It is not in the log.

Regardez la ligne regression (régression). Les six facteurs de confusion font passer la réponse de +9,70 à +3,38 dollars (+1,74 à +5,03). C’est beaucoup plus proche de la valeur réelle de +2,37. L’TermeIntervalle de confianceUne plage autour d’une valeur mesurée, obtenue par une méthode qui contient la vraie valeur 95 fois sur 100. Si l’intervalle d’une différence ne contient pas zéro, la différence n’est probablement pas due au hasard.En savoir plus Estimer l'incertitudeMathématiques et statistiques essentielles pour l'IA contient la vérité.

Mais +3,38 reste environ 1 dollar trop élevé. La dernière ligne de xp check explique pourquoi : la présence d’un jardin chez le client. Les jardiniers utilisent davantage le bloc et dépensent plus. Le jardin est donc aussi un facteur de confusion. Larkfield ne l’a jamais enregistré. Aucune régression ne peut donc en tenir compte.

Les autres lignes de xp adjust concernent la prochaine leçon : appariement, pondération, chevauchement et équilibre.

Seul un simulateur peut faire cela. Notre script de mesure a réexécuté les mêmes journaux avec la colonne cachée du jardin et l’a ajoutée à la régression. La réponse est devenue +2,38 dollars (+0,74 à +4,01), contre la valeur réelle de +2,37. Avec tous les facteurs de confusion, l’ajustement par régression fonctionne ici. Avec un facteur manquant, il reste environ 1 dollar trop élevé.

Une vraie boutique n’obtient jamais cette vérification. Elle ne peut pas ajouter une colonne que personne n’a enregistrée.

Le graphe causal de Dessiner les causes indiquait quelles colonnes ajouter : les six facteurs de confusion. Que se passe-t-il si notre liste est incorrecte? Le graphique montre sept régressions sur les mêmes journaux.

L'effet du bloc sur le revenu selon sept régressions sur les mêmes journaux simulés (graine 40), avec des intervalles à 95 %. Les six facteurs de confusion rapprochent la réponse naïve de la vérité. Exclure des facteurs de confusion, ou ajouter un médiateur ou un collisionneur, la déplace. Seule la régression avec le jardin caché atteint la vérité, et seul le simulateur peut l'exécuter.
Description textuelle du graphique

Un panneau avec une ligne à 0 (aucun effet) et une ligne à l’effet réel, +2,37 dollars. Aucun ajout (naïve) : +9,70 (+7,56 à +11,84). Les 6 facteurs de confusion : +3,38 (+1,74 à +5,03). Sans pre_spend : +2,76 (+0,94 à +4,59). Sans pre_spend et visits : +3,97 (+2,07 à +5,87). Les 6 facteurs de confusion et le médiateur pages_viewed : +2,79 (+0,81 à +4,76). Les 6 facteurs de confusion et le collisionneur left_review : −3,16 (−4,70 à −1,61), sous zéro. Les 6 facteurs de confusion et le jardin caché, seulement dans le simulateur : +2,38 (+0,74 à +4,01), sur la vérité.

Retirez les dépenses passées et les visites :

Fenêtre de terminal
xp adjust --covariates pre_orders,tenure_days,new_customer,desktop
regression +3.97 (95% interval +2.07 to +5.87; ATE)

Nous montrons seulement la ligne de régression de la sortie. L’estimation monte à +3,97 dollars. Sans les dépenses passées et les visites, la régression ignore une partie de ce qui rend les utilisateurs différents. Cette partie se retrouve dans l’« effet » du bloc. Un facteur de confusion manquant éloigne la réponse de la vérité, dans le sens de ce facteur. Ici, les utilisateurs sont les clients les plus actifs. La réponse augmente donc.

Retirez maintenant seulement les dépenses passées :

Fenêtre de terminal
xp adjust --covariates pre_orders,visits,tenure_days,new_customer,desktop
regression +2.76 (95% interval +0.94 to +4.59; ATE)

La réponse est de +2,76 dollars : plus proche de la vérité (+2,37) que la liste complète (+3,38). Cela signifie-t-il qu’il faut retirer pre_spend?

Non. Deux erreurs s’annulent ici par chance. Le jardin caché pousse la réponse vers le haut. Retirer pre_spend change la façon dont les autres colonnes se partagent le travail. Ici, cela tire la réponse vers le bas par hasard. Avec d’autres données, cela pourrait la pousser vers le haut. Dans une vraie étude, vous ne connaissez pas la vérité. Vous ne pouvez donc pas voir quelles erreurs s’annulent. Choisissez les colonnes à partir du graphe causal, avant de voir l’estimation. Ne les choisissez jamais selon l’apparence de la réponse.

pages_viewed compte les pages qu’un client a vues pendant les 28 jours. Le bloc lui-même ajoute des pages : les clients y cliquent sur des produits. Ainsi, pages_viewed est un médiateur : il se trouve sur le chemin du bloc vers le revenu.

Fenêtre de terminal
xp adjust --add pages_viewed
regression +2.79 (95% interval +0.81 to +4.76; ATE)

La réponse est de +2,79 dollars : encore plus proche de la vérité, et encore pour une mauvaise raison. Ajuster pour les pages compare des utilisateurs et des non-utilisateurs ayant vu le même nombre de pages. Cela retire la partie de l’effet qui passe par les pages. Cela fait aussi intervenir le désir d’achat de chaque client, qui influence également les pages. Ici, ces erreurs tirent la réponse vers le bas, et le jardin caché la pousse vers le haut. Elles s’annulent par hasard.

La règle de Dessiner les causes reste valable : n’ajustez pour rien que le traitement peut changer. Une colonne enregistrée après le début du traitement exige un examen attentif du graphe.

Une exécution peut être chanceuse. Les mesures du cours ont exécuté la régression sur 50 journaux simulés, chacun avec 20 000 clients et son propre effet réel. En moyenne, la régression était +1,19 dollars trop élevée. Son intervalle à 95 % contenait la vérité dans 86 % des exécutions, et non 95 %.

L’intervalle de la graine (seed) 40 contenait donc la vérité, mais cela ne rend pas la méthode sans biais. L’intervalle mesure le bruit de l’échantillon. Il ne mesure pas le biais d’un facteur de confusion manquant. Plus de clients rendent l’intervalle plus étroit autour de la même mauvaise réponse.

Quand l’utiliser, quand l’éviter et combien cela coûte

Section intitulée « Quand l’utiliser, quand l’éviter et combien cela coûte »

Utilisez l’ajustement par régression quand :

  • vous ne pouvez pas faire de test et vous avez des journaux contenant les facteurs de confusion;
  • vous avez d’abord dessiné le graphe causal et vous savez quelles colonnes sont des facteurs de confusion;
  • les utilisateurs et les non-utilisateurs se chevauchent : pour chaque type d’utilisateur, il existe des non-utilisateurs du même type. La prochaine leçon montre comment le vérifier.

Ne lui faites pas confiance quand :

  • un facteur de confusion important manque dans les données, comme le jardin. La réponse reste biaisée, et rien dans la sortie ne vous avertit;
  • vous êtes tenté d’ajouter toutes vos colonnes. Les médiateurs et les collisionneurs faussent les résultats;
  • les utilisateurs et les non-utilisateurs sont très différents. Par exemple, tous les utilisateurs dépensent beaucoup, mais aucun non-utilisateur ne le fait. La régression doit alors deviner, avec ses droites, ce qu’un gros acheteur ferait sans le bloc.

Cela coûte peu : les données que vous avez déjà et une régression. Le vrai coût est la réflexion : un graphe causal défendable et la liste des facteurs de confusion impossibles à mesurer.

Exercice guidé : construire l’ajustement étape par étape

Section intitulée « Exercice guidé : construire l’ajustement étape par étape »
  1. Ouvrez le carnet depuis l’encadré Faites cette leçon dans un carnet Jupyter en haut de cette page.
  2. Exécutez les cellules de préparation et la cellule auxiliaire. Le carnet lit les mêmes journaux que sim run --scenario logs (graine 40).
  3. Dans la section 1, estimez la réponse naïve par régression. Vous voyez naive: +9.70 dollars (95% interval +7.56 to +11.84) (naïve : +9,70 dollars, intervalle à 95 % de +7,56 à +11,84).
  4. Dans la section 2, ajoutez les six facteurs de confusion. Vous voyez adjusted: +3.38 dollars (95% interval +1.74 to +5.03) (ajustée : +3,38 dollars, intervalle à 95 % de +1,74 à +5,03).
  5. Dans la section 3, faites une prédiction, puis retirez les dépenses passées et les visites. Vous voyez +3.97 dollars (+3,97 dollars).
  6. Dans la section 4, ajoutez le médiateur. Vous voyez with the mediator: +2.79 dollars (avec le médiateur : +2,79 dollars).
  7. Dans la section 5, ajoutez le collisionneur left_review. Placez le coefficient de used_block dans with_collider. Exécutez la cellule de vérification. Elle affiche Check passed (vérification réussie).
Afficher la réponse à l’étape 7
mc = smf.ols(f"revenue ~ used_block + {confounders} + left_review", data=logs).fit()
with_collider = round(float(mc.params["used_block"]), 2)
print(with_collider)

La valeur est −3,16 : la même que pour xp adjust --add left_review.

TermeTomásL’ingénieur en IA de Larkfield. Il propose souvent un raccourci rapide, et la leçon montre pourquoi il échoue., l’ingénieur en IA, dit : « Les clients qui écrivent des avis sont nos clients les plus engagés. Ajustons aussi pour left_review (a laissé un avis). » Avant de lancer quoi que ce soit, faites une prédiction : l’estimation va-t-elle augmenter, diminuer ou rester près de +3,38? Ensuite, exécutez xp adjust --add left_review et xp check.

Afficher la réponse
Fenêtre de terminal
xp adjust --add left_review
xp check
Run logs-s40: effect of used_block on revenue (dollars per customer, 28 days).
Covariates: pre_spend, pre_orders, visits, tenure_days, new_customer, desktop, left_review
naive (users − non-users) +9.70
regression -3.16 (95% interval -4.70 to -1.61; ATE)
matching (nearest neighbour) -3.87 (95% interval -6.27 to -1.47; ATT)
weighting (IPW) -4.55 (95% interval -6.29 to -2.43; ATE)
Overlap: propensity scores 0.187–0.628 (users), 0.187–0.630 (non-users).
Balance (standardised mean difference; below 0.1 is good): pre_spend +0.08 → -0.04, pre_orders +0.10 → -0.01, visits +0.09 → -0.00, tenure_days +0.14 → -0.00, new_customer -0.15 → -0.00, desktop +0.15 → +0.00, left_review +0.26 → +0.00
Run logs-s40: the last analysis was `xp adjust`.
True effect (from the simulator): ATE +2.37, ATT +2.73 dollars per customer. Naive: +9.70.
regression: -3.16 against ATE +2.37: the interval does NOT contain it.
matching (nearest neighbour): -3.87 against ATT +2.73: the interval does NOT contain it.
weighting (IPW): -4.55 against ATE +2.37: the interval does NOT contain it.
Hidden from the log: has_garden (45% of customers): users are more likely to have a garden, and gardeners spend more. It is not in the log.

L’estimation descend à −3,16 $ : le bloc semble maintenant faire perdre de l’argent. Les trois méthodes donnent le mauvais signe, et aucun intervalle ne contient l’effet réel.

Le bloc et les dépenses causent tous deux des avis. Donc, left_review est un collisionneur (collider). Comparez seulement les clients qui ont écrit un avis. Un client qui n’a pas utilisé le bloc a probablement beaucoup dépensé. Les dépenses sont l’autre raison d’écrire un avis. Parmi ces clients, les non-utilisateurs semblent donc dépenser beaucoup. La comparaison n’est plus équitable. Les clients engagés existent vraiment, mais ici, on mesure l’engagement après l’utilisation du bloc, qui l’a modifié. Excluez cette variable.

Erreur courante

« Plus de variables de contrôle, c'est toujours mieux »

Symptôme : un analyste ajoute chaque colonne du journal à la régression : dépenses passées, visites, pages consultées, avis, retours. L’estimation de l’effet du bloc devient négative, avec un intervalle étroit. L’équipe retire une fonctionnalité qui fonctionne.

Cause : certaines colonnes étaient des résultats du traitement. Le nombre de pages consultées est un médiateur : il transmet une partie de l’effet. Les avis sont un collisionneur : le bloc et les dépenses les causent tous deux. Ajuster pour ces variables retire une partie de l’effet et crée un faux lien. Les colonnes supplémentaires ont réduit la largeur de l’intervalle. La mauvaise réponse semblait donc plus certaine.

Solution : dessinez d’abord le graphe causal et ajustez seulement pour les facteurs de confusion. Ce sont les causes du traitement et du résultat, mesurées avant le traitement. Notez la liste avant de voir l’estimation. Excluez tout ce que le traitement peut modifier, même si cela semble utile.

Vérifiez votre compréhension

Dans un magasin, les utilisateurs enthousiastes ont dépensé 70 $ et le non-utilisateur enthousiaste, 66 $. Les utilisateurs occasionnels ont dépensé 25 $ et les non-utilisateurs occasionnels, 21 $. La plupart des utilisateurs sont enthousiastes et la plupart des non-utilisateurs sont occasionnels. Que donne l'ajustement pour le type de client, et pourquoi la réponse naïve est-elle plus élevée?

Afficher la réponse

Dans chaque type, la différence est de 70 − 66 = +4 $ et de 25 − 21 = +4 $. L’effet ajusté est donc de +4 $. La réponse naïve est plus élevée parce qu’elle compare surtout des clients enthousiastes à des clients occasionnels. Les clients enthousiastes dépensent davantage de toute façon, et cette différence s’ajoute à l’effet. Le type de client est un facteur de confusion.

Vérifiez votre compréhension

La régression de Larkfield avec les six facteurs de confusion donne +3,38 $, et l'effet réel est de +2,37 $. Son intervalle à 95 % (+1,74 à +5,03) contient l'effet réel. La méthode est-elle sans biais? Expliquez à l'aide de la mesure sur 50 graines.

Afficher la réponse

Non. Un facteur de confusion, le jardin, manque dans les journaux, ce qui pousse l’estimation vers le haut. Sur 50 journaux simulés, la régression donnait en moyenne 1,19 $ de trop. Son intervalle contenait l’effet réel dans seulement 86 % des exécutions, et non 95 %. L’intervalle mesure le bruit de l’échantillon, pas le biais causé par un facteur de confusion manquant.

Vérifiez votre compréhension

Exclure pre_spend donne +2,76 $, et ajouter le médiateur pages_viewed donne +2,79 $. Les deux estimations sont plus proches de l'effet réel (+2,37) que celle avec les six facteurs de confusion (+3,38). Larkfield devrait-elle présenter l'une de ces estimations? Pourquoi?

Afficher la réponse

Non. Les deux sont plus proches par chance : deux erreurs s’annulent. Le jardin caché pousse la réponse vers le haut, et la mauvaise colonne la tire vers le bas. Avec d’autres données, les erreurs pourraient ne pas s’annuler. Dans une étude réelle, personne ne connaît l’effet réel. Personne ne peut donc voir que les erreurs s’annulent. Choisissez les colonnes à partir du graphe causal avant de voir l’estimation : seulement les facteurs de confusion, sans médiateur.

Récapitulatif

  • L’ajustement par régression compare les utilisateurs et les non-utilisateurs ayant les mêmes valeurs pour les facteurs de confusion. Le coefficient du traitement est l’effet ajusté.
  • Avec les journaux de Larkfield, l’estimation naïve de +9,70 $ descend à +3,38 (+1,74 à +5,03) avec les six facteurs de confusion. L’effet réel est de +2,37 (ATE) et de +2,73 (ATT).
  • L’estimation reste trop élevée parce que le jardin manque. Avec le jardin, ce qui est possible seulement dans le simulateur : +2,38. Sur 50 graines : biais de +1,19 $, couverture de 86 %.
  • Un facteur de confusion manquant éloigne la réponse de l’effet réel. Un médiateur (+2,79) ou un facteur de confusion retiré (+2,76) peut donner une estimation plus proche par chance. Un collisionneur (−3,16) donne le mauvais signe.
  • Choisissez les colonnes à partir du graphe causal, avant de voir la réponse.

Ensuite, une deuxième façon d’ajuster : modéliser qui a utilisé le bloc, puis apparier ou pondérer les clients.

Leçon suivante : Scores de propension, appariement et pondération