Scores de propension, appariement et pondération
- Leçon 22
- 40 min
- Module 6 : Ajuster pour les facteurs de confusion dans des données d'observation
Où nous en sommes
L'ajustement par régression exige la bonne formule pour le résultat. Une autre approche consiste à modéliser qui a reçu le traitement. Dans cette leçon, nous estimons la probabilité que chaque client voie le bloc de recommandations. Puis nous apparions et pondérons les clients, et vérifions l'équilibre des groupes.
Leçon 22 sur 30 · Expériences et impact causal : notre changement a-t-il fonctionné?Scores de propension, appariement et pondération
1. Pourquoi « ça a monté » n'est pas une réponse
2. Concevoir un test A/B
3. Analyser le test
4. Les pièges des vrais tests
5. Quand la répartition aléatoire est impossible : les expériences naturelles
6. Ajuster pour les facteurs de confusion dans des données d'observation
7. Le gain incrémental : à qui appliquer le traitement?
8. Les expériences pour les fonctions d'IA et en production
Ce que vous saurez faire
Modélisez qui a utilisé la fonctionnalité : donnez un score de propension à chaque client. Utilisez-le pour apparier les utilisateurs à des non-utilisateurs semblables, ou pour pondérer les clients. Vérifiez l’équilibre et le chevauchement des groupes. Sachez ce que ces vérifications ne peuvent pas voir.
Carnet JupyterFaites cette leçon dans un carnet Jupyter
Dans le carnet (notebook) Jupyter, vous ajustez les scores de propension, mesurez l’équilibre, pondérez et appariez les clients. Vous voyez aussi un médiateur briser le chevauchement. Les cellules de préparation téléchargent les données des journaux et installent les paquets. Aucune préparation locale n’est donc nécessaire. Environ 40 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- L’ajustement par régression, les six facteurs de confusion, l’ATE et l’ATT, présentés dans Ajustement par régression.
- Une probabilité entre 0 et 1. Pour une révision, consultez Événements et incertitude dans le cours de mathématiques.
Ce qu’il vous faut sur votre ordinateur (seulement pour les étapes du projet)
- Le projet
larkfield-experimentsà l’instantanéend-of-m06, tiré de Ajustement par régression, avec.venvactivé.
Testé sur macOS avec Python 3.12 et l’instantané end-of-m06 du projet. Windows n’a pas été testé.
Des paires équitables dans la petite boutique
Section intitulée « Des paires équitables dans la petite boutique »Revenons à la petite boutique et à sa nouvelle étagère. La propriétaire a maintenant cent clients. Elle en sait aussi plus sur chacun : fréquence des visites, dépenses de l’an dernier, déplacements en voiture.
Elle ne peut plus les classer comme « enthousiastes » ou « occasionnels ». Il y a trop de types. Elle pose donc une question plus simple pour chaque client : « Quelle était la probabilité que cette personne s’arrête à l’étagère? » Un habitué qui vient chaque jour : très probable. Un touriste pressé : peu probable.
Elle apparie ensuite chaque client qui s’est arrêté à un client qui ne s’est pas arrêté, mais avait la même probabilité de s’arrêter. Deux personnes avec la même probabilité se ressemblent sur les aspects qui comptent pour s’arrêter. La différence entre leurs dépenses vient de l’étagère.
Le problème : trop de types de clients
Section intitulée « Le problème : trop de types de clients »Les journaux de TermeLarkfieldUne boutique en ligne canadienne inventée, qui vend des articles pour la maison et le jardin. Ce n’est pas une vraie entreprise. Tous les cours Nextia utilisent son service d’assistance et ses données comme exemple.En savoir plus Découvrez Larkfield contiennent six facteurs de confusion. Les dépenses passées à elles seules prennent des milliers de valeurs. Avec six colonnes, presque aucun client ne ressemble exactement à un autre. Vous ne pouvez pas créer un tableau avec une ligne par type de client, comme pour les dix clients.
L’Ajustement par régression a résolu ce problème avec une formule pour le revenu. Il suppose que chaque colonne ajoute un montant selon une relation linéaire. Si la forme réelle diffère, la réponse peut être erronée, sans avertissement dans la sortie.
Cette leçon modélise l’autre côté : qui a utilisé le bloc. C’est souvent plus facile à concevoir. L’équipe de Larkfield sait pourquoi les gens cliquent sur le bloc. Elle ne sait pas exactement comment les dépenses dépendent de six colonnes.
L’idée : un nombre pour la « probabilité de l’utiliser »
Section intitulée « L’idée : un nombre pour la « probabilité de l’utiliser » »Le score de propension d’un client est sa probabilité d’utiliser le traitement, compte tenu des facteurs de confusion. « Propension » signifie une tendance naturelle. Une régression logistique l’estime : un modèle dont la sortie est une probabilité entre 0 et 1.
Voici le fait utile : deux clients ayant le même score se ressemblent, en moyenne, pour tous les facteurs de confusion du modèle. Vous pouvez donc comparer utilisateurs et non-utilisateurs ayant le même score, plutôt que les mêmes valeurs dans les six colonnes. Six colonnes deviennent un nombre.
Un petit exemple où chaque valeur est visible
Section intitulée « Un petit exemple où chaque valeur est visible »Les mêmes dix clients que dans la dernière leçon. Les nombres sont inventés pour cet exemple. Quatre des cinq clients enthousiastes ont utilisé l’étagère. Le score d’un client enthousiaste est donc 4 / 5 = 0,8. Un des cinq clients occasionnels l’a utilisée. Le score d’un client occasionnel est donc 0,2.
Appariement. Donnez à chaque utilisateur le non-utilisateur au score le plus proche :
| Utilisateur | Score | Dépenses | Non-utilisateur apparié | Score | Dépenses | Différence |
|---|---|---|---|---|---|---|
| enthousiastes 1 à 4 | 0,8 | 60 | enthousiaste 5 (réutilisé) | 0,8 | 57 | +3 chacun |
| occasionnel 6 | 0,2 | 23 | occasionnel 7 | 0,2 | 20 | +3 |
La différence moyenne est de +3 dollars. C’est l’effet sur les utilisateurs (ATT) : chaque utilisateur est comparé à un non-utilisateur qui lui ressemble. Un non-utilisateur est utilisé quatre fois. C’est permis, et courant.
Pondération. Au lieu de former des paires, donnez à chaque client un poids : combien il compte. Les utilisateurs comptent pour 1 / score. Les non-utilisateurs comptent pour 1 / (1 − score).
| Clients | Score | Poids | Poids total | Dépenses |
|---|---|---|---|---|
| 4 utilisateurs enthousiastes | 0,8 | 1 / 0,8 = 1,25 | 5 | 60 |
| 1 utilisateur occasionnel | 0,2 | 1 / 0,2 = 5 | 5 | 23 |
| 1 non-utilisateur enthousiaste | 0,8 | 1 / 0,2 = 5 | 5 | 57 |
| 4 non-utilisateurs occasionnels | 0,2 | 1 / 0,8 = 1,25 | 5 | 20 |
- utilisateurs pondérés : (5 × 60 + 5 × 23) / 10 = 41,50 dollars;
- non-utilisateurs pondérés : (5 × 57 + 5 × 20) / 10 = 38,50 dollars;
- différence : +3,00 dollars.
Les clients rares comptent davantage. L’unique utilisateur occasionnel représente tous les clients occasionnels qui auraient pu utiliser l’étagère. Après pondération, chaque groupe est moitié enthousiaste, moitié occasionnel, comme l’ensemble de la boutique. La pondération estime donc l’effet sur tout le monde (ATE). Cette méthode s’appelle la pondération par l’inverse de la probabilité (IPW). « Inverse » parce que le poids est 1 divisé par la probabilité.
Larkfield : apparier et pondérer
Section intitulée « Larkfield : apparier et pondérer »xp adjust exécute le modèle de propension avec les six facteurs de confusion, puis l’appariement et la pondération. Votre projet devrait être à end-of-m06, avec les journaux simulés.
sim run --scenario logsxp adjustxp checkScenario logs (seed 40): 28 days of logs after the recommendation block's launch: who used it and what they spent (no test).Wrote runs/logs-s40: customers (40,000 rows). Synthetic data. 0.3 sRun logs-s40: effect of used_block on revenue (dollars per customer, 28 days). Covariates: pre_spend, pre_orders, visits, tenure_days, new_customer, desktop naive (users − non-users) +9.70 regression +3.38 (95% interval +1.74 to +5.03; ATE) matching (nearest neighbour) +4.43 (95% interval +1.96 to +6.89; ATT) weighting (IPW) +2.87 (95% interval +0.98 to +5.16; ATE) Overlap: propensity scores 0.191–0.505 (users), 0.191–0.508 (non-users). Balance (standardised mean difference; below 0.1 is good): pre_spend +0.08 → -0.01, pre_orders +0.10 → -0.00, visits +0.09 → +0.00, tenure_days +0.14 → -0.00, new_customer -0.15 → -0.00, desktop +0.15 → +0.00Run logs-s40: the last analysis was `xp adjust`.True effect (from the simulator): ATE +2.37, ATT +2.73 dollars per customer. Naive: +9.70. regression: +3.38 against ATE +2.37: the interval contains it. matching (nearest neighbour): +4.43 against ATT +2.73: the interval contains it. weighting (IPW): +2.87 against ATE +2.37: the interval contains it.Hidden from the log: has_garden (45% of customers): users are more likely to have a garden, and gardeners spend more. It is not in the log.L’appariement donne +4,43 dollars (+1,96 à +6,89), contre un ATT réel de +2,73. La pondération donne +2,87 (+0,98 à +5,16), contre un ATE réel de +2,37. Les trois TermeIntervalle de confianceUne plage autour d’une valeur mesurée, obtenue par une méthode qui contient la vraie valeur 95 fois sur 100. Si l’intervalle d’une différence ne contient pas zéro, la différence n’est probablement pas due au hasard.En savoir plus Estimer l'incertitudeMathématiques et statistiques essentielles pour l'IA contiennent leur effet réel. Les trois estimations le dépassent.
L’appariement forme des paires pour les 13 338 utilisateurs, avec 7 994 non-utilisateurs différents. L’intervalle de pondération vient d’un bootstrap : l’outil répète l’estimation sur 200 rééchantillons de clients, comme dans Le résultat et son incertitude.
Description textuelle du graphique
Deux panneaux. Cette exécution, graine 40, avec des lignes à l’ATE réel, +2,37, et à l’ATT réel, +2,73 dollars. Naïve : +9,70. Régression, ATE : +3,38 (+1,74 à +5,03). Appariement, ATT : +4,43 (+1,96 à +6,89). Pondération, ATE : +2,87 (+0,98 à +5,16). Biais sur 50 graines, avec une ligne à aucun biais : régression +1,19 dollars (couverture 86 %), appariement +2,23 (couverture 76 %), pondération +1,27 (couverture 90 %).
Sur 50 journaux simulés, le biais persiste : +1,19 dollars pour la régression, +2,23 pour l’appariement, +1,27 pour la pondération. Les intervalles à 95 % contenaient l’effet réel dans 86 %, 76 % et 90 % des exécutions. L’appariement avec un partenaire par utilisateur est le plus bruité des trois : la réponse de chaque utilisateur repose sur un seul autre client.
Vérifier l’équilibre
Section intitulée « Vérifier l’équilibre »Le score de propension est un moyen, pas une fin. La vraie question est : après appariement ou pondération, les utilisateurs et les non-utilisateurs se ressemblent-ils? C’est l’équilibre.
Les colonnes ont des unités différentes; nous les comparons donc avec la différence moyenne standardisée (SMD). C’est la différence des deux moyennes, divisée par la dispersion typique de la colonne (son écart-type). Une SMD de 0 signifie des moyennes égales. Sous 0,1, on parle généralement d’équilibre.
Un exemple détaillé tiré du journal : les utilisateurs ont dépensé 51,77 dollars avant le lancement, et les non-utilisateurs, 41,28. La différence est de 10,49 dollars. L’écart-type des dépenses passées est d’environ 137 dollars, parce que quelques clients dépensent beaucoup. La SMD est donc 10,49 / 137 = 0,08.
Après appariement, les non-utilisateurs appariés ont dépensé 51,22 dollars avant le lancement : presque autant que les utilisateurs. Le graphique montre chaque colonne.
Description textuelle du graphique
Trois panneaux avec des lignes à 0 et 0,1. Avant ajustement : pre_spend +0,08, pre_orders +0,10, visits +0,09, tenure_days +0,14, new_customer −0,15, desktop +0,15, et le jardin caché +0,18. Après appariement : pre_spend 0,00, pre_orders +0,04, visits +0,06, tenure_days −0,02, new_customer +0,01, desktop −0,05, jardin +0,19. Après pondération : pre_spend −0,01, pre_orders 0,00, visits 0,00, tenure_days 0,00, new_customer 0,00, desktop 0,00, jardin +0,18.
La pondération équilibre les six colonnes presque parfaitement. L’appariement laisse de petits écarts (visits +0,06), ce qui ajoute du bruit. Mais regardez la ligne orange. L’écart du jardin ne bouge pas : 0,18 avant, 0,19 après appariement, 0,18 après pondération. Parmi les utilisateurs, 50,8 % ont un jardin; parmi les non-utilisateurs, 42,1 %.
Voilà la limite de l’équilibre. Il permet seulement de vérifier les colonnes disponibles. Un tableau d’équilibre parfait ne dit rien sur une colonne manquante. Le jardin garde son écart et pousse chaque estimation vers le haut.
Vérifier le chevauchement
Section intitulée « Vérifier le chevauchement »L’appariement et la pondération exigent une deuxième condition. Pour chaque type d’utilisateur, il doit exister des non-utilisateurs du même type. C’est le chevauchement. Si certains utilisateurs ont un score de 0,99, presque personne de semblable n’a évité le bloc. Il n’y a personne à qui les comparer.
- Utilisateurs
- Non-utilisateurs
Description textuelle du graphique
Un graphique du score de propension de 0,16 à 0,54, par tranches de 0,02, avec la part de chaque groupe. Les deux courbes commencent près de 0 à 0,18 et finissent près de 0 à 0,50. Leur sommet se trouve dans la tranche de 0,30 à 0,32 : 17,9 % des utilisateurs et 20,1 % des non-utilisateurs. Les utilisateurs ont un peu plus de poids à droite. Par exemple, 13,6 % des utilisateurs et 10,5 % des non-utilisateurs sont dans la tranche de 0,38 à 0,40.
Les scores ne sont pas extrêmes. Les six facteurs de confusion expliquent peu qui clique sur le bloc. C’est bon pour le chevauchement : utilisateurs et non-utilisateurs se mélangent bien.
Un médiateur brise le chevauchement
Section intitulée « Un médiateur brise le chevauchement »Que se passe-t-il si quelqu’un ajoute pages_viewed au modèle de propension? Le bloc ajoute des pages; les pages prédisent donc très bien l’utilisation du bloc. Trop bien.
xp adjust --add pages_viewedRun logs-s40: effect of used_block on revenue (dollars per customer, 28 days). Covariates: pre_spend, pre_orders, visits, tenure_days, new_customer, desktop, pages_viewed naive (users − non-users) +9.70 regression +2.79 (95% interval +0.81 to +4.76; ATE) matching (nearest neighbour) -2.01 (95% interval -4.53 to +0.52; ATT) weighting (IPW) -282.02 (95% interval -313.35 to -59.44; ATE) Overlap: propensity scores 0.064–1.000 (users), 0.056–1.000 (non-users). Balance (standardised mean difference; below 0.1 is good): pre_spend +0.08 → -3.68, pre_orders +0.10 → -5.10, visits +0.09 → -3.97, tenure_days +0.14 → +0.85, new_customer -0.15 → -1.20, desktop +0.15 → +0.66, pages_viewed +0.35 → -11.35Les scores atteignent maintenant 1,000. La pondération donne −282,02 dollars : absurde pour des clients qui dépensent environ 30 dollars par mois. Un non-utilisateur au score de 0,99999 reçoit un poids de 1 / (1 − 0,99999), soit environ 100 000. Dans le carnet Jupyter, le plus grand poids est de 204 860. Quelques clients déterminent toute la réponse. La ligne d’équilibre le montre aussi : les SMD explosent à −3,68 et −11,35, loin de 0.
- Utilisateurs
- Non-utilisateurs
Description textuelle du graphique
Un graphique du score de propension de 0 à 1, par tranches de 0,05. Les non-utilisateurs culminent de 0,25 à 0,30 avec 21,7 % du groupe. Les utilisateurs culminent de 0,35 à 0,40 avec 18,3 %. Les deux groupes ont de longues queues minces à droite. De 0,65 à 1,0, chaque tranche contient moins de 1 % de chaque groupe, mais les queues atteignent 1,0.
Il y a deux erreurs ici. pages_viewed est un médiateur; il n’a donc pas sa place dans le modèle. Et toute colonne qui prédit presque parfaitement le traitement brise le chevauchement. Un meilleur modèle de propension n’est pas celui qui prédit mieux. C’est celui qui équilibre les facteurs de confusion.
Trois méthodes, un même angle mort
Section intitulée « Trois méthodes, un même angle mort »La régression a donné +3,38, l’appariement +4,43 et la pondération +2,87. Elles concordent à peu près, et les trois sont trop élevées. Pourquoi concordent-elles? Parce qu’elles utilisent les mêmes six colonnes. Elles diffèrent dans leur façon de les utiliser : une formule pour le revenu, des paires ou des poids. Elles ne diffèrent pas dans ce qu’elles peuvent voir.
L’accord entre les trois méthodes vérifie donc la méthode : la formule, les paires et les poids ont-ils fonctionné? Il ne vérifie pas les données : manque-t-il un facteur de confusion? Le jardin manque dans les trois; il les biaise donc toutes dans la même direction. La prochaine leçon tente volontairement de mettre l’estimation en défaut. Elle demande quelle ampleur un facteur de confusion manquant devrait avoir.
Quand l’utiliser, quand l’éviter et ce que cela coûte
Section intitulée « Quand l’utiliser, quand l’éviter et ce que cela coûte »Utilisez les scores de propension quand :
- vous avez des journaux avec les facteurs de confusion, mais aucun test;
- vous comprenez mieux qui reçoit le traitement que le fonctionnement du résultat;
- vous voulez montrer l’équilibre : un tableau de SMD convainc davantage qu’une formule de régression.
Ne leur faites pas confiance quand :
- les scores atteignent 0 ou 1 : il n’y a aucun chevauchement, et les poids explosent. Regardez d’abord le graphique des scores;
- vous avez ajouté des colonnes que le traitement modifie : médiateurs, collisionneurs (colliders);
- un facteur de confusion manque : l’équilibre semble parfait, mais la réponse reste biaisée.
L’appariement estime l’effet sur les utilisateurs (ATT); la pondération estime l’effet sur tout le monde (ATE). Choisissez d’abord la question. L’appariement avec un partenaire est bruité; la pondération est sensible aux scores extrêmes. Les deux coûtent peu en calcul. Le vrai coût est la vérification : le graphique de chevauchement et le tableau d’équilibre, chaque fois.
Exercice guidé : calculer les scores, pondérer et apparier
Section intitulée « Exercice guidé : calculer les scores, pondérer et apparier »- Ouvrez le carnet Jupyter depuis l’encadré Faites cette leçon dans un carnet Jupyter en haut de cette page.
- Exécutez les cellules de préparation et la cellule auxiliaire. Le carnet Jupyter lit les mêmes journaux que
sim run --scenario logs(graine 40). - Dans la section 1, ajustez les scores de propension. Vous voyez
users: 0.191 to 0.505; non-users: 0.191 to 0.508(utilisateurs : de 0,191 à 0,505; non-utilisateurs : de 0,191 à 0,508). - Dans la section 2, mesurez l’équilibre avant ajustement. Vous voyez
'tenure_days': 0.14et'desktop': 0.15. - Dans la section 3, pondérez les clients. Vous voyez
weighting: +2.87 dollars (ATE); truth +2.37(pondération : +2,87 dollars, ATE; effet réel : +2,37), et chaque SMD près de 0. - Dans la section 4, appariez les clients. Vous voyez
matching: +4.43 dollars (ATT)(appariement : +4,43 dollars, ATT). - Dans la section 5, ajoutez
pages_viewedau modèle de propension et pondérez de nouveau. Placez l’estimation dansipw_mediator. Exécutez la cellule de vérification. Elle afficheCheck passed(vérification réussie).
Afficher la réponse à l’étape 7
ps_m = propensity(CONFOUNDERS + ["pages_viewed"])w_m = np.where(users, 1 / ps_m, 1 / (1 - ps_m))ipw_mediator = round(float((w_m[users] * y[users]).sum() / w_m[users].sum() - (w_m[~users] * y[~users]).sum() / w_m[~users].sum()), 2)print(f"largest score {ps_m.max():.4f}; largest weight {w_m.max():,.0f}; weighting {ipw_mediator:+.2f}")La valeur est −282,02 : la même que pour xp adjust --add pages_viewed.
À vous de jouer : un autre mois de journaux
Section intitulée « À vous de jouer : un autre mois de journaux »Mateo, l’analyste de croissance, demande : « La graine 40 est-elle chanceuse? Essayez un autre mois. » Simulez les journaux avec la graine 41, puis exécutez xp adjust et xp check. Avant de les exécuter, faites une prédiction : laquelle des trois méthodes changera le plus?
Afficher la réponse
sim run --scenario logs --seed 41xp adjustxp checkScenario logs (seed 41): 28 days of logs after the recommendation block's launch: who used it and what they spent (no test).Wrote runs/logs-s41: customers (40,000 rows). Synthetic data. 0.9 sRun logs-s41: effect of used_block on revenue (dollars per customer, 28 days). Covariates: pre_spend, pre_orders, visits, tenure_days, new_customer, desktop naive (users − non-users) +8.90 regression +2.66 (95% interval +0.98 to +4.35; ATE) matching (nearest neighbour) +6.20 (95% interval +3.94 to +8.46; ATT) weighting (IPW) +2.64 (95% interval +0.53 to +4.58; ATE) Overlap: propensity scores 0.204–0.515 (users), 0.204–0.507 (non-users). Balance (standardised mean difference; below 0.1 is good): pre_spend +0.08 → -0.00, pre_orders +0.09 → -0.01, visits +0.09 → -0.01, tenure_days +0.13 → -0.00, new_customer -0.15 → +0.00, desktop +0.15 → +0.00Run logs-s41: the last analysis was `xp adjust`.True effect (from the simulator): ATE +2.16, ATT +2.46 dollars per customer. Naive: +8.90. regression: +2.66 against ATE +2.16: the interval contains it. matching (nearest neighbour): +6.20 against ATT +2.46: the interval does NOT contain it. weighting (IPW): +2.64 against ATE +2.16: the interval contains it.Hidden from the log: has_garden (45% of customers): users are more likely to have a garden, and gardeners spend more. It is not in the log.L’appariement change le plus : +6,20 $ contre un ATT réel de +2,46. Son intervalle ne contient pas la valeur réelle. La régression (+2,66) et la pondération (+2,64) restent environ 0,5 $ au-dessus de l’ATE réel de +2,16. Chaque utilisateur est apparié à un seul client, donc l’appariement produit des résultats variables. Il conserve aussi le biais lié au jardin. Le cours a donc mesuré chaque méthode sur 50 graines. Une seule exécution ne peut pas révéler le biais d’une méthode ni son bruit.
Les prochaines commandes xp utilisent la simulation de journaux la plus récente. Pour revenir à la graine 40, exécutez de nouveau sim run --scenario logs.
Erreur courante
« Notre modèle de propension a une exactitude de 99 % »
Symptôme : une équipe construit un très bon modèle prédisant qui a utilisé une fonctionnalité, avec toutes les colonnes disponibles. Le modèle a presque toujours raison. Puis l’estimation pondérée devient fortement négative, et l’intervalle est énorme.
Cause : le modèle utilise des colonnes que la fonctionnalité elle-même modifie, comme le nombre de pages consultées. Elles prédisent le traitement presque parfaitement, donc les scores atteignent 0 et 1. Les clients qui n’ont pas utilisé la fonctionnalité, mais dont le score approche 1, reçoivent des poids de plusieurs milliers. Le chevauchement disparaît : certains utilisateurs n’ont aucun non-utilisateur comparable.
Solution : incluez seulement les facteurs de confusion dans le modèle de propension. Ce sont les causes du traitement et du résultat, mesurées avant le traitement. Tracez les scores des deux groupes et vérifiez leur chevauchement. Vérifiez l’équilibre après la pondération. Un modèle de propension est bon quand il équilibre les groupes, pas quand il prédit bien.
Vérifiez votre compréhension
Une cliente enthousiaste a un score de propension de 0,75. Quel poids reçoit-elle si elle a utilisé l'étagère? Et sinon?
Afficher la réponse
Si elle l’a utilisée : 1 / 0,75 = 1,33. Sinon : 1 / (1 − 0,75) = 1 / 0,25 = 4. Une non-utilisatrice enthousiaste est rare, donc elle compte davantage : elle représente les clients enthousiastes qui auraient pu ne pas l’utiliser.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Après pondération, chaque facteur de confusion du journal de Larkfield a une différence moyenne standardisée proche de 0. Cela prouve-t-il que l'estimation (+2,87 $) est juste?
Afficher la réponse
Non. Vous pouvez vérifier l’équilibre seulement pour les colonnes du journal. Le jardin est absent, et son écart reste d’environ 0,18 après pondération. Les jardiniers utilisent davantage le bloc et dépensent plus. L’estimation reste donc trop élevée : +2,87 contre une valeur réelle de +2,37. Sur 50 graines, la pondération était en moyenne trop élevée de 1,27 $.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
La régression (+3,38), l'appariement (+4,43) et la pondération (+2,87) donnent des résultats assez proches. Expliquez pourquoi ils concordent, et pourquoi ils pourraient quand même tous être faux.
Afficher la réponse
Ils concordent parce qu’ils utilisent les six mêmes facteurs de confusion. Seule leur façon de les utiliser diffère : une formule pour le revenu, des paires ou des poids. Leur accord vérifie donc la méthode, pas les données. Si un facteur de confusion manque dans le journal, comme le jardin, les trois méthodes l’ignorent. Les trois sont alors biaisées dans la même direction. Ici, elles dépassent toutes la valeur réelle.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Un score de propension est la probabilité que chaque client utilise le traitement, compte tenu des facteurs de confusion. Les clients ayant le même score se ressemblent pour ces facteurs de confusion.
- L’appariement associe chaque utilisateur au non-utilisateur le plus proche : l’effet sur les utilisateurs (ATT). La pondération (IPW) fait compter davantage les clients rares : l’effet sur tout le monde (ATE).
- Dans les journaux de Larkfield : appariement +4,43 (ATT réel +2,73), pondération +2,87 (ATE réel +2,37). Sur 50 graines, les biais sont de +2,23 et +1,27 $.
- Vérifiez chaque fois l’équilibre (SMD sous 0,1) et le chevauchement (les deux groupes dans le même intervalle de scores). Un médiateur dans le modèle a supprimé le chevauchement : les scores ont atteint 1,0 et la pondération a donné −282,02.
- L’équilibre ne peut pas révéler une colonne manquante : l’écart du jardin est resté à 0,18. Trois méthodes qui concordent peuvent toutes se tromper.
Ensuite, nous tenterons de réfuter notre propre réponse. Nous demanderons quelle force un facteur de confusion caché devrait avoir.
Leçon suivante : Tester votre propre réponse