Aller au contenu
English

Scores de propension, appariement et pondération

  • Leçon 22
  • 40 min
  • Module 6 : Ajuster pour les facteurs de confusion dans des données d'observation

Où nous en sommes

L'ajustement par régression exige la bonne formule pour le résultat. Une autre approche consiste à modéliser qui a reçu le traitement. Dans cette leçon, nous estimons la probabilité que chaque client voie le bloc de recommandations. Puis nous apparions et pondérons les clients, et vérifions l'équilibre des groupes.

Leçon 22 sur 30 · Expériences et impact causal : notre changement a-t-il fonctionné?Scores de propension, appariement et pondération

Ce que vous saurez faire

Modélisez qui a utilisé la fonctionnalité : donnez un score de propension à chaque client. Utilisez-le pour apparier les utilisateurs à des non-utilisateurs semblables, ou pour pondérer les clients. Vérifiez l’équilibre et le chevauchement des groupes. Sachez ce que ces vérifications ne peuvent pas voir.

Carnet JupyterFaites cette leçon dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Dans le carnet (notebook) Jupyter, vous ajustez les scores de propension, mesurez l’équilibre, pondérez et appariez les clients. Vous voyez aussi un médiateur briser le chevauchement. Les cellules de préparation téléchargent les données des journaux et installent les paquets. Aucune préparation locale n’est donc nécessaire. Environ 40 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 40 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur (seulement pour les étapes du projet)

Testé sur macOS avec Python 3.12 et l’instantané end-of-m06 du projet. Windows n’a pas été testé.

Revenons à la petite boutique et à sa nouvelle étagère. La propriétaire a maintenant cent clients. Elle en sait aussi plus sur chacun : fréquence des visites, dépenses de l’an dernier, déplacements en voiture.

Elle ne peut plus les classer comme « enthousiastes » ou « occasionnels ». Il y a trop de types. Elle pose donc une question plus simple pour chaque client : « Quelle était la probabilité que cette personne s’arrête à l’étagère? » Un habitué qui vient chaque jour : très probable. Un touriste pressé : peu probable.

Elle apparie ensuite chaque client qui s’est arrêté à un client qui ne s’est pas arrêté, mais avait la même probabilité de s’arrêter. Deux personnes avec la même probabilité se ressemblent sur les aspects qui comptent pour s’arrêter. La différence entre leurs dépenses vient de l’étagère.

Les journaux de TermeLarkfieldUne boutique en ligne canadienne inventée, qui vend des articles pour la maison et le jardin. Ce n’est pas une vraie entreprise. Tous les cours Nextia utilisent son service d’assistance et ses données comme exemple.En savoir plus Découvrez Larkfield contiennent six facteurs de confusion. Les dépenses passées à elles seules prennent des milliers de valeurs. Avec six colonnes, presque aucun client ne ressemble exactement à un autre. Vous ne pouvez pas créer un tableau avec une ligne par type de client, comme pour les dix clients.

L’Ajustement par régression a résolu ce problème avec une formule pour le revenu. Il suppose que chaque colonne ajoute un montant selon une relation linéaire. Si la forme réelle diffère, la réponse peut être erronée, sans avertissement dans la sortie.

Cette leçon modélise l’autre côté : qui a utilisé le bloc. C’est souvent plus facile à concevoir. L’équipe de Larkfield sait pourquoi les gens cliquent sur le bloc. Elle ne sait pas exactement comment les dépenses dépendent de six colonnes.

L’idée : un nombre pour la « probabilité de l’utiliser »

Section intitulée « L’idée : un nombre pour la « probabilité de l’utiliser » »

Le score de propension d’un client est sa probabilité d’utiliser le traitement, compte tenu des facteurs de confusion. « Propension » signifie une tendance naturelle. Une régression logistique l’estime : un modèle dont la sortie est une probabilité entre 0 et 1.

Voici le fait utile : deux clients ayant le même score se ressemblent, en moyenne, pour tous les facteurs de confusion du modèle. Vous pouvez donc comparer utilisateurs et non-utilisateurs ayant le même score, plutôt que les mêmes valeurs dans les six colonnes. Six colonnes deviennent un nombre.

Un flux de gauche à droite. Les facteurs de confusion du journal (dépenses passées, visites, ancienneté, nouveau client ou client existant, appareil) entrent dans un modèle. Ce modèle décrit qui a utilisé le bloc, par régression logistique. Il donne le score de propension de chaque client : sa probabilité de l'utiliser. À partir du score, deux chemins. Apparier : donner à chaque utilisateur le non-utilisateur au score le plus proche; cela estime l'effet sur les utilisateurs, l'ATT. Ou pondérer : les clients rares comptent davantage. Le poids est 1 divisé par le score pour les utilisateurs, 1 divisé par 1 moins le score pour les non-utilisateurs. Cela estime l'effet sur tout le monde, l'ATE. Les deux chemins mènent à un encadré orange : vérifier l'équilibre et le chevauchement. Les groupes se ressemblent-ils maintenant dans chaque colonne du journal? Chaque type d'utilisateur a-t-il aussi des non-utilisateurs? Une note en dessous : le score ne voit que les colonnes du journal; une colonne cachée, le jardin, reste déséquilibrée.
Des facteurs de confusion au score de propension, puis deux façons de l'utiliser : apparier ou pondérer. Les deux exigent les mêmes vérifications. Et les deux ne voient que les colonnes du journal.

Les mêmes dix clients que dans la dernière leçon. Les nombres sont inventés pour cet exemple. Quatre des cinq clients enthousiastes ont utilisé l’étagère. Le score d’un client enthousiaste est donc 4 / 5 = 0,8. Un des cinq clients occasionnels l’a utilisée. Le score d’un client occasionnel est donc 0,2.

Appariement. Donnez à chaque utilisateur le non-utilisateur au score le plus proche :

Utilisateur Score Dépenses Non-utilisateur apparié Score Dépenses Différence
enthousiastes 1 à 4 0,8 60 enthousiaste 5 (réutilisé) 0,8 57 +3 chacun
occasionnel 6 0,2 23 occasionnel 7 0,2 20 +3

La différence moyenne est de +3 dollars. C’est l’effet sur les utilisateurs (ATT) : chaque utilisateur est comparé à un non-utilisateur qui lui ressemble. Un non-utilisateur est utilisé quatre fois. C’est permis, et courant.

Pondération. Au lieu de former des paires, donnez à chaque client un poids : combien il compte. Les utilisateurs comptent pour 1 / score. Les non-utilisateurs comptent pour 1 / (1 − score).

Clients Score Poids Poids total Dépenses
4 utilisateurs enthousiastes 0,8 1 / 0,8 = 1,25 5 60
1 utilisateur occasionnel 0,2 1 / 0,2 = 5 5 23
1 non-utilisateur enthousiaste 0,8 1 / 0,2 = 5 5 57
4 non-utilisateurs occasionnels 0,2 1 / 0,8 = 1,25 5 20
  • utilisateurs pondérés : (5 × 60 + 5 × 23) / 10 = 41,50 dollars;
  • non-utilisateurs pondérés : (5 × 57 + 5 × 20) / 10 = 38,50 dollars;
  • différence : +3,00 dollars.

Les clients rares comptent davantage. L’unique utilisateur occasionnel représente tous les clients occasionnels qui auraient pu utiliser l’étagère. Après pondération, chaque groupe est moitié enthousiaste, moitié occasionnel, comme l’ensemble de la boutique. La pondération estime donc l’effet sur tout le monde (ATE). Cette méthode s’appelle la pondération par l’inverse de la probabilité (IPW). « Inverse » parce que le poids est 1 divisé par la probabilité.

xp adjust exécute le modèle de propension avec les six facteurs de confusion, puis l’appariement et la pondération. Votre projet devrait être à end-of-m06, avec les journaux simulés.

Fenêtre de terminal
sim run --scenario logs
xp adjust
xp check
Scenario logs (seed 40): 28 days of logs after the recommendation block's launch: who used it and what they spent (no test).
Wrote runs/logs-s40: customers (40,000 rows). Synthetic data. 0.3 s
Run logs-s40: effect of used_block on revenue (dollars per customer, 28 days).
Covariates: pre_spend, pre_orders, visits, tenure_days, new_customer, desktop
naive (users − non-users) +9.70
regression +3.38 (95% interval +1.74 to +5.03; ATE)
matching (nearest neighbour) +4.43 (95% interval +1.96 to +6.89; ATT)
weighting (IPW) +2.87 (95% interval +0.98 to +5.16; ATE)
Overlap: propensity scores 0.191–0.505 (users), 0.191–0.508 (non-users).
Balance (standardised mean difference; below 0.1 is good): pre_spend +0.08 → -0.01, pre_orders +0.10 → -0.00, visits +0.09 → +0.00, tenure_days +0.14 → -0.00, new_customer -0.15 → -0.00, desktop +0.15 → +0.00
Run logs-s40: the last analysis was `xp adjust`.
True effect (from the simulator): ATE +2.37, ATT +2.73 dollars per customer. Naive: +9.70.
regression: +3.38 against ATE +2.37: the interval contains it.
matching (nearest neighbour): +4.43 against ATT +2.73: the interval contains it.
weighting (IPW): +2.87 against ATE +2.37: the interval contains it.
Hidden from the log: has_garden (45% of customers): users are more likely to have a garden, and gardeners spend more. It is not in the log.

L’appariement donne +4,43 dollars (+1,96 à +6,89), contre un ATT réel de +2,73. La pondération donne +2,87 (+0,98 à +5,16), contre un ATE réel de +2,37. Les trois TermeIntervalle de confianceUne plage autour d’une valeur mesurée, obtenue par une méthode qui contient la vraie valeur 95 fois sur 100. Si l’intervalle d’une différence ne contient pas zéro, la différence n’est probablement pas due au hasard.En savoir plus Estimer l'incertitudeMathématiques et statistiques essentielles pour l'IA contiennent leur effet réel. Les trois estimations le dépassent.

L’appariement forme des paires pour les 13 338 utilisateurs, avec 7 994 non-utilisateurs différents. L’intervalle de pondération vient d’un bootstrap : l’outil répète l’estimation sur 200 rééchantillons de clients, comme dans Le résultat et son incertitude.

Trois estimations ajustées de l'effet du bloc sur les mêmes journaux simulés, comparées à l'effet réel. En haut : cette exécution, avec des lignes pointillées à l'ATE réel (gauche) et à l'ATT réel (droite). L'appariement estime l'effet sur les utilisateurs (ATT); comparez-le donc à la ligne de l'ATT. En bas : l'erreur moyenne sur 50 journaux simulés. Chaque méthode reste trop élevée, parce que le jardin manque. L'appariement est le plus bruité.
Description textuelle du graphique

Deux panneaux. Cette exécution, graine 40, avec des lignes à l’ATE réel, +2,37, et à l’ATT réel, +2,73 dollars. Naïve : +9,70. Régression, ATE : +3,38 (+1,74 à +5,03). Appariement, ATT : +4,43 (+1,96 à +6,89). Pondération, ATE : +2,87 (+0,98 à +5,16). Biais sur 50 graines, avec une ligne à aucun biais : régression +1,19 dollars (couverture 86 %), appariement +2,23 (couverture 76 %), pondération +1,27 (couverture 90 %).

Sur 50 journaux simulés, le biais persiste : +1,19 dollars pour la régression, +2,23 pour l’appariement, +1,27 pour la pondération. Les intervalles à 95 % contenaient l’effet réel dans 86 %, 76 % et 90 % des exécutions. L’appariement avec un partenaire par utilisateur est le plus bruité des trois : la réponse de chaque utilisateur repose sur un seul autre client.

Le score de propension est un moyen, pas une fin. La vraie question est : après appariement ou pondération, les utilisateurs et les non-utilisateurs se ressemblent-ils? C’est l’équilibre.

Les colonnes ont des unités différentes; nous les comparons donc avec la différence moyenne standardisée (SMD). C’est la différence des deux moyennes, divisée par la dispersion typique de la colonne (son écart-type). Une SMD de 0 signifie des moyennes égales. Sous 0,1, on parle généralement d’équilibre.

Un exemple détaillé tiré du journal : les utilisateurs ont dépensé 51,77 dollars avant le lancement, et les non-utilisateurs, 41,28. La différence est de 10,49 dollars. L’écart-type des dépenses passées est d’environ 137 dollars, parce que quelques clients dépensent beaucoup. La SMD est donc 10,49 / 137 = 0,08.

Après appariement, les non-utilisateurs appariés ont dépensé 51,22 dollars avant le lancement : presque autant que les utilisateurs. Le graphique montre chaque colonne.

Équilibre des facteurs de confusion avant ajustement, après appariement et après pondération, dans les journaux simulés. L'appariement et la pondération ramènent les six colonnes du journal près de 0. Le jardin n'est pas dans le journal; son écart reste donc autour de 0,18. Seul le simulateur peut tracer cette dernière ligne.
Description textuelle du graphique

Trois panneaux avec des lignes à 0 et 0,1. Avant ajustement : pre_spend +0,08, pre_orders +0,10, visits +0,09, tenure_days +0,14, new_customer −0,15, desktop +0,15, et le jardin caché +0,18. Après appariement : pre_spend 0,00, pre_orders +0,04, visits +0,06, tenure_days −0,02, new_customer +0,01, desktop −0,05, jardin +0,19. Après pondération : pre_spend −0,01, pre_orders 0,00, visits 0,00, tenure_days 0,00, new_customer 0,00, desktop 0,00, jardin +0,18.

La pondération équilibre les six colonnes presque parfaitement. L’appariement laisse de petits écarts (visits +0,06), ce qui ajoute du bruit. Mais regardez la ligne orange. L’écart du jardin ne bouge pas : 0,18 avant, 0,19 après appariement, 0,18 après pondération. Parmi les utilisateurs, 50,8 % ont un jardin; parmi les non-utilisateurs, 42,1 %.

Voilà la limite de l’équilibre. Il permet seulement de vérifier les colonnes disponibles. Un tableau d’équilibre parfait ne dit rien sur une colonne manquante. Le jardin garde son écart et pousse chaque estimation vers le haut.

L’appariement et la pondération exigent une deuxième condition. Pour chaque type d’utilisateur, il doit exister des non-utilisateurs du même type. C’est le chevauchement. Si certains utilisateurs ont un score de 0,99, presque personne de semblable n’a évité le bloc. Il n’y a personne à qui les comparer.

  • Utilisateurs
  • Non-utilisateurs
Les scores de propension des utilisateurs et des non-utilisateurs, avec les six facteurs de confusion. Les deux groupes couvrent le même intervalle, de 0,19 à 0,51. Les utilisateurs sont un peu plus à droite : ils avaient plus de chances d'utiliser le bloc. Chaque utilisateur a des non-utilisateurs au score semblable. Données synthétiques, graine 40.
Description textuelle du graphique

Un graphique du score de propension de 0,16 à 0,54, par tranches de 0,02, avec la part de chaque groupe. Les deux courbes commencent près de 0 à 0,18 et finissent près de 0 à 0,50. Leur sommet se trouve dans la tranche de 0,30 à 0,32 : 17,9 % des utilisateurs et 20,1 % des non-utilisateurs. Les utilisateurs ont un peu plus de poids à droite. Par exemple, 13,6 % des utilisateurs et 10,5 % des non-utilisateurs sont dans la tranche de 0,38 à 0,40.

Les scores ne sont pas extrêmes. Les six facteurs de confusion expliquent peu qui clique sur le bloc. C’est bon pour le chevauchement : utilisateurs et non-utilisateurs se mélangent bien.

Que se passe-t-il si quelqu’un ajoute pages_viewed au modèle de propension? Le bloc ajoute des pages; les pages prédisent donc très bien l’utilisation du bloc. Trop bien.

Fenêtre de terminal
xp adjust --add pages_viewed
Run logs-s40: effect of used_block on revenue (dollars per customer, 28 days).
Covariates: pre_spend, pre_orders, visits, tenure_days, new_customer, desktop, pages_viewed
naive (users − non-users) +9.70
regression +2.79 (95% interval +0.81 to +4.76; ATE)
matching (nearest neighbour) -2.01 (95% interval -4.53 to +0.52; ATT)
weighting (IPW) -282.02 (95% interval -313.35 to -59.44; ATE)
Overlap: propensity scores 0.064–1.000 (users), 0.056–1.000 (non-users).
Balance (standardised mean difference; below 0.1 is good): pre_spend +0.08 → -3.68, pre_orders +0.10 → -5.10, visits +0.09 → -3.97, tenure_days +0.14 → +0.85, new_customer -0.15 → -1.20, desktop +0.15 → +0.66, pages_viewed +0.35 → -11.35

Les scores atteignent maintenant 1,000. La pondération donne −282,02 dollars : absurde pour des clients qui dépensent environ 30 dollars par mois. Un non-utilisateur au score de 0,99999 reçoit un poids de 1 / (1 − 0,99999), soit environ 100 000. Dans le carnet Jupyter, le plus grand poids est de 204 860. Quelques clients déterminent toute la réponse. La ligne d’équilibre le montre aussi : les SMD explosent à −3,68 et −11,35, loin de 0.

  • Utilisateurs
  • Non-utilisateurs
Les scores de propension avec le médiateur pages_viewed ajouté. Les groupes s'étendent maintenant de 0,06 à 1,0. Quelques clients de chaque groupe ont des scores supérieurs à 0,99 (24 utilisateurs, 27 non-utilisateurs). Les non-utilisateurs parmi eux reçoivent des poids énormes. Données synthétiques, graine 40.
Description textuelle du graphique

Un graphique du score de propension de 0 à 1, par tranches de 0,05. Les non-utilisateurs culminent de 0,25 à 0,30 avec 21,7 % du groupe. Les utilisateurs culminent de 0,35 à 0,40 avec 18,3 %. Les deux groupes ont de longues queues minces à droite. De 0,65 à 1,0, chaque tranche contient moins de 1 % de chaque groupe, mais les queues atteignent 1,0.

Il y a deux erreurs ici. pages_viewed est un médiateur; il n’a donc pas sa place dans le modèle. Et toute colonne qui prédit presque parfaitement le traitement brise le chevauchement. Un meilleur modèle de propension n’est pas celui qui prédit mieux. C’est celui qui équilibre les facteurs de confusion.

La régression a donné +3,38, l’appariement +4,43 et la pondération +2,87. Elles concordent à peu près, et les trois sont trop élevées. Pourquoi concordent-elles? Parce qu’elles utilisent les mêmes six colonnes. Elles diffèrent dans leur façon de les utiliser : une formule pour le revenu, des paires ou des poids. Elles ne diffèrent pas dans ce qu’elles peuvent voir.

L’accord entre les trois méthodes vérifie donc la méthode : la formule, les paires et les poids ont-ils fonctionné? Il ne vérifie pas les données : manque-t-il un facteur de confusion? Le jardin manque dans les trois; il les biaise donc toutes dans la même direction. La prochaine leçon tente volontairement de mettre l’estimation en défaut. Elle demande quelle ampleur un facteur de confusion manquant devrait avoir.

Quand l’utiliser, quand l’éviter et ce que cela coûte

Section intitulée « Quand l’utiliser, quand l’éviter et ce que cela coûte »

Utilisez les scores de propension quand :

  • vous avez des journaux avec les facteurs de confusion, mais aucun test;
  • vous comprenez mieux qui reçoit le traitement que le fonctionnement du résultat;
  • vous voulez montrer l’équilibre : un tableau de SMD convainc davantage qu’une formule de régression.

Ne leur faites pas confiance quand :

  • les scores atteignent 0 ou 1 : il n’y a aucun chevauchement, et les poids explosent. Regardez d’abord le graphique des scores;
  • vous avez ajouté des colonnes que le traitement modifie : médiateurs, collisionneurs (colliders);
  • un facteur de confusion manque : l’équilibre semble parfait, mais la réponse reste biaisée.

L’appariement estime l’effet sur les utilisateurs (ATT); la pondération estime l’effet sur tout le monde (ATE). Choisissez d’abord la question. L’appariement avec un partenaire est bruité; la pondération est sensible aux scores extrêmes. Les deux coûtent peu en calcul. Le vrai coût est la vérification : le graphique de chevauchement et le tableau d’équilibre, chaque fois.

Exercice guidé : calculer les scores, pondérer et apparier

Section intitulée « Exercice guidé : calculer les scores, pondérer et apparier »
  1. Ouvrez le carnet Jupyter depuis l’encadré Faites cette leçon dans un carnet Jupyter en haut de cette page.
  2. Exécutez les cellules de préparation et la cellule auxiliaire. Le carnet Jupyter lit les mêmes journaux que sim run --scenario logs (graine 40).
  3. Dans la section 1, ajustez les scores de propension. Vous voyez users: 0.191 to 0.505; non-users: 0.191 to 0.508 (utilisateurs : de 0,191 à 0,505; non-utilisateurs : de 0,191 à 0,508).
  4. Dans la section 2, mesurez l’équilibre avant ajustement. Vous voyez 'tenure_days': 0.14 et 'desktop': 0.15.
  5. Dans la section 3, pondérez les clients. Vous voyez weighting: +2.87 dollars (ATE); truth +2.37 (pondération : +2,87 dollars, ATE; effet réel : +2,37), et chaque SMD près de 0.
  6. Dans la section 4, appariez les clients. Vous voyez matching: +4.43 dollars (ATT) (appariement : +4,43 dollars, ATT).
  7. Dans la section 5, ajoutez pages_viewed au modèle de propension et pondérez de nouveau. Placez l’estimation dans ipw_mediator. Exécutez la cellule de vérification. Elle affiche Check passed (vérification réussie).
Afficher la réponse à l’étape 7
ps_m = propensity(CONFOUNDERS + ["pages_viewed"])
w_m = np.where(users, 1 / ps_m, 1 / (1 - ps_m))
ipw_mediator = round(float((w_m[users] * y[users]).sum() / w_m[users].sum()
- (w_m[~users] * y[~users]).sum() / w_m[~users].sum()), 2)
print(f"largest score {ps_m.max():.4f}; largest weight {w_m.max():,.0f}; weighting {ipw_mediator:+.2f}")

La valeur est −282,02 : la même que pour xp adjust --add pages_viewed.

Mateo, l’analyste de croissance, demande : « La graine 40 est-elle chanceuse? Essayez un autre mois. » Simulez les journaux avec la graine 41, puis exécutez xp adjust et xp check. Avant de les exécuter, faites une prédiction : laquelle des trois méthodes changera le plus?

Afficher la réponse
Fenêtre de terminal
sim run --scenario logs --seed 41
xp adjust
xp check
Scenario logs (seed 41): 28 days of logs after the recommendation block's launch: who used it and what they spent (no test).
Wrote runs/logs-s41: customers (40,000 rows). Synthetic data. 0.9 s
Run logs-s41: effect of used_block on revenue (dollars per customer, 28 days).
Covariates: pre_spend, pre_orders, visits, tenure_days, new_customer, desktop
naive (users − non-users) +8.90
regression +2.66 (95% interval +0.98 to +4.35; ATE)
matching (nearest neighbour) +6.20 (95% interval +3.94 to +8.46; ATT)
weighting (IPW) +2.64 (95% interval +0.53 to +4.58; ATE)
Overlap: propensity scores 0.204–0.515 (users), 0.204–0.507 (non-users).
Balance (standardised mean difference; below 0.1 is good): pre_spend +0.08 → -0.00, pre_orders +0.09 → -0.01, visits +0.09 → -0.01, tenure_days +0.13 → -0.00, new_customer -0.15 → +0.00, desktop +0.15 → +0.00
Run logs-s41: the last analysis was `xp adjust`.
True effect (from the simulator): ATE +2.16, ATT +2.46 dollars per customer. Naive: +8.90.
regression: +2.66 against ATE +2.16: the interval contains it.
matching (nearest neighbour): +6.20 against ATT +2.46: the interval does NOT contain it.
weighting (IPW): +2.64 against ATE +2.16: the interval contains it.
Hidden from the log: has_garden (45% of customers): users are more likely to have a garden, and gardeners spend more. It is not in the log.

L’appariement change le plus : +6,20 $ contre un ATT réel de +2,46. Son intervalle ne contient pas la valeur réelle. La régression (+2,66) et la pondération (+2,64) restent environ 0,5 $ au-dessus de l’ATE réel de +2,16. Chaque utilisateur est apparié à un seul client, donc l’appariement produit des résultats variables. Il conserve aussi le biais lié au jardin. Le cours a donc mesuré chaque méthode sur 50 graines. Une seule exécution ne peut pas révéler le biais d’une méthode ni son bruit.

Les prochaines commandes xp utilisent la simulation de journaux la plus récente. Pour revenir à la graine 40, exécutez de nouveau sim run --scenario logs.

Erreur courante

« Notre modèle de propension a une exactitude de 99 % »

Symptôme : une équipe construit un très bon modèle prédisant qui a utilisé une fonctionnalité, avec toutes les colonnes disponibles. Le modèle a presque toujours raison. Puis l’estimation pondérée devient fortement négative, et l’intervalle est énorme.

Cause : le modèle utilise des colonnes que la fonctionnalité elle-même modifie, comme le nombre de pages consultées. Elles prédisent le traitement presque parfaitement, donc les scores atteignent 0 et 1. Les clients qui n’ont pas utilisé la fonctionnalité, mais dont le score approche 1, reçoivent des poids de plusieurs milliers. Le chevauchement disparaît : certains utilisateurs n’ont aucun non-utilisateur comparable.

Solution : incluez seulement les facteurs de confusion dans le modèle de propension. Ce sont les causes du traitement et du résultat, mesurées avant le traitement. Tracez les scores des deux groupes et vérifiez leur chevauchement. Vérifiez l’équilibre après la pondération. Un modèle de propension est bon quand il équilibre les groupes, pas quand il prédit bien.

Vérifiez votre compréhension

Une cliente enthousiaste a un score de propension de 0,75. Quel poids reçoit-elle si elle a utilisé l'étagère? Et sinon?

Afficher la réponse

Si elle l’a utilisée : 1 / 0,75 = 1,33. Sinon : 1 / (1 − 0,75) = 1 / 0,25 = 4. Une non-utilisatrice enthousiaste est rare, donc elle compte davantage : elle représente les clients enthousiastes qui auraient pu ne pas l’utiliser.

Vérifiez votre compréhension

Après pondération, chaque facteur de confusion du journal de Larkfield a une différence moyenne standardisée proche de 0. Cela prouve-t-il que l'estimation (+2,87 $) est juste?

Afficher la réponse

Non. Vous pouvez vérifier l’équilibre seulement pour les colonnes du journal. Le jardin est absent, et son écart reste d’environ 0,18 après pondération. Les jardiniers utilisent davantage le bloc et dépensent plus. L’estimation reste donc trop élevée : +2,87 contre une valeur réelle de +2,37. Sur 50 graines, la pondération était en moyenne trop élevée de 1,27 $.

Vérifiez votre compréhension

La régression (+3,38), l'appariement (+4,43) et la pondération (+2,87) donnent des résultats assez proches. Expliquez pourquoi ils concordent, et pourquoi ils pourraient quand même tous être faux.

Afficher la réponse

Ils concordent parce qu’ils utilisent les six mêmes facteurs de confusion. Seule leur façon de les utiliser diffère : une formule pour le revenu, des paires ou des poids. Leur accord vérifie donc la méthode, pas les données. Si un facteur de confusion manque dans le journal, comme le jardin, les trois méthodes l’ignorent. Les trois sont alors biaisées dans la même direction. Ici, elles dépassent toutes la valeur réelle.

Récapitulatif

  • Un score de propension est la probabilité que chaque client utilise le traitement, compte tenu des facteurs de confusion. Les clients ayant le même score se ressemblent pour ces facteurs de confusion.
  • L’appariement associe chaque utilisateur au non-utilisateur le plus proche : l’effet sur les utilisateurs (ATT). La pondération (IPW) fait compter davantage les clients rares : l’effet sur tout le monde (ATE).
  • Dans les journaux de Larkfield : appariement +4,43 (ATT réel +2,73), pondération +2,87 (ATE réel +2,37). Sur 50 graines, les biais sont de +2,23 et +1,27 $.
  • Vérifiez chaque fois l’équilibre (SMD sous 0,1) et le chevauchement (les deux groupes dans le même intervalle de scores). Un médiateur dans le modèle a supprimé le chevauchement : les scores ont atteint 1,0 et la pondération a donné −282,02.
  • L’équilibre ne peut pas révéler une colonne manquante : l’écart du jardin est resté à 0,18. Trois méthodes qui concordent peuvent toutes se tromper.

Ensuite, nous tenterons de réfuter notre propre réponse. Nous demanderons quelle force un facteur de confusion caché devrait avoir.

Leçon suivante : Tester votre propre réponse