L'envoi postal a-t-il fonctionné, et pour qui?
- Étude de cas 1
- 150 min
- Facultative · 1 étude de cas requise pour le certificat
Où nous en sommes
En huit modules, nous avons testé les changements de Larkfield et trouvé qui bénéficie d'un courriel. Dans cette étude de cas, nous utilisons de vraies données ouvertes : un envoi postal réparti au hasard auprès de 344 000 personnes. Nous analysons le test, créons un modèle de gain incrémental et choisissons les destinataires.
Étude de cas 1 sur 3 · Expériences et impact causal : notre changement a-t-il fonctionné?L'envoi postal a-t-il fonctionné, et pour qui?
1. Pourquoi « ça a monté » n'est pas une réponse
2. Concevoir un test A/B
3. Analyser le test
4. Les pièges des vrais tests
5. Quand la répartition aléatoire est impossible : les expériences naturelles
6. Ajuster pour les facteurs de confusion dans des données d'observation
7. Le gain incrémental : à qui appliquer le traitement?
8. Les expériences pour les fonctions d'IA et en production
Ce que vous saurez faire
Analysez un véritable envoi postal réparti au hasard, de la première vérification à une décision que vous pouvez défendre. Vous vérifierez la répartition aléatoire et estimerez l’effet de chaque lettre avec des TermeIntervalle de confianceUne plage autour d’une valeur mesurée, obtenue par une méthode qui contient la vraie valeur 95 fois sur 100. Si l’intervalle d’une différence ne contient pas zéro, la différence n’est probablement pas due au hasard.En savoir plus Estimer l'incertitudeMathématiques et statistiques essentielles pour l'IA fiables. Vous trouverez aussi pour qui la meilleure lettre fonctionne. Ensuite, vous comparerez cinq façons de choisir les destinataires selon un budget, dont un modèle de gain incrémental (uplift). Enfin, vous préciserez ce que les données ne peuvent pas vous dire.
Le carnet (notebook) Jupyter exécute chaque étape de cette page, avec le même code et les mêmes sorties. Il contient aussi trois tâches avec des vérifications. Ses cellules de préparation installent les paquets et téléchargent les données (20 Mo) depuis les archives de l’étude. Il ne nécessite donc aucune préparation locale. Il s’exécute en environ une minute après l’installation.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
Cette étude de cas utilise l’ensemble du cours. Ces leçons comptent le plus :
- L’unité de répartition, dans Répartir au hasard, et le plan rédigé d’abord, dans Écrire le plan d’abord.
- Les intervalles, dans Le résultat et son incertitude. Les vérifications avant le résultat (répartition, tests A/A), dans Vérifier le test avant le résultat.
- Les segments prévus d’avance, dans Segments et effets différents, et les comparaisons multiples, dans Beaucoup de mesures et beaucoup de tests.
- Les erreurs tenant compte des grappes par groupe, dans Différence des différences.
- Les quatre groupes, le T-learner, le X-learner et la courbe de gain incrémental, dans La moyenne cache les personnes, Modèles de gain incrémental et Évaluer et utiliser le gain incrémental.
Ce qu’il vous faut sur votre ordinateur
Rien : le carnet installe ses propres paquets. Il peut donc aussi s’exécuter dans Colab ou Kaggle. Pour l’exécuter localement, utilisez un environnement virtuel avec Python 3.12, pandas 3.1.1, SciPy 1.15.3, statsmodels 0.15.0, scikit-learn 1.9.1 et matplotlib 3.11.2, comme dans le projet larkfield-experiments. Cette étude de cas ne modifie pas le projet. La cellule de préparation crée un dossier mailing-test. Pour recommencer, supprimez ce dossier.
Testé sur macOS avec Python 3.12, dans Jupyter après un nouveau démarrage. Colab, Kaggle, Windows et Linux n’ont pas été testés.
La situation
Section intitulée « La situation »Rafael, responsable des courriels de TermeLarkfieldUne boutique en ligne canadienne inventée, qui vend des articles pour la maison et le jardin. Ce n’est pas une vraie entreprise. Tous les cours Nextia utilisent son service d’assistance et ses données comme exemple.En savoir plus Découvrez Larkfield, veut envoyer une lettre imprimée aux clients pour la première fois. Une lettre coûte beaucoup plus cher qu’un courriel. Il peut donc en envoyer à certains ménages seulement. Avant de dépenser cet argent, il pose deux questions à TermePriyaLa scientifique des données de Larkfield. Elle mesure la qualité de l’assistant sur des jeux de test, pas à l’intuition. : « Comment saurons-nous si une lettre fonctionne? Et qui devrait la recevoir? »
Larkfield n’a pas encore testé de lettres. Priya s’exerce donc sur un véritable test public. Il est vaste, réparti au hasard et bien documenté. Ses données peuvent être partagées librement.
Il s’agit d’une étude électorale américaine de 2006. Une élection primaire a eu lieu dans l’État américain du Michigan le 8 août 2006. Avant l’élection, des chercheurs ont envoyé une des quatre lettres à des ménages d’électeurs inscrits. Ils ont ensuite consulté les registres publics pour savoir qui avait voté. Nous l’abordons comme un test d’envoi postal : une lettre, une action et un résultat oui ou non pour chaque personne. Nous l’utilisons pour apprendre des méthodes. Nous n’en tirons aucune leçon politique. Cette page ne donne aucun conseil sur les élections.
Rafael et Priya sont inventés. Les lettres, les ménages et les résultats sont réels.
Ce que vous allez créer
Section intitulée « Ce que vous allez créer »Vous analyserez le test du début à la fin, comme une équipe le ferait avant une décision. Vous rédigerez le plan, vérifierez la répartition aléatoire, puis estimerez et comparerez les effets des lettres. Ensuite, vous trouverez pour qui la meilleure lettre fonctionne. Vous comparerez cinq façons de choisir les ménages et attribuerez des scores à une nouvelle liste. Vous terminerez avec une recommandation, son coût et ce qui reste inconnu.
Les données
Section intitulée « Les données »L’étude est Social Pressure and Voter Turnout (pression sociale et taux de participation), de Gerber, Green et Larimer. Son fichier de données contient une ligne pour chacun des 344 084 électeurs inscrits, répartis dans 180 002 ménages.
Pourquoi pas les données d’un magasin? Deux jeux de données publics bien connus sur le gain incrémental proviennent de magasins : le test de courriels Hillstrom et le jeu de données Criteo. Les données Hillstrom n’ont pas de licence à leur source. Nous ne pouvons donc pas les partager. La licence de Criteo (CC BY-NC-SA 4.0) n’autorise pas l’utilisation commerciale. Cette étude appartient au domaine public et contient une ligne par personne.
Les quatre lettres
Section intitulée « Les quatre lettres »Chaque ménage a reçu une des quatre lettres, ou aucune lettre. Le tirage au sort se faisait par ménage. Toutes les personnes d’une même adresse ont donc reçu la même lettre.
Les lettres, d’après les copies de l’étude :
- Civic duty : « Do your civic duty and vote! » (faites votre devoir civique et votez!)
- Hawthorne : « You are being studied! » (vous faites l’objet d’une étude!) Les chercheurs consulteront les registres publics pour savoir qui vote.
- Self : « Who votes is public information! » (qui vote est une information publique!) Elle présente les votes passés du ménage et promet une liste actualisée après l’élection.
- Neighbors : « What if your neighbors knew whether you voted? » (et si vos voisins savaient si vous avez voté?) Elle présente des noms de la rue avec leurs votes passés : « You and your neighbors will all know who voted and who did not. » (vous et vos voisins saurez tous qui a voté et qui n’a pas voté)
Les deux dernières lettres utilisent la pression sociale : elles montrent qui a voté. Nous y revenons dans « Utilisation responsable ».
Chargement et premières vérifications
Section intitulée « Chargement et premières vérifications »Le carnet charge le fichier et ajoute trois colonnes : le nom de la lettre, past_votes et age. La colonne past_votes compte les élections où la personne a voté parmi les cinq élections précédentes. La colonne age indique l’âge.
ARMS = {0: "No letter", 1: "Hawthorne", 2: "Civic duty", 3: "Neighbors", 4: "Self"}PAST = ["g2000", "g2002", "p2000", "p2002", "p2004"] # the five earlier electionsraw = pd.read_csv("social_pressure.tab", sep="\t")people = raw.assign(letter=raw["treatment"].map(ARMS), past_votes=raw[PAST].sum(axis=1), age=2006 - raw["yob"])print("rows, columns:", raw.shape, "| households:", people["hh_id"].nunique(), "| missing:", int(raw.isna().sum().sum()))print("everyone voted in g2004:", bool((raw["g2004"] == 1).all()))rows, columns: (344084, 16) | households: 180002 | missing: 0everyone voted in g2004: TrueCe que cela nous dit. Aucune valeur ne manque. Toutes les personnes du fichier ont voté à l’élection générale de novembre 2004. L’étude a donc envoyé des lettres à des personnes qui avaient voté récemment. Ce n’est pas toute la population. Nous pouvons seulement parler de personnes semblables à celles-ci.
Les colonnes que nous utilisons :
| Colonne | Signification | Utilisation |
|---|---|---|
treatment |
0 aucune lettre, 1 Hawthorne, 2 Civic duty, 3 Neighbors, 4 Self | le groupe |
voted |
1 si la personne a voté le 8 août 2006 | le résultat |
g2000, g2002, p2000, p2002, p2004 |
1 si la personne a voté à cette élection générale (g) ou primaire (p) antérieure | faits antérieurs aux lettres |
hh_id, hh_size |
le ménage et le nombre de ses membres dans le fichier | l’unité et un fait |
yob |
année de naissance | un fait (sous la forme age) |
Le fichier contient aussi sex. Nous ne l’utilisons pas : la décision n’en a pas besoin. Une liste choisie selon le sexe serait difficile à défendre.
Le plan avant le résultat
Section intitulée « Le plan avant le résultat »Dans Écrire le plan d’abord, le plan précédait les données. Ici, les données existent déjà. La règle est donc : rédigez le plan avant de lire la colonne du résultat. Priya le met par écrit, et Rafael l’approuve :
- La question : une lettre augmente-t-elle la proportion de personnes qui agissent (ici, qui votent)? Quelle lettre l’augmente le plus? Pour qui?
- La décision : quelle lettre envoyer, et à quels ménages, avec un budget pour un ménage sur cinq.
- La mesure : la proportion de personnes qui ont voté. L’unité de répartition est le ménage. Chaque intervalle tient donc compte des grappes par ménage.
- Les comparaisons : chaque lettre contre aucune lettre : quatre comparaisons.
- Les segments, fixés maintenant : six groupes selon
past_votes, de 0 à 5. - La seule mesure pour les listes : électeurs supplémentaires par 1 000 lettres, si nous ciblons les premiers 20 % des ménages.
Ce que nous ne pouvons pas vérifier. Dans le cours, le simulateur connaissait les effets réels. Les données réelles n’offrent pas cette vérité. Nous utilisons donc les vérifications qu’elles permettent : effectifs par groupe, équilibre, résultat placebo et divisions A/A.
Vérifier le test avant le résultat
Section intitulée « Vérifier le test avant le résultat »Ménages par groupe
Section intitulée « Ménages par groupe »Le protocole plaçait 5 ménages sur 9 dans le groupe sans lettre, et 1 sur 9 dans chaque groupe avec lettre. Le test du khi-deux, dans Vérifier le test avant le résultat, compare les effectifs à ce protocole.
{'No letter': 99999, 'Hawthorne': 20002, 'Civic duty': 20001, 'Neighbors': 20000, 'Self': 20000}chi-square 0.00, p = 1.000Ce que cela nous dit. Les effectifs correspondent presque exactement au protocole. Il n’y a aucun déséquilibre de répartition.
L’équilibre avant les lettres
Section intitulée « L’équilibre avant les lettres »Les faits antérieurs aux lettres doivent être semblables dans chaque groupe. La différence standardisée est l’écart entre les moyennes divisé par la dispersion typique. La règle habituelle est une valeur inférieure à 0,1. Parmi 7 faits et 4 lettres, la plus grande est :
largest standardised difference: 0.0129Ce que cela nous dit. Les groupes étaient semblables avant les lettres. Le plus grand écart concerne la proportion ayant voté à la primaire de 2004 dans le groupe Neighbors : 40,67 % contre 40,03 %.
Un résultat placebo
Section intitulée « Un résultat placebo »Un résultat placebo est un résultat que la lettre ne peut pas changer. Ici, c’est le vote à la primaire de 2004, deux ans avant les lettres. Si la méthode y trouve un « effet », quelque chose ne va pas.
Description textuelle du graphique
Quatre lignes sur un axe de −1,5 à +1,5 point, avec une ligne pointillée d’absence d’effet à 0. Civic duty −0,09 (−0,76 à +0,58). Hawthorne +0,29 (−0,38 à +0,96). Self +0,21 (−0,46 à +0,88). Neighbors +0,63 (−0,04 à +1,30).
Ce que cela nous dit. Les quatre intervalles contiennent zéro. La ligne Neighbors s’en approche le plus (p = 0,07). Avec quatre tests, une valeur p aussi basse apparaît souvent par hasard. Elle correspond aussi au petit écart d’équilibre ci-dessus.
Les ménages votent ensemble
Section intitulée « Les ménages votent ensemble »Pensez à un repas en famille. Si une personne de la famille va manger au restaurant, les autres y vont souvent aussi. Les personnes qui vivent ensemble ont aussi tendance à voter ensemble. Elles vont ensemble au bureau de vote, ou restent ensemble à la maison. Deux personnes d’un même ménage ne sont donc pas deux éléments de preuve indépendants.
Un petit exemple. Prenez 4 ménages de 2 personnes chacun. Dans 2 ménages, les deux personnes ont voté; dans les 2 autres, personne n’a voté. Cela donne 8 personnes et un taux de participation de 50 %. On dirait 8 lancers de pièce. Mais les deux personnes d’un ménage ont toujours fait la même chose. Les ménages sont donc les pièces : il n’y en a que 4. L’incertitude est celle de 4 lancers, pas de 8.
Un intervalle tenant compte des grappes par ménage compte les ménages, pas les personnes. Vous avez vu cette idée dans Différence des différences, où les semaines d’une même région évoluaient ensemble. La fonction du carnet utilise les totaux des ménages :
def effect(g, arm, base="No letter"): """Letter minus no letter, in the share: the difference, a 95% interval clustered by household, and the naive one.""" parts = {} for name in (base, arm): h = g[g["arm"] == name] n, y = h["n"].to_numpy(float), h["y"].to_numpy(float) r, G = y.sum() / n.sum(), len(h) parts[name] = (r, G / (G - 1) * np.sum((y - r * n) ** 2) / n.sum() ** 2, r * (1 - r) / (n.sum() - 1)) d = parts[arm][0] - parts[base][0] se, se_naive = np.sqrt(parts[arm][1] + parts[base][1]), np.sqrt(parts[arm][2] + parts[base][2]) return {"diff": d, "low": d - Z * se, "high": d + Z * se, ...}Elle calcule un écart par ménage : ses votes moins ce que prédit la proportion du groupe. Un ménage qui vote ensemble crée un grand écart, pas deux petits. L’intervalle s’élargit donc.
Divisions A/A : quel intervalle est fiable?
Section intitulée « Divisions A/A : quel intervalle est fiable? »Les données réelles n’offrent pas de vérité connue, mais elles contiennent un test A/A. Prenez les 99 999 ménages sans lettre. Divisez-les au hasard en deux faux groupes : 20 000 et le reste. Rien ne les distingue. Testez la différence, et répétez 1 000 fois. Une méthode fiable déclare environ 5 % des divisions « significatives ».
Description textuelle du graphique
Deux barres. Avec grappes par ménage : 5,8 %. Naïf, personnes indépendantes : 12,7 %.
Ce que cela nous dit. L’intervalle naïf est trop étroit. Il trouve un « gagnant » dans environ une division sur huit : plus du double du taux promis. L’intervalle avec grappes tient sa promesse. Désormais, nous utilisons celui-ci.
Erreur courante
Personnes comptées comme indépendantes
Ce que vous voyez : des intervalles étroits et des valeurs p très petites. Avec 344 084 lignes, presque tout semble « significatif ».
Pourquoi : le tirage au sort concernait 180 002 ménages, pas 344 084 personnes. Les membres d’un ménage agissent de façon semblable. Les lignes apportent donc moins de preuves que leur nombre le laisse croire.
Correction : analysez selon l’unité de répartition. Tenez compte des grappes par ménage pour les erreurs (cov_type="cluster" dans statsmodels). Ou utilisez les totaux des ménages, comme le fait effect(). Vérifiez la méthode avec des divisions A/A du groupe témoin.
L’envoi postal a-t-il fonctionné?
Section intitulée « L’envoi postal a-t-il fonctionné? »Maintenant, et seulement maintenant, Priya lit la colonne voted.
Civic duty 29.66% -> 31.45%: +0.0179 clustered 95% +0.0116 to +0.0242 | naive +0.0128 to +0.0230 | width ratio 1.25Hawthorne 29.66% -> 32.24%: +0.0257 clustered 95% +0.0194 to +0.0321 | naive +0.0206 to +0.0309 | width ratio 1.25Self 29.66% -> 34.52%: +0.0485 clustered 95% +0.0420 to +0.0550 | naive +0.0433 to +0.0537 | width ratio 1.25Neighbors 29.66% -> 37.79%: +0.0813 clustered 95% +0.0747 to +0.0879 | naive +0.0760 to +0.0866 | width ratio 1.25Description textuelle du graphique
Huit lignes sur un axe de 0 à 10 points de pourcentage. Civic duty +1,79 : avec grappes 1,16 à 2,42, naïf 1,28 à 2,30. Hawthorne +2,57 : avec grappes 1,94 à 3,21, naïf 2,06 à 3,09. Self +4,85 : avec grappes 4,20 à 5,50, naïf 4,33 à 5,37. Neighbors +8,13 : avec grappes 7,47 à 8,79, naïf 7,60 à 8,66.
Ce que cela nous dit. Chaque lettre a fonctionné. Sans lettre, 29,66 % ont voté. Avec la lettre Neighbors, 37,79 % ont voté : +8,1 points (7,5 à 8,8). Cela représente 27 % d’électeurs de plus, grâce à une seule lettre. Ce sont les mêmes chiffres que dans le tableau de l’article.
Il y a quatre comparaisons. Priya les vérifie donc comme dans Beaucoup de mesures et beaucoup de tests. Avec Bonferroni, chaque valeur p est multipliée par 4. La plus grande reste bien inférieure à 0,001.
Une deuxième méthode : la régression
Section intitulée « Une deuxième méthode : la régression »Une régression dans statsmodels donne les mêmes différences, avec des erreurs tenant compte des grappes par ménage. Priya ajoute ensuite les cinq votes passés comme entrées. C’est l’ajustement par régression, l’idée derrière Gagner en précision avec CUPED : il retire les différences que nous pouvions prédire.
Neighbors regression +0.0813 (+0.0747 to +0.0879); with past votes +0.0807 (+0.0744 to +0.0870)Ce que cela nous dit. La régression simple donne exactement le même intervalle que effect() : deux méthodes, une réponse. L’intervalle ajusté est seulement 4 % plus étroit, et l’estimation bouge à peine (+8,07). Priya rapporte les chiffres simples, car ils ne nécessitent aucun modèle.
Comparer les lettres
Section intitulée « Comparer les lettres »Neighbors est-elle meilleure que Self? Comme dans Segments et effets différents, testez la différence entre elles, pas deux valeurs p.
Neighbors - Self: +0.0328 (95% +0.0243 to +0.0413)Self - Hawthorne: +0.0228 (95% +0.0144 to +0.0311)Hawthorne - Civic duty: +0.0078 (95% -0.0004 to +0.0161)Ce que cela nous dit. Neighbors dépasse Self de 3,3 points, et Self dépasse Hawthorne de 2,3. Hawthorne et Civic duty pourraient être équivalentes : cet intervalle contient zéro. Plus une lettre dit « les gens verront ce que vous avez fait », plus elle fonctionne.
Pour qui la lettre Neighbors fonctionne-t-elle?
Section intitulée « Pour qui la lettre Neighbors fonctionne-t-elle? »Le plan fixait six segments : les personnes ayant voté à 0, 1, … 5 des cinq élections précédentes.
Description textuelle du graphique
Six lignes sur un axe de 0 à 12 points, avec une ligne à l’effet global, +8,1. 0 sur 5 (6,3 % des personnes) : +2,4 (1,0 à 3,8). 1 sur 5 (7,6 %) : +5,9 (4,2 à 7,6). 2 sur 5 (23,4 %) : +7,2 (6,1 à 8,3). 3 sur 5 (39,5 %) : +9,5 (8,6 à 10,5). 4 sur 5 (19,1 %) : +9,9 (8,5 à 11,3). 5 sur 5 (4,0 %) : +4,4 (1,7 à 7,1).
Ce que cela nous apprend. L’effet forme une bosse. Sans lettre, 8,3 % du groupe « jamais » a voté. La lettre a ajouté seulement 2,4 points : ces personnes sont difficiles à convaincre. Dans le groupe « toujours », 64,2 % a voté sans lettre, ce qui laissait moins de marge à la lettre (+4,4). Les personnes qui votent parfois réagissent le plus : +9,5 et +9,9 points. Selon les termes de La moyenne cache les personnes, le groupe « toujours » compte beaucoup de personnes acquises d’avance. Le groupe « jamais » compte beaucoup de causes perdues, et le milieu compte le plus de persuadables.
Aucun segment ne présente d’effet négatif. Le courriel de Larkfield a réduit les commandes de ses gros acheteurs. Cette lettre ne révèle aucun groupe à ne pas déranger.
Nous avons prévu les segments et regroupé les intervalles. L’écart entre « 0 sur 5 » et « 3 sur 5 » (+7,1 points) dépasse largement le bruit. Ce résultat est donc solide.
À qui envoyer une lettre : cinq listes, une mesure
Section intitulée « À qui envoyer une lettre : cinq listes, une mesure »Le budget de Rafael permet d’envoyer une lettre à un ménage sur cinq. Quels ménages choisir? Priya compare cinq façons de les classer pour la lettre Neighbors. Elle utilise les 119 999 ménages du test Neighbors : 20 000 avec la lettre et 99 999 sans lettre.
- Les plus grands ménages d’abord (la référence de base). Une lettre atteint chaque électeur à l’adresse. Un ménage de quatre personnes offre donc plus de chances qu’un ménage d’une personne.
- Segments prévus d’avance. Chaque personne reçoit l’effet de son segment, estimé à partir des ménages d’entraînement.
- « Qui votera ». Un modèle de la probabilité de voter avec la lettre, comme le modèle habituel « qui achètera ».
- Le T-learner et le X-learner, présentés dans Modèles de gain incrémental. Entrées : les cinq votes passés, la taille du ménage et l’âge.
Une lettre va à un ménage. Donc, le score d’un ménage est la somme des scores de ses membres : le nombre attendu d’électeurs supplémentaires.
Ajustement croisé : des scores produits par des modèles qui n’ont jamais vu le ménage
Section intitulée « Ajustement croisé : des scores produits par des modèles qui n’ont jamais vu le ménage »Un modèle ne doit pas attribuer de scores aux ménages dont il a appris. Dans les leçons sur le gain incrémental, nous avons réservé 30 % des clients pour cela. Ici, les différences entre les listes sont petites. Nous voulons donc inclure chaque ménage dans la comparaison. L’ajustement croisé (cross-fitting) permet les deux.
Les plis sont composés de ménages. Les membres d’un même ménage ne sont donc jamais répartis entre l’entraînement et l’attribution des scores.
Les résultats
Section intitulée « Les résultats »Pour chaque liste, voici la mesure : envoyer une lettre aux 20 % des ménages ayant les scores les plus élevés. Parmi eux, comparer la proportion ayant voté avec et sans la lettre.
size top 20%: +185.6 extra voters per 1,000 letters (95% +149.2 to +222.0); Qini 1272.7segment top 20%: +197.9 extra voters per 1,000 letters (95% +162.3 to +233.6); Qini 1528.9response top 20%: +223.5 extra voters per 1,000 letters (95% +188.7 to +258.2); Qini 1708.8t top 20%: +224.7 extra voters per 1,000 letters (95% +191.0 to +258.4); Qini 1439.9x top 20%: +231.1 extra voters per 1,000 letters (95% +197.3 to +264.9); Qini 1830.4everyone: +154.6 per 1,000 letters (95% +141.6 to +167.6)Description textuelle du graphique
Sept lignes sur un axe de −40 à +280. Plus grands ménages +186 (149 à 222). Segments prévus d’avance +198 (162 à 234). « Qui votera » +224 (189 à 258). T-learner +225 (191 à 258). X-learner +231 (197 à 265). Aléatoire, tout le monde : +155 (142 à 168). Placebo, fausse lettre : +6 (−27 à +39).
Ce que cela nous apprend. Un envoi aléatoire apporte environ 155 électeurs supplémentaires par 1 000 lettres. Chaque liste classée fait mieux. Les 20 % en tête du X-learner en apportent 231 : environ 50 % de plus avec le même budget. Les coefficients Qini (l’aire entre chaque courbe et une liste aléatoire) placent aussi le X-learner en premier. Mais les intervalles se chevauchent. Les listes sont-elles vraiment différentes?
Un bootstrap apparié
Section intitulée « Un bootstrap apparié »Les intervalles ci-dessus comprennent du bruit partagé par toutes les listes : les mêmes ménages, le même hasard. Un bootstrap apparié l’élimine. Rééchantillonnez les ménages 200 fois. Sur chaque rééchantillon, calculez la mesure pour les deux listes et conservez leur différence. Prenez ensuite les 95 % centraux des différences.
x - size +45.5 (95% +6.1 to +78.3)x - segment +33.2 (95% +3.9 to +62.2)x - response +7.7 (95% -19.8 to +35.3)x - t +6.4 (95% -14.3 to +26.6)Ce que cela nous apprend. Le X-learner est clairement meilleur que « les plus grands ménages d’abord » et que les segments prévus d’avance. Il n’est pas clairement meilleur que le modèle « qui votera » ou le T-learner : ces intervalles contiennent zéro. Les données ne permettent pas de classer les trois modèles.
Pourquoi un modèle « qui votera » réussit-il si bien ici, alors qu’il choisissait mal chez Larkfield? Regardez les segments : l’effet augmente avec les votes passés, jusqu’à 4 sur 5. Les électeurs probables sont donc surtout des persuadables, pas des personnes acquises d’avance. Seul le groupe « toujours » (4 % des personnes) rompt cette tendance. Le courriel de Larkfield nuisait à ses gros acheteurs; cette lettre ne nuit à aucun groupe visible.
Les courbes racontent la même histoire sur toute la liste :
- X-learner
- « Qui votera »
- Plus grands ménages
- Liste aléatoire
Description textuelle du graphique
Un graphique linéaire de 0 % à 100 % des ménages. À 20 % : X-learner 5 546 électeurs supplémentaires, « qui votera » 5 362, plus grands ménages 4 460, liste aléatoire 3 710. À 50 % : X-learner 11 952, « qui votera » 11 839, plus grands ménages 11 283, liste aléatoire 9 276. Les quatre finissent à 18 551 à 100 %.
Un placebo pour le modèle
Section intitulée « Un placebo pour le modèle »Un test réel ne peut pas montrer ses effets réels à un modèle de gain incrémental. Priya construit donc un test où l’effet réel est connu : zéro. Elle répartit au hasard les ménages sans lettre : un sur six rejoint un groupe « fausse lettre ». Elle entraîne le X-learner sur ces données, avec le même ajustement croisé. Un modèle qui trouve un gain incrémental ici trouve du bruit.
placebo top 20%: +6.1 per 1,000 (95% -26.7 to +38.9)Ce que cela nous apprend. Les « 20 % en tête » de la fausse lettre ne gagnent rien : zéro est dans l’intervalle. Le X-learner ne transforme donc pas le bruit en gains, et l’ajustement croisé a gardé la comparaison honnête.
Qui se trouve en tête?
Section intitulée « Qui se trouve en tête? »Le profil moyen des personnes dans les 20 % en tête de chaque liste, comparé à tout le monde :
| Votes passés (sur 5) | Personnes par ménage | Âge | |
|---|---|---|---|
| Tout le monde | 2,70 | 1,91 | 49,8 |
| Plus grands ménages | 2,34 | 2,89 | 44,3 |
| « Qui votera » | 3,21 | 2,50 | 50,8 |
| X-learner | 2,86 | 2,40 | 49,5 |
Le X-learner choisit des personnes qui votent parfois, dans des ménages un peu plus grands que la moyenne.
La recommandation
Section intitulée « La recommandation »Priya écrit à Rafael dans ses mots à lui. Elle laisse l’élection de côté et parle de la méthode.
- La lettre compte plus que la liste. La meilleure lettre a ajouté +8,1 points, et la plus faible +1,8. Changer la lettre a multiplié l’effet par 4,5. La meilleure liste ajoute environ 50 % à un choix aléatoire. Testez d’abord le message.
- Les lettres les plus fortes montraient les dossiers personnels des gens. Cela fonctionne, mais c’est de la pression, inacceptable pour un magasin (voir « Utilisation responsable »). Larkfield devrait tester des versions honnêtes, par exemple un rappel du panier enregistré du client.
- Pour choisir à qui écrire, utilisez un modèle de gain incrémental et comparez-le à un modèle simple. Le X-learner était le meilleur. Il n’était pas clairement meilleur que « qui votera ». Préférez le X-learner, car il cible le changement. Comparez à nouveau les deux au prochain test.
- Gardez un groupe aléatoire sans envoi dans chaque campagne. Environ un ménage sur dix de la liste choisie ne reçoit aucune lettre, selon un choix aléatoire. Sans ce groupe, personne ne peut mesurer l’effet de la liste.
Ce que cela coûte
Section intitulée « Ce que cela coûte »Les données ne contiennent aucun coût. Priya suppose qu’une lettre coûte 0,50 $ à imprimer et à poster. C’est une hypothèse, pas une donnée de l’étude. (Le prix du courriel dans le cours, 0,02 $, ne convient pas à une lettre.)
| Liste | Électeurs supplémentaires par 1 000 lettres | Coût d’un électeur supplémentaire |
|---|---|---|
| Aléatoire (tout le monde) | 154,6 | 500 ÷ 154,6 = 3,23 $ |
| Plus grands ménages, 20 % en tête | 185,6 | 500 ÷ 185,6 = 2,69 $ |
| X-learner, 20 % en tête | 231,1 | 500 ÷ 231,1 = 2,16 $ |
Ce que cela nous apprend. Avec la liste du X-learner, chaque personne supplémentaire qui agit coûte 2,16 $ au lieu de 3,23 $. Pour Larkfield, « un électeur supplémentaire » devient « un client supplémentaire qui commande ». Rafael peut comparer ce coût à la marge supposée dans le cours, soit 26 $ par commande.
La liste choisie sur de nouvelles données d’entrée
Section intitulée « La liste choisie sur de nouvelles données d’entrée »Une liste est utile seulement si elle fonctionne sur des ménages que le test n’a jamais vus. Les ménages ayant reçu les trois autres lettres (60 003) représentent la « liste de l’année prochaine ». Priya utilise seulement leurs données d’avant l’envoi, jamais leurs résultats. Le X-learner, entraîné sur les 119 999 ménages du test Neighbors, leur attribue des scores. Elle prend les 20 % en tête.
final = fit_models(two)new = people[~people["letter"].isin(["No letter", "Neighbors"])].copy()new["score"] = final[best](new)plan = new.groupby("hh_id").agg(score=("score", "sum"), people=("voted", "size"))chosen = plan.sort_values("score", ascending=False, kind="stable").head(int(round(0.2 * len(plan))))60,003 households; chosen 12,001 letters to 30,095 people; expected extra voters 2696 (224.7 per 1,000 letters)Ce que cela nous apprend. Le plan prévoit 12 001 lettres pour 30 095 personnes : environ 6 000 $ au prix supposé. Le modèle prévoit environ 2 700 électeurs supplémentaires, soit 225 par 1 000 lettres. C’est proche du +231 mesuré par ajustement croisé. Une attente n’est pas une mesure : seul le groupe sans envoi de la prochaine campagne peut la confirmer.
Constats et limites
Section intitulée « Constats et limites »- « Cela a-t-il fonctionné? » était facile. « Pour qui? » était difficile. Le test a mesuré chaque lettre à environ ±0,65 point près, mais n’a pas pu classer trois modèles de ciblage.
- Il n’y a pas de vérité connue à laquelle comparer les résultats. Toutes les vérifications ont réussi : les décomptes, l’équilibre, le résultat placebo, les répartitions A/A et le placebo du modèle. Elles montrent que les méthodes fonctionnent bien. Elles ne prouvent pas un effet pour une personne donnée.
- Le gagnant profite un peu du hasard. Le X-learner était le meilleur de cinq listes sur les mêmes données. Son résultat est donc probablement un peu trop élevé.
- Ce qu’exigerait un test équitable du ciblage. L’étude répartissait les lettres au hasard, pas les listes. Pour tester une liste, répartissez les ménages entre « envoi selon la liste du modèle » et « envoi aléatoire ». Utilisez le même nombre de lettres.
- Une élection, un État, 2006. Cela montre les méthodes et l’ampleur possible de l’effet d’une lettre. Cela ne prédit pas l’effet d’une lettre de magasin.
- Les données réelles sont plus difficiles que le simulateur. Dans Évaluer et utiliser le gain incrémental, le simulateur montrait le gain réel du X-learner. Ici, nous pouvions seulement le mesurer, avec un large intervalle.
Utilisation responsable
Section intitulée « Utilisation responsable »- Ce fichier contient des personnes réelles. Il n’a ni noms ni adresses, mais contient l’année de naissance, le sexe, le ménage et l’historique de vote. N’essayez d’identifier personne. Ne joignez pas ce fichier à d’autres données sur des personnes.
- Excluez les faits sensibles du ciblage. Nous avons exclu
sex(sexe). L’âge est dans le modèle. Vérifiez donc qu’une liste n’exclut pas un groupe d’âge sans raison défendable. - La pression sociale a un coût que le test n’a pas mesuré. La lettre Neighbors montrait l’historique de vote des personnes à leurs voisins. L’étude mesurait le taux de participation, pas la colère, les plaintes ou la perte de confiance. Un magasin qui nomme ses clients ou leur fait honte les perdrait. Un effet fort ne justifie pas l’utilisation d’un message.
- Pas pour les élections. Un modèle choisissant quels citoyens encourager à voter soulève des questions d’équité et de droit. Ce cours ne les couvre pas. Utilisez les méthodes pour des produits et des services.
- Citez la source. CC0 n’exige rien, mais les bonnes pratiques, oui : citez les auteurs et l’archive, comme dans l’encadré ci-dessus.
Faites-en un projet de portfolio
Section intitulée « Faites-en un projet de portfolio »Cette étude de cas montre à un employeur que vous savez analyser une expérience réelle, des vérifications à la décision. Elle montre aussi que vous savez ce que les données ne peuvent pas dire. Personnalisez-la avec un changement, comme une autre lettre ou un autre budget. Rendez-la ensuite publique et facile à lire en cinq minutes.
Quoi mettre dans le dépôt :
README.md, la page que les gens lisent d’abord (modèle ci-dessous).- Le carnet (notebook) Jupyter, exécuté du début à la fin, avec ses sorties.
PLAN.md: le plan de « Le plan avant le résultat », écrit avant l’analyse.results.csv: l’effet de chaque lettre avec les deux intervalles, et la mesure de chaque liste avec son intervalle.assumptions.md: le coût de la lettre et le budget.- La source et la licence des données, avec la citation ci-dessus. CC0 autorise une copie, mais un lien et la somme de contrôle suffisent.
Un modèle de README :
# Did the mailing work, and for whom? A real randomised mailing
## ProblemAn organisation can mail one household in five. Which letter, and to whom?
## Data and licenceGerber, Green and Larimer, "Social Pressure and Voter Turnout", Michigan 2006(Yale ISPS Data Archive, doi:10.60600/YU/CGMWNW), CC0 1.0. 344,084 people in180,002 households; 4 letters and no letter, randomised by household.
## ApproachPlan written before reading the outcome. Checks: sample ratio, balance,placebo outcome, 1,000 A/A splits. Effects with intervals clustered by household.Six planned segments by past votes. Five household lists compared withcross-fitting (4 folds) and a paired bootstrap; a placebo test for the model.
## ResultsNeighbors letter +8.1 points (7.5 to 8.8); Civic duty +1.8. Naive intervalsgave 12.7% false winners in A/A splits; clustered 5.8%. Effect by past votes:+2.4 (never) to +9.9 (4 of 5). Top 20% by the X-learner: +231 extra voters per1,000 letters vs +155 at random; not clearly better than a "who will vote" model.
## LimitsOne election, 2006; no costs (0.50 dollars a letter assumed); the targeting wasnot randomised; social pressure has costs the study did not measure.Comment le décrire en entrevue, en trois phrases : « J’ai analysé un envoi réel réparti au hasard auprès de 180 000 ménages; les répartitions A/A montraient qu’il fallait regrouper les intervalles par ménage. La meilleure lettre a augmenté le taux d’action de 8 points, surtout chez les personnes qui agissaient parfois. La liste d’un modèle de gain incrémental apportait environ 50 % de plus par lettre qu’une liste aléatoire, mais aucun gain clair face à un modèle simple. J’ai donc recommandé un test aléatoire de la liste. »
Allez plus loin :
- Reprenez les segments et les listes pour la lettre Self. La bosse est-elle la même?
- Planifiez le test de ciblage sur papier : combien de ménages faudrait-il pour détecter 30 électeurs supplémentaires par 1 000 lettres? Utilisez Taille d’échantillon et puissance.
- Comparez avec les autres études de cas, Tests réels dans une boutique en ligne et Un salaire minimum sans test : où la répartition aléatoire était-elle possible, et qu’a-t-elle facilité?
À vous de jouer : un segment de la lettre Self
Section intitulée « À vous de jouer : un segment de la lettre Self »Avant l’exécution, faites une prédiction : prenez les personnes ayant voté à 3 des 5 élections précédentes. L’effet de la lettre Self pour elles dépasse-t-il son effet global (+4,85 points), ou est-il plus faible? Dans la section 5 du carnet, estimez-le avec effect() et by_household(), puis placez-le dans self_3.
Afficher la réponse
sub = people[people["past_votes"] == 3]self_3 = round(float(effect(by_household(sub, "voted"), "Self")["diff"]), 4)print(self_3)0.0556La lettre Self ajoute 5,56 points dans le segment « 3 sur 5 », au-dessus de son effet global de +4,85. Comme pour la lettre Neighbors, les personnes qui votent parfois réagissent plus que la moyenne.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Le fichier contient 344 084 personnes, mais Priya calcule ses intervalles à partir de 180 002 ménages. Pourquoi? Qu'ont montré les répartitions A/A?
Afficher la réponse
Le tirage au sort se faisait par ménage : toutes les personnes à une même adresse recevaient la même lettre. Les personnes qui vivent ensemble ont aussi tendance à voter ensemble. Elles ne constituent donc pas des éléments de preuve indépendants. Un intervalle qui traite chaque personne comme indépendante est trop étroit. Les répartitions A/A ont vérifié cela sur des données réelles. Elles ont divisé au hasard les ménages sans lettre 1 000 fois, sans aucune différence de traitement. L’intervalle naïf a déclaré 12,7 % des résultats « significatifs », contre les 5 % promis. L’intervalle calculé par grappes de ménages en a déclaré 5,8 %. Cet intervalle tient donc sa promesse, tandis que l’intervalle naïf trouve environ un faux gagnant sur huit.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Chez Larkfield, le modèle « qui achètera » envoyait des courriels aux mauvais clients. Ici, le modèle « qui votera » est presque aussi bon que le X-learner. Expliquez la différence.
Afficher la réponse
Un modèle de réponse classe les personnes selon leur probabilité d’agir, pas selon le changement causé par la lettre. Cela pose problème quand les acheteurs les plus probables sont acquis d’avance ou à ne pas déranger. C’était le cas des gros acheteurs de Larkfield. Ici, les segments prévus d’avance montrent que l’effet de la lettre augmente avec les votes passés, jusqu’à 4 élections sur 5. Les personnes susceptibles de voter sont donc surtout celles que la lettre incite à agir. Seul le groupe « toujours » (4 % des personnes) échappe à cette tendance, et aucun segment ne présente d’effet négatif. Dans ces données, la probabilité et le changement vont dans le même sens. C’est un fait propre à ce test, pas une règle : vérifiez-le chaque fois avec une courbe de gain incrémental.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Rafael demande : « Le X-learner a gagné. Peut-on utiliser sa liste et arrêter les tests? » Que répond Priya?
Afficher la réponse
Pas encore. Le X-learner avait la mesure la plus élevée : +231 électeurs supplémentaires par 1 000 lettres. Mais le bootstrap apparié ne permettait pas de le distinguer du modèle « qui votera » ou du T-learner. On l’a aussi choisi comme le meilleur des cinq sur les mêmes données. Son résultat est donc probablement un peu trop élevé. Surtout, l’étude a réparti les lettres au hasard, pas les listes. Pour connaître la valeur de la liste, faites un nouveau test. Envoyez le même nombre de lettres à des ménages choisis selon la liste du modèle ou au hasard. Et gardez un groupe témoin choisi au hasard à chaque envoi, afin que chaque envoi mesure son propre effet.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Vous avez écrit le plan avant de lire le résultat. Puis vous avez vérifié le test sans ce résultat : les décomptes, l’équilibre, un résultat placebo et 1 000 répartitions A/A.
- Le ménage était l’unité, donc les intervalles étaient calculés par grappes de ménages. Les intervalles naïfs donnaient 12,7 % de faux gagnants dans les répartitions A/A; ceux par grappes, 5,8 %.
- Chaque lettre a fonctionné. La lettre Neighbors a ajouté +8,1 points (7,5 à 8,8), et le message comptait beaucoup plus que la liste.
- Dans les segments prévus d’avance, les personnes qui votaient parfois ont le plus réagi (+9,5 à +9,9). Les électeurs « jamais » et « toujours » ont le moins réagi.
- Avec l’ajustement croisé (cross-fitting), les 20 % les mieux classés par le X-learner ont apporté +231 électeurs supplémentaires par 1 000 lettres, contre +155 au hasard. Il n’était pas clairement meilleur qu’un modèle « qui votera ». La prochaine étape est donc un test avec répartition aléatoire de la liste.
Ensuite, la deuxième étude de cas : les résultats quotidiens de 78 expériences réelles en ligne dans une boutique de mode. Elle comprend des regards répétés (peeking) et un test séquentiel.
Leçon suivante : Tests réels dans une boutique en ligne