La moyenne cache les personnes
- Leçon 24
- 30 min
- Module 7 : Le gain incrémental : à qui appliquer le traitement?
Où nous en sommes
Jusqu'ici, nous avons estimé un effet moyen pour tout le monde. Le courriel de rappel de Rafael a un petit effet moyen, mais il cache des personnes très différentes. Dans cette leçon, nous découvrons les quatre groupes : persuadables, acquis d'avance, causes perdues et à ne pas déranger.
Leçon 24 sur 30 · Expériences et impact causal : notre changement a-t-il fonctionné?La moyenne cache les personnes
1. Pourquoi « ça a monté » n'est pas une réponse
2. Concevoir un test A/B
3. Analyser le test
4. Les pièges des vrais tests
5. Quand la répartition aléatoire est impossible : les expériences naturelles
6. Ajuster pour les facteurs de confusion dans des données d'observation
7. Le gain incrémental : à qui appliquer le traitement?
8. Les expériences pour les fonctions d'IA et en production
Ce que vous saurez faire
Examinez ce que cache l’effet moyen du courriel de rappel. Trouvez un groupe que le courriel aide beaucoup, et un groupe auquel il nuit. Nommez les quatre groupes de clients. Ils expliquent pourquoi « envoyer un courriel à tout le monde » peut faire perdre des commandes.
Carnet JupyterFaites cette leçon dans un carnet
Dans le carnet (notebook) Jupyter, vous calculez l’effet moyen du courriel, puis l’effet chez les nouveaux clients et les gros acheteurs. Vous comptez aussi les quatre groupes. Les cellules de préparation installent les paquets et téléchargent les données du courriel. Aucune préparation locale n’est donc nécessaire. Environ 30 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Les deux mondes de chaque client, vus dans Causes et comparaisons.
- Les segments prévus avant le test, vus dans Segments et effets différents.
- Un intervalle à 95 %, vu dans Le résultat et son incertitude.
Ce qu’il vous faut sur votre ordinateur (seulement pour les étapes du projet)
- Le projet
larkfield-experimentsavec.venvactif, à l’instantanéend-of-m06ou plus récent, vu dans Ajustement par régression. Cette leçon n’ajoute aucun fichier.
Testé sur macOS avec Python 3.12. Windows n’a pas été testé.
Un coupon dans une petite boutique
Section intitulée « Un coupon dans une petite boutique »Une petite boutique envoie un coupon de réduction à tous ses clients. Les ventes augmentent un peu, et la propriétaire est contente. Puis elle parle à quatre de ses clients.
- Amal est venue seulement grâce au coupon. Sans lui, elle ne serait pas venue.
- Bruno vient chaque samedi. Il a utilisé le coupon, mais il serait venu de toute façon. La boutique lui a donné une réduction pour rien.
- Carla a jeté le coupon. Elle n’achète jamais dans cette boutique, avec ou sans coupon.
- David venait aussi chaque samedi. Le coupon l’a agacé : « Ils pensent que je viens seulement pour les réductions. » Il a cessé de venir.
La hausse moyenne est réelle. Mais le coupon a eu quatre effets différents sur quatre types de personnes. Si la propriétaire avait su qui était qui, elle l’aurait envoyé seulement aux personnes comme Amal.
Cette leçon porte sur la façon de voir ces différences. Les deux prochaines leçons portent sur la façon d’agir en conséquence.
Le problème : une bonne moyenne, et des clients auxquels on nuit
Section intitulée « Le problème : une bonne moyenne, et des clients auxquels on nuit »Rafael, le responsable des courriels chez TermeLarkfieldUne boutique en ligne canadienne inventée, qui vend des articles pour la maison et le jardin. Ce n’est pas une vraie entreprise. Tous les cours Nextia utilisent son service d’assistance et ses données comme exemple.En savoir plus Découvrez Larkfield, a mené le test du courriel de rappel. Le courriel visait les clients qui n’avaient pas commandé depuis 30 jours. La moitié l’a reçu (B), et l’autre moitié ne l’a pas reçu (A). Vous avez analysé ce test dans Découvrir le simulateur. Toutes les données sont simulées.
Le résultat semble simple. Dans le test, 10,43 % du groupe B ont commandé dans les 14 jours, contre 8,96 % du groupe A. La différence est de +1,47 point (TermeIntervalle de confianceUne plage autour d’une valeur mesurée, obtenue par une méthode qui contient la vraie valeur 95 fois sur 100. Si l’intervalle d’une différence ne contient pas zéro, la différence n’est probablement pas due au hasard.En savoir plus Estimer l'incertitudeMathématiques et statistiques essentielles pour l'IA à 95 % de +1,00 à +1,94). Le simulateur connaît l’effet réel : +1,19 point. L’intervalle le contient. « Le courriel fonctionne, dit Rafael. Le mois prochain, j’enverrai un courriel aux 50 000 clients de la liste. »
Mais Rafael avait prévu deux segments avant le test : les nouveaux clients et les gros acheteurs, avec 7 commandes ou plus par année. Regardez l’effet dans chacun.
Description textuelle du graphique
Un panneau avec une ligne à 0 (aucun effet). Tout le monde : +1,47 point (+1,00 à +1,94); l’effet réel du simulateur est de +1,19. Nouveaux clients : +7,74 (+6,74 à +8,73); effet réel +7,46. Clients existants : −0,64 (−1,17 à −0,10); effet réel −0,92. Gros acheteurs avec 7 commandes ou plus : −6,26 (−7,44 à −5,08); effet réel −6,98. Les intervalles des nouveaux clients et des gros acheteurs sont loin de 0, de côtés opposés.
Le courriel augmente les commandes chez les nouveaux clients de +7,74 points. Il diminue les commandes chez les gros acheteurs de −6,26 points. Chaque estimation est proche de l’effet réel connu du simulateur : +7,46 et −6,98.
La moyenne de +1,47 n’est donc pas fausse. Elle mélange un gain important et une perte réelle. Un plan fondé seulement sur la moyenne enverrait le courriel aux personnes auxquelles il nuit.
Les gros acheteurs subissent aussi une deuxième perte. Sur l’ensemble du test, la proportion réelle de clients qui se désabonnent passe de 0,21 % à 0,85 %. La majeure partie de cette hausse vient des gros acheteurs. Ils n’avaient pas besoin d’un rappel, et certains quittent la liste.
Pourquoi les gros acheteurs commandent moins
Section intitulée « Pourquoi les gros acheteurs commandent moins »Les gros acheteurs commandent souvent sans aucun rappel. Dans le simulateur, un rappel donne à certains l’impression qu’on leur met de la pression, et ils commandent moins. Certains quittent la liste de courriels. Nous avons programmé ce comportement dans le simulateur : c’est un problème d’exercice que nous avons créé exprès. De vraies boutiques peuvent observer la même tendance, mais son ampleur ici vient de nous. La leçon ne dépend pas de cette ampleur : une moyenne peut cacher des personnes auxquelles on nuit.
L’idée : quatre groupes de clients
Section intitulée « L’idée : quatre groupes de clients »Pour chaque client, pensez à deux résultats possibles : ce qui arrive avec le courriel, et ce qui arrive sans lui. Vous avez vu ces deux mondes dans Causes et comparaisons. Appliquez-les maintenant à un client. Chaque client appartient à l’un des quatre groupes.
| Les deux résultats du client | Nom | Ce que fait le courriel |
|---|---|---|
| Ne commande pas sans lui, commande avec lui | Persuadable | Apporte une commande supplémentaire |
| Commande sans lui, commande avec lui | Acquis d’avance | Rien : commande de toute façon |
| Ne commande pas sans lui, ne commande pas avec lui | Cause perdue | Rien : ne commande jamais |
| Commande sans lui, ne commande pas avec lui | À ne pas déranger | Fait perdre une commande |
Ces noms sont courants en marketing. Le gain incrémental (uplift) désigne le changement que produit le courriel : la probabilité supplémentaire de commander grâce au courriel. Un client persuadable a un gain incrémental positif. Un client à ne pas déranger a un gain incrémental négatif. Un client acquis d’avance et une cause perdue ont un gain incrémental nul.
Seuls deux des quatre groupes changent quelque chose. Un courriel coûte de l’argent et demande de l’attention. Le but est donc d’envoyer le courriel aux persuadables, et de laisser tranquilles les clients à ne pas déranger.
Un petit exemple où toutes les valeurs sont visibles
Section intitulée « Un petit exemple où toutes les valeurs sont visibles »Huit clients. Les nombres sont inventés pour cet exemple, et seul un simulateur pourrait connaître les deux mondes.
| Client | Commande sans le courriel? | Commande avec le courriel? | Groupe | Effet |
|---|---|---|---|---|
| Ana | oui | oui | Acquis d’avance | 0 |
| Ben | non | oui | Persuadable | +1 |
| Chloé | oui | non | À ne pas déranger | −1 |
| Dev | non | non | Cause perdue | 0 |
| Elif | non | non | Cause perdue | 0 |
| Farid | oui | oui | Acquis d’avance | 0 |
| Grace | non | oui | Persuadable | +1 |
| Hugo | non | non | Cause perdue | 0 |
Additionnez les effets :
- les persuadables ajoutent +1 chacun : 2 clients, donc +2;
- les clients à ne pas déranger ajoutent −1 chacun : 1 client, donc −1;
- les acquis d’avance et les causes perdues n’ajoutent rien.
L’effet moyen est de (2 − 1) ÷ 8 = +0,125 : 12,5 points. Le résultat est positif, mais les persuadables compensent les pertes causées par les clients à ne pas déranger. Si la boutique envoyait le courriel seulement à Ben et Grace, elle gagnerait +2 commandes avec 2 courriels. Ce serait mieux que +1 commande avec 8 courriels.
Cette phrase résume l’idée de tout le module.
Pourquoi nous ne pouvons pas voir les groupes directement
Section intitulée « Pourquoi nous ne pouvons pas voir les groupes directement »Regardez Ben de nouveau. Un vrai test lui a envoyé le courriel ou ne l’a pas fait. Il ne fait jamais les deux. Un vrai test ne peut donc pas dire « Ben est persuadable ». S’il a reçu le courriel et commandé, il peut être persuadable ou acquis d’avance. S’il ne l’a pas reçu et a commandé, il peut être acquis d’avance ou à ne pas déranger. Rien dans le journal ne vous dit lequel.
C’est le même problème du monde manquant que dans Causes et comparaisons. On n’observe jamais le groupe auquel une personne appartient. Seuls des groupes de personnes ont un effet mesurable. Il nous faudra donc des modèles qui prédisent l’effet pour un type de client. C’est la prochaine leçon.
Le simulateur est différent. Il simule chaque client dans les deux mondes, avec les mêmes nombres aléatoires. Il peut donc compter les groupes exactement.
Larkfield : les quatre groupes dans le test
Section intitulée « Larkfield : les quatre groupes dans le test »Sur les 60 000 clients, seuls 1 567 commandent grâce au courriel. 853 ne commandent pas à cause de lui. Le courriel ne change absolument rien pour les 57 580 autres. L’effet réel est de (1 567 − 853) ÷ 60 000 = +1,19 point : le nombre qu’affiche xp check.
Le courriel n’est ni bon ni mauvais. Tout dépend de qui le reçoit. Regardez maintenant qui se trouve dans les deux groupes qui comptent.
Description textuelle du graphique
Un graphique à quatre colonnes. Parmi les 15 119 nouveaux clients : persuadables 7,46 %, à ne pas déranger 0 %. Parmi les 9 327 gros acheteurs : persuadables 0 %, à ne pas déranger 6,98 %. Ces valeurs correspondent aux effets réels des segments : nouveaux clients +7,46 points, gros acheteurs −6,98 points.
Le graphique explique le résultat du test par segment. Les nouveaux clients sont presque tous persuadables ou indifférents. Les gros acheteurs ne comptent aucun persuadable, et beaucoup sont à ne pas déranger. Envoyer le courriel aux gros acheteurs peut donc seulement faire perdre des commandes.
Exécutez maintenant le test vous-même.
-
Créez de nouveau les données du courriel. Ce sont les mêmes que dans Découvrir le simulateur.
Fenêtre de terminal sim run --scenario emailScenario email (seed 40): A reminder email to customers who have not ordered for 30 days: an A/B test by customer, 14 days.Wrote runs/email-s40: customers (60,000 rows), targets (50,000 rows), truth_targets (50,000 rows). Synthetic data. 0.5 s -
Analysez le test, avec les nouveaux clients comme segment.
Fenêtre de terminal xp analyse --by new_customerRun email-s40 (synthetic): A reminder email to customers who have not ordered for 30 days: an A/B test by customer, 14 days.Metric: ordered. A: 30,208 customers, mean 0.0896. B: 29,792 customers, mean 0.1043.difference +0.0147 (+16.4%), 95% interval +0.0100 to +0.0194, p = 1.14e-09 (Welch t-test)new_customer = 0: difference -0.0064 (-6.7%), 95% interval -0.0117 to -0.0010, p = 0.0195 (Welch t-test)new_customer = 1: difference +0.0774 (+106.0%), 95% interval +0.0674 to +0.0873, p = 9.98e-52 (Welch t-test)Saved to runs/email-s40/analysis.json. Compare with the true effect: xp checkLa ligne
new_customer = 0représente les clients existants. Leur intervalle est sous zéro : le courriel diminue leurs commandes. C’est le segment « clients existants » du premier graphique. -
Comparez avec l’effet réel.
Fenêtre de terminal xp checkRun email-s40: the last analysis was `xp analyse`.True effect (from the simulator): +0.0119 share of customers with an order.Your estimate: +0.0147, 95% interval +0.0100 to +0.0194: the interval contains the true effect. -
Lisez les quatre groupes dans les données réelles du simulateur.
Fenêtre de terminal python -c "import json; print(json.load(open('runs/email-s40/truth.json'))['groups'])"{'persuadable': 1567, 'sure_thing': 4592, 'lost_cause': 52988, 'do_not_disturb': 853}Seul le fichier des données réelles du simulateur contient ces décomptes. Un vrai test ne les contient pas.
Quand l’utiliser, quand l’éviter et ce que cela coûte
Section intitulée « Quand l’utiliser, quand l’éviter et ce que cela coûte »Pensez aux quatre groupes quand :
- le traitement coûte de l’argent ou demande de l’attention : un courriel, un coupon, un appel, un cadeau;
- le traitement peut agacer certaines personnes, ou leur apprendre à attendre une réduction;
- vous avez un test avec répartition aléatoire. Sans cela, vous ne pouvez pas savoir chez qui le courriel a changé le résultat. Vous retrouvez les problèmes des journaux vus dans Ajustement par régression.
N’utilisez pas cette idée quand :
- le changement touche tout le monde, comme une nouvelle page de paiement, et vous ne pouvez pas choisir qui le reçoit;
- votre test compte trop peu de personnes pour les répartir en segments. Un petit segment a un intervalle large, comme dans Segments et effets différents;
- vous choisissez les segments après avoir vu le résultat. Choisissez-les d’abord, sinon vous trouverez un « gagnant » par hasard. Voir Beaucoup de mesures et beaucoup de tests.
Cela exige une chose : un test assez grand pour les groupes qui vous intéressent. Avant de dépenser un budget, vous devez savoir qui vous pouvez atteindre, et qui vous pouvez perdre. La prochaine leçon trouve ces personnes automatiquement.
Exercice guidé : décomposez la moyenne vous-même
Section intitulée « Exercice guidé : décomposez la moyenne vous-même »- Ouvrez le carnet depuis l’encadré Faites cette leçon dans un carnet en haut de cette page.
- Exécutez les cellules de préparation et la cellule auxiliaire.
- Dans la section 1, calculez l’effet moyen. Vous voyez
everyone: +0.0147 (± 0.0047)(tout le monde : effet et incertitude). - Dans la section 2, faites d’abord une prédiction : le courriel aidera-t-il les gros acheteurs plus ou moins que les nouveaux clients? Puis exécutez la cellule. Vous voyez
+0.0774pour les nouveaux clients et-0.0626pour les gros acheteurs. - Dans la section 3, comptez les quatre groupes. Vous voyez
1567 (2.6%)pour les persuadables et853 (1.4%)pour les clients à ne pas déranger. - Dans la section 4, calculez l’effet chez les clients dont
email_open_ratevaut 0,5 ou plus. Mettez-le dansopen_effect. Exécutez la cellule de vérification. Elle afficheCheck passed(vérification réussie).
Afficher la réponse à l’étape 6
open_effect = round(float(effect(email[email.email_open_rate >= 0.5])[0]), 4)print(open_effect)La valeur est de +0,0352 : les clients qui ouvrent les courriels réagissent plus que la moyenne. L’effet réel du simulateur pour ce groupe est de +0,0416.
À vous de jouer : trouvez un groupe auquel le courriel nuit
Section intitulée « À vous de jouer : trouvez un groupe auquel le courriel nuit »Rafael doit connaître les clients qui y perdent. Montrez-lui un groupe dont les commandes diminuent à cause du courriel. Utilisez les chiffres de cette leçon ou de votre propre exécution du carnet Jupyter. Écrivez deux ou trois lignes avec le segment, l’estimation, l’intervalle à 95 % et l’effet réel.
Afficher une réponse
Gros acheteurs (7 commandes ou plus en 12 mois) : le courriel change la proportion ayant commandé de −6,26 points, avec un intervalle à 95 % de −7,44 à −5,08. L’intervalle est bien en dessous de zéro. L’effet réel du simulateur pour ce groupe est de −6,98 points. Le courriel ne les aide pas et pousse certains à se désabonner.
Une deuxième réponse correcte : clients existants, −0,64 point (−1,17 à −0,10), selon xp analyse --by new_customer; effet réel de −0,92 point. L’effet est beaucoup plus petit et l’intervalle est proche de zéro.
Erreur courante
« L'effet moyen est positif, alors envoyons le courriel à tout le monde »
Symptôme : l’équipe envoie le courriel à toute la liste après un bon test. Les commandes augmentent moins que prévu, et les désabonnements augmentent, surtout parmi les meilleurs clients.
Cause : une moyenne mélange plusieurs groupes. Elle additionne les persuadables et soustrait les clients à ne pas déranger. Une moyenne positive indique seulement que le premier groupe est plus grand que le deuxième. Elle ne dit pas qui appartient à quel groupe.
Solution : avant le prochain envoi, examinez les segments prévus d’avance : nouveaux clients, clients existants et gros acheteurs. Gardez un garde-fou sur les désabonnements. Utilisez ensuite un modèle de gain incrémental pour choisir qui reçoit le courriel. Les deux prochaines leçons montrent comment faire.
Vérifiez votre compréhension
Un client n'a pas commandé sans le courriel, mais a commandé avec lui, dans les deux mondes du simulateur. À quel groupe parmi les quatre appartient-il? Un vrai test pourrait-il le dire?
Afficher la réponse
Le client est un persuadable : le courriel a provoqué la commande. Un vrai test ne pourrait pas le dire, car il montre un seul des deux mondes pour chaque client. Si ce client reçoit le courriel et commande, il pourrait être un persuadable ou un acquis d’avance. Seul un simulateur, qui exécute les deux mondes, peut déterminer le groupe d’une personne.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Le test simulé compte 1 567 persuadables et 853 clients à ne pas déranger parmi 60 000 clients. Quel est l'effet réel en points, et pourquoi un courriel à tout le monde fait-il perdre des commandes?
Afficher la réponse
L’effet réel est (1 567 − 853) ÷ 60 000 = +1,19 point. Le courriel envoyé à tout le monde fait perdre les commandes des clients à ne pas déranger. Ces 853 clients auraient commandé sans le courriel, mais ne commandent pas avec lui. La moyenne est positive seulement parce que les persuadables sont plus nombreux.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Rafael rapporte que le courriel a augmenté les commandes de 1,47 point et devrait donc être envoyé à chaque client de la liste. Que lui diriez-vous en vous appuyant sur les segments de cette leçon?
Afficher la réponse
La moyenne cache des personnes très différentes. Le courriel ajoute environ +7,74 points chez les nouveaux clients, mais retire environ 6,26 points chez les gros acheteurs. Envoyer le courriel à tout le monde fait perdre les commandes de gros acheteurs qui auraient commandé de toute façon. Cela augmente aussi les désabonnements. Il devrait choisir qui reçoit le courriel, plutôt que de l’envoyer à tout le monde. Il devrait garder un garde-fou sur les désabonnements. Un modèle peut l’aider à trouver les persuadables.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Un effet moyen peut cacher des effets importants et opposés chez différentes personnes.
- Dans le test simulé du courriel, la moyenne est de +1,47 point (effet réel de +1,19). Nouveaux clients : +7,74 (effet réel de +7,46). Gros acheteurs : −6,26 (effet réel de −6,98).
- Chaque client appartient à l’un des quatre groupes : persuadables (1 567), acquis d’avance (4 592), causes perdues (52 988) et à ne pas déranger (853).
- Le gain incrémental (uplift) est le changement que le traitement produit pour un client. Seuls les persuadables (positif) et les clients à ne pas déranger (négatif) en ont un.
- Un vrai test ne peut pas voir le groupe d’un client. Seul le simulateur le peut. Il nous faut donc un modèle de l’effet par type de client.
À suivre : entraîner des modèles de gain incrémental sur le test à répartition aléatoire et les comparer à un modèle ordinaire de « qui achètera ».
Leçon suivante : Modèles de gain incrémental