Modèles de gain incrémental
- Leçon 25
- 40 min
- Module 7 : Le gain incrémental : à qui appliquer le traitement?
Où nous en sommes
Nous savons que le courriel aide certains clients et en agace d'autres. Nous ne pouvons pas voir les groupes directement. Dans cette leçon, nous entraînons des modèles de gain incrémental, le T-learner et le X-learner, sur le test de courriel réparti au hasard. Nous les comparons à un modèle classique « qui achètera ».
Leçon 25 sur 30 · Expériences et impact causal : notre changement a-t-il fonctionné?Modèles de gain incrémental
1. Pourquoi « ça a monté » n'est pas une réponse
2. Concevoir un test A/B
3. Analyser le test
4. Les pièges des vrais tests
5. Quand la répartition aléatoire est impossible : les expériences naturelles
6. Ajuster pour les facteurs de confusion dans des données d'observation
7. Le gain incrémental : à qui appliquer le traitement?
8. Les expériences pour les fonctions d'IA et en production
Ce que vous saurez faire
Donnez à chaque client un score indiquant à quel point le courriel change sa probabilité de commander. Entraînez deux modèles de gain incrémental sur le test de courriel réparti au hasard : le T-learner et le X-learner. Comparez-les à un modèle classique « qui achètera », et voyez pourquoi ce modèle choisit les mauvaises personnes.
Carnet JupyterFaites cette leçon dans un carnet Jupyter
Dans le carnet (notebook) Jupyter, vous construisez à la main le modèle « qui achètera », le T-learner et le X-learner avec scikit-learn. Ensuite, vous examinez les clients en tête de chaque liste. Ses cellules de préparation installent les paquets et téléchargent les données de courriel. Aucune configuration locale n’est donc nécessaire. Environ 40 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Les quatre groupes et le terme gain incrémental (uplift), présentés dans La moyenne cache les personnes.
- Ce qu’est un modèle qui prédit une probabilité, et pourquoi nous le testons sur des données qu’il n’a pas vues. Pour un rappel, consultez Données d’entraînement, de validation et de test et Les méthodes d’ensemble dans le cours d’apprentissage automatique. Cette leçon explique les notions nécessaires.
Ce qu’il vous faut sur votre ordinateur (seulement pour les étapes du projet)
- Le projet
larkfield-experimentsà l’instantanéend-of-m06, tiré de Ajustement par régression, avec.venvactif. Cette leçon le met à jour versend-of-m07.
Testé sur macOS avec Python 3.12 et l’instantané end-of-m07 du projet. Windows n’a pas été testé.
Une librairie et ses meilleurs clients
Section intitulée « Une librairie et ses meilleurs clients »Une librairie a 100 coupons pour un nouveau roman. La propriétaire demande : « Qui a le plus de chances de l’acheter? » Elle envoie les coupons à ses 100 meilleurs clients. La plupart achètent le roman.
Est-ce un succès? Ses meilleurs clients achètent chaque nouveau roman. Ils auraient acheté celui-ci sans coupon. Elle leur a donné un rabais pour rien. Elle n’a jamais sollicité les clients qu’un coupon aurait fait changer d’avis.
Elle a posé la mauvaise question. « Qui achètera? » n’est pas la même question que « Qui achètera grâce au coupon? » La deuxième question est celle qui compte pour un budget.
Le problème : un modèle « qui achètera » envoie des courriels aux mauvaises personnes
Section intitulée « Le problème : un modèle « qui achètera » envoie des courriels aux mauvaises personnes »Rafael peut envoyer 10 000 courriels le mois prochain. La liste compte 50 000 clients. Quels 10 000 clients devrait-il choisir?
Un scientifique des données de son équipe entraîne un modèle classique. Il apprend à partir des clients qui ont reçu le courriel dans le test (groupe B). Il prédit la probabilité de commander de chaque client qui reçoit le courriel. Ensuite, il prend les 10 000 clients ayant la probabilité la plus élevée. C’est un modèle de réponse : nous l’appellerons le modèle « qui achètera ».
Le simulateur connaît les probabilités réelles de chaque client avec et sans le courriel. Il peut donc évaluer la liste.
- La liste « qui achètera » apporte +672 commandes supplémentaires.
- Une liste aléatoire de 10 000 clients n’en apporte que +130. Le modèle fait donc beaucoup mieux que le hasard.
- Mais les 10 000 meilleurs clients possibles en apportent +943.
- Et 1 193 de ses clients commandent moins à cause du courriel : ils sont à ne pas déranger.
Le modèle n’est pas inutile. Il vise simplement une autre cible. Il trouve des personnes qui commanderont, et beaucoup d’entre elles auraient commandé de toute façon. Certaines sont de gros acheteurs que le courriel agace.
L’idée : modéliser le changement, pas la probabilité
Section intitulée « L’idée : modéliser le changement, pas la probabilité »Un modèle de gain incrémental prédit, pour chaque client, le changement que le courriel apporte :
uplift = (chance to order with the email) − (chance to order without the email)Un gain incrémental élevé indique un client persuadable. Un gain incrémental nul indique un client acquis d’avance ou une cause perdue. Un gain incrémental négatif indique un client à ne pas déranger.
Aucun client n’a les deux résultats. Aucun modèle ne peut donc apprendre le gain incrémental directement à partir d’une seule ligne. Mais le test réparti au hasard a deux groupes semblables en tout, sauf pour le courriel. Nous pouvons donc apprendre la probabilité avec le courriel à partir du groupe B, et celle sans à partir du groupe A. Un tirage à pile ou face a choisi les groupes. La différence permet donc une comparaison équitable pour chaque type de client. Sans test réparti au hasard, les modèles apprendraient aussi les facteurs de confusion des journaux.
Il existe plusieurs façons de construire un modèle de gain incrémental. Nous en utilisons deux : le T-learner et le X-learner.
Le T-learner, avec un tout petit exemple
Section intitulée « Le T-learner, avec un tout petit exemple »Le T-learner (« T » pour two, deux) entraîne deux modèles. Le modèle A prédit la probabilité de commander sans le courriel. Le modèle B la prédit avec le courriel. Le gain incrémental est le modèle B moins le modèle A.
Prenons un tout petit magasin avec deux types de clients et un test réparti au hasard. Les nombres sont inventés pour cet exemple.
| Type de client | A commandé, avec le courriel (B) | A commandé, sans le courriel (A) | Gain incrémental du T-learner (B − A) |
|---|---|---|---|
| Nouveau | 16 % | 8 % | +8 points |
| Gros acheteur | 28 % | 34 % | −6 points |
Ici, chaque « modèle » est simplement la proportion de clients de ce type qui ont commandé. Le T-learner dit : envoyez un courriel aux nouveaux clients (+8 points). N’en envoyez pas aux gros acheteurs (−6 points).
Interrogez maintenant le modèle « qui achètera ». Il regarde seulement la colonne B. Les gros acheteurs ont la probabilité la plus élevée : 28 % contre 16 %. Il leur envoie donc un courriel en premier. Ce sont exactement les clients qu’il devrait laisser tranquilles.
Le X-learner, avec le même exemple
Section intitulée « Le X-learner, avec le même exemple »Le T-learner a une faiblesse. Ses deux modèles font leurs propres erreurs. Le gain incrémental est la petite différence entre deux grands nombres. Les erreurs ne s’annulent pas. Le gain incrémental peut donc être bruité.
Le X-learner ajoute une deuxième étape. Il utilise les deux premiers modèles pour estimer l’effet propre à chaque client. Ensuite, il entraîne des modèles directement sur ces estimations.
- Un nouveau client dans B qui a commandé : l’estimation est 1 − 0,08 = +0,92. (Le modèle A dit qu’un nouveau client commande 8 % du temps sans le courriel.)
- Un nouveau client dans B qui n’a pas commandé : l’estimation est 0 − 0,08 = −0,08.
- Un nouveau client dans A qui n’a pas commandé : l’estimation est 0,16 − 0 = +0,16. (Le modèle B dit 16 % avec le courriel.)
- Un nouveau client dans A qui a commandé : l’estimation est 0,16 − 1 = −0,84.
Une estimation est très erronée pour une personne. Mais la moyenne des estimations est juste. Dans B, 16 % des nouveaux clients ont commandé : 0,16 × 0,92 + 0,84 × (−0,08) = +0,08. Dans A, 8 % ont commandé : 0,08 × (−0,84) + 0,92 × 0,16 = +0,08. Les deux donnent les +8 points du T-learner.
Dans ce tout petit magasin, les deux méthodes s’accordent donc. Sur des données réelles avec de nombreuses colonnes, elles diffèrent. Les deuxièmes modèles du X-learner apprennent l’effet lui-même, qui est souvent plus simple que la probabilité de commander. Sa dernière étape calcule la moyenne de ses deux modèles d’effet. Il donne plus de poids aux estimations qui utilisent le modèle du plus grand groupe, parce que ce modèle est plus exact. Cela aide surtout quand un groupe est beaucoup plus petit. Par exemple, quand seulement 10 % des clients ont reçu le courriel.
Ce que sont les modèles
Section intitulée « Ce que sont les modèles »Chaque « modèle » ici utilise des arbres avec amplification de gradient (gradient boosting) de scikit-learn. Il combine plusieurs petits arbres de décision, chacun corrigeant les erreurs des précédents. Il lit sept colonnes : client nouveau ou existant, ancienneté, commandes et dépenses sur 12 mois, jours depuis la dernière commande, taux d’ouverture des courriels, et appareil mobile ou ordinateur. Vous n’avez pas besoin de connaître son fonctionnement interne. Pour comprendre l’idée, consultez Les méthodes d’ensemble dans le cours d’apprentissage automatique. Le T-learner et le X-learner viennent d’EconML, une bibliothèque à code source ouvert de Microsoft (licence MIT). Le carnet écrit les deux méthodes à la main en quelques lignes et obtient les mêmes scores.
Larkfield : trois listes de 10 000 clients
Section intitulée « Larkfield : trois listes de 10 000 clients »D’abord, mettez le projet à jour vers l’instantané end-of-m07. Il ajoute xp uplift et EconML. Vos propres exécutions et plans restent en place.
-
Ouvrez un terminal dans le dossier qui contient
larkfield-experimentsetnextia-learning-labs. Si vous avez cloné le dépôt des laboratoires avec Git, mettez-le d’abord à jour.Fenêtre de terminal git -C nextia-learning-labs pull -
Copiez l’instantané dans votre projet et installez les nouveaux paquets.
Fenêtre de terminal cp -R nextia-learning-labs/C40/snapshots/end-of-m07/. larkfield-experiments/cd larkfield-experimentssource .venv/bin/activatepython -m pip install -r requirements.txtFenêtre de terminal Copy-Item -Recurse -Force nextia-learning-labs\C40\snapshots\end-of-m07\* larkfield-experimentscd larkfield-experiments.venv\Scripts\Activate.ps1python -m pip install -r requirements.txtEconML ajoute quelques autres paquets. L’installation peut donc prendre quelques minutes.
-
Exécutez les tests.
Fenêtre de terminal python -m pytest -q............................ [100%]31 passed in 7.20sTrente et un tests réussissent. Votre durée sera différente.
-
Créez les données de courriel, si vous ne l’avez pas fait dans la leçon précédente.
Fenêtre de terminal sim run --scenario email -
Entraînez le modèle « qui achètera », choisissez 10 000 clients et vérifiez la liste avec la vérité du simulateur.
Fenêtre de terminal xp uplift --learner responsexp check'who will buy' model trained on 42,157 customers of the test; evaluated on the other 17,843.Extra orders in the evaluation group if we email the top share by score (uplift curve):top 10%: +147.2top 20%: +212.9top 30%: +253.2top 40%: +273.9top 50%: +280.2top 60%: +277.9top 70%: +282.4top 80%: +264.6top 90%: +227.7top 100%: +189.0Qini coefficient: +138.92 (0 = no better than random)Chose 10,000 of next month's 50,000 customers: runs/email-s40/targets_response.csv. Check them: xp checkRun email-s40: the last analysis was `xp uplift`.Your 10,000 customers: +672 extra orders expected (from the simulator's true chances).Random 10,000: +130. The best possible 10,000: +943. Emailing all 50,000: +648.1,193 of your customers order less because of the email (do-not-disturbs). -
Faites la même chose avec le T-learner et le X-learner.
Fenêtre de terminal xp uplift --learner txp checkxp uplift --learner xxp checkNous montrons seulement les dernières lignes de chaque
xp check:Your 10,000 customers: +795 extra orders expected (from the simulator's true chances).Random 10,000: +130. The best possible 10,000: +943. Emailing all 50,000: +648.215 of your customers order less because of the email (do-not-disturbs).Your 10,000 customers: +838 extra orders expected (from the simulator's true chances).Random 10,000: +130. The best possible 10,000: +943. Emailing all 50,000: +648.24 of your customers order less because of the email (do-not-disturbs).
xp uplift s’entraîne sur 70 % du test et garde 30 % pour évaluer le modèle. Les lignes d’évaluation (la courbe de gain incrémental et le coefficient Qini) sont le sujet de la prochaine leçon. Ensuite, il attribue un score aux 50 000 clients du mois prochain et écrit les 10 000 premiers dans un fichier. xp check compare ce fichier à la vérité du simulateur. Un vrai magasin ne peut pas exécuter xp check. Ici, cette commande montre la qualité réelle de chaque liste.
Ce que les trois listes apportent
Section intitulée « Ce que les trois listes apportent »La liste du T-learner apporte +795 commandes supplémentaires, et celle du X-learner, +838. La liste « qui achètera » en apporte +672. Le meilleur résultat possible est +943.
Regardez les clients à ne pas déranger : 1 193 dans la liste « qui achètera », 215 pour le T-learner, et seulement 24 pour le X-learner.
Description textuelle du graphique
Un diagramme à colonnes. Dans chaque liste de 10 000 clients parmi les 50 000 du mois prochain, le nombre dont la probabilité réelle de commander diminue avec le courriel. Liste aléatoire : 4 298. Modèle « qui achètera » : 1 193. T-learner : 215. X-learner : 24.
Une liste aléatoire comprend 4 298 clients à qui le courriel nuit. Cela semble beaucoup. Il ne nuit que légèrement à la plupart d’entre eux. En effet, 21 573 des 50 000 clients ont un gain incrémental légèrement négatif. Les modèles de gain incrémental les excluent presque complètement.
Qui est en tête de chaque liste
Section intitulée « Qui est en tête de chaque liste »Le tableau décrit les trois listes de 10 000 clients, selon la vision du simulateur des clients du mois prochain.
| Liste de 10 000 clients | Nouveaux clients | Gros acheteurs (7 commandes ou plus) | Probabilité de commander sans le courriel | Gain incrémental réel par client |
|---|---|---|---|---|
| Aléatoire | 25 % | 15 % | 8,8 % | +1,3 point |
| « Qui achètera » | 57 % | 2,9 % | 11,4 % | +6,7 points |
| T-learner | 81 % | 0,35 % | 8,9 % | +8,0 points |
| X-learner | 88 % | 0,01 % | 8,5 % | +8,4 points |
La liste « qui achètera » a la probabilité de commander sans le courriel la plus élevée : 11,4 %. C’est l’erreur de la librairie. Elle contient beaucoup de clients acquis d’avance. La liste du X-learner contient presque uniquement de nouveaux clients, et presque aucun gros acheteur. C’est la liste des persuadables.
Le score trie-t-il bien les clients?
Section intitulée « Le score trie-t-il bien les clients? »Découpez chaque liste de 50 000 clients en dix tranches de 5 000 clients, du score le plus élevé au plus faible. Ensuite, demandez au simulateur le gain incrémental réel dans chaque tranche.
- X-learner
- T-learner
- « Qui achètera »
Description textuelle du graphique
Un graphique à lignes avec dix tranches sur l’axe horizontal et le gain incrémental réel en points sur l’axe vertical. X-learner, de la tranche la plus élevée à la plus faible : +10,03, +6,73, +4,48, +1,69, +0,54, +0,12, −0,15, −0,51, −2,96, −7,01. T-learner : +9,47, +6,42, +3,94, +2,04, +0,71, +0,06, −0,22, −0,76, −2,70, −6,00. Modèle « qui achètera » : +8,51, +4,94, +3,42, +1,79, +0,68, +0,12, −0,59, −1,47, −1,64, −2,79.
Les trois lignes descendent. Les trois modèles trient donc les clients dans le bon ordre dans l’ensemble. Le X-learner trie de la façon la plus nette. Sa dernière tranche, −7,01 points, correspond aux gros acheteurs : les personnes que le courriel ne doit pas atteindre.
Avec plus de graines
Section intitulée « Avec plus de graines »Un test simulé peut profiter de la chance. Les mesures du cours ont répété tout le processus sur 10 tests simulés, chacun avec ses propres clients. En moyenne, 10 000 courriels ont apporté +699 commandes supplémentaires avec le modèle « qui achètera », +785 avec le T-learner et +823 avec le X-learner. Le meilleur résultat possible était +936, et le résultat aléatoire, +129. L’ordre des trois modèles se maintient donc. L’avance du X-learner sur le T-learner est modeste : environ 40 commandes.
Quand l’utiliser, quand l’éviter et ce qu’il coûte
Section intitulée « Quand l’utiliser, quand l’éviter et ce qu’il coûte »Utilisez un modèle de gain incrémental quand :
- vous avez un test du traitement réparti au hasard, avec assez de clients : des dizaines de milliers pour un petit effet comme celui-ci;
- le traitement a un coût ou un budget, et vous devez choisir qui le reçoit;
- l’effet diffère entre les clients, et vous avez des colonnes qui les décrivent.
Ne l’utilisez pas quand :
- vous avez seulement des journaux, sans test réparti au hasard. Le modèle apprendrait les facteurs de confusion comme s’ils étaient l’effet;
- le test est petit. Le gain incrémental est une petite différence entre deux probabilités bruitées. Avec quelques milliers de clients, les scores sont surtout du bruit;
- l’effet est à peu près le même pour tout le monde. Une règle simple est alors aussi bonne : « envoyer un courriel à tous » ou « n’envoyer de courriel à personne ».
Il exige un test assez grand pour en tirer un apprentissage. Le modèle demande de l’attention, comme tout modèle. Il exige aussi une vérification sur des données qu’il n’a pas vues, ce que couvre la prochaine leçon. Le T-learner est le plus simple à expliquer. Le X-learner a fait un peu mieux ici, et le travail supplémentaire est minime.
Exercice guidé : construire les méthodes à la main
Section intitulée « Exercice guidé : construire les méthodes à la main »- Ouvrez le carnet dans l’encadré Faites cette leçon dans un carnet Jupyter en haut de cette page.
- Exécutez les cellules de préparation et la cellule auxiliaire.
- Dans la section 1, divisez le test. Vous voyez
train: 42,157 customers; evaluate: 17,843 customers(entraînement : 42 157 clients; évaluation : 17 843 clients). - Dans la section 2, prédisez quels clients le modèle « qui achètera » place en tête. Ensuite, exécutez-le. Parmi ses 20 % en tête, vous voyez 58 % de nouveaux clients et 3 % de gros acheteurs. L’effet du courriel y est de +0,0597.
- Dans la section 3, construisez le T-learner. Ses 20 % en tête : 81 % de nouveaux clients, effet de +0,0771.
- Dans la section 4, construisez le X-learner. Ses 20 % en tête : 89 % de nouveaux clients, effet de +0,0781.
- Dans la section 5, trouvez la proportion de gros acheteurs parmi les 20 % en tête du T-learner. Placez-la dans
t_heavy_share. Exécutez la cellule de vérification. Elle afficheCheck passed(vérification réussie).
Afficher la réponse à l’étape 7
top_t = hold.iloc[np.argsort(-score_t)[: len(hold) // 5]]t_heavy_share = round(float((top_t.orders_12m >= 7).mean()), 4)print(t_heavy_share)La valeur est 0,0039 : moins de 1 client sur 200. Le T-learner a appris à exclure les gros acheteurs.
À vous de jouer : entraînez sur une autre répartition
Section intitulée « À vous de jouer : entraînez sur une autre répartition »xp uplift répartit le test au hasard entre les données d’entraînement et d’évaluation. Son option --seed change cette répartition. Avant de lancer quoi que ce soit, faites une prédiction : avec --seed 1, la liste du X-learner produira-t-elle autant de commandes supplémentaires?
Afficher la réponse
xp uplift --learner x --seed 1xp checkVoici la courbe Qini et la vérification :
Qini coefficient: +233.75 (0 = no better than random) Chose 10,000 of next month's 50,000 customers: runs/email-s40/targets_x.csv. Check them: xp checkRun email-s40: the last analysis was `xp uplift`.Your 10,000 customers: +810 extra orders expected (from the simulator's true chances). Random 10,000: +130. The best possible 10,000: +943. Emailing all 50,000: +648. 43 of your customers order less because of the email (do-not-disturbs).À peu près autant : +810 commandes supplémentaires contre +838, et 43 clients lésés contre 24. Un autre échantillon d’entraînement donne un modèle légèrement différent.
Regardez aussi le coefficient Qini : +233,75 contre +218,92. La liste est un peu moins bonne, mais son score est plus élevé. On mesure le score sur un autre groupe d’évaluation, où le hasard joue aussi un rôle. Gardez cela en tête pour la prochaine leçon. Relancez xp uplift --learner x avant de continuer, pour retrouver la liste par défaut.
Erreur courante
« Envoyer un courriel aux clients les plus susceptibles d'acheter »
Symptôme : la liste ciblée vient d’un modèle qui prédit qui commandera. Le rapport de campagne montre un taux de commande élevé parmi les destinataires, et l’équipe est contente. Un test ultérieur avec un groupe gardé à part montre un gain bien plus faible que prévu. Il révèle aussi plus de désabonnements parmi les clients fidèles.
Cause : un modèle de probabilité de commande trouve les acquis d’avance : les clients qui commanderaient de toute façon. Le courriel ne cause pas leur taux de commande élevé. Le modèle choisit aussi de gros acheteurs que le courriel agace.
Solution : entraînez un modèle de gain incrémental sur un test avec répartition aléatoire pour prédire le changement causé par le courriel. Présentez les commandes supplémentaires par rapport à un groupe témoin aléatoire, plutôt que le taux de commande des destinataires.
Vérifiez votre compréhension
Dans un test aléatoire, les nouveaux clients commandent dans 16 % des cas avec le courriel et 8 % sans lui. Les gros acheteurs commandent dans 28 % des cas avec le courriel et 34 % sans lui. Quel gain incrémental un T-learner attribue-t-il à chaque type de client? À quel type un modèle « qui achètera » envoie-t-il un courriel en premier?
Afficher la réponse
Le T-learner attribue aux nouveaux clients 16 − 8 = +8 points, et aux gros acheteurs 28 − 34 = −6 points. Il envoie donc un courriel aux nouveaux clients et laisse les gros acheteurs tranquilles. Le modèle « qui achètera » considère seulement la probabilité avec le courriel : 28 % pour les gros acheteurs contre 16 % pour les nouveaux clients. Il envoie d’abord un courriel aux gros acheteurs, soit précisément les personnes auxquelles le courriel nuit.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Pourquoi faut-il entraîner un modèle de gain incrémental sur un test avec répartition aléatoire? Pourquoi pas sur les journaux des courriels que l'équipe marketing a choisi d'envoyer auparavant?
Afficher la réponse
Un modèle de gain incrémental compare la probabilité de commande avec et sans courriel pour chaque type de client. Cette comparaison est juste seulement si le courriel est la seule différence entre les deux groupes. Un tirage à pile ou face les rend semblables. Dans les campagnes passées, l’équipe choisissait les destinataires, par exemple les meilleurs clients. Le modèle apprendrait alors cette différence entre les groupes comme si elle était l’effet du courriel. C’est le problème des facteurs de confusion dans les données d’observation.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
La liste « qui achètera » produit +672 commandes supplémentaires et celle du X-learner, +838, pour 10 000 courriels. Une liste aléatoire en produit +130. Le modèle « qui achètera » est-il inutile? Quel est son problème?
Afficher la réponse
Il n’est pas inutile : +672 représente environ cinq fois le résultat d’une liste aléatoire. En moyenne, les clients susceptibles de commander sont aussi un peu plus susceptibles de réagir au courriel. Mais le modèle vise la mauvaise cible. Il classe selon la probabilité de commande et remplit donc la liste d’acquis d’avance. Il inclut aussi 1 193 clients auxquels le courriel nuit (le X-learner : 24). Il produit environ 170 commandes supplémentaires de moins que le X-learner.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Un modèle « qui achètera » prédit la probabilité de commande. Un modèle de gain incrémental prédit le changement causé par le courriel.
- Le T-learner entraîne un modèle par groupe et soustrait leurs prédictions. Le X-learner estime l’effet pour chaque client, puis apprend l’effet lui-même.
- Les deux nécessitent un test avec répartition aléatoire. Un tirage à pile ou face rend les groupes semblables : la différence représente donc l’effet du courriel.
- Pour 10 000 courriels (simulés, vérifiés selon l’effet réel) : « qui achètera » +672, T-learner +795, X-learner +838, meilleur résultat possible +943, liste aléatoire +130.
- La liste « qui achètera » regorge d’acquis d’avance et inclut 1 193 clients auxquels le courriel nuit. Celle du X-learner en compte 24.
Ensuite : évaluer les listes sans le simulateur et choisir combien de clients recevront un courriel.
Leçon suivante : Évaluer et utiliser le gain incrémental