Travail final
- Après les études de cas
- environ 3 h
Où nous en sommes
Chaque module a ajouté un outil et l'a essayé séparément : le plan, l'analyse, les vérifications, les expériences naturelles, l'ajustement, le gain incrémental et le rapport. Dans ce travail, vous les utilisez ensemble. Larkfield veut savoir si le nouveau bloc « compléter l'ensemble » doit rester, et pour qui.
Ce que vous saurez faire
Utilisez chaque module du cours sur un nouveau changement, puis livrez un dossier de preuves qui permettra à Omar d’agir. Vous rédigez le plan avant d’ouvrir le résultat. Vous vérifiez le test, mesurez l’effet avec son intervalle et cherchez les pièges du module 4. Vous estimez de nouveau l’effet à partir de journaux, sans tirage à pile ou face. Vous dites ce que cette estimation peut et ne peut pas révéler. Ensuite, vous choisissez qui verra le bloc le mois prochain et vous rédigez le rapport.
Avant de commencerCe qu’il faut savoir et avoir sous la main
- Vous avez terminé les modules 1 à 8. Chaque partie ci-dessous nomme les leçons qu’elle utilise.
- Vous n’avez pas besoin des études de cas du module 9 pour ce travail. Le certificat exige d’en faire au moins une : L’envoi postal a-t-il fonctionné, et pour qui?, Tests réels dans une boutique en ligne ou Un salaire minimum sans test. Elles offrent une bonne préparation à ce travail.
- Votre dossier
larkfield-experimentsest à l’instantanéend-of-m08, de Tester un modèle ou une requête en ligne, avec.venvactif.python -m pytest -qréussit. Le dossiernextia-learning-labsse trouve à côté, comme dans Découvrir le simulateur. - Environ 3 h. Vous passerez surtout ce temps à lire les résultats et à rédiger des décisions. Chaque commande s’exécute en moins d’une minute sur un portable.
- Testé sur macOS avec Python 3.12.13 et les versions fixes des paquets du projet. Les commandes Windows sont écrites, mais elles n’ont pas été exécutées.
La situation : un nouveau bloc sur les pages de produits
Section intitulée « La situation : un nouveau bloc sur les pages de produits »Larkfield ajoute un bloc « compléter l’ensemble » à ses pages de produits. Ce travail est un scénario distinct : il rejoue octobre et novembre 2025 avec ce bloc à la place du bloc « les clients ont aussi acheté » du module 1. Sous une lampe, par exemple, le bloc montre une table, un abat-jour et une ampoule qui vont avec. L’équipe doit décider deux choses : le bloc doit-il rester, et pour qui?
Trois sources de preuves existent, l’une après l’autre :
- Un lancement limité. Pendant quatre semaines en octobre, les clients pouvaient activer une « nouvelle présentation » avec le bloc. Environ un client sur cinq l’a activée. Personne n’a choisi au hasard.
- Un test à répartition aléatoire. Pendant quatre semaines en novembre, un tirage à pile ou face a placé chaque client dans A (sans bloc) ou B (avec le bloc).
- Les clients du mois prochain. Les suggestions de produits du bloc viennent d’un service payant. Le mois prochain, son contrat couvre au plus 15 000 clients sur les 50 000.
Description textuelle du diagramme
Trois encadrés de gauche à droite. Le lancement limité, du 6 octobre au 2 novembre 2025 : les clients ont choisi d’activer une option, 40 000 clients, aucun tirage à pile ou face. Le test à répartition aléatoire, du 3 au 30 novembre 2025 : un tirage pour chaque client, A sans le bloc et B avec le bloc, 93 463 clients. Le mois prochain : 50 000 clients, et vous pouvez montrer le bloc à au plus 15 000. Un quatrième encadré, votre plan, pointe vers le test avec une flèche pointillée : vous le rédigez avant d’ouvrir tout résultat.
L’équipe a des questions, comme dans le cours :
- Omar, le gestionnaire de produit, a lu le tableau de bord du lancement limité. « Les clients avec la nouvelle présentation ont dépensé beaucoup plus. Pourquoi avons-nous besoin du test? »
- Amira, la développeuse, est responsable du code du bloc et de ses journaux. Elle dit que le test a réparti les clients à 50/50, par client, lors de la première visite. Elle attendait environ 3 300 nouveaux clients par jour dans le test.
- Hana, la responsable du marchandisage, demande si le bloc aide tous les types de clients. Les écrans mobiles sont petits, et le bloc prend de la place.
- Mateo, l’analyste de croissance, tient le journal des tests. Il veut un plan daté avant que quiconque lise le résultat.
- Tomás, l’ingénieur en IA, a déjà une réponse : « Le tableau de bord a montré un gagnant après quelques jours. On peut le mettre en production pour tout le monde, puis entraîner un modèle de gain incrémental pour le mois prochain. »
Priya vous demande de leur répondre à tous avec des preuves.
Soyez honnête au sujet des données. Elles sont toutes synthétiques : le simulateur du cours les a créées, et aucune personne n’est réelle. Elles contiennent des problèmes d’exercice que nous avons créés exprès. L’équipe du cours connaît les effets réels. Vous ne les connaissez pas, et xp check ne peut pas vous aider ici. Votre réviseur compare vos réponses à la réalité. Présentez vos chiffres comme provenant « du test simulé de Larkfield », avec leurs intervalles.
Les données
Section intitulée « Les données »Les données se trouvent dans le dépôt des laboratoires, dans C40/final-assignment/. Exécutez chaque commande de ce travail dans votre dossier larkfield-experiments. Mettez d’abord à jour votre copie des laboratoires :
git -C ../nextia-learning-labs pull| Fichier | Lignes | Ce que représente une ligne |
|---|---|---|
data/scenario.json |
La description des fichiers : les dates et la répartition du test, ainsi que le budget. | |
data/soft_launch_customers.csv |
40 000 | Un client du lancement limité : province, appareil, nouveau ou de retour, ancienneté, commandes et dépenses des 8 semaines précédentes (pre_orders, pre_spend), visites, pages vues, turned_on_new_look (0 ou 1), et revenu des quatre semaines. |
data/test_customers.csv.gz |
93 463 | Un client du test : la variante, la première visite, puis les visites, commandes, revenus et retours des 28 jours. Aussi les mêmes colonnes d’avant le test. |
data/test_visits.csv.gz |
337 741 | Une visite du test : la date, le client, la variante, la présence d’une commande, son revenu et un retour. |
data/next_month_customers.csv |
50 000 | Un client du mois prochain, avec seulement les colonnes d’avant un test. |
data/SHA256SUMS |
La somme de contrôle de chaque fichier. | |
make_runs.py |
Vérifie les fichiers et les transforme en deux exécutions que xp peut lire. |
Le dossier contient aussi un README.md. Il fait environ 5,4 Mo.
N’ouvrez pas encore les fichiers du test. Vous pouvez lire scenario.json et le lancement limité maintenant. Le lancement limité a eu lieu avant le test, donc un plan peut l’utiliser. Les fichiers du test attendent que vous ayez validé votre plan dans Git, à la partie 1.
Créez un dossier evidence-pack/ dans larkfield-experiments. Mettez-y chaque fichier du travail. Quoi remettre donne la liste des fichiers.
Les cinq parties
Section intitulée « Les cinq parties »Le dossier suit les règles de réussite du cours : une partie pour chaque élément requis.
Description textuelle du diagramme
Un encadré en haut : le dossier evidence-pack, avec REPORT.md, une page pour Omar, et les commandes qui produisent chaque chiffre. En dessous, cinq encadrés. 1 Le plan : PLAN.md, validé dans Git avant tout résultat. 2 Le test : les vérifications, l’effet et son intervalle, CUPED, l’effet par semaine et les segments. 3 Le lancement limité : deux méthodes, leurs hypothèses et une comparaison avec le test. 4 Le ciblage : un modèle de gain incrémental, une règle simple et targets.csv. 5 Le rapport : la décision, pour qui, et ses limites.
Partie 1 : le plan, avant tout résultat
Section intitulée « Partie 1 : le plan, avant tout résultat »Cette partie utilise Choisir les mesures, Taille d’échantillon et puissance, Écrire le plan d’abord et Segments et effets différents.
Le test a déjà eu lieu, mais personne n’a lu son résultat. Vous rédigez le plan maintenant, comme si le test n’avait pas commencé. Le plan détermine ensuite le sens du résultat, et non l’inverse.
-
Commencez le plan avec le modèle du projet :
Fenêtre de terminal xp plan new complete-the-lookIl écrit
plans/complete-the-look.mdavec onze champs, tous àTODO(à faire). Le.gitignoredu projet exclut le dossierplans/de Git. Déplacez donc le fichier dans votre dossier de preuves :mv plans/complete-the-look.md evidence-pack/PLAN.md(dans PowerShell,Move-Item plans\complete-the-look.md evidence-pack\PLAN.md). Remplissezevidence-pack/PLAN.md. -
Choisissez l’unité et les mesures. L’unité est le client : c’est ainsi qu’Amira a réparti le test. Choisissez une mesure principale et au moins un garde-fou, comme dans Choisir les mesures. Indiquez les mesures qui servent seulement à comprendre le résultat (diagnostics), par exemple les commandes par client.
-
Nommez les segments maintenant. La question de Hana exige des segments. Écrivez-les dans le plan et dites comment vous traiterez plusieurs segments à la fois. Beaucoup de mesures et beaucoup de tests a montré pourquoi. Les exécutions fournissent une colonne
segmentavec quatre valeurs : appareil (ordinateur ou mobile) et nouveau ou de retour. Vous pouvez prévoir d’autres segments, mais seulement à partir de colonnes qui existent avant le test. -
Déterminez la taille du test. Prenez la référence de base et la dispersion de votre mesure principale chez les clients du lancement limité qui n’ont pas activé l’option. Pour le revenu :
Fenêtre de terminal python -c "import pandas as pd; s = pd.read_csv('../nextia-learning-labs/C40/final-assignment/data/soft_launch_customers.csv'); a = s[s.turned_on_new_look == 0].revenue; print(len(a), round(a.mean(), 2), round(a.std(), 2))"La même commande fonctionne dans PowerShell : Python accepte aussi
/dans les chemins sous Windows. Elle affiche le nombre de clients, la moyenne et l’écart-type. Utilisez ensuitexp power --baseline … --sd … --mde … --per-day 3300, comme dans Taille d’échantillon et puissance. Dites pourquoi ces clients servent seulement de substitut au groupe A. -
Trouvez le plus petit effet rentable. Utilisez deux hypothèses du cours. Larkfield garde environ 30 % du revenu comme marge : 26 $ par commande d’environ 86,75 $. Le service du bloc coûte 0,05 $ par client par mois. Ce sont deux hypothèses, pas des coûts mesurés. Calculez le gain de revenu par client qui atteint le seuil de rentabilité. Comparez-le ensuite à l’effet que 28 jours permettent de détecter. Si le test ne peut pas détecter le seuil de rentabilité, dites-le dans le plan.
-
Écrivez la règle d’arrêt et les trois décisions : si B est meilleur, si B est pire, s’il n’y a pas d’effet clair. Ajoutez une quatrième règle pour les segments : que faites-vous si un segment est clairement pire?
-
Vérifiez et validez le plan dans Git.
Fenêtre de terminal xp plan check evidence-pack/PLAN.mdgit add evidence-pack/PLAN.mdgit commit -m "Plan for the complete-the-look test"xp plan checkafficheReady: all 11 fields are filled in.(prêt : les 11 champs sont remplis). Si votre dossier n’est pas encore un dépôt Git, exécutez d’abordgit initune fois. La date du commit (validation dans Git) montre que le plan est venu d’abord. -
Créez maintenant les exécutions. Donnez la mesure principale et les garde-fous de votre plan :
Fenêtre de terminal python ../nextia-learning-labs/C40/final-assignment/make_runs.py --primary revenue --guardrails return_rateFenêtre de terminal python ..\nextia-learning-labs\C40\final-assignment\make_runs.py --primary revenue --guardrails return_rateFiles: all right (…/nextia-learning-labs/C40/final-assignment/data).Wrote runs/final-test: customers (93,463 rows), visits (337,741 rows), targets (50,000 rows). Primary metric: revenue; guardrails: return_rate.Wrote runs/final-soft: customers (40,000 rows), treatment used_block (= turned_on_new_look).Synthetic data. There is no true effect in these runs: xp check cannot help here.La première ligne indique que chaque fichier correspond à
SHA256SUMS. Si votre plan utilise d’autres mesures, donnez-les plutôt.xp reportles utilise à la partie 5.
Partie 2 : le test
Section intitulée « Partie 2 : le test »Cette partie utilise Vérifier le test avant le résultat, Le résultat et son incertitude, Gagner en précision avec CUPED, Segments et effets différents, Regards répétés, Beaucoup de mesures et beaucoup de tests et Effets de nouveauté et d’apprentissage. Nommez l’exécution dans chaque commande : final-test.
-
Vérifiez la répartition avant le résultat. Exécutez
xp srm final-test, puisxp srm final-test --by segment. Décidez selon la règle de votre plan. Un déséquilibre arrêterait l’analyse ici. -
La mesure principale, avec et sans CUPED :
Fenêtre de terminal xp analyse final-testxp analyse final-test --cupedPrésentez la différence, son intervalle à 95 %, la part de variance éliminée par CUPED et ce que l’intervalle exclut. Comparez l’intervalle à votre EMD et à votre seuil de rentabilité.
-
Les garde-fous et les diagnostics. Par exemple
xp analyse final-test --metric return_rate, et--metric ordersou--metric converted. Un garde-fou ne doit pas être clairement pire. Un diagnostic explique le résultat principal : plus de commandes, ou des commandes plus grosses? -
L’effet dans le temps. Exécutez
xp weekly final-test. Lisez le tableau par semaine depuis la première visite, pas seulement par semaine du calendrier. L’effet est-il stable? S’il baisse, quelles semaines donnent la meilleure estimation pour le mois prochain? Écrivez ce que cela signifie pour une décision sur le mois prochain. -
Les segments de votre plan. Par exemple :
Fenêtre de terminal xp analyse final-test --cuped --by segmentxp analyse final-test --metric orders --by segmentUtilisez la correction nommée dans votre plan. Un segment est « clairement pire » seulement selon la règle de votre plan. « Pas clairement meilleur » ne veut pas dire « pire », ni « aucun effet ».
-
Ce qu’un tableau de bord aurait dit. Exécutez
xp peek final-test. Quel jour le test fixe a-t-il montré pour la première fois p < 0,05? Quand le test séquentiel a-t-il décidé? Répondez à Tomás : aurait-il été juste d’arrêter ce jour-là, et pourquoi votre plan l’interdit-il quand même? -
Rédigez
evidence-pack/TEST.md: chaque commande avec sa sortie, suivie d’une phrase qui explique ce qu’elle signifie.
Partie 3 : le lancement limité
Section intitulée « Partie 3 : le lancement limité »Cette partie utilise Causes et comparaisons, Dessiner les causes, Ajustement par régression, Scores de propension, appariement et pondération et Tester votre propre réponse.
Le tableau de bord d’Omar compare les clients qui ont activé la nouvelle présentation aux autres. Votre tâche est de dire ce que ces journaux peuvent révéler, et ce qu’ils ne peuvent pas révéler.
-
Dessinez les causes d’abord, avant toute estimation, comme dans Dessiner les causes. Qui active une option? Quelles colonnes causent à la fois le choix et le revenu (facteurs de confusion)? Quelle colonne la nouvelle présentation peut-elle elle-même changer (un médiateur)? Mettez le graphe dans
evidence-pack/SOFT-LAUNCH.md. Une photo d’un dessin sur papier convient. -
La réponse naïve et deux familles de méthodes.
xp adjust final-softaffiche la différence naïve et trois estimations. La régression modélise le résultat. L’appariement et la pondération modélisent le choix, avec des scores de propension. La régression et une méthode de propension appartiennent donc à deux familles différentes. Choisissez les covariables à partir de votre graphe avec--covariates, et dites pourquoi. -
Vérifiez les hypothèses que vous pouvez vérifier. Lisez la ligne de chevauchement et la ligne d’équilibre. Chaque type de client est-il présent dans les deux groupes? L’équilibre est-il inférieur à 0,1 après pondération?
-
Faites l’erreur du médiateur une fois, exprès. Exécutez
xp adjust final-soft --add pages_viewed. Expliquez ce qui arrive au chevauchement et à l’estimation par pondération, et pourquoi. -
Essayez de mettre votre réponse en défaut. Exécutez
xp refute final-soft. Réussir ces tests ne prouve pas l’estimation. Lisez la grille pour un facteur de confusion caché : quelle force une cause manquante doit-elle avoir pour ramener l’estimation à 0? -
Comparez avec le test. Mettez la différence naïve, vos deux estimations et l’estimation du test dans un tableau, chacune avec son intervalle. Dites quel effet chacune estime : l’effet sur les clients qui ont choisi l’option (ATT), ou sur tout le monde (ATE). Dites aussi ce qui était différent en octobre : d’autres clients, une courte période avec le bloc et aucun tirage à pile ou face.
-
Écrivez ce que le lancement limité peut et ne peut pas révéler, en quelques phrases pour Omar. Énumérez toutes les hypothèses nécessaires à vos estimations, par exemple aucun facteur de confusion caché, le chevauchement et les bonnes covariables.
Partie 4 : qui devrait voir le bloc le mois prochain
Section intitulée « Partie 4 : qui devrait voir le bloc le mois prochain »Cette partie utilise La moyenne cache les personnes, Modèles de gain incrémental et Évaluer et utiliser le gain incrémental.
Le service paie pour au plus 15 000 des 50 000 clients du mois prochain. Choisissez-les et montrez que votre choix dépasse des choix plus simples.
xp uplift fonctionne seulement sur l’exécution du courriel. Vous écrivez donc un court script. Le projet fournit les éléments : les modèles d’EconML, le même modèle de base, la courbe de gain incrémental et le coefficient Qini du module 7. Ce point de départ entraîne un X-learner sur le revenu, avec 70 % du test, et l’évalue sur les 30 % restants :
import numpy as npimport pandas as pdfrom econml.metalearners import XLearnerfrom sklearn.linear_model import LogisticRegressionfrom threadpoolctl import threadpool_limits
from larkfield_experiments.uplift import _regressor, qini_coefficient, uplift_curve
test = pd.read_csv("runs/final-test/customers.csv.gz")nextm = pd.read_csv("runs/final-test/targets.csv")cols = ["new_customer", "tenure_days", "pre_orders", "pre_spend"] # your choice: columns known before the test
def X(df): return df[cols].assign(mobile=(df.device == "mobile").astype(int)).to_numpy(float)
hold = np.random.default_rng(0).random(len(test)) < 0.3train, ev = test[~hold], test[hold]model = XLearner(models=_regressor(), propensity_model=LogisticRegression(max_iter=1000))with threadpool_limits(1): model.fit(train.revenue.to_numpy(float), (train.variant == "B").to_numpy(int), X=X(train)) score_ev, score_next = model.effect(X(ev)), model.effect(X(nextm))
shares, gains = uplift_curve(score_ev, ev.revenue.to_numpy(float), (ev.variant == "B").to_numpy(int))print("extra revenue in the evaluation group, top 10% ... 100%:", np.round(gains[2::2]).tolist())print("Qini coefficient:", round(qini_coefficient(shares, gains), 1))Enregistrez-le sous evidence-pack/targeting.py et exécutez-le avec python evidence-pack/targeting.py. Cela prend quelques secondes. Les nombres de la courbe représentent des dollars de revenu dans le groupe d’évaluation, pas des commandes.
-
Choisissez les variables. Utilisez seulement les colonnes qui existent avant le test et dans
targets.csv.visits,ordersetfirst_visitsurviennent pendant le test. Un modèle qui les lit ne peut pas attribuer de scores aux clients du mois prochain et apprend à partir du résultat. -
Comparez au moins trois listes sur le même groupe d’évaluation. La première vient de votre modèle de gain incrémental : un T-learner, un X-learner, ou les deux. La deuxième vient d’une règle simple construite à partir de vos segments prévus d’avance. La troisième est une liste « qui achètera », par exemple les clients ayant les valeurs de
pre_spendles plus élevées. Une règle simple donne aussi un score : attribuez à chaque client l’effet de son segment et tracez sa courbe de gain incrémental. -
Entraînez sur une autre partition. Changez la graine (seed) de la partition, comme dans À vous de jouer : entraînez sur une autre répartition. Si la courbe et la liste changent beaucoup, le modèle n’est pas fiable ici.
-
Calculez la rentabilité de la liste. Utilisez les hypothèses de la partie 1. Le profit d’un client est de 0,30 × son gain de revenu − 0,05 $. Gardez un client seulement si votre estimation est rentable. Choisissez-en au plus 15 000.
-
Pensez au temps. Les 28 jours du test comprennent les premières semaines de chaque client avec le bloc. Le mois prochain, beaucoup de clients l’auront déjà vu. Utilisez les résultats par semaine de la partie 2 et dites si votre gain attendu est trop élevé.
-
Écrivez la liste dans
evidence-pack/targets.csv, avec une seule colonne,customer_id, et au plus 15 000 lignes. Écrivezevidence-pack/TARGETING.md: la règle en une phrase, les courbes, les graines, la rentabilité, les clients exclus et pourquoi.
Partie 5 : le rapport
Section intitulée « Partie 5 : le rapport »Cette partie utilise Présenter un résultat qui inspire confiance et Les expériences comme habitude d’équipe.
-
Rédigez le brouillon. Exécutez
xp report final-test --cuped --plan evidence-pack/PLAN.md --out evidence-pack/report-draft.md(omettez--cupedsi CUPED n’est pas dans votre plan). Lisez sa ligne de décision et demandez-vous ce que le brouillon ne peut pas voir. -
Écrivez
evidence-pack/REPORT.md: une page pour Omar, sans code. Elle répond à ses deux questions : faut-il garder le bloc, et pour qui? Elle contient :- la décision, en une phrase, selon les règles de votre plan;
- l’effet sur la mesure principale avec son intervalle, et ce que l’intervalle exclut;
- les vérifications : la répartition, la durée, les garde-fous et les regards répétés (peeking);
- l’effet par semaine et ce qu’il signifie pour le mois prochain;
- les segments, chaque segment qui fait moins bien et ce que vous faites à son sujet;
- le lancement limité en deux phrases : ce qu’il permet et ne permet pas de dire;
- la liste cible : sa taille, sa rentabilité et ce qu’elle exclut;
- les limites et ce que vous mesureriez ensuite (par exemple, un petit groupe de contrôle permanent après le lancement).
-
Répondez à chaque personne en une ligne : le tableau de bord d’Omar, la question d’Hana sur le mobile, le plan de Mateo et le « gagnant après quelques jours » de Tomás.
-
Facultatif : ajoutez le test au journal des tests, comme dans Les expériences comme habitude d’équipe.
xp log addconsigne la dernière analyse de l’exécution. Relancez donc d’abord votre analyse principale :xp analyse final-test --cuped, puisxp log add final-test --decision … --plan evidence-pack/PLAN.md.
Quoi remettre
Section intitulée « Quoi remettre »Le dossier evidence-pack/ dans votre dossier larkfield-experiments :
evidence-pack/ PLAN.md Part 1: the plan, committed before the runs were made TEST.md Part 2: checks, effect, CUPED, guardrails, weeks, segments, peeking, with outputs SOFT-LAUNCH.md Part 3: the graph, two families, assumptions, the mediator, refutation, the comparison targeting.py Part 4: your script TARGETING.md Part 4: the lists compared, the seeds, the price, the rule targets.csv Part 4: customer_id, at most 15,000 rows report-draft.md Part 5: the draft from xp report REPORT.md Part 5: one page for Omar requirements.txt exact versions (python -m pip freeze)Ajoutez la sortie de git log --format="%ad %s" -- evidence-pack/PLAN.md à la fin de REPORT.md. Elle montre quand le plan a été écrit et chaque changement ultérieur.
Vérifiez votre travail
Section intitulée « Vérifiez votre travail »Un réviseur note chaque élément démontré, partiellement démontré ou pas encore démontré, avec une raison concrète. Sans réviseur, utilisez le tableau pour votre propre dossier ou demandez à un collègue. Le cours est terminé seulement quand les cinq éléments sont démontrés. Vous pouvez améliorer un élément et le soumettre à nouveau.
| Élément requis | Démontré lorsque | Partiellement démontré, par exemple | Pas encore démontré, par exemple |
|---|---|---|---|
| 1. Le plan (module 2) | Enregistré dans un commit (enregistrement dans Git) avant les exécutions. Il contient l’unité, la mesure principale, les garde-fous, les segments et leur correction, l’EMD et la taille d’échantillon avec leur source, le seuil de rentabilité avec ses hypothèses, une règle d’arrêt et les décisions. Tout changement ultérieur a une note datée. | Un plan sans segments, ou une taille d’échantillon sans source. | Aucun plan, ou un plan écrit après le résultat. |
| 2. Le test (modules 3 et 4) | La vérification du SRM en premier. L’effet principal avec son intervalle à 95 %, avec et sans CUPED, et ce que l’intervalle exclut. Les garde-fous. L’effet par semaine depuis la première visite, interprété correctement. Les segments prévus avec la correction prévue, et chaque segment clairement moins bon nommé. La question des regards répétés reçoit une réponse. | L’effet sans CUPED ou sans le tableau hebdomadaire. Ou les segments interprétés sans correction. | Aucun intervalle. Ou aucune vérification du SRM. Ou un segment clairement moins bon qui n’est pas nommé. |
| 3. Le lancement limité (modules 1, 5 et 6) | Un graphe causal. Deux méthodes de familles différentes, chacune avec son intervalle, sa cible (ATT ou ATE) et ses hypothèses. Le chevauchement et l’équilibre sont vérifiés. Le médiateur est expliqué. Le test de réfutation est exécuté et interprété. Une comparaison avec le test, et ce que le lancement limité permet et ne permet pas de dire. | Une seule famille. Ou des hypothèses énumérées, mais non vérifiées quand elles peuvent l’être. | La différence naïve présentée comme l’effet. Ou une estimation sans hypothèses. |
| 4. Le ciblage (module 7) | Un modèle entraîné seulement sur le test à répartition aléatoire, avec des variables connues avant le test. Évalué sur des clients gardés à part, avec une courbe de gain incrémental. Comparé à une règle simple et à une liste « qui achètera », sur plusieurs partitions. Une liste d’au plus 15 000 clients avec sa rentabilité selon des hypothèses nommées, et l’effet du temps pris en compte. | Une seule liste, ou aucune évaluation sur des clients gardés à part. | Une liste classée seulement selon « qui achètera ». Ou plus de 15 000 clients. Ou des variables tirées des résultats du test. |
| 5. Le rapport (module 8) | Une page avec la décision selon les règles du plan, l’effet et son intervalle, les vérifications, les semaines, les segments, le lancement limité, la liste et les limites. La question de chaque personne reçoit une réponse. | Un rapport qui suit le brouillon de xp report sans les segments ou les semaines. |
« Mettre B en production » avec un seul nombre. Ou une décision que les règles du plan n’appuient pas, sans raison. |
Non accepté, peu importe le reste (l’élément est « pas encore démontré ») :
- Le plan écrit ou modifié après le résultat sans note datée. Par exemple, la mesure principale remplacée par celle qui a « gagné ». (Élément 1.)
- Un résultat utilisé provenant d’un test avec un déséquilibre de répartition, ou aucune vérification du SRM. (Élément 2.)
- Un test arrêté, ou un gagnant déclaré, lors d’un regard répété. « C’était significatif au jour 5 » n’est pas un résultat. (Élément 2.)
- Un segment clairement moins bon qui n’est pas signalé, ou une décision pour tout le monde qui le cache. (Éléments 2 et 5.)
- La différence naïve du lancement limité présentée comme l’effet du bloc. (Élément 3.)
- Une estimation issue de données d’observation présentée sans ses hypothèses. (Élément 3.)
- Une liste cible qui dépasse le budget, ou choisie avec les résultats du test comme variables. (Élément 4.)
À quoi ressemble un bon dossier
Section intitulée « À quoi ressemble un bon dossier »Un bon dossier est honnête avant d’être impressionnant. Il contient trois choses :
- Des nombres avec leurs intervalles et leurs tailles. Chaque estimation a son intervalle à 95 %, le nombre de clients qui la sous-tendent et l’exécution dont elle provient.
- Les règles du plan, appliquées. La décision vient de règles écrites avant le résultat. Si le résultat ne correspond à aucune règle, le dossier le dit.
- Une décision avec son coût et ses perdants. Par exemple : « Gardez le bloc pour ces clients. Il rapporte environ ce montant, avec cet intervalle, selon ces hypothèses. Il nuit à ce groupe, donc nous ne le lui montrons pas. Nous n’avons pas pu mesurer ceci, donc nous le vérifierons avec un groupe de contrôle permanent. »
Les résultats de l’auteur
Section intitulée « Les résultats de l’auteur »L’auteur a réalisé le travail une fois, uniquement à partir des fichiers publics, avec les commandes du cours et le script de la partie 4. Ensuite, l’équipe du cours a évalué ses listes cibles selon la vérité du simulateur. Ouvrez les résultats seulement après avoir obtenu vos propres nombres. Vos choix peuvent différer. Comparez la méthode et l’ampleur de chaque résultat, pas le nombre exact.
Afficher les résultats de l’auteur
Le plan. Les clients du lancement limité sans l’option activée présentaient une dispersion d’environ 66 $ par client. Avec environ 3 300 clients par jour, 28 jours permettent de détecter un effet d’environ 1,2 $ par client, avec une puissance de 80 %. Le seuil de rentabilité selon les hypothèses est bien plus bas : environ 0,17 $. Le plan disait donc : « un gain peut être rentable tout en restant incertain. »
Le test.
- La répartition était correcte : aucun déséquilibre global ni dans les segments.
- Le revenu a augmenté, avec un intervalle large. L’intervalle était au-dessus de 0, mais sa borne inférieure était proche de 0. CUPED a retiré environ un cinquième de la variance, et l’intervalle est devenu un peu plus étroit. Le taux de retour n’était pas clairement moins bon.
- Un tableau de bord aurait montré un gagnant dès la première semaine. Le test séquentiel a tranché quelques jours plus tard. La règle du plan était de regarder une seule fois, au jour 28.
- L’effet a diminué chaque semaine. Par semaine depuis la première visite, il est passé d’environ +10 % la première semaine à environ 0 aux semaines 3 et 4. Les intervalles des dernières semaines étaient larges. L’effet à long terme est donc plus petit que l’effet sur 28 jours. Personne ne peut dire, à partir de ce test, de combien il est plus petit.
- Un segment prévu était moins bon. Pour les commandes par client, il était clairement sous 0, même après une correction pour quatre segments. Pour le revenu, son intervalle dépassait encore 0. Un dossier qui examine seulement le revenu passe à côté. Un autre segment a gagné le plus, avec un intervalle clairement au-dessus de 0.
Le lancement limité.
- La différence naïve était plusieurs fois plus grande que toute estimation ajustée.
- La régression et la pondération donnaient environ +3 $ par client, chacune avec un intervalle d’environ 2 $ de chaque côté. L’appariement, qui estime l’effet sur les clients ayant choisi l’option, donnait davantage. L’équilibre après pondération était bon, et le chevauchement était correct.
- Avec
pages_viewed, les scores de propension atteignaient1.000, et l’estimation par pondération devenait fortement négative. - Les trois tests de réfutation ont réussi. Cela ne rendait pas l’estimation juste : une cause cachée d’ampleur modérée la ramènerait à 0.
- L’estimation du test se trouvait dans les intervalles de la régression et de la pondération.
Le ciblage.
- La liste du X-learner de l’auteur atteignait environ la moitié à trois cinquièmes de la meilleure liste possible, selon l’évaluation de l’équipe du cours. Le T-learner faisait un peu moins bien. Les coefficients Qini changeaient beaucoup d’une partition à l’autre.
- Une règle simple tirée des segments prévus faisait mieux que les deux modèles : environ 70 % de la meilleure liste possible. Elle excluait le segment que le test montrait moins bon.
- La liste « qui achètera » faisait le moins bien, sous la moitié de la meilleure liste. Elle contenait plus de 2 000 clients pour qui le bloc avait un effet négatif.
- Le gain attendu par les modèles eux-mêmes était de 2 à 7 fois trop élevé. Le test de 28 jours comprend les premières semaines, et les courbes sont bruitées.
- Montrer le bloc aux 50 000 clients coûterait plus qu’il ne rapporte pour beaucoup d’entre eux, selon les hypothèses. La meilleure liste de 15 000 rapporte plus que de le montrer à tout le monde.
Erreurs fréquentes
Section intitulée « Erreurs fréquentes »Erreur courante
Le lancement limité « prouve » la valeur du bloc
Symptôme : le rapport affirme que le bloc a augmenté le revenu par client de plus de 25 $, selon le lancement limité.
Cause : les clients qui ont activé la nouvelle présentation étaient déjà de meilleurs clients. Ils visitaient plus souvent et dépensaient plus auparavant. La différence mélange l’effet du bloc et celui des clients qui l’ont choisi. C’est encore le problème de La fonctionnalité qui a « fait monter les ventes ».
Solution : utilisez le test avec répartition aléatoire pour estimer l’effet. Utilisez le lancement limité seulement avec un ajustement, ses hypothèses et ses intervalles, et comparez-le au test.
Conséquence dans le travail en IA : une fonctionnalité facultative, comme un assistant que les utilisateurs activent, semble toujours bonne selon leurs chiffres. Testez-la à pile ou face avant de présenter sa valeur.
Erreur courante
Une bonne moyenne qui cache un segment moins performant
Symptôme : l’intervalle global est au-dessus de 0, et le rapport dit « déployer pour tout le monde ». Un mois plus tard, un groupe de clients commande moins.
Cause : la moyenne mélange les segments. Un gain important pour un groupe peut cacher une perte dans un autre. Une mesure bruitée comme le revenu peut aussi cacher cette perte, alors qu’elle apparaît clairement dans les commandes.
Solution : prévoyez les segments, interprétez-les avec la correction prévue et examinez les mesures de diagnostic ainsi que la mesure principale. Nommez chaque groupe qui fait clairement moins bien et décidez quoi faire pour lui.
Conséquence dans le travail en IA : un modèle ou une requête qui a « gagné » en moyenne fait l’objet d’un retour en arrière après les plaintes d’un groupe d’utilisateurs.
Erreur courante
Une liste construite à partir des premières semaines
Symptôme : la liste de ciblage promet un gain important le mois prochain. Le gain réel est beaucoup plus petit.
Cause : les 28 jours du test incluent les premières semaines de chaque client avec le bloc, quand l’effet est maximal. Les scores de gain incrémental (uplift) ont appris cet effet initial. Le bruit dans les courbes ajoute à l’erreur.
Solution : examinez l’effet par semaine depuis la première visite. Dites à quel point l’effet à long terme pourrait être plus petit et chiffrez votre liste en conséquence. Gardez un petit groupe de contrôle permanent (holdout) choisi au hasard le mois prochain pour mesurer le gain réel.
Conséquence dans le travail en IA : les premières semaines d’une nouvelle fonctionnalité ne représentent pas son avenir. Mesurez de nouveau après que l’effet de nouveauté s’estompe.
- La taille prévue repose sur une supposition. Prenez la référence de base et la dispersion dans les données disponibles avant le test, et indiquez leur source.
- « Pas clairement meilleur » interprété comme « moins bon ». Un segment dont l’intervalle contient 0 n’a aucun effet clair dans un sens ou l’autre. Seule la règle de votre plan permet de déclarer un segment « clairement moins bon ».
- Le tableau hebdomadaire lu seulement par semaine du calendrier. Dans les premières semaines du calendrier, la plupart des visites sont des premières visites. Lisez le tableau par semaine depuis la première visite.
pages_viewedutilisé comme covariable. La nouvelle présentation ajoute des pages. L’ajustement pour cette variable enlève une partie de l’effet du bloc et brise le chevauchement.- Les tests de réfutation interprétés comme des preuves. Le placebo et les deux autres tests ont aussi réussi dans l’exemple d’estimation biaisée du cours. Dites ce qu’ils ne peuvent pas voir.
- Le meilleur modèle de prédiction des acheteurs utilisé pour le ciblage. Il trouve les clients qui dépensent de toute façon. Certains d’entre eux perdent à cause du bloc.
- Le brouillon du rapport envoyé tel quel.
xp reportne voit ni les segments ni les semaines. Rédigez vous-même le vrai rapport.
Afficher les valeurs de vérification publiques
Ouvrez ceci seulement après avoir obtenu vos propres chiffres. Ces valeurs viennent des fichiers publics, vous pouvez donc les vérifier. Elles ne sont pas les réponses au travail.
- Fichiers :
make_runs.pyafficheFiles: all right(fichiers : tout est correct). Le test compte 93 463 clients et 337 741 visites du 3 au 30 novembre 2025. Le lancement limité compte 40 000 clients, dont 8 251 ont activé le bouton à bascule. Le mois prochain compte 50 000 clients. - La référence de base du plan : 31 749 clients du lancement limité n’ont pas activé le bouton à bascule. Pendant les quatre semaines, ils ont dépensé en moyenne 21,61 $, avec un écart-type de 65,65 $.
xp power --baseline 21.61 --sd 65.65 --mde 1.2 --per-day 3300donne 46 985 clients par groupe. - La répartition : A compte 46 826 clients, B en compte 46 637.
- Le script de départ de la partie 4, sans modification, affiche un coefficient Qini de
16217.2.
Récapitulatif
Vous pouvez maintenant passer du plan d’un changement à une décision fondée sur des preuves. Vous rédigez le plan avant le résultat, avec sa taille, ses segments et sa règle d’arrêt. Vous vérifiez la répartition, estimez l’effet avec son intervalle et CUPED, puis l’examinez par semaine et par segment. Vous estimez de nouveau l’effet à partir de journaux d’utilisateurs qui ont choisi le changement, avec deux familles de méthodes. Vous dites ce que cette estimation exige et ce qu’elle ne peut pas voir. Vous choisissez qui traiter dans les limites d’un budget avec un modèle de gain incrémental, puis le comparez à une règle simple. Enfin, vous rédigez un rapport qui indique pour qui le changement fonctionne, pour qui il ne fonctionne pas et ce qui reste inconnu.