Tests réels dans une boutique en ligne
- Étude de cas 2
- 150 min
- Facultative · 1 étude de cas requise pour le certificat
Où nous en sommes
Dans huit modules, nous avons analysé les tests simulés de Larkfield et leurs pièges. Dans cette étude de cas, nous lisons les résultats quotidiens d'expériences réelles en ligne dans une boutique de mode. Nous les vérifions, comparons les regards répétés à un test séquentiel et prenons une décision pour chacune.
Étude de cas 2 sur 3 · Expériences et impact causal : notre changement a-t-il fonctionné?Tests réels dans une boutique en ligne
1. Pourquoi « ça a monté » n'est pas une réponse
2. Concevoir un test A/B
3. Analyser le test
4. Les pièges des vrais tests
5. Quand la répartition aléatoire est impossible : les expériences naturelles
6. Ajuster pour les facteurs de confusion dans des données d'observation
7. Le gain incrémental : à qui appliquer le traitement?
8. Les expériences pour les fonctions d'IA et en production
Ce que vous saurez faire
Vérifiez des tests réels en ligne à partir de leurs chiffres quotidiens et prenez une décision. Choisissez les règles qu’une équipe devrait suivre. Vous vérifierez la répartition de chaque test et lirez son résultat à la fin prévue. Vous réexécuterez ensuite ce que des regards répétés chaque jour auraient déclaré. Puis, vous comparerez les regards répétés à un test séquentiel et compterez les gagnants dus au hasard seul. Enfin, vous appliquerez la vérification complète aux tests mis de côté.
Le carnet (notebook) Jupyter exécute chaque étape de cette page, avec le même code et les mêmes sorties. Il contient aussi quatre tâches avec des vérifications. Ses cellules de préparation installent les paquets et téléchargent les données (2,7 Mo) depuis la page du jeu de données. Il ne demande donc aucune préparation locale. Il s’exécute en environ 10 secondes après l’installation.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
Cette étude de cas utilise surtout les modules 2 à 4. Voici les leçons les plus importantes :
- Le plan écrit d’abord, dans Écrire le plan d’abord.
- Les intervalles et les valeurs p, dans Le résultat et son incertitude. La vérification de répartition, dans Vérifier le test avant le résultat.
- Les regards répétés (peeking) chaque jour et le test séquentiel (mSPRT), dans Regards répétés.
- Les nombreux tests et Benjamini–Hochberg, dans Beaucoup de mesures et beaucoup de tests.
- Le journal des tests, dans Les expériences comme habitude d’équipe.
Ce qu’il vous faut sur votre ordinateur
Rien : le carnet installe ses propres paquets et peut donc aussi s’exécuter dans Colab ou Kaggle. Pour l’exécuter localement, utilisez un environnement virtuel avec Python 3.12, pandas 3.1.1, SciPy 1.15.3 et matplotlib 3.11.2. Ce sont les versions du projet larkfield-experiments. Cette étude de cas ne modifie pas le projet. La cellule de préparation crée un nouveau dossier asos-experiments. Pour recommencer, supprimez ce dossier.
Testé sur macOS avec Python 3.12, dans Jupyter après un démarrage neuf. Colab, Kaggle, Windows et Linux n’ont pas été testés.
La situation
Section intitulée « La situation »TermeLarkfieldUne boutique en ligne canadienne inventée, qui vend des articles pour la maison et le jardin. Ce n’est pas une vraie entreprise. Tous les cours Nextia utilisent son service d’assistance et ses données comme exemple.En savoir plus Découvrez Larkfield réalise environ 40 tests par année. Mateo, qui tient le journal des tests, rédige les règles de l’année prochaine pour chaque plan de test. Deux questions reviennent sans cesse.
TermeTomásL’ingénieur en IA de Larkfield. Il propose souvent un raccourci rapide, et la leçon montre pourquoi il échoue. pose la première : « Peut-on arrêter un test quand il gagne? Attendre quatre semaines, c’est long. » TermeOmarLe gestionnaire de produit de Larkfield. Il pose les questions d’affaires : ce qu’un changement coûte et ce qu’il apporte à la boutique. pose la deuxième : « La plupart de nos tests ne montrent rien. Est-ce normal, et combien de nos gagnants sont dus au hasard? »
Les tests de Larkfield sont trop peu nombreux pour répondre. Alors, TermePriyaLa scientifique des données de Larkfield. Elle mesure la qualité de l’assistant sur des jeux de test, pas à l’intuition. et Mateo lisent les tests d’une boutique beaucoup plus grande. La boutique de mode en ligne ASOS a publié les résultats quotidiens de 78 expériences réelles. Leur licence permet à tout le monde de les utiliser. Contrairement au simulateur de Larkfield, personne ne connaît leur effet réel. Cela les rend plus difficiles, et plus proches du travail réel.
Priya, Mateo, Tomás et Omar forment l’équipe fictive de Larkfield. Ils ne travaillent pas chez ASOS. Les tests et leurs chiffres sont réels.
Ce que vous allez construire
Section intitulée « Ce que vous allez construire »Vous construirez un pipeline de vérification pour des tests réels et une règle de décision à inscrire dans les plans d’équipe. Pour chaque test, le pipeline vérifie la répartition et donne le résultat à la fin prévue. Il réexécute aussi ce que trois règles d’arrêt auraient fait. Vous comparez ensuite les règles avec une même mesure équitable. Vous en choisissez une et l’exécutez une seule fois sur huit expériences mises de côté au départ.
Les données
Section intitulée « Les données »Les données proviennent du ASOS Digital Experiments Dataset. Il contient 24 153 lignes issues de 78 expériences réalisées en 2019 et 2020.
Ce que représente une ligne
Section intitulée « Ce que représente une ligne »Chaque expérience a un groupe témoin et un à quatre groupes de traitement. Une comparaison oppose un groupe de traitement à son groupe témoin : les données en contiennent 99. Chaque ligne représente une comparaison, pour l’une des quatre mesures, à un moment du test. Elle contient le nombre d’utilisateurs, la moyenne et la variance de chaque groupe.
Les chiffres sont cumulatifs : chaque ligne compte tout depuis le début du test jusqu’à ce moment. Voici une comparaison pour la mesure 1 :
one = tests[(tests.experiment_id == "036afc") & (tests.variant_id == 2) & (tests.metric_id == 1)]print(one[["time_since_start", "count_c", "count_t", "mean_c", "mean_t"]].iloc[[0, 1, 2, -1]].to_string(index=False)) time_since_start count_c count_t mean_c mean_t 1.5 188065.0 186686.0 0.1078 0.1078 2.0 245041.0 243694.0 0.1318 0.1314 2.5 277237.0 275949.0 0.1431 0.1427 76.5 1050994.0 1050508.0 0.5868 0.5873Ce que cela nous apprend. Le résultat du test était consulté toutes les 12 heures. Les groupes sont passés d’environ 188 000 utilisateurs chacun à environ 1,05 million. La moyenne a aussi augmenté, de 0,11 à 0,59. La mesure 1 est une valeur 0/1 pour chaque utilisateur. Elle compte tout ce que l’utilisateur a fait depuis le début. Un utilisateur qui revient plus tard peut donc encore la modifier. Les données ne donnent aucun nom. Nous ne savons pas ce que la mesure représente, ce que chaque test a changé, ni quand il a eu lieu.
Premières vérifications
Section intitulée « Premières vérifications »tests = pd.read_csv("asos_digital_experiments_dataset.csv", dtype={"experiment_id": str})print(tests.shape)print("rows with no users yet:", int(((tests.count_c == 0) | (tests.count_t == 0)).sum()))tests = tests[(tests.count_c > 0) & (tests.count_t > 0)]tests = tests.sort_values(KEY + ["metric_id", "time_since_start"]).reset_index(drop=True)print("experiments:", tests.experiment_id.nunique(), "| comparisons:", len(tests[KEY].drop_duplicates()))print("rows per metric:", tests.metric_id.value_counts().sort_index().to_dict())print("rows without a variance:", tests.groupby("metric_id").variance_c.apply(lambda x: int(x.isna().sum())).to_dict())(24153, 10)rows with no users yet: 8experiments: 78 | comparisons: 99rows per metric: {1: 6037, 2: 6036, 3: 6036, 4: 6036}rows without a variance: {1: 0, 2: 261, 3: 261, 4: 256}Ce que cela nous apprend. Les 8 lignes vides correspondent à la première observation d’une expérience, avant l’arrivée d’utilisateurs; nous les retirons. La mesure 1 est complète. Certaines variances manquent pour les trois autres mesures, qui ne permettent donc pas toujours de calculer un TermeIntervalle de confianceUne plage autour d’une valeur mesurée, obtenue par une méthode qui contient la vraie valeur 95 fois sur 100. Si l’intervalle d’une différence ne contient pas zéro, la différence n’est probablement pas due au hasard.En savoir plus Estimer l'incertitudeMathématiques et statistiques essentielles pour l'IA. Priya choisit la mesure 1 pour décider. C’est la seule mesure 0/1, et elle n’a aucune donnée manquante.
Le plan avant le résultat
Section intitulée « Le plan avant le résultat »Priya écrit le plan avant de calculer un résultat. Il suit le format du cours, présenté dans Écrire le plan d’abord :
- Unité : une comparaison. Mesure : mesure 1.
- Observation prévue : la dernière ligne de chaque comparaison. Les plans réels ne sont pas publiés; la dernière ligne représente donc la fin prévue. C’est une hypothèse.
- Décision à l’observation prévue : intervalle à 95 % au-dessus de 0, lancer; sous 0, ne pas lancer; sinon, aucun effet clair.
- Vérification de répartition d’abord : un déséquilibre de répartition (p < 0,001) signifie qu’aucune décision n’est prise.
- Règles à comparer : regards répétés chaque jour, une seule observation prévue et le test séquentiel du cours.
- Groupe mis de côté : avant tout résultat, mettre de côté 8 des 78 expériences, choisies au hasard avec une graine (seed) fixe. Choisir les règles sur les 70 autres. Exécuter la règle choisie une seule fois sur les 8, à la fin.
ids = sorted(tests.experiment_id.unique())holdout = sorted(np.random.default_rng(2021).choice(ids, 8, replace=False).tolist())past = tests[~tests.experiment_id.isin(holdout)]print("set aside:", holdout)print("past tests:", past.experiment_id.nunique(), "experiments,", len(past[KEY].drop_duplicates()), "comparisons")set aside: ['530a76', '834947', '8b436e', '9ed9d5', 'adea31', 'b8a409', 'bac0d3', 'e4c4a1']past tests: 70 experiments, 90 comparisonsVérifier la répartition d’abord
Section intitulée « Vérifier la répartition d’abord »Le carnet définit quelques petites fonctions. Quand le projet du cours contient la même fonction, il s’agit d’une copie. add_result() calcule la différence, l’erreur type, l’intervalle à 95 % et la valeur p de chaque ligne à partir des chiffres résumés seulement. split_check() reprend la vérification de répartition de Vérifier le test avant le résultat, avec une modification que vous verrez bientôt.
def split_check(count_c, count_t): """'not checkable' (more than 0.5 points from 50%: ask for the planned split), 'mismatch' or 'ok'.""" if abs(count_t / (count_c + count_t) - 0.5) > 0.005: return "not checkable" return "mismatch" if srm_p(count_c, count_t) < 0.001 else "ok"Priya l’applique à la dernière observation de chaque comparaison :
m1 = add_result(past[past.metric_id == 1])last = m1.groupby(KEY).tail(1).reset_index(drop=True)first = m1.groupby(KEY).head(1).reset_index(drop=True)last["share_first"] = first.count_t / (first.count_c + first.count_t)last["share_t"] = last.count_t / (last.count_c + last.count_t)last["srm_p"] = [srm_p(c, t) for c, t in zip(last.count_c, last.count_t)]last["split"] = [split_check(c, t) for c, t in zip(last.count_c, last.count_t)]print(last.split.value_counts().to_dict()){'ok': 80, 'not checkable': 8, 'mismatch': 2}Les dix comparaisons qui n’ont pas réussi la vérification, tirées du tableau du carnet. Une valeur p de 0 est plus petite que ce que l’ordinateur peut afficher.
| Comparaison | Part du traitement, première observation | Part du traitement, dernière observation | p par rapport à 50 % | Vérification de répartition |
|---|---|---|---|---|
| 54a85a, variante 0 | 2,96 % | 2,99 % | 0 | non vérifiable |
| c3d89d, variante 2 | 46,23 % | 46,16 % | 0 | non vérifiable |
| 329386, variantes 1 et 2 | 49,28 %, 49,24 % | 49,25 %, 49,24 % | 0 | non vérifiable |
| 64dc88, variantes 1 et 2 | 49,23 %, 49,26 % | 49,26 %, 49,24 % | 0 | non vérifiable |
| eeefa3, variante 3 | 66,71 % | 66,64 % | 0 | non vérifiable |
| 81761c, variante 2 | 88,85 % | 88,67 % | 0 | non vérifiable |
| 26bd38, variante 1 | 49,99 % | 49,90 % | 6,5 × 10⁻⁸ | déséquilibre |
| a68bf4, variante 1 | 49,94 % | 49,93 % | 4,1 × 10⁻²⁵ | déséquilibre |
Ce que cela nous apprend. La première version du plan vérifiait chaque comparaison par rapport à une répartition égale. Huit comparaisons échouaient largement. Mais regardez leurs parts. Chacune reste la même entre la première et la dernière observation. Chacune forme un rapport simple, comme 2 : 1 (66,7 %) ou 33 : 34 (49,25 %) dans les tests à trois groupes. Un bogue de redirection donne rarement la même part dès la première heure. Une répartition inégale prévue le fait.
Les plans ne sont pas publiés; nous ne pouvons donc pas vérifier ces huit comparaisons. Priya modifie le plan et consigne le changement : une comparaison à plus de 0,5 point de 50 % est non vérifiable. Elle ne reçoit aucune décision, et l’équipe doit demander la répartition prévue. La modification utilise seulement les parts, pas les résultats.
Deux comparaisons sont proches de 50 %, mais trop éloignées pour que ce soit dû au hasard. 26bd38 compte 49,90 % d’utilisateurs dans le traitement : il manque environ 7 500 utilisateurs sur 7,6 millions. Avec autant d’utilisateurs, même un petit écart signale clairement des utilisateurs perdus, comme dans le bogue de redirection. Il reste donc 80 comparaisons avec une bonne répartition, dans 66 expériences.
Le résultat à l’observation prévue
Section intitulée « Le résultat à l’observation prévue »Pour les 80 comparaisons, la règle du plan donne :
ok = last[last.split == "ok"].copy()ok["decision"] = [decision(lo, hi) for lo, hi in zip(ok.low, ok.high)]print(ok.decision.value_counts().to_dict())print(f"median size of a change: {ok.relative.abs().median():.2%} of the control mean")print(f"median standard error: {(ok.se / ok.mean_c).median():.2%} of the control mean")print(f"median length: {ok.time_since_start.median():.0f} days; median users: {(ok.count_c + ok.count_t).median():,.0f}"){'no clear effect': 59, 'ship': 12, 'do not ship': 9}median size of a change: 0.18% of the control meanmedian standard error: 0.16% of the control meanmedian length: 43 days; median users: 5,675,413Ce que cela nous apprend. Trois tests sur quatre se terminent sans effet clair. Les variations sont minuscules : une TermeMédianeLa valeur du milieu quand on trie les valeurs. La moitié est plus basse, l’autre plus haute. Un seul appel très lent la change peu : c’est un bon temps « habituel ».En savoir plus Mesurer la performance en pratiqueLes LLM : comment ils fonctionnent et comment en choisir un de 0,18 % de la moyenne du groupe témoin. C’est l’ordre de grandeur du bruit, 0,16 %, même avec 5,7 millions d’utilisateurs. Dans une grande boutique, les changements réels font varier les mesures de fractions de pour cent. Les changements simulés de Larkfield étaient de 2 % ou plus; ses tests étaient donc plus faciles.
Combien de changements n’ont rien fait?
Section intitulée « Combien de changements n’ont rien fait? »« Aucun effet clair » ne signifie pas « aucun effet ». Un petit effet réel peut se cacher dans un intervalle large. Les données peuvent-elles dire combien de changements n’ont vraiment rien fait? Pas pour un seul test, mais pour les 80 ensemble.
Pensez à un questionnaire avec des réponses vrai ou faux. Les élèves qui devinent obtiennent des scores répartis uniformément, du plus bas au plus haut. Les élèves qui connaissent le sujet obtiennent des scores élevés. Presque chaque score faible vient donc d’un élève qui devine. Comptez les scores faibles, et vous pouvez estimer combien d’élèves ont deviné.
Les valeurs p fonctionnent de la même façon. Quand un changement ne fait rien, sa valeur p a autant de chances d’être n’importe où entre 0 et 1. Quand un changement fonctionne, sa valeur p est généralement petite. Les valeurs p supérieures à 0,5 viennent donc presque uniquement de changements qui n’ont rien fait. Comptez-les et doublez le total : cela estime combien n’ont rien fait.
Description textuelle du graphique
Un histogramme avec dix classes de valeurs p de 0 à 1. Effectifs : 26, 9, 4, 6, 5, 4, 13, 4, 1, 8. La première classe, de 0 à 0,1, dépasse largement les autres. Un repère à 0,5 : les cinq classes au-dessus contiennent 30 comparaisons au total.
Au-dessus de 0,5, il y a 4 + 13 + 4 + 1 + 8 = 30 comparaisons, soit 37,5 % des 80. Le double donne 75 %. Environ trois changements sur quatre n’ont donc rien fait de mesurable, et environ un sur quatre a eu un effet. Cela répond à la première question d’Omar : il est normal que la plupart des tests ne montrent rien. C’est aussi normal dans une boutique avec des millions d’utilisateurs.
Nombreux tests : combien de gagnants sont dus au hasard?
Section intitulée « Nombreux tests : combien de gagnants sont dus au hasard? »La règle du plan a donné une décision pour 21 comparaisons : 12 lancements et 9 non-lancements. Combien sont dus au hasard? Les expériences comme habitude d’équipe présentait le raisonnement pour une année fictive. Ici, il s’applique à des tests réels.
n = len(ok)print("p < 0.05:", int((ok.p < 0.05).sum()), "| luck alone, if no change worked:", 0.05 * n)no_effect = min(1.0, float((ok.p > 0.5).mean()) * 2) # the share of no-effect tests, as aboveprint("expected false winners, with the share of no-effect tests:", round(0.05 * no_effect * n, 1))print("Bonferroni:", int((ok.p < 0.05 / n).sum()), "| Benjamini-Hochberg:", int(benjamini_hochberg(ok.p).sum()))p < 0.05: 21 | luck alone, if no change worked: 4.0expected false winners, with the share of no-effect tests: 3.0Bonferroni: 11 | Benjamini-Hochberg: 16Ce que cela nous apprend. Si aucun changement ne fonctionnait, le hasard seul donnerait environ 4 décisions sur 80. Il y en a 21, donc la plupart sont réelles. 75 % des changements n’ont rien fait. Nous attendons donc environ 0,05 × 0,75 × 80 = 3 décisions fausses sur les 21 : environ une sur sept. Benjamini–Hochberg en garde 16, avec une part de décisions fausses d’au plus 5 % en moyenne. Bonferroni, plus strict, en garde 11. Chaque test constituait une décision distincte; chacun garde donc sa propre règle de 5 %. Mateo inscrit le nombre corrigé dans le journal des tests pour indiquer combien de gagnants de l’année sont fiables.
Ce que des regards répétés chaque jour auraient déclaré
Section intitulée « Ce que des regards répétés chaque jour auraient déclaré »Passons à la question de Tomás. Les données contiennent une observation toutes les 12 ou 24 heures. Nous pouvons donc réexécuter ce qu’un tableau de bord montrait chaque jour. daily_looks() garde une observation par jour. stops() applique trois règles d’arrêt à une comparaison :
- Regards répétés : arrêter au premier jour où p < 0,05.
- Le test séquentiel (mSPRT) de Regards répétés : arrêter au premier jour où sa valeur p toujours valide est inférieure à 0,05. Son
tauestime la taille d’un effet réel, comme part de la moyenne du groupe témoin. - Le test séquentiel confirmé, présenté plus loin sur cette page.
Prédisez. Sur les 80 comparaisons, combien les regards répétés arrêteront-ils avec un « gagnant » ou un « perdant »? L’observation prévue a donné 21 décisions.
paths = all_stops(m1, ok, tau_rel=0.05)peek = paths[paths.peek_day.notna()]print("peeking calls:", len(peek), "of", len(paths), "| median day of the call:", peek.peek_day.median())print("of these, no clear effect at the planned look:", int((peek.decision == "no clear effect").sum()))peeking calls: 35 of 80 | median day of the call: 7.0of these, no clear effect at the planned look: 14Ce que cela nous apprend. Les regards répétés auraient arrêté 35 tests, la plupart dès la première semaine. Quatorze se terminent sans effet clair à l’observation prévue. Les 21 autres correspondent exactement aux 21 décisions de l’observation prévue, avec le même signe. Les regards répétés n’ont donc trouvé aucun nouvel effet réel. Ils ont ajouté 14 décisions que le test complet n’appuie pas.
Un test, jour après jour
Section intitulée « Un test, jour après jour »Voici l’un des 14, l’expérience b382c6, pendant ses quatre premiers jours :
time_since_start relative p 1.0 0.0463 0.1435 2.0 0.0454 0.0402 3.0 0.0407 0.0238 4.0 0.0283 0.0636- Valeur p habituelle
- Valeur p séquentielle
- p = 0,05
Description textuelle du graphique
Un graphique en courbes sur 61 jours. La valeur p habituelle commence à 0,14 au jour 1. Elle descend à 0,040 au jour 2 et à 0,024 au jour 3, puis remonte au-dessus de 0,05 au jour 4. Pour le reste du test, elle varie entre environ 0,2 et 1, et se termine à 0,69. La valeur p séquentielle reste entre 0,55 et 1. Une ligne pointillée marque 0,05.
Ce que cela nous apprend. Au jour 2, le tableau de bord indiquait +4,5 % avec p = 0,040. Une équipe qui aurait arrêté le test aurait lancé un « gagnant à 4,5 % ». À la fin, la variation était de −0,18 %. Les premiers jours, peu d’utilisateurs déterminent les chiffres, et le hasard les fait beaucoup varier. C’est le bouton de paiement de Regards répétés, dans une vraie boutique.
Le test séquentiel et la taille de tau
Section intitulée « Le test séquentiel et la taille de tau »Le test séquentiel a besoin de tau, son estimation de la taille des effets réels. La valeur par défaut du cours est 5 % de la moyenne du groupe témoin. Cela convient au simulateur de Larkfield, mais ici les changements sont d’environ 0,2 %. Si tau est beaucoup trop grand, le test tarde à détecter les petits effets.
Les tests passés donnent une meilleure estimation. Les estimations varient pour deux raisons : les effets réels diffèrent, et le bruit ajoute sa propre dispersion. Prenez la dispersion des estimations et retirez celle que le bruit produit à lui seul. Il reste la dispersion des effets réels.
rel, rel_se = ok.relative.to_numpy(), (ok.se / ok.mean_c).to_numpy()tau_past = float(np.sqrt(np.var(rel) - np.mean(rel_se ** 2)))print(f"spread of the estimates {np.std(rel):.2%}, of the noise {np.sqrt(np.mean(rel_se ** 2)):.2%}: tau {tau_past:.2%}")for name, tau in [("tau 5%", 0.05), ("tau from past tests", tau_past)]: s = all_stops(m1, ok, tau) seq = s[s.seq_day.notna()] print(f"{name}: {len(seq)} calls, median day {seq.seq_day.median()}, " f"{int((seq.end_day - seq.seq_day).sum())} test-days saved")spread of the estimates 0.70%, of the noise 0.38%: tau 0.59%tau 5%: 15 calls, median day 5.0, 484 test-days savedtau from past tests: 18 calls, median day 7.0, 580 test-days savedCe que cela nous apprend. Le carré de 0,70 % moins le carré de 0,38 % donne le carré de 0,59 % : la taille typique d’un effet réel. Avec ce tau, le test séquentiel tranche 18 comparaisons plutôt que 15, au jour médian 7 plutôt qu’au jour 43. Pour ces 18 comparaisons, cela libère 580 jours de test pour d’autres tests. Une équipe obtient ce gain quand elle tire tau de son propre journal des tests.
Un problème de données trompe le test séquentiel
Section intitulée « Un problème de données trompe le test séquentiel »Parmi les 18 décisions séquentielles, deux se terminent sans effet clair. L’une d’elles, 162a38, s’est arrêtée au jour 38. La fiche du jeu de données signale ce test et ce jour : la moyenne du groupe traité bondit, probablement à cause de données de suivi perdues.
- Variation
- Intervalle à 95 %
Description textuelle du graphique
Un graphique linéaire du jour 30 au jour 42, avec un point toutes les 12 heures. La variation reste entre environ −0,08 % et 0 %, dans un intervalle d’environ −0,3 % à +0,25 %. Au jour 38, un point bondit à +0,57 %, avec un intervalle de +0,30 % à +0,83 %. Au jour 38,5, il revient à −0,04 %.
L’intervalle toujours valide conserve une intersection cumulative : dès qu’une valeur en sort, elle reste exclue. Une seule observation erronée suffit donc à trancher, pour toujours. Un test séquentiel vous protège du hasard. Il ne vous protège pas des données erronées.
La correction coûte peu. Confirmez l’arrêt : arrêtez seulement si la valeur p toujours valide de l’observation est inférieure à 0,05 lors de deux observations consécutives. Un effet réel persiste; un problème passager disparaît. La règle est plus stricte, donc elle ne peut pas ajouter de faux gagnants. Elle coûte un jour. Le carnet (notebook) Jupyter conserve les arrêts avec tau tiré des tests passés dans paths_past. La fonction stops() calcule déjà l’arrêt confirmé sous le nom conf_day.
conf = paths_past[paths_past.conf_day.notna()]agree = ((conf.conf_sign == "up") & (conf.decision == "ship")) | ((conf.conf_sign == "down") & (conf.decision == "do not ship"))print("confirmed early stops:", len(conf), "| same answer as the planned look:", int(agree.sum()), "| median day:", conf.conf_day.median())confirmed early stops: 17 | same answer as the planned look: 16 | median day: 8.0Ce que cela nous apprend. Le problème passager a disparu. Seize des 17 arrêts anticipés concordent avec l’observation prévue. Celui qui ne concorde pas, 54a85a variante 2, est l’autre test que la fiche signale. Son groupe traité progresse plus vite que son groupe témoin au fil du temps. Il pourrait s’agir d’un effet de primauté, l’inverse de l’effet de nouveauté : les utilisateurs avaient besoin de temps pour s’habituer au changement. Au début du test, le changement semblait nuisible : −1,2 % au jour 8. À la fin, il était de −0,23 %, avec p = 0,085. Aucune règle d’arrêt ne peut prévoir qu’un effet changera plus tard. C’est pourquoi un plan fixe une durée minimale d’une ou deux semaines complètes.
Erreur courante
« Le test séquentiel est toujours sûr »
Symptôme : le test séquentiel arrête l’expérience 162a38 au jour 38 avec un « gagnant ». À la fin prévue, la variation est de −0,02 %, p = 0,90.
Cause : une observation contenait des données erronées. La promesse du test couvre le hasard, pas un journal défectueux. Son intersection cumulative conserve l’observation erronée pour toujours.
Correction : confirmez chaque arrêt anticipé avec une deuxième observation. Vérifiez les données qui le justifient : les effectifs et les moyennes des deux groupes à cette observation et à la suivante.
Une comparaison équitable : des tests A/A reconstruits
Section intitulée « Une comparaison équitable : des tests A/A reconstruits »Quelle règle Mateo devrait-il inscrire dans les plans? Compter les décisions sur les tests réels ne répond pas à cette question. Les regards répétés (peeking) produisent le plus de décisions, et personne ne sait lesquelles sont fausses. Il nous faut une mesure où la vérité est connue.
Pensez à un détecteur de fumée. Vous ne pouvez pas le juger seulement par les incendies qu’il détecte. Vous devez aussi compter combien de fois il sonne sans incendie. Vous le testez donc souvent sans incendie.
Pour les tests, « sans incendie » correspond à un test A/A : les deux groupes reçoivent la même version, donc chaque gagnant est faux. Nous ne pouvons pas refaire les tests d’ASOS comme tests A/A. Mais les observations et les erreurs types d’un test suffisent pour en reconstruire un. Sans effet, la différence d’un test évolue comme une marche aléatoire. Chaque observation ajoute un pas aléatoire. La taille du pas dépend de la diminution de l’erreur type depuis l’observation précédente.
Nous reconstruisons donc chacune des 80 comparaisons 1 000 fois, avec ses propres observations et erreurs types, sans effet. Puis nous comptons combien de fois chaque règle désigne un gagnant ou un perdant. Chaque règle voit les mêmes 80 000 tests A/A : une seule mesure pour toutes.
Prédisez. Quelles règles resteront sous 5 % de faux gagnants?
rng = np.random.default_rng(40)rates = {}for e, v in ok[KEY].itertuples(index=False): looks = daily_looks(m1[(m1.experiment_id == e) & (m1.variant_id == v)]) calls = aa_versions(looks.se.to_numpy(), looks.mean_c.iloc[-1], tau_past, 1000, rng) for rule, called in calls.items(): rates.setdefault(rule, []).append(called.mean())aa = pd.Series({rule: np.mean(r) for rule, r in rates.items()}).round(3)print(aa.to_string())one planned look 0.051peeking every day 0.175sequential, tau 5% 0.004sequential, tau from past tests 0.010confirmed sequential 0.006confirmed early stop, else planned look 0.052- Regards répétés
- Observation prévue et combinaison
- Tests séquentiels
Description textuelle du graphique
Deux panneaux avec les mêmes six lignes. Faux gagnants dans les tests A/A reconstruits : regards répétés chaque jour 17,5 %; une observation prévue 5,1 %; test séquentiel avec tau de 5 % 0,4 %; test séquentiel avec tau tiré des tests passés 1,0 %; test séquentiel confirmé 0,6 %; arrêt anticipé confirmé, sinon observation prévue, 5,2 %. Une ligne marque les 5 % promis. Comparaisons réelles tranchées, sur 80 : regards répétés 35; observation prévue 21; test séquentiel avec tau de 5 % 15; test séquentiel avec tau tiré des tests passés 18; test séquentiel confirmé 17; arrêt anticipé confirmé, sinon observation prévue, 22.
Ce que cela nous apprend. Lisez les deux panneaux ensemble :
- Les regards répétés échouent. Ils désignent un gagnant ou un perdant dans 17,5 % des tests sans effet : trois fois et demie le taux promis. C’est moins que les 27,6 % simulés dans le cours. Ces tests ont moins d’observations en moyenne, et la première contient déjà beaucoup d’information (une médiane de 36 %). Avec 40 observations ou plus, le taux atteint 19,7 %.
- L’observation prévue tient sa promesse. Une seule observation donne exactement 5 % en théorie; 5,1 % correspond à ce taux plus le bruit de la simulation. Elle tranche 21 comparaisons, mais seulement après une médiane de 43 jours.
- Les tests séquentiels sont très sûrs et un peu moins puissants. Ils restent sous 1 %. Ils tranchent de 15 à 18 comparaisons, la plupart dans la première ou les deux premières semaines.
- La combinaison arrête tôt seulement avec le test séquentiel confirmé, et tranche sinon à l’observation prévue. Elle tranche 22 comparaisons, dont 17 tôt, pour 5,2 % de faux gagnants : environ 0,1 point de plus que l’observation prévue seule.
Le plan disait : choisir la règle qui reste à 5 % ou moins et tranche le plus de comparaisons. Selon ce critère, l’observation prévue gagne, de justesse. La combinaison tranche une comparaison de plus et économise des semaines, pour environ 0,1 point de faux gagnants supplémentaire. Et Priya l’a ajoutée après avoir vu le problème de données. Une règle choisie après avoir examiné les données doit faire ses preuves sur de nouvelles données. Les données mises de côté servent à cela.
La recommandation
Section intitulée « La recommandation »Priya écrit à Mateo en mots simples, pour chaque plan de test de Larkfield :
- N’arrêtez jamais au premier p < 0,05. Sur ces tests réels, les regards répétés désignent un faux gagnant dans environ 17,5 % des tests sans effet. Quatorze de leurs 35 décisions n’ont pas tenu.
- Prévoyez une durée fixe et tranchez à la fin. Fixez un minimum d’une ou deux semaines complètes, pour les effets de nouveauté et de primauté.
- Autorisez un seul arrêt anticipé : le test séquentiel confirmé. Tirez tau des tests passés de l’équipe, pas d’une valeur par défaut. Arrêtez seulement quand deux observations consécutives concordent, et vérifiez les données de ces observations.
- Vérifiez d’abord la répartition et inscrivez la répartition prévue dans le plan. Huit de ces 90 comparaisons n’ont pas pu être vérifiées. Leur répartition prévue n’était inscrite nulle part.
- Évaluez le nombre de gagnants de l’année en tenant compte du hasard. Inscrivez le nombre selon Benjamini–Hochberg dans le journal des tests, à côté du nombre brut.
Ce que cela coûte et ce que cela rapporte
Section intitulée « Ce que cela coûte et ce que cela rapporte »Les données ne contiennent aucun montant, et personne ne sait ce que mesure la mesure 1. Priya compte donc en jours de test et en faux gagnants.
- Gain : sur les tests passés, les arrêts anticipés confirmés ont libéré 530 jours de test : environ 31 jours pour chacun des 17. Une boutique qui ne peut exécuter qu’un nombre limité de tests à la fois récupère ces jours pour de nouveaux tests.
- Coût des regards répétés : dans 100 tests où environ 75 changements ne font rien, les regards répétés produisent environ 75 × (17,5 % − 5,1 %) ≈ 9 faux gagnants de plus que le plan. Priya suppose qu’un changement sans effet coûte quand même deux semaines de travail de développement pour le créer, le maintenir et le retirer plus tard. C’est une hypothèse, pas un résultat des données. À ce prix, les regards répétés gaspillent environ 18 semaines de travail de développement par 100 tests. Les hypothèses financières du cours (26 dollars de marge par commande) sont celles de Larkfield. Elles ne conviennent pas à une mesure dont le sens est inconnu.
La vérification complète sur de nouvelles données d’entrée
Section intitulée « La vérification complète sur de nouvelles données d’entrée »La règle a été choisie sur 70 expériences. Maintenant, elle s’exécute une fois sur les 8 mises de côté. review() effectue chaque étape pour les nouveaux tests :
new = tests[tests.experiment_id.isin(holdout)]result = review(new, tau_past)print(result.to_string(index=False))experiment_id variant_id users treatment share change at the end p at the end verdict decided on day planned length (days) 530a76 1 112933005 0.4998 +0.07% 0.4766 no decision (mismatch) NaN 54.0 834947 1 30113549 0.4995 -0.01% 0.9658 no decision (mismatch) NaN 43.5 8b436e 1 66803872 0.4999 +0.16% 0.1405 no clear effect 45.5 45.5 9ed9d5 1 8597234 0.4998 +0.34% 0.0158 ship (early) 6.0 30.5 adea31 1 99468529 0.5000 -0.17% 0.0827 no clear effect 84.5 84.5 adea31 2 99465130 0.5000 -0.10% 0.3281 no clear effect 84.5 84.5 b8a409 1 3251862 0.4998 +0.39% 0.0431 ship 64.5 64.5 bac0d3 1 5495175 0.5000 -0.08% 0.5670 no clear effect 35.0 35.0 e4c4a1 1 5875066 0.4999 -0.84% 0.0000 do not ship (early) 9.0 36.0- Mettre en production
- Ne pas mettre en production
- Aucun effet clair
Description textuelle du graphique
Un graphique d’intervalles avec sept lignes, en pourcentage de la moyenne du groupe témoin. 8b436e variante 1 : +0,16 %, de −0,05 % à +0,38 %. 9ed9d5 variante 1 : +0,34 %, de +0,06 % à +0,61 %. adea31 variante 1 : −0,17 %, de −0,37 % à +0,02 %. adea31 variante 2 : −0,10 %, de −0,29 % à +0,10 %. b8a409 variante 1 : +0,39 %, de +0,01 % à +0,78 %. bac0d3 variante 1 : −0,08 %, de −0,35 % à +0,19 %. e4c4a1 variante 1 : −0,84 %, de −1,17 % à −0,50 %. Une ligne verticale marque l’absence d’effet.
Ce que cela nous apprend. La règle a fonctionné sur de nouveaux tests :
- La vérification de la répartition a détecté deux déséquilibres. 530a76 compte 113 millions d’utilisateurs et une proportion de 49,98 % dans le groupe traité. L’écart est minuscule, mais avec autant d’utilisateurs, ce n’est pas le hasard (p = 0,0006). L’équipe doit trouver les utilisateurs manquants avant de lire le résultat.
- Les deux arrêts anticipés concordent avec la fin. 9ed9d5 a été mis en production au jour 6 plutôt qu’au jour 30,5. e4c4a1 s’est arrêté au jour 9 plutôt qu’au jour 36. Les deux intervalles de fin prévue concordent. Ensemble, les deux arrêts ont libéré 51,5 jours de test.
- b8a409 a attendu la fin prévue et a alors été mis en production, avec p = 0,043. Le test séquentiel n’était pas assez certain pour l’arrêter tôt : un effet réel proche du seuil exige le test complet.
- Les regards répétés auraient eu tort deux fois. Ils auraient arrêté bac0d3 au jour 1 et adea31 variante 1 au jour 10,5. Les deux se terminent sans effet clair.
Constats et limites
Section intitulée « Constats et limites »- Il n’y a aucune vérité connue pour vérifier les résultats. Contrairement au simulateur de Larkfield, personne ne connaît ces effets réels. Les tests A/A reconstruits vérifient les règles, pas un résultat individuel. Ils supposent que la différence d’un test évolue comme une marche aléatoire.
- Les données respectent imparfaitement les hypothèses. La mesure 1 compte tout l’historique de chaque utilisateur, donc une nouvelle observation n’est pas un nouvel échantillon indépendant. Certaines erreurs types augmentent même entre les observations. La promesse du test séquentiel ne tient qu’approximativement ici, comme pour le revenu par client dans Regards répétés.
- Ce que nous n’avons pas pu faire. Il n’y a aucune ligne par utilisateur, donc pas de CUPED, de segments ou de bootstrap. Nous ne connaissons ni les mesures, ni les durées prévues, ni les répartitions prévues. L’« observation prévue » est la dernière ligne, et l’équipe a peut-être elle-même arrêté certains tests tôt.
- Ce qu’une évaluation équitable exigerait. D’abord, le plan de chaque test, avec sa durée, sa répartition et sa mesure, rédigé avant le début. Ensuite, des données par utilisateur, pour CUPED et les segments. Enfin, de vrais tests A/A sur la même plateforme, pour vérifier les tests reconstruits.
- Les gagnants exagèrent. Les 21 comparaisons tranchées sont celles que le hasard a aidées à franchir le seuil. Leurs estimations sont probablement un peu trop grandes, comme dans Les expériences comme habitude d’équipe.
Utilisation responsable
Section intitulée « Utilisation responsable »- Ne tirez aucune conclusion sur ASOS. La fiche indique que ces résultats ne représentent ni les activités d’ASOS ni son programme de tests. Ce sont 78 tests, choisis et anonymisés pour la recherche.
- Les données ne contiennent aucune personne : gardez-les ainsi. Chaque ligne regroupe au moins cent mille utilisateurs. N’essayez pas de relier les expériences anonymes à des changements réels sur le site de la boutique.
- Citez la source. CC BY 4.0 exige une attribution. Utilisez le texte d’attribution de l’encadré ci-dessus, avec un lien vers la licence, partout où vous présentez les données ou leurs résultats.
- Les règles servent à l’équipe, pas à blâmer. Un journal des tests qui compte les faux gagnants sert à améliorer les règles. Ne l’utilisez pas pour juger une personne dont le test n’a rien montré. La plupart des tests ne montrent rien.
Faites-en un projet de portfolio
Section intitulée « Faites-en un projet de portfolio »Cette étude de cas montre à un employeur que vous pouvez travailler avec des données de tests réels et trouver leurs problèmes. Elle montre aussi que vous pouvez transformer l’analyse en règles pour une équipe. Personnalisez-la avec un changement, comme la mesure 4 ou des observations hebdomadaires. Rendez-la ensuite publique et facile à lire en cinq minutes.
Quoi mettre dans le dépôt :
README.md, la page que les gens lisent d’abord (modèle ci-dessous).- Le carnet, exécuté du début à la fin, avec ses sorties.
PLAN.md: le plan de « Le plan avant le résultat », et le changement consigné à la vérification de la répartition, avec sa raison.rules.csv: le taux de faux gagnants de chaque règle dans les tests A/A reconstruits, et ses décisions sur les tests réels.holdout.csv: la sortie dereview()sur les 8 expériences mises de côté.- La source et la licence des données, avec le texte d’attribution ci-dessus. CC BY 4.0 autorise une copie avec attribution, mais un lien et la somme de contrôle suffisent.
Un modèle de README :
# Real tests at an online shop: when may a test stop?
## ProblemA team wants to stop tests early when they win. Which stopping rule keepsfalse winners at 5%, and how many of a year's winners are luck?
## Data and licenceASOS Digital Experiments Dataset (Liu, Cardoso, Couturier and McCoy, 2021),78 experiments, 99 comparisons, daily cumulative counts, means and variances,https://osf.io/64jsb/, CC BY 4.0. Decided on metric 1; 8 empty rows dropped.
## ApproachPlan written first; 8 experiments held out. Split check (8 not checkable,2 mismatches). 95% interval at the last look. Peeking, the mSPRT with taufrom past tests, and a confirmed mSPRT, replayed day by day. Rules comparedon 80,000 A/A tests rebuilt from each test's own looks and standard errors.
## ResultsPeeking: 17.5% false winners, 35 calls (14 not supported at the end).Planned look: 5.1%, 21 decisions. Confirmed early stop, else planned look:5.2%, 22 decisions, 17 early. About 75% of changes did nothing; about 3 of21 decisions are expected to be luck.
## LimitsNo truth, no per-user data, no plans; cumulative metric; the rebuilt A/Atests assume a random walk.Comment le décrire en entrevue, en deux phrases : « J’ai réexécuté 78 expériences réelles en ligne, jour par jour : arrêter au premier résultat significatif produisait trois fois et demie le taux de faux gagnants promis. J’ai recommandé une durée fixe avec un seul arrêt anticipé autorisé, un test séquentiel confirmé, qui concordait avec les tests complets sur les données mises de côté et économisait des semaines. »
Allez plus loin :
- Tranchez pour la mesure 4 (un montant à distribution asymétrique), et comparez sa proportion de tests sans effet à celle de la mesure 1. Prédisez d’abord.
- Essayez des observations hebdomadaires pour la règle des regards répétés, et comparez son taux A/A reconstruit à celui des observations quotidiennes.
- Faites de la répartition prévue une entrée de
split_check(), et testez eeefa3 variante 3 avec une répartition de 2 : 1.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Les regards répétés ont arrêté 35 des 80 comparaisons réelles, et l'observation prévue n'en a tranché que 21. Tomás dit : « Les regards répétés trouvent plus d'effets. » Que répondez-vous?
Afficher la réponse
Les regards répétés (peeking) n’ont pas trouvé de nouveaux effets réels. Leurs 35 décisions comprennent les 21 décisions de l’observation prévue, avec le même signe. Ils ajoutent 14 décisions qui aboutissent à une absence d’effet clair. Plus de décisions ne signifie pas plus de découvertes. Sur les tests A/A reconstruits, où rien ne fonctionne, les regards répétés désignent un gagnant ou un perdant dans 17,5 % des cas. L’observation prévue le fait dans 5,1 % des cas. Ces décisions supplémentaires correspondent donc à ce qu’on attend d’une règle qui produit de faux gagnants. Si l’équipe a besoin d’arrêts précoces, le test séquentiel confirmé les permet, avec moins de 1 % de faux gagnants.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Huit comparaisons avaient des proportions de traitement comme 2,99 %, 66,64 % et 49,25 %, loin de 50 %. Pourquoi Priya n'a-t-elle pris aucune décision, plutôt que de parler de déséquilibres de répartition?
Afficher la réponse
Une vérification de la répartition compare les nombres aux proportions prévues, et ces plans ne sont pas publiés. Chaque proportion reste la même à la première et à la dernière observation, selon un rapport simple comme 2 : 1 ou 33 : 34. Un bogue produit rarement ce résultat; une répartition inégale prévue le fait. Comparées à 50 %, elles échoueraient toutes, mais ce test pose la mauvaise question. Sans le plan, on ne peut pas vérifier la répartition. La réponse honnête est donc « aucune décision : demander les proportions prévues ». Pour Larkfield, la leçon est d’inscrire les proportions dans chaque plan.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Le test séquentiel a arrêté l'expérience 162a38 au jour 38, mais le test complet ne montre aucun effet. Le test séquentiel promet au plus 5 % de faux gagnants. A-t-il rompu sa promesse?
Afficher la réponse
Non. Sa promesse concerne le hasard : avec des données correctes et aucun effet, il désigne un faux gagnant dans au plus 5 % des cas. Ici, ce taux est inférieur à 1 %. Au jour 38, les données étaient erronées. La moyenne du groupe traité a bondi, puis est redescendue à l’observation suivante, probablement à cause de données de suivi perdues. Un test ne peut pas vous protéger d’un journal défectueux. L’intervalle toujours valide conserve l’intersection des intervalles successifs, donc une seule observation erronée fixe la décision pour toujours. La solution est de confirmer un arrêt précoce à une deuxième observation et de vérifier les données qui le justifient.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Vous avez d’abord écrit le plan et mis de côté 8 expériences. La vérification de la répartition a trouvé 2 déséquilibres et 8 répartitions impossibles à vérifier sans le plan.
- Les effets réels étaient minuscules (une médiane de 0,18 %). Environ 75 % des changements n’ont probablement rien fait. On s’attend à ce qu’environ 3 des 21 décisions soient dues au hasard.
- Les regards répétés ont arrêté 35 tests; 14 de ces décisions n’ont pas tenu. Sur les tests A/A reconstruits, ils ont produit 17,5 % de faux gagnants.
- Un test séquentiel utilisant le tau des tests passés, confirmé à deux observations, a détecté tôt la plupart des effets réels. Sur les tests mis de côté, ses décisions correspondaient aux tests complets, et il a libéré 51,5 jours de test.
Ensuite, la dernière étude de cas : un changement que personne n’a réparti au hasard. Nous analysons une hausse du salaire minimum par la différence des différences, avec des données publiques sur l’emploi.
Leçon suivante : Un salaire minimum sans test