Aller au contenu
English

Tests réels dans une boutique en ligne

  • Étude de cas 2
  • 150 min
  • Facultative · 1 étude de cas requise pour le certificat

Où nous en sommes

Dans huit modules, nous avons analysé les tests simulés de Larkfield et leurs pièges. Dans cette étude de cas, nous lisons les résultats quotidiens d'expériences réelles en ligne dans une boutique de mode. Nous les vérifions, comparons les regards répétés à un test séquentiel et prenons une décision pour chacune.

Étude de cas 2 sur 3 · Expériences et impact causal : notre changement a-t-il fonctionné?Tests réels dans une boutique en ligne

Ce que vous saurez faire

Vérifiez des tests réels en ligne à partir de leurs chiffres quotidiens et prenez une décision. Choisissez les règles qu’une équipe devrait suivre. Vous vérifierez la répartition de chaque test et lirez son résultat à la fin prévue. Vous réexécuterez ensuite ce que des regards répétés chaque jour auraient déclaré. Puis, vous comparerez les regards répétés à un test séquentiel et compterez les gagnants dus au hasard seul. Enfin, vous appliquerez la vérification complète aux tests mis de côté.

Étude de casPièce de portfolio

Licence
CC BY 4.0
Durée
Environ 2,5 heures
S’exécute dans
Colab, Kaggle ou VS Code
Compétences utilisées
  • Plan avant le résultat
  • Vérification de répartition sans le plan
  • Intervalles à partir de chiffres résumés
  • Regards répétés réexécutés sur des tests réels
  • Test séquentiel et son tau
  • Nombreux tests et Benjamini–Hochberg
  • Tests A/A reconstruits
  • Une règle de décision et son coût

Les carnets sont en anglais. Colab et Kaggle ouvrent votre propre copie. Pour utiliser VS Code, téléchargez le carnet depuis GitHub. Vous êtes bloqué ? Consultez le carnet de solution.

Le carnet (notebook) Jupyter exécute chaque étape de cette page, avec le même code et les mêmes sorties. Il contient aussi quatre tâches avec des vérifications. Ses cellules de préparation installent les paquets et téléchargent les données (2,7 Mo) depuis la page du jeu de données. Il ne demande donc aucune préparation locale. Il s’exécute en environ 10 secondes après l’installation.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 150 minutes

Ce que vous devez savoir

Cette étude de cas utilise surtout les modules 2 à 4. Voici les leçons les plus importantes :

Ce qu’il vous faut sur votre ordinateur

Rien : le carnet installe ses propres paquets et peut donc aussi s’exécuter dans Colab ou Kaggle. Pour l’exécuter localement, utilisez un environnement virtuel avec Python 3.12, pandas 3.1.1, SciPy 1.15.3 et matplotlib 3.11.2. Ce sont les versions du projet larkfield-experiments. Cette étude de cas ne modifie pas le projet. La cellule de préparation crée un nouveau dossier asos-experiments. Pour recommencer, supprimez ce dossier.

Testé sur macOS avec Python 3.12, dans Jupyter après un démarrage neuf. Colab, Kaggle, Windows et Linux n’ont pas été testés.

TermeLarkfieldUne boutique en ligne canadienne inventée, qui vend des articles pour la maison et le jardin. Ce n’est pas une vraie entreprise. Tous les cours Nextia utilisent son service d’assistance et ses données comme exemple.En savoir plus Découvrez Larkfield réalise environ 40 tests par année. Mateo, qui tient le journal des tests, rédige les règles de l’année prochaine pour chaque plan de test. Deux questions reviennent sans cesse.

TermeTomásL’ingénieur en IA de Larkfield. Il propose souvent un raccourci rapide, et la leçon montre pourquoi il échoue. pose la première : « Peut-on arrêter un test quand il gagne? Attendre quatre semaines, c’est long. » TermeOmarLe gestionnaire de produit de Larkfield. Il pose les questions d’affaires : ce qu’un changement coûte et ce qu’il apporte à la boutique. pose la deuxième : « La plupart de nos tests ne montrent rien. Est-ce normal, et combien de nos gagnants sont dus au hasard? »

Les tests de Larkfield sont trop peu nombreux pour répondre. Alors, TermePriyaLa scientifique des données de Larkfield. Elle mesure la qualité de l’assistant sur des jeux de test, pas à l’intuition. et Mateo lisent les tests d’une boutique beaucoup plus grande. La boutique de mode en ligne ASOS a publié les résultats quotidiens de 78 expériences réelles. Leur licence permet à tout le monde de les utiliser. Contrairement au simulateur de Larkfield, personne ne connaît leur effet réel. Cela les rend plus difficiles, et plus proches du travail réel.

Priya, Mateo, Tomás et Omar forment l’équipe fictive de Larkfield. Ils ne travaillent pas chez ASOS. Les tests et leurs chiffres sont réels.

Vous construirez un pipeline de vérification pour des tests réels et une règle de décision à inscrire dans les plans d’équipe. Pour chaque test, le pipeline vérifie la répartition et donne le résultat à la fin prévue. Il réexécute aussi ce que trois règles d’arrêt auraient fait. Vous comparez ensuite les règles avec une même mesure équitable. Vous en choisissez une et l’exécutez une seule fois sur huit expériences mises de côté au départ.

Les données proviennent du ASOS Digital Experiments Dataset. Il contient 24 153 lignes issues de 78 expériences réalisées en 2019 et 2020.

Chaque expérience a un groupe témoin et un à quatre groupes de traitement. Une comparaison oppose un groupe de traitement à son groupe témoin : les données en contiennent 99. Chaque ligne représente une comparaison, pour l’une des quatre mesures, à un moment du test. Elle contient le nombre d’utilisateurs, la moyenne et la variance de chaque groupe.

Les chiffres sont cumulatifs : chaque ligne compte tout depuis le début du test jusqu’à ce moment. Voici une comparaison pour la mesure 1 :

one = tests[(tests.experiment_id == "036afc") & (tests.variant_id == 2) & (tests.metric_id == 1)]
print(one[["time_since_start", "count_c", "count_t", "mean_c", "mean_t"]].iloc[[0, 1, 2, -1]].to_string(index=False))
time_since_start count_c count_t mean_c mean_t
1.5 188065.0 186686.0 0.1078 0.1078
2.0 245041.0 243694.0 0.1318 0.1314
2.5 277237.0 275949.0 0.1431 0.1427
76.5 1050994.0 1050508.0 0.5868 0.5873

Ce que cela nous apprend. Le résultat du test était consulté toutes les 12 heures. Les groupes sont passés d’environ 188 000 utilisateurs chacun à environ 1,05 million. La moyenne a aussi augmenté, de 0,11 à 0,59. La mesure 1 est une valeur 0/1 pour chaque utilisateur. Elle compte tout ce que l’utilisateur a fait depuis le début. Un utilisateur qui revient plus tard peut donc encore la modifier. Les données ne donnent aucun nom. Nous ne savons pas ce que la mesure représente, ce que chaque test a changé, ni quand il a eu lieu.

tests = pd.read_csv("asos_digital_experiments_dataset.csv", dtype={"experiment_id": str})
print(tests.shape)
print("rows with no users yet:", int(((tests.count_c == 0) | (tests.count_t == 0)).sum()))
tests = tests[(tests.count_c > 0) & (tests.count_t > 0)]
tests = tests.sort_values(KEY + ["metric_id", "time_since_start"]).reset_index(drop=True)
print("experiments:", tests.experiment_id.nunique(), "| comparisons:", len(tests[KEY].drop_duplicates()))
print("rows per metric:", tests.metric_id.value_counts().sort_index().to_dict())
print("rows without a variance:", tests.groupby("metric_id").variance_c.apply(lambda x: int(x.isna().sum())).to_dict())
(24153, 10)
rows with no users yet: 8
experiments: 78 | comparisons: 99
rows per metric: {1: 6037, 2: 6036, 3: 6036, 4: 6036}
rows without a variance: {1: 0, 2: 261, 3: 261, 4: 256}

Ce que cela nous apprend. Les 8 lignes vides correspondent à la première observation d’une expérience, avant l’arrivée d’utilisateurs; nous les retirons. La mesure 1 est complète. Certaines variances manquent pour les trois autres mesures, qui ne permettent donc pas toujours de calculer un TermeIntervalle de confianceUne plage autour d’une valeur mesurée, obtenue par une méthode qui contient la vraie valeur 95 fois sur 100. Si l’intervalle d’une différence ne contient pas zéro, la différence n’est probablement pas due au hasard.En savoir plus Estimer l'incertitudeMathématiques et statistiques essentielles pour l'IA. Priya choisit la mesure 1 pour décider. C’est la seule mesure 0/1, et elle n’a aucune donnée manquante.

Priya écrit le plan avant de calculer un résultat. Il suit le format du cours, présenté dans Écrire le plan d’abord :

  • Unité : une comparaison. Mesure : mesure 1.
  • Observation prévue : la dernière ligne de chaque comparaison. Les plans réels ne sont pas publiés; la dernière ligne représente donc la fin prévue. C’est une hypothèse.
  • Décision à l’observation prévue : intervalle à 95 % au-dessus de 0, lancer; sous 0, ne pas lancer; sinon, aucun effet clair.
  • Vérification de répartition d’abord : un déséquilibre de répartition (p < 0,001) signifie qu’aucune décision n’est prise.
  • Règles à comparer : regards répétés chaque jour, une seule observation prévue et le test séquentiel du cours.
  • Groupe mis de côté : avant tout résultat, mettre de côté 8 des 78 expériences, choisies au hasard avec une graine (seed) fixe. Choisir les règles sur les 70 autres. Exécuter la règle choisie une seule fois sur les 8, à la fin.
ids = sorted(tests.experiment_id.unique())
holdout = sorted(np.random.default_rng(2021).choice(ids, 8, replace=False).tolist())
past = tests[~tests.experiment_id.isin(holdout)]
print("set aside:", holdout)
print("past tests:", past.experiment_id.nunique(), "experiments,", len(past[KEY].drop_duplicates()), "comparisons")
set aside: ['530a76', '834947', '8b436e', '9ed9d5', 'adea31', 'b8a409', 'bac0d3', 'e4c4a1']
past tests: 70 experiments, 90 comparisons

Le carnet définit quelques petites fonctions. Quand le projet du cours contient la même fonction, il s’agit d’une copie. add_result() calcule la différence, l’erreur type, l’intervalle à 95 % et la valeur p de chaque ligne à partir des chiffres résumés seulement. split_check() reprend la vérification de répartition de Vérifier le test avant le résultat, avec une modification que vous verrez bientôt.

def split_check(count_c, count_t):
"""'not checkable' (more than 0.5 points from 50%: ask for the planned split), 'mismatch' or 'ok'."""
if abs(count_t / (count_c + count_t) - 0.5) > 0.005:
return "not checkable"
return "mismatch" if srm_p(count_c, count_t) < 0.001 else "ok"

Priya l’applique à la dernière observation de chaque comparaison :

m1 = add_result(past[past.metric_id == 1])
last = m1.groupby(KEY).tail(1).reset_index(drop=True)
first = m1.groupby(KEY).head(1).reset_index(drop=True)
last["share_first"] = first.count_t / (first.count_c + first.count_t)
last["share_t"] = last.count_t / (last.count_c + last.count_t)
last["srm_p"] = [srm_p(c, t) for c, t in zip(last.count_c, last.count_t)]
last["split"] = [split_check(c, t) for c, t in zip(last.count_c, last.count_t)]
print(last.split.value_counts().to_dict())
{'ok': 80, 'not checkable': 8, 'mismatch': 2}

Les dix comparaisons qui n’ont pas réussi la vérification, tirées du tableau du carnet. Une valeur p de 0 est plus petite que ce que l’ordinateur peut afficher.

Comparaison Part du traitement, première observation Part du traitement, dernière observation p par rapport à 50 % Vérification de répartition
54a85a, variante 0 2,96 % 2,99 % 0 non vérifiable
c3d89d, variante 2 46,23 % 46,16 % 0 non vérifiable
329386, variantes 1 et 2 49,28 %, 49,24 % 49,25 %, 49,24 % 0 non vérifiable
64dc88, variantes 1 et 2 49,23 %, 49,26 % 49,26 %, 49,24 % 0 non vérifiable
eeefa3, variante 3 66,71 % 66,64 % 0 non vérifiable
81761c, variante 2 88,85 % 88,67 % 0 non vérifiable
26bd38, variante 1 49,99 % 49,90 % 6,5 × 10⁻⁸ déséquilibre
a68bf4, variante 1 49,94 % 49,93 % 4,1 × 10⁻²⁵ déséquilibre

Ce que cela nous apprend. La première version du plan vérifiait chaque comparaison par rapport à une répartition égale. Huit comparaisons échouaient largement. Mais regardez leurs parts. Chacune reste la même entre la première et la dernière observation. Chacune forme un rapport simple, comme 2 : 1 (66,7 %) ou 33 : 34 (49,25 %) dans les tests à trois groupes. Un bogue de redirection donne rarement la même part dès la première heure. Une répartition inégale prévue le fait.

Les plans ne sont pas publiés; nous ne pouvons donc pas vérifier ces huit comparaisons. Priya modifie le plan et consigne le changement : une comparaison à plus de 0,5 point de 50 % est non vérifiable. Elle ne reçoit aucune décision, et l’équipe doit demander la répartition prévue. La modification utilise seulement les parts, pas les résultats.

Deux comparaisons sont proches de 50 %, mais trop éloignées pour que ce soit dû au hasard. 26bd38 compte 49,90 % d’utilisateurs dans le traitement : il manque environ 7 500 utilisateurs sur 7,6 millions. Avec autant d’utilisateurs, même un petit écart signale clairement des utilisateurs perdus, comme dans le bogue de redirection. Il reste donc 80 comparaisons avec une bonne répartition, dans 66 expériences.

Pour les 80 comparaisons, la règle du plan donne :

ok = last[last.split == "ok"].copy()
ok["decision"] = [decision(lo, hi) for lo, hi in zip(ok.low, ok.high)]
print(ok.decision.value_counts().to_dict())
print(f"median size of a change: {ok.relative.abs().median():.2%} of the control mean")
print(f"median standard error: {(ok.se / ok.mean_c).median():.2%} of the control mean")
print(f"median length: {ok.time_since_start.median():.0f} days; median users: {(ok.count_c + ok.count_t).median():,.0f}")
{'no clear effect': 59, 'ship': 12, 'do not ship': 9}
median size of a change: 0.18% of the control mean
median standard error: 0.16% of the control mean
median length: 43 days; median users: 5,675,413

Ce que cela nous apprend. Trois tests sur quatre se terminent sans effet clair. Les variations sont minuscules : une TermeMédianeLa valeur du milieu quand on trie les valeurs. La moitié est plus basse, l’autre plus haute. Un seul appel très lent la change peu : c’est un bon temps « habituel ».En savoir plus Mesurer la performance en pratiqueLes LLM : comment ils fonctionnent et comment en choisir un de 0,18 % de la moyenne du groupe témoin. C’est l’ordre de grandeur du bruit, 0,16 %, même avec 5,7 millions d’utilisateurs. Dans une grande boutique, les changements réels font varier les mesures de fractions de pour cent. Les changements simulés de Larkfield étaient de 2 % ou plus; ses tests étaient donc plus faciles.

« Aucun effet clair » ne signifie pas « aucun effet ». Un petit effet réel peut se cacher dans un intervalle large. Les données peuvent-elles dire combien de changements n’ont vraiment rien fait? Pas pour un seul test, mais pour les 80 ensemble.

Pensez à un questionnaire avec des réponses vrai ou faux. Les élèves qui devinent obtiennent des scores répartis uniformément, du plus bas au plus haut. Les élèves qui connaissent le sujet obtiennent des scores élevés. Presque chaque score faible vient donc d’un élève qui devine. Comptez les scores faibles, et vous pouvez estimer combien d’élèves ont deviné.

Les valeurs p fonctionnent de la même façon. Quand un changement ne fait rien, sa valeur p a autant de chances d’être n’importe où entre 0 et 1. Quand un changement fonctionne, sa valeur p est généralement petite. Les valeurs p supérieures à 0,5 viennent donc presque uniquement de changements qui n’ont rien fait. Comptez-les et doublez le total : cela estime combien n’ont rien fait.

Les valeurs p des 80 comparaisons à l'observation prévue, dans des classes de 0,1. Si aucun changement n'avait eu d'effet, chaque classe en contiendrait environ 8. La première en contient 26 : certains changements ont eu un effet.
Description textuelle du graphique

Un histogramme avec dix classes de valeurs p de 0 à 1. Effectifs : 26, 9, 4, 6, 5, 4, 13, 4, 1, 8. La première classe, de 0 à 0,1, dépasse largement les autres. Un repère à 0,5 : les cinq classes au-dessus contiennent 30 comparaisons au total.

Au-dessus de 0,5, il y a 4 + 13 + 4 + 1 + 8 = 30 comparaisons, soit 37,5 % des 80. Le double donne 75 %. Environ trois changements sur quatre n’ont donc rien fait de mesurable, et environ un sur quatre a eu un effet. Cela répond à la première question d’Omar : il est normal que la plupart des tests ne montrent rien. C’est aussi normal dans une boutique avec des millions d’utilisateurs.

Nombreux tests : combien de gagnants sont dus au hasard?

Section intitulée « Nombreux tests : combien de gagnants sont dus au hasard? »

La règle du plan a donné une décision pour 21 comparaisons : 12 lancements et 9 non-lancements. Combien sont dus au hasard? Les expériences comme habitude d’équipe présentait le raisonnement pour une année fictive. Ici, il s’applique à des tests réels.

n = len(ok)
print("p < 0.05:", int((ok.p < 0.05).sum()), "| luck alone, if no change worked:", 0.05 * n)
no_effect = min(1.0, float((ok.p > 0.5).mean()) * 2) # the share of no-effect tests, as above
print("expected false winners, with the share of no-effect tests:", round(0.05 * no_effect * n, 1))
print("Bonferroni:", int((ok.p < 0.05 / n).sum()), "| Benjamini-Hochberg:", int(benjamini_hochberg(ok.p).sum()))
p < 0.05: 21 | luck alone, if no change worked: 4.0
expected false winners, with the share of no-effect tests: 3.0
Bonferroni: 11 | Benjamini-Hochberg: 16

Ce que cela nous apprend. Si aucun changement ne fonctionnait, le hasard seul donnerait environ 4 décisions sur 80. Il y en a 21, donc la plupart sont réelles. 75 % des changements n’ont rien fait. Nous attendons donc environ 0,05 × 0,75 × 80 = 3 décisions fausses sur les 21 : environ une sur sept. Benjamini–Hochberg en garde 16, avec une part de décisions fausses d’au plus 5 % en moyenne. Bonferroni, plus strict, en garde 11. Chaque test constituait une décision distincte; chacun garde donc sa propre règle de 5 %. Mateo inscrit le nombre corrigé dans le journal des tests pour indiquer combien de gagnants de l’année sont fiables.

Ce que des regards répétés chaque jour auraient déclaré

Section intitulée « Ce que des regards répétés chaque jour auraient déclaré »

Passons à la question de Tomás. Les données contiennent une observation toutes les 12 ou 24 heures. Nous pouvons donc réexécuter ce qu’un tableau de bord montrait chaque jour. daily_looks() garde une observation par jour. stops() applique trois règles d’arrêt à une comparaison :

  • Regards répétés : arrêter au premier jour où p < 0,05.
  • Le test séquentiel (mSPRT) de Regards répétés : arrêter au premier jour où sa valeur p toujours valide est inférieure à 0,05. Son tau estime la taille d’un effet réel, comme part de la moyenne du groupe témoin.
  • Le test séquentiel confirmé, présenté plus loin sur cette page.

Prédisez. Sur les 80 comparaisons, combien les regards répétés arrêteront-ils avec un « gagnant » ou un « perdant »? L’observation prévue a donné 21 décisions.

paths = all_stops(m1, ok, tau_rel=0.05)
peek = paths[paths.peek_day.notna()]
print("peeking calls:", len(peek), "of", len(paths), "| median day of the call:", peek.peek_day.median())
print("of these, no clear effect at the planned look:", int((peek.decision == "no clear effect").sum()))
peeking calls: 35 of 80 | median day of the call: 7.0
of these, no clear effect at the planned look: 14

Ce que cela nous apprend. Les regards répétés auraient arrêté 35 tests, la plupart dès la première semaine. Quatorze se terminent sans effet clair à l’observation prévue. Les 21 autres correspondent exactement aux 21 décisions de l’observation prévue, avec le même signe. Les regards répétés n’ont donc trouvé aucun nouvel effet réel. Ils ont ajouté 14 décisions que le test complet n’appuie pas.

Voici l’un des 14, l’expérience b382c6, pendant ses quatre premiers jours :

time_since_start relative p
1.0 0.0463 0.1435
2.0 0.0454 0.0402
3.0 0.0407 0.0238
4.0 0.0283 0.0636
  • Valeur p habituelle
  • Valeur p séquentielle
  • p = 0,05
Expérience b382c6, une observation par jour pendant 61 jours. La valeur p habituelle passe sous 0,05 aux jours 2 et 3, quand la variation semble être de +4,5 %. Puis elle remonte; au jour 60,5, elle vaut 0,69. La valeur p séquentielle ne passe jamais sous 0,55.
Description textuelle du graphique

Un graphique en courbes sur 61 jours. La valeur p habituelle commence à 0,14 au jour 1. Elle descend à 0,040 au jour 2 et à 0,024 au jour 3, puis remonte au-dessus de 0,05 au jour 4. Pour le reste du test, elle varie entre environ 0,2 et 1, et se termine à 0,69. La valeur p séquentielle reste entre 0,55 et 1. Une ligne pointillée marque 0,05.

Ce que cela nous apprend. Au jour 2, le tableau de bord indiquait +4,5 % avec p = 0,040. Une équipe qui aurait arrêté le test aurait lancé un « gagnant à 4,5 % ». À la fin, la variation était de −0,18 %. Les premiers jours, peu d’utilisateurs déterminent les chiffres, et le hasard les fait beaucoup varier. C’est le bouton de paiement de Regards répétés, dans une vraie boutique.

Le test séquentiel a besoin de tau, son estimation de la taille des effets réels. La valeur par défaut du cours est 5 % de la moyenne du groupe témoin. Cela convient au simulateur de Larkfield, mais ici les changements sont d’environ 0,2 %. Si tau est beaucoup trop grand, le test tarde à détecter les petits effets.

Les tests passés donnent une meilleure estimation. Les estimations varient pour deux raisons : les effets réels diffèrent, et le bruit ajoute sa propre dispersion. Prenez la dispersion des estimations et retirez celle que le bruit produit à lui seul. Il reste la dispersion des effets réels.

rel, rel_se = ok.relative.to_numpy(), (ok.se / ok.mean_c).to_numpy()
tau_past = float(np.sqrt(np.var(rel) - np.mean(rel_se ** 2)))
print(f"spread of the estimates {np.std(rel):.2%}, of the noise {np.sqrt(np.mean(rel_se ** 2)):.2%}: tau {tau_past:.2%}")
for name, tau in [("tau 5%", 0.05), ("tau from past tests", tau_past)]:
s = all_stops(m1, ok, tau)
seq = s[s.seq_day.notna()]
print(f"{name}: {len(seq)} calls, median day {seq.seq_day.median()}, "
f"{int((seq.end_day - seq.seq_day).sum())} test-days saved")
spread of the estimates 0.70%, of the noise 0.38%: tau 0.59%
tau 5%: 15 calls, median day 5.0, 484 test-days saved
tau from past tests: 18 calls, median day 7.0, 580 test-days saved

Ce que cela nous apprend. Le carré de 0,70 % moins le carré de 0,38 % donne le carré de 0,59 % : la taille typique d’un effet réel. Avec ce tau, le test séquentiel tranche 18 comparaisons plutôt que 15, au jour médian 7 plutôt qu’au jour 43. Pour ces 18 comparaisons, cela libère 580 jours de test pour d’autres tests. Une équipe obtient ce gain quand elle tire tau de son propre journal des tests.

Parmi les 18 décisions séquentielles, deux se terminent sans effet clair. L’une d’elles, 162a38, s’est arrêtée au jour 38. La fiche du jeu de données signale ce test et ce jour : la moyenne du groupe traité bondit, probablement à cause de données de suivi perdues.

  • Variation
  • Intervalle à 95 %
Expérience 162a38 à partir du jour 30, toutes les 12 heures. Au jour 38, la variation bondit à +0,57 % (p = 0,00003). À l'observation suivante, elle revient à −0,04 %. Des données de suivi perdues sont la cause probable.
Description textuelle du graphique

Un graphique linéaire du jour 30 au jour 42, avec un point toutes les 12 heures. La variation reste entre environ −0,08 % et 0 %, dans un intervalle d’environ −0,3 % à +0,25 %. Au jour 38, un point bondit à +0,57 %, avec un intervalle de +0,30 % à +0,83 %. Au jour 38,5, il revient à −0,04 %.

L’intervalle toujours valide conserve une intersection cumulative : dès qu’une valeur en sort, elle reste exclue. Une seule observation erronée suffit donc à trancher, pour toujours. Un test séquentiel vous protège du hasard. Il ne vous protège pas des données erronées.

La correction coûte peu. Confirmez l’arrêt : arrêtez seulement si la valeur p toujours valide de l’observation est inférieure à 0,05 lors de deux observations consécutives. Un effet réel persiste; un problème passager disparaît. La règle est plus stricte, donc elle ne peut pas ajouter de faux gagnants. Elle coûte un jour. Le carnet (notebook) Jupyter conserve les arrêts avec tau tiré des tests passés dans paths_past. La fonction stops() calcule déjà l’arrêt confirmé sous le nom conf_day.

conf = paths_past[paths_past.conf_day.notna()]
agree = ((conf.conf_sign == "up") & (conf.decision == "ship")) | ((conf.conf_sign == "down") & (conf.decision == "do not ship"))
print("confirmed early stops:", len(conf), "| same answer as the planned look:", int(agree.sum()),
"| median day:", conf.conf_day.median())
confirmed early stops: 17 | same answer as the planned look: 16 | median day: 8.0

Ce que cela nous apprend. Le problème passager a disparu. Seize des 17 arrêts anticipés concordent avec l’observation prévue. Celui qui ne concorde pas, 54a85a variante 2, est l’autre test que la fiche signale. Son groupe traité progresse plus vite que son groupe témoin au fil du temps. Il pourrait s’agir d’un effet de primauté, l’inverse de l’effet de nouveauté : les utilisateurs avaient besoin de temps pour s’habituer au changement. Au début du test, le changement semblait nuisible : −1,2 % au jour 8. À la fin, il était de −0,23 %, avec p = 0,085. Aucune règle d’arrêt ne peut prévoir qu’un effet changera plus tard. C’est pourquoi un plan fixe une durée minimale d’une ou deux semaines complètes.

Erreur courante

« Le test séquentiel est toujours sûr »

Symptôme : le test séquentiel arrête l’expérience 162a38 au jour 38 avec un « gagnant ». À la fin prévue, la variation est de −0,02 %, p = 0,90.

Cause : une observation contenait des données erronées. La promesse du test couvre le hasard, pas un journal défectueux. Son intersection cumulative conserve l’observation erronée pour toujours.

Correction : confirmez chaque arrêt anticipé avec une deuxième observation. Vérifiez les données qui le justifient : les effectifs et les moyennes des deux groupes à cette observation et à la suivante.

Une comparaison équitable : des tests A/A reconstruits

Section intitulée « Une comparaison équitable : des tests A/A reconstruits »

Quelle règle Mateo devrait-il inscrire dans les plans? Compter les décisions sur les tests réels ne répond pas à cette question. Les regards répétés (peeking) produisent le plus de décisions, et personne ne sait lesquelles sont fausses. Il nous faut une mesure où la vérité est connue.

Pensez à un détecteur de fumée. Vous ne pouvez pas le juger seulement par les incendies qu’il détecte. Vous devez aussi compter combien de fois il sonne sans incendie. Vous le testez donc souvent sans incendie.

Pour les tests, « sans incendie » correspond à un test A/A : les deux groupes reçoivent la même version, donc chaque gagnant est faux. Nous ne pouvons pas refaire les tests d’ASOS comme tests A/A. Mais les observations et les erreurs types d’un test suffisent pour en reconstruire un. Sans effet, la différence d’un test évolue comme une marche aléatoire. Chaque observation ajoute un pas aléatoire. La taille du pas dépend de la diminution de l’erreur type depuis l’observation précédente.

Nous reconstruisons donc chacune des 80 comparaisons 1 000 fois, avec ses propres observations et erreurs types, sans effet. Puis nous comptons combien de fois chaque règle désigne un gagnant ou un perdant. Chaque règle voit les mêmes 80 000 tests A/A : une seule mesure pour toutes.

Prédisez. Quelles règles resteront sous 5 % de faux gagnants?

rng = np.random.default_rng(40)
rates = {}
for e, v in ok[KEY].itertuples(index=False):
looks = daily_looks(m1[(m1.experiment_id == e) & (m1.variant_id == v)])
calls = aa_versions(looks.se.to_numpy(), looks.mean_c.iloc[-1], tau_past, 1000, rng)
for rule, called in calls.items():
rates.setdefault(rule, []).append(called.mean())
aa = pd.Series({rule: np.mean(r) for rule, r in rates.items()}).round(3)
print(aa.to_string())
one planned look 0.051
peeking every day 0.175
sequential, tau 5% 0.004
sequential, tau from past tests 0.010
confirmed sequential 0.006
confirmed early stop, else planned look 0.052
  • Regards répétés
  • Observation prévue et combinaison
  • Tests séquentiels
Six règles d'arrêt. En haut : 80 000 tests A/A reconstruits, 1 000 par comparaison, chacun avec ses propres observations et erreurs types, sans effet. Les regards répétés désignent un faux gagnant ou perdant dans 17,5 % des cas, l'observation prévue dans 5,1 %, les tests séquentiels dans moins de 1 %. En bas : sur les 80 comparaisons réelles, les regards répétés en tranchent 35, mais 14 se terminent sans effet clair.
Description textuelle du graphique

Deux panneaux avec les mêmes six lignes. Faux gagnants dans les tests A/A reconstruits : regards répétés chaque jour 17,5 %; une observation prévue 5,1 %; test séquentiel avec tau de 5 % 0,4 %; test séquentiel avec tau tiré des tests passés 1,0 %; test séquentiel confirmé 0,6 %; arrêt anticipé confirmé, sinon observation prévue, 5,2 %. Une ligne marque les 5 % promis. Comparaisons réelles tranchées, sur 80 : regards répétés 35; observation prévue 21; test séquentiel avec tau de 5 % 15; test séquentiel avec tau tiré des tests passés 18; test séquentiel confirmé 17; arrêt anticipé confirmé, sinon observation prévue, 22.

Ce que cela nous apprend. Lisez les deux panneaux ensemble :

  • Les regards répétés échouent. Ils désignent un gagnant ou un perdant dans 17,5 % des tests sans effet : trois fois et demie le taux promis. C’est moins que les 27,6 % simulés dans le cours. Ces tests ont moins d’observations en moyenne, et la première contient déjà beaucoup d’information (une médiane de 36 %). Avec 40 observations ou plus, le taux atteint 19,7 %.
  • L’observation prévue tient sa promesse. Une seule observation donne exactement 5 % en théorie; 5,1 % correspond à ce taux plus le bruit de la simulation. Elle tranche 21 comparaisons, mais seulement après une médiane de 43 jours.
  • Les tests séquentiels sont très sûrs et un peu moins puissants. Ils restent sous 1 %. Ils tranchent de 15 à 18 comparaisons, la plupart dans la première ou les deux premières semaines.
  • La combinaison arrête tôt seulement avec le test séquentiel confirmé, et tranche sinon à l’observation prévue. Elle tranche 22 comparaisons, dont 17 tôt, pour 5,2 % de faux gagnants : environ 0,1 point de plus que l’observation prévue seule.

Le plan disait : choisir la règle qui reste à 5 % ou moins et tranche le plus de comparaisons. Selon ce critère, l’observation prévue gagne, de justesse. La combinaison tranche une comparaison de plus et économise des semaines, pour environ 0,1 point de faux gagnants supplémentaire. Et Priya l’a ajoutée après avoir vu le problème de données. Une règle choisie après avoir examiné les données doit faire ses preuves sur de nouvelles données. Les données mises de côté servent à cela.

Priya écrit à Mateo en mots simples, pour chaque plan de test de Larkfield :

  • N’arrêtez jamais au premier p < 0,05. Sur ces tests réels, les regards répétés désignent un faux gagnant dans environ 17,5 % des tests sans effet. Quatorze de leurs 35 décisions n’ont pas tenu.
  • Prévoyez une durée fixe et tranchez à la fin. Fixez un minimum d’une ou deux semaines complètes, pour les effets de nouveauté et de primauté.
  • Autorisez un seul arrêt anticipé : le test séquentiel confirmé. Tirez tau des tests passés de l’équipe, pas d’une valeur par défaut. Arrêtez seulement quand deux observations consécutives concordent, et vérifiez les données de ces observations.
  • Vérifiez d’abord la répartition et inscrivez la répartition prévue dans le plan. Huit de ces 90 comparaisons n’ont pas pu être vérifiées. Leur répartition prévue n’était inscrite nulle part.
  • Évaluez le nombre de gagnants de l’année en tenant compte du hasard. Inscrivez le nombre selon Benjamini–Hochberg dans le journal des tests, à côté du nombre brut.
Un processus en quatre étapes. Un test se déroule et fournit chaque jour les utilisateurs, la moyenne et la variance des deux groupes. Étape 1, vérification de la répartition : proportion proche de 50 % et p d'au moins 0,001? Si non, un encadré rouge : aucune décision; en cas de déséquilibre, trouver la cause; pour une autre répartition, demander le plan. Si oui, étape 2, chaque jour : le test séquentiel confirmé, p toujours valide inférieur à 0,05 lors de deux observations consécutives? Si oui, un encadré vert : arrêter tôt, mettre en production ou non. Si pas encore, attendre le jour prévu, étape 3 : l'intervalle à 95 %; un encadré orange indique au-dessus de 0, mettre en production; sous 0, ne pas mettre en production; contient 0, aucun effet clair. Étape 4 : le journal des tests compte les gagnants en tenant compte du hasard avec Benjamini–Hochberg. Un encadré rouge en pointillés : ne jamais arrêter au premier jour avec p inférieur à 0,05.
La vérification complète que Priya recommande. La vérification de la répartition vient d'abord. Le test séquentiel confirmé est le seul arrêt anticipé. Tout le reste attend le jour prévu.

Les données ne contiennent aucun montant, et personne ne sait ce que mesure la mesure 1. Priya compte donc en jours de test et en faux gagnants.

  • Gain : sur les tests passés, les arrêts anticipés confirmés ont libéré 530 jours de test : environ 31 jours pour chacun des 17. Une boutique qui ne peut exécuter qu’un nombre limité de tests à la fois récupère ces jours pour de nouveaux tests.
  • Coût des regards répétés : dans 100 tests où environ 75 changements ne font rien, les regards répétés produisent environ 75 × (17,5 % − 5,1 %) ≈ 9 faux gagnants de plus que le plan. Priya suppose qu’un changement sans effet coûte quand même deux semaines de travail de développement pour le créer, le maintenir et le retirer plus tard. C’est une hypothèse, pas un résultat des données. À ce prix, les regards répétés gaspillent environ 18 semaines de travail de développement par 100 tests. Les hypothèses financières du cours (26 dollars de marge par commande) sont celles de Larkfield. Elles ne conviennent pas à une mesure dont le sens est inconnu.

La vérification complète sur de nouvelles données d’entrée

Section intitulée « La vérification complète sur de nouvelles données d’entrée »

La règle a été choisie sur 70 expériences. Maintenant, elle s’exécute une fois sur les 8 mises de côté. review() effectue chaque étape pour les nouveaux tests :

new = tests[tests.experiment_id.isin(holdout)]
result = review(new, tau_past)
print(result.to_string(index=False))
experiment_id variant_id users treatment share change at the end p at the end verdict decided on day planned length (days)
530a76 1 112933005 0.4998 +0.07% 0.4766 no decision (mismatch) NaN 54.0
834947 1 30113549 0.4995 -0.01% 0.9658 no decision (mismatch) NaN 43.5
8b436e 1 66803872 0.4999 +0.16% 0.1405 no clear effect 45.5 45.5
9ed9d5 1 8597234 0.4998 +0.34% 0.0158 ship (early) 6.0 30.5
adea31 1 99468529 0.5000 -0.17% 0.0827 no clear effect 84.5 84.5
adea31 2 99465130 0.5000 -0.10% 0.3281 no clear effect 84.5 84.5
b8a409 1 3251862 0.4998 +0.39% 0.0431 ship 64.5 64.5
bac0d3 1 5495175 0.5000 -0.08% 0.5670 no clear effect 35.0 35.0
e4c4a1 1 5875066 0.4999 -0.84% 0.0000 do not ship (early) 9.0 36.0
  • Mettre en production
  • Ne pas mettre en production
  • Aucun effet clair
Les 7 comparaisons mises de côté avec une bonne répartition, à leur fin prévue. Deux intervalles sont au-dessus de 0 (mettre en production), un est sous 0 (ne pas mettre en production), et quatre contiennent 0.
Description textuelle du graphique

Un graphique d’intervalles avec sept lignes, en pourcentage de la moyenne du groupe témoin. 8b436e variante 1 : +0,16 %, de −0,05 % à +0,38 %. 9ed9d5 variante 1 : +0,34 %, de +0,06 % à +0,61 %. adea31 variante 1 : −0,17 %, de −0,37 % à +0,02 %. adea31 variante 2 : −0,10 %, de −0,29 % à +0,10 %. b8a409 variante 1 : +0,39 %, de +0,01 % à +0,78 %. bac0d3 variante 1 : −0,08 %, de −0,35 % à +0,19 %. e4c4a1 variante 1 : −0,84 %, de −1,17 % à −0,50 %. Une ligne verticale marque l’absence d’effet.

Ce que cela nous apprend. La règle a fonctionné sur de nouveaux tests :

  • La vérification de la répartition a détecté deux déséquilibres. 530a76 compte 113 millions d’utilisateurs et une proportion de 49,98 % dans le groupe traité. L’écart est minuscule, mais avec autant d’utilisateurs, ce n’est pas le hasard (p = 0,0006). L’équipe doit trouver les utilisateurs manquants avant de lire le résultat.
  • Les deux arrêts anticipés concordent avec la fin. 9ed9d5 a été mis en production au jour 6 plutôt qu’au jour 30,5. e4c4a1 s’est arrêté au jour 9 plutôt qu’au jour 36. Les deux intervalles de fin prévue concordent. Ensemble, les deux arrêts ont libéré 51,5 jours de test.
  • b8a409 a attendu la fin prévue et a alors été mis en production, avec p = 0,043. Le test séquentiel n’était pas assez certain pour l’arrêter tôt : un effet réel proche du seuil exige le test complet.
  • Les regards répétés auraient eu tort deux fois. Ils auraient arrêté bac0d3 au jour 1 et adea31 variante 1 au jour 10,5. Les deux se terminent sans effet clair.
  • Il n’y a aucune vérité connue pour vérifier les résultats. Contrairement au simulateur de Larkfield, personne ne connaît ces effets réels. Les tests A/A reconstruits vérifient les règles, pas un résultat individuel. Ils supposent que la différence d’un test évolue comme une marche aléatoire.
  • Les données respectent imparfaitement les hypothèses. La mesure 1 compte tout l’historique de chaque utilisateur, donc une nouvelle observation n’est pas un nouvel échantillon indépendant. Certaines erreurs types augmentent même entre les observations. La promesse du test séquentiel ne tient qu’approximativement ici, comme pour le revenu par client dans Regards répétés.
  • Ce que nous n’avons pas pu faire. Il n’y a aucune ligne par utilisateur, donc pas de CUPED, de segments ou de bootstrap. Nous ne connaissons ni les mesures, ni les durées prévues, ni les répartitions prévues. L’« observation prévue » est la dernière ligne, et l’équipe a peut-être elle-même arrêté certains tests tôt.
  • Ce qu’une évaluation équitable exigerait. D’abord, le plan de chaque test, avec sa durée, sa répartition et sa mesure, rédigé avant le début. Ensuite, des données par utilisateur, pour CUPED et les segments. Enfin, de vrais tests A/A sur la même plateforme, pour vérifier les tests reconstruits.
  • Les gagnants exagèrent. Les 21 comparaisons tranchées sont celles que le hasard a aidées à franchir le seuil. Leurs estimations sont probablement un peu trop grandes, comme dans Les expériences comme habitude d’équipe.
  • Ne tirez aucune conclusion sur ASOS. La fiche indique que ces résultats ne représentent ni les activités d’ASOS ni son programme de tests. Ce sont 78 tests, choisis et anonymisés pour la recherche.
  • Les données ne contiennent aucune personne : gardez-les ainsi. Chaque ligne regroupe au moins cent mille utilisateurs. N’essayez pas de relier les expériences anonymes à des changements réels sur le site de la boutique.
  • Citez la source. CC BY 4.0 exige une attribution. Utilisez le texte d’attribution de l’encadré ci-dessus, avec un lien vers la licence, partout où vous présentez les données ou leurs résultats.
  • Les règles servent à l’équipe, pas à blâmer. Un journal des tests qui compte les faux gagnants sert à améliorer les règles. Ne l’utilisez pas pour juger une personne dont le test n’a rien montré. La plupart des tests ne montrent rien.

Cette étude de cas montre à un employeur que vous pouvez travailler avec des données de tests réels et trouver leurs problèmes. Elle montre aussi que vous pouvez transformer l’analyse en règles pour une équipe. Personnalisez-la avec un changement, comme la mesure 4 ou des observations hebdomadaires. Rendez-la ensuite publique et facile à lire en cinq minutes.

Quoi mettre dans le dépôt :

  • README.md, la page que les gens lisent d’abord (modèle ci-dessous).
  • Le carnet, exécuté du début à la fin, avec ses sorties.
  • PLAN.md : le plan de « Le plan avant le résultat », et le changement consigné à la vérification de la répartition, avec sa raison.
  • rules.csv : le taux de faux gagnants de chaque règle dans les tests A/A reconstruits, et ses décisions sur les tests réels.
  • holdout.csv : la sortie de review() sur les 8 expériences mises de côté.
  • La source et la licence des données, avec le texte d’attribution ci-dessus. CC BY 4.0 autorise une copie avec attribution, mais un lien et la somme de contrôle suffisent.

Un modèle de README :

# Real tests at an online shop: when may a test stop?
## Problem
A team wants to stop tests early when they win. Which stopping rule keeps
false winners at 5%, and how many of a year's winners are luck?
## Data and licence
ASOS Digital Experiments Dataset (Liu, Cardoso, Couturier and McCoy, 2021),
78 experiments, 99 comparisons, daily cumulative counts, means and variances,
https://osf.io/64jsb/, CC BY 4.0. Decided on metric 1; 8 empty rows dropped.
## Approach
Plan written first; 8 experiments held out. Split check (8 not checkable,
2 mismatches). 95% interval at the last look. Peeking, the mSPRT with tau
from past tests, and a confirmed mSPRT, replayed day by day. Rules compared
on 80,000 A/A tests rebuilt from each test's own looks and standard errors.
## Results
Peeking: 17.5% false winners, 35 calls (14 not supported at the end).
Planned look: 5.1%, 21 decisions. Confirmed early stop, else planned look:
5.2%, 22 decisions, 17 early. About 75% of changes did nothing; about 3 of
21 decisions are expected to be luck.
## Limits
No truth, no per-user data, no plans; cumulative metric; the rebuilt A/A
tests assume a random walk.

Comment le décrire en entrevue, en deux phrases : « J’ai réexécuté 78 expériences réelles en ligne, jour par jour : arrêter au premier résultat significatif produisait trois fois et demie le taux de faux gagnants promis. J’ai recommandé une durée fixe avec un seul arrêt anticipé autorisé, un test séquentiel confirmé, qui concordait avec les tests complets sur les données mises de côté et économisait des semaines. »

Allez plus loin :

  • Tranchez pour la mesure 4 (un montant à distribution asymétrique), et comparez sa proportion de tests sans effet à celle de la mesure 1. Prédisez d’abord.
  • Essayez des observations hebdomadaires pour la règle des regards répétés, et comparez son taux A/A reconstruit à celui des observations quotidiennes.
  • Faites de la répartition prévue une entrée de split_check(), et testez eeefa3 variante 3 avec une répartition de 2 : 1.

Vérifiez votre compréhension

Les regards répétés ont arrêté 35 des 80 comparaisons réelles, et l'observation prévue n'en a tranché que 21. Tomás dit : « Les regards répétés trouvent plus d'effets. » Que répondez-vous?

Afficher la réponse

Les regards répétés (peeking) n’ont pas trouvé de nouveaux effets réels. Leurs 35 décisions comprennent les 21 décisions de l’observation prévue, avec le même signe. Ils ajoutent 14 décisions qui aboutissent à une absence d’effet clair. Plus de décisions ne signifie pas plus de découvertes. Sur les tests A/A reconstruits, où rien ne fonctionne, les regards répétés désignent un gagnant ou un perdant dans 17,5 % des cas. L’observation prévue le fait dans 5,1 % des cas. Ces décisions supplémentaires correspondent donc à ce qu’on attend d’une règle qui produit de faux gagnants. Si l’équipe a besoin d’arrêts précoces, le test séquentiel confirmé les permet, avec moins de 1 % de faux gagnants.

Vérifiez votre compréhension

Huit comparaisons avaient des proportions de traitement comme 2,99 %, 66,64 % et 49,25 %, loin de 50 %. Pourquoi Priya n'a-t-elle pris aucune décision, plutôt que de parler de déséquilibres de répartition?

Afficher la réponse

Une vérification de la répartition compare les nombres aux proportions prévues, et ces plans ne sont pas publiés. Chaque proportion reste la même à la première et à la dernière observation, selon un rapport simple comme 2 : 1 ou 33 : 34. Un bogue produit rarement ce résultat; une répartition inégale prévue le fait. Comparées à 50 %, elles échoueraient toutes, mais ce test pose la mauvaise question. Sans le plan, on ne peut pas vérifier la répartition. La réponse honnête est donc « aucune décision : demander les proportions prévues ». Pour Larkfield, la leçon est d’inscrire les proportions dans chaque plan.

Vérifiez votre compréhension

Le test séquentiel a arrêté l'expérience 162a38 au jour 38, mais le test complet ne montre aucun effet. Le test séquentiel promet au plus 5 % de faux gagnants. A-t-il rompu sa promesse?

Afficher la réponse

Non. Sa promesse concerne le hasard : avec des données correctes et aucun effet, il désigne un faux gagnant dans au plus 5 % des cas. Ici, ce taux est inférieur à 1 %. Au jour 38, les données étaient erronées. La moyenne du groupe traité a bondi, puis est redescendue à l’observation suivante, probablement à cause de données de suivi perdues. Un test ne peut pas vous protéger d’un journal défectueux. L’intervalle toujours valide conserve l’intersection des intervalles successifs, donc une seule observation erronée fixe la décision pour toujours. La solution est de confirmer un arrêt précoce à une deuxième observation et de vérifier les données qui le justifient.

Récapitulatif

  • Vous avez d’abord écrit le plan et mis de côté 8 expériences. La vérification de la répartition a trouvé 2 déséquilibres et 8 répartitions impossibles à vérifier sans le plan.
  • Les effets réels étaient minuscules (une médiane de 0,18 %). Environ 75 % des changements n’ont probablement rien fait. On s’attend à ce qu’environ 3 des 21 décisions soient dues au hasard.
  • Les regards répétés ont arrêté 35 tests; 14 de ces décisions n’ont pas tenu. Sur les tests A/A reconstruits, ils ont produit 17,5 % de faux gagnants.
  • Un test séquentiel utilisant le tau des tests passés, confirmé à deux observations, a détecté tôt la plupart des effets réels. Sur les tests mis de côté, ses décisions correspondaient aux tests complets, et il a libéré 51,5 jours de test.

Ensuite, la dernière étude de cas : un changement que personne n’a réparti au hasard. Nous analysons une hausse du salaire minimum par la différence des différences, avec des données publiques sur l’emploi.

Leçon suivante : Un salaire minimum sans test