Effets de nouveauté et d'apprentissage
- Leçon 15
- 30 min
- Module 4 : Les pièges des vrais tests
Où nous en sommes
Nous pouvons maintenant limiter les faux gagnants au fil du temps et parmi les mesures. Certains effets sont réels, mais ne durent pas. Dans cette leçon, nous examinons un nouveau composant qui gagne pendant deux semaines, puis perd. Nous mesurons l'effet par semaine et depuis la première exposition.
Leçon 15 sur 30 · Expériences et impact causal : notre changement a-t-il fonctionné?Effets de nouveauté et d'apprentissage
1. Pourquoi « ça a monté » n'est pas une réponse
2. Concevoir un test A/B
3. Analyser le test
4. Les pièges des vrais tests
5. Quand la répartition aléatoire est impossible : les expériences naturelles
6. Ajuster pour les facteurs de confusion dans des données d'observation
7. Le gain incrémental : à qui appliquer le traitement?
8. Les expériences pour les fonctions d'IA et en production
Ce que vous saurez faire
Distinguez un effet durable d’un effet qui s’essouffle. Un changement peut gagner parce qu’il est nouveau, puis perdre quand les clients s’y habituent. Examinez l’effet par semaine depuis que chaque client a vu le changement pour la première fois. Vous verrez ainsi où il va.
Carnet JupyterFaites cette leçon dans un carnet Jupyter
Dans le carnet (notebook) Jupyter, vous simulez un test de 6 semaines d’un composant qui gagne au début, puis perd. Vous calculez l’effet par semaine du calendrier et par semaine depuis la première visite, puis comparez les deux à la réalité. Ses cellules de préparation installent les paquets. Aucune préparation locale n’est donc nécessaire. Environ 25 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Les regards répétés (peeking), dans Regards répétés.
- L’effet dans les segments, dans Segments et effets différents.
- Pourquoi un test a une durée prévue, dans Taille d’échantillon et puissance.
Ce qu’il vous faut sur votre ordinateur (seulement pour les étapes du projet)
- Le projet
larkfield-experimentsà l’instantanéend-of-m04, dans Regards répétés, avec.venvactif.
Testé sur macOS avec Python 3.12 et l’instantané end-of-m04 du projet. Windows n’a pas été testé.
Un nouveau panneau de menu au café
Section intitulée « Un nouveau panneau de menu au café »Un café installe un grand panneau de menu coloré. La première semaine, les clients s’arrêtent pour le lire. Plusieurs essaient une nouvelle boisson. Les ventes augmentent. La troisième semaine, les habitués ne le regardent plus. Ils commandent leur café habituel, et la longue file devant le panneau ralentit tout le monde. Les ventes sont maintenant un peu plus faibles qu’avant.
Si le propriétaire avait évalué le panneau après une semaine, il le garderait. Après deux mois, il l’enlèverait. Le panneau n’a pas changé. Les clients ont changé : le panneau était nouveau, puis il ne l’était plus.
Deux effets qui changent avec le temps
Section intitulée « Deux effets qui changent avec le temps »Un effet de nouveauté est une réaction à quelque chose parce que c’est nouveau. Il est fort au début et s’estompe à mesure que les gens s’y habituent. Le panneau du café produit un effet de nouveauté.
Un effet d’apprentissage évolue dans l’autre sens. Les gens ont besoin de temps pour apprendre quelque chose de nouveau. L’effet commence donc faible, ou même négatif, puis augmente. Un nouveau parcours de paiement peut agacer les clients la première semaine (ils cherchent l’ancien bouton), puis les aider un mois plus tard. Ce rejet de tout changement pendant les premières semaines s’appelle aussi aversion au changement.
Les deux posent le même problème : l’effet des premières semaines du test n’est pas celui qui suit le lancement. Les outils pour les observer sont aussi les mêmes.
Le problème : un composant qui gagne, puis perd
Section intitulée « Le problème : un composant qui gagne, puis perd »TermeLarkfieldUne boutique en ligne canadienne inventée, qui vend des articles pour la maison et le jardin. Ce n’est pas une vraie entreprise. Tous les cours Nextia utilisent son service d’assistance et ses données comme exemple.En savoir plus Découvrez Larkfield a testé un nouveau composant « achetés ensemble » sur la page de produit pendant 6 semaines. Le simulateur propose ce test comme scénario. Son effet de nouveauté est un problème d’exercice que nous avons créé exprès. Le composant augmente la probabilité de commander pendant les premiers jours où un client le voit. Plus tard, il réduit cette probabilité.
-
Exécutez le test du composant.
Fenêtre de terminal sim run --scenario noveltyScenario novelty (seed 40): A new 'bought together' widget, 6 weeks: it wins at first, then loses (planted novelty effect).Wrote runs/novelty-s40: customers (75,291 rows), visits (326,517 rows). Synthetic data. 8.2 s -
Analysez le test complet et comparez-le à la réalité.
Fenêtre de terminal xp analysexp checkRun novelty-s40 (synthetic): A new 'bought together' widget, 6 weeks: it wins at first, then loses (planted novelty effect).Metric: revenue. A: 37,425 customers, mean 34.3121. B: 37,866 customers, mean 34.6506.difference +0.3384 (+1.0%), 95% interval -0.9879 to +1.6648, p = 0.617 (Welch t-test)Saved to runs/novelty-s40/analysis.json. Compare with the true effect: xp checkRun novelty-s40: the last analysis was `xp analyse`.True effect (from the simulator): +0.2754 dollars per customer.Your estimate: +0.3384, 95% interval -0.9879 to +1.6648: the interval contains the true effect.
Sur 6 semaines, le composant ajoute +0,34 $ par client, et l’effet réel est de +0,28 $. L’estimation est honnête : sur 100 graines (seeds), son TermeIntervalle de confianceUne plage autour d’une valeur mesurée, obtenue par une méthode qui contient la vraie valeur 95 fois sur 100. Si l’intervalle d’une différence ne contient pas zéro, la différence n’est probablement pas due au hasard.En savoir plus Estimer l'incertitudeMathématiques et statistiques essentielles pour l'IA contenait l’effet réel dans 94 % des exécutions. Mais c’est l’effet de ces 6 semaines. Il mélange les bonnes premières semaines et les mauvaises semaines suivantes. Il ne dit pas ce que fait le composant au troisième mois.
L’effet semaine par semaine
Section intitulée « L’effet semaine par semaine »xp weekly divise le test par semaine, de deux façons. La première est la semaine du calendrier du test : la semaine 1 va du 8 au 14 septembre. La deuxième est la semaine depuis la première visite. La semaine 1 correspond à la première semaine de chaque client avec le composant, peu importe quand elle commence.
xp weeklyRevenue per visit, B − A, by calendar week: 1: +11.7% (+0.359 to +1.486) +####################### 2: +10.9% (+0.272 to +1.380) +##################### 3: +2.3% (-0.369 to +0.731) +#### 4: -3.3% (-0.787 to +0.277) -###### 5: -9.1% (-1.295 to -0.227) -################## 6: -2.4% (-0.720 to +0.339) -####Revenue per visit, B − A, by week since first visit: 1: +8.4% (+0.253 to +0.982) +################ 2: +3.9% (-0.268 to +0.878) +####### 3: +0.5% (-0.534 to +0.619) +# 4: -7.7% (-1.256 to -0.053) -############### 5: -7.1% (-1.249 to +0.024) -############## 6: +0.6% (-0.772 to +0.871) +#Les nombres entre parenthèses sont des intervalles à 95 % de la différence en dollars par visite. Une équipe qui s’arrêterait après deux semaines annoncerait « +11 % ». Entre les semaines 4 et 6, le composant fait perdre de l’argent.
Pourquoi les semaines du calendrier sont trompeuses
Section intitulée « Pourquoi les semaines du calendrier sont trompeuses »Dans la semaine 1 du calendrier, tous les clients découvrent le composant : personne ne l’avait vu avant le début du test. En semaine 2, certains clients sont dans leur première semaine, et d’autres dans leur deuxième. En semaine 6, la plupart des visites viennent de clients qui connaissent bien le composant.
La courbe du calendrier mélange donc deux choses : l’évolution de l’effet pour un client et les clients présents cette semaine-là. La courbe par semaine depuis la première visite compare les clients à la même étape. Elle montre l’évolution de l’effet pour un client, et sa fin montre où l’effet va.
Le simulateur connaît l’effet réel par semaine depuis la première visite. Le graphique réunit les deux estimations et l’effet réel.
- Estimation par semaine du calendrier
- Estimation par semaine depuis la première visite
- Effet réel par semaine depuis la première visite (simulateur)
Description textuelle du graphique
Un graphique à courbes des semaines 1 à 6, de −12 % à +15 %. L’effet réel par semaine depuis la première visite : +6,7 %, −0,7 %, −2,1 %, −3,2 %, −2,6 %, −2,5 %. L’estimation par semaine depuis la première visite : +8,4 %, +3,9 %, +0,5 %, −7,7 %, −7,1 %, +0,6 %. L’estimation par semaine du calendrier : +11,7 %, +10,9 %, +2,3 %, −3,3 %, −9,1 %, −2,4 %. Les deux estimations fluctuent autour de l’effet réel; leurs intervalles à 95 % ont une largeur de 10 à 20 points.
Comparez vos estimations à l’effet réel :
xp checkRun novelty-s40: the last analysis was `xp weekly`.Week since first visit: your estimate against the true effect (revenue per visit): 1: yours +8.4%, true +6.7% 2: yours +3.9%, true -0.7% 3: yours +0.5%, true -2.1% 4: yours -7.7%, true -3.2% 5: yours -7.1%, true -2.6% 6: yours +0.6%, true -2.5%Chaque estimation hebdomadaire est bruitée : son intervalle a une largeur de 10 à 20 points. Regardez la direction sur plusieurs semaines, pas le nombre d’une seule semaine. Ici, la direction est claire : positive en semaine 1, négative à partir de la semaine 3. L’effet à long terme est d’environ −2,5 % du revenu par visite.
Que faire
Section intitulée « Que faire »Hana, responsable du marchandisage, demande : « Alors, combien de temps doit durer un test? » Il n’y a pas de réponse unique, mais il y a quatre habitudes à prendre.
- Testez des semaines complètes, au-delà de la durée nécessaire pour la puissance. Deux semaines ne suffisent pas pour voir une nouveauté s’estomper. Pour un changement visible, prévoyez de trois à six semaines.
- Examinez l’effet par semaine depuis la première exposition.
xp weeklyfournit ce tableau. Si l’effet baisse semaine après semaine, les dernières semaines donnent la meilleure estimation de l’avenir. - Examinez les nouveaux clients. Ils n’ont jamais connu l’ancienne page. Ils ne montrent donc aucune aversion au changement et sont moins surpris par la nouvelle page. Leur effet se rapproche davantage de l’effet à long terme pour les futurs clients. Mais ils ne représentent qu’une partie de la clientèle.
- Gardez un groupe de contrôle permanent après le lancement. Un groupe de contrôle permanent (holdout) est un petit groupe, par exemple 5 % des clients. Ces clients ne reçoivent pas le changement pendant quelques mois. Les comparer à tous les autres montre l’effet à long terme.
Chaque habitude a un coût. Les tests plus longs retardent chaque décision. Un groupe de contrôle permanent garde quelques clients sur l’ancienne version, et quelqu’un doit le surveiller. Utilisez ces habitudes pour les changements que les clients voient et utilisent à chaque visite, comme un composant ou une nouvelle disposition. Un changement que les clients ne remarquent pas, comme une page plus rapide, produit rarement un effet de nouveauté.
Exercice guidé : voir la courbe de nouveauté
Section intitulée « Exercice guidé : voir la courbe de nouveauté »- Ouvrez le carnet Jupyter dans l’encadré Faites cette leçon dans un carnet Jupyter en haut de cette page.
- Exécutez les cellules de préparation et la cellule d’aide.
- Dans la section 1, prédisez quand l’effet devient négatif. Affichez ensuite la courbe. Elle passe sous zéro vers le jour 7.
- Dans la section 2, simulez le test de 6 semaines. Vous voyez une petite estimation positive sur les 6 semaines.
- Dans la section 3, calculez l’effet par semaine du calendrier. La semaine 1 contient seulement des visites de première semaine.
- Dans la section 4, calculez le tableau par semaine depuis la première visite et la moyenne de l’effet réel des semaines 3 à 6.
- Exécutez la cellule de vérification. Elle affiche
Check passed(vérification réussie).
Afficher la réponse à l’étape 6
table = by("week_since_first")long_run = round(float(table.loc[3:6, "truth"].mean()), 3)print(table)print(long_run)L’effet réel est positif seulement en semaine 1 depuis la première visite. La moyenne des semaines 3 à 6 est l’effet à long terme : −0,026, soit environ −2,6 %.
À vous de jouer : quand l’effet change-t-il de signe?
Section intitulée « À vous de jouer : quand l’effet change-t-il de signe? »TermeOmarLe gestionnaire de produit de Larkfield. Il pose les questions d’affaires : ce qu’un changement coûte et ce qu’il apporte à la boutique. lit la sortie de xp weekly ci-dessus. Il demande : « Dans quelle semaine depuis la première visite l’estimation devient-elle négative pour la première fois? L’effet réel change-t-il de signe la même semaine? » Répondez à partir de la sortie, sans nouvelle exécution.
Afficher la réponse
L’estimation par semaine depuis la première visite est négative pour la première fois en semaine 4 (−7,7 %). L’effet réel est déjà négatif en semaine 2 (−0,7 %), et clairement en semaine 3 (−2,1 %). Les estimations des semaines 2 et 3 (+3,9 % et +0,5 %) dépassent l’effet réel à cause du bruit. Leurs intervalles contiennent l’effet réel. C’est pourquoi le nombre d’une seule semaine ne suffit pas. La tendance des semaines 1 à 4 montre la baisse tôt : +8,4 %, +3,9 %, +0,5 %, −7,7 %.
Erreur courante
« Il a gagné de 11 % en deux semaines »
Symptôme : l’équipe teste le composant pendant deux semaines et voit +11,7 % et +10,9 % sur le revenu par visite. Elle livre le composant. Trois mois plus tard, le revenu par visite est environ 2,5 % plus faible qu’avant le lancement.
Cause : un effet de nouveauté. Dans les deux premières semaines du calendrier, la plupart des visites viennent de clients qui découvrent le composant. Les nouveautés attirent les clics. L’effet s’estompe et devient négatif une fois que les clients s’y habituent. Un test de deux semaines mesure la nouveauté, pas le composant.
Correction : testez pendant plusieurs semaines et examinez l’effet par semaine depuis la première visite (xp weekly). S’il baisse semaine après semaine, fiez-vous aux dernières semaines. Après un lancement, gardez un petit groupe de contrôle permanent pour vérifier l’effet à long terme.
Vérifiez votre compréhension
Pourquoi chaque visite de la semaine 1 du calendrier est-elle aussi dans la première semaine du client avec le changement? Qu'est-ce que cela signifie pour la courbe par semaine du calendrier?
Afficher la réponse
Avant le début du test, personne n’avait vu le changement. Dans la semaine 1 du calendrier, chaque client est donc dans sa première semaine avec lui. Les semaines suivantes mélangent de nouveaux clients et des clients qui connaissent le changement. La courbe par semaine du calendrier montre donc l’évolution de l’effet pour un client et celle de la clientèle. La courbe par semaine depuis la première visite compare les clients à la même étape.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Un nouveau parcours de paiement montre −3 % sur les commandes dans la première semaine d'un client avec lui. Il montre −1 % la deuxième semaine, +1 % la troisième et +2 % la quatrième. De quel type d'effet s'agit-il, et que recommanderiez-vous?
Afficher la réponse
C’est un effet d’apprentissage, avec une aversion au changement au début. Les clients ont besoin de temps pour apprendre le nouveau parcours, puis il les aide. Un test court rejetterait un bon changement. Recommandez un test plus long : poursuivez-le jusqu’à ce que l’effet par semaine depuis la première exposition cesse de changer. Vérifiez aussi les nouveaux clients, qui n’ont aucune ancienne habitude à abandonner. Si les dernières semaines restent positives, le parcours est un bon changement.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Le test de 6 semaines du composant donne +0,34 $ par client. Son intervalle contient l'effet réel sur 6 semaines (+0,28 $). Hana dit : « L'intervalle est juste, donc le composant est bon. » Que manque-t-il?
Afficher la réponse
L’intervalle est honnête pour la moyenne sur 6 semaines. Mais cette moyenne mélange les premières semaines fortes et les semaines suivantes plus faibles. Après le lancement, la plupart des clients auront vu le composant depuis longtemps. L’effet à long terme compte donc. Par semaine depuis la première visite, l’effet réel se stabilise près de −2,5 % du revenu par visite. Le composant gagne au début, puis fait perdre de l’argent.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Un effet de nouveauté est fort au début et s’estompe. Un effet d’apprentissage commence faible et augmente; l’aversion au changement est le rejet de tout changement pendant les premières semaines.
- Le test du composant (un problème d’exercice créé exprès) montrait +11,7 % et +10,9 % dans ses deux premières semaines du calendrier. L’effet réel par semaine depuis la première visite était de +6,7 % en semaine 1, puis près de −2,5 %.
- La moyenne sur 6 semaines (+0,34 $ contre un effet réel de +0,28 $) est honnête pour ces 6 semaines. Ce n’est pas l’effet à long terme.
- Les semaines du calendrier sont trompeuses : la semaine 1 contient seulement des clients de première semaine. Examinez l’effet par semaine depuis la première exposition avec
xp weekly. - Testez pendant plusieurs semaines, examinez les nouveaux clients et gardez un groupe de contrôle permanent après le lancement.
Jusqu’ici, la version d’un client ne changeait pas le résultat d’un autre client. Ensuite, un test où elle le fait : le stock partagé.
Leçon suivante : Quand les unités s'influencent