Aller au contenu
English

Effets de nouveauté et d'apprentissage

  • Leçon 15
  • 30 min
  • Module 4 : Les pièges des vrais tests

Où nous en sommes

Nous pouvons maintenant limiter les faux gagnants au fil du temps et parmi les mesures. Certains effets sont réels, mais ne durent pas. Dans cette leçon, nous examinons un nouveau composant qui gagne pendant deux semaines, puis perd. Nous mesurons l'effet par semaine et depuis la première exposition.

Leçon 15 sur 30 · Expériences et impact causal : notre changement a-t-il fonctionné?Effets de nouveauté et d'apprentissage

Ce que vous saurez faire

Distinguez un effet durable d’un effet qui s’essouffle. Un changement peut gagner parce qu’il est nouveau, puis perdre quand les clients s’y habituent. Examinez l’effet par semaine depuis que chaque client a vu le changement pour la première fois. Vous verrez ainsi où il va.

Carnet JupyterFaites cette leçon dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Dans le carnet (notebook) Jupyter, vous simulez un test de 6 semaines d’un composant qui gagne au début, puis perd. Vous calculez l’effet par semaine du calendrier et par semaine depuis la première visite, puis comparez les deux à la réalité. Ses cellules de préparation installent les paquets. Aucune préparation locale n’est donc nécessaire. Environ 25 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 30 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur (seulement pour les étapes du projet)

  • Le projet larkfield-experiments à l’instantané end-of-m04, dans Regards répétés, avec .venv actif.

Testé sur macOS avec Python 3.12 et l’instantané end-of-m04 du projet. Windows n’a pas été testé.

Un café installe un grand panneau de menu coloré. La première semaine, les clients s’arrêtent pour le lire. Plusieurs essaient une nouvelle boisson. Les ventes augmentent. La troisième semaine, les habitués ne le regardent plus. Ils commandent leur café habituel, et la longue file devant le panneau ralentit tout le monde. Les ventes sont maintenant un peu plus faibles qu’avant.

Si le propriétaire avait évalué le panneau après une semaine, il le garderait. Après deux mois, il l’enlèverait. Le panneau n’a pas changé. Les clients ont changé : le panneau était nouveau, puis il ne l’était plus.

Un effet de nouveauté est une réaction à quelque chose parce que c’est nouveau. Il est fort au début et s’estompe à mesure que les gens s’y habituent. Le panneau du café produit un effet de nouveauté.

Un effet d’apprentissage évolue dans l’autre sens. Les gens ont besoin de temps pour apprendre quelque chose de nouveau. L’effet commence donc faible, ou même négatif, puis augmente. Un nouveau parcours de paiement peut agacer les clients la première semaine (ils cherchent l’ancien bouton), puis les aider un mois plus tard. Ce rejet de tout changement pendant les premières semaines s’appelle aussi aversion au changement.

Les deux posent le même problème : l’effet des premières semaines du test n’est pas celui qui suit le lancement. Les outils pour les observer sont aussi les mêmes.

TermeLarkfieldUne boutique en ligne canadienne inventée, qui vend des articles pour la maison et le jardin. Ce n’est pas une vraie entreprise. Tous les cours Nextia utilisent son service d’assistance et ses données comme exemple.En savoir plus Découvrez Larkfield a testé un nouveau composant « achetés ensemble » sur la page de produit pendant 6 semaines. Le simulateur propose ce test comme scénario. Son effet de nouveauté est un problème d’exercice que nous avons créé exprès. Le composant augmente la probabilité de commander pendant les premiers jours où un client le voit. Plus tard, il réduit cette probabilité.

  1. Exécutez le test du composant.

    Fenêtre de terminal
    sim run --scenario novelty
    Scenario novelty (seed 40): A new 'bought together' widget, 6 weeks: it wins at first, then loses (planted novelty effect).
    Wrote runs/novelty-s40: customers (75,291 rows), visits (326,517 rows). Synthetic data. 8.2 s
  2. Analysez le test complet et comparez-le à la réalité.

    Fenêtre de terminal
    xp analyse
    xp check
    Run novelty-s40 (synthetic): A new 'bought together' widget, 6 weeks: it wins at first, then loses (planted novelty effect).
    Metric: revenue. A: 37,425 customers, mean 34.3121. B: 37,866 customers, mean 34.6506.
    difference +0.3384 (+1.0%), 95% interval -0.9879 to +1.6648, p = 0.617 (Welch t-test)
    Saved to runs/novelty-s40/analysis.json. Compare with the true effect: xp check
    Run novelty-s40: the last analysis was `xp analyse`.
    True effect (from the simulator): +0.2754 dollars per customer.
    Your estimate: +0.3384, 95% interval -0.9879 to +1.6648: the interval contains the true effect.

Sur 6 semaines, le composant ajoute +0,34 $ par client, et l’effet réel est de +0,28 $. L’estimation est honnête : sur 100 graines (seeds), son TermeIntervalle de confianceUne plage autour d’une valeur mesurée, obtenue par une méthode qui contient la vraie valeur 95 fois sur 100. Si l’intervalle d’une différence ne contient pas zéro, la différence n’est probablement pas due au hasard.En savoir plus Estimer l'incertitudeMathématiques et statistiques essentielles pour l'IA contenait l’effet réel dans 94 % des exécutions. Mais c’est l’effet de ces 6 semaines. Il mélange les bonnes premières semaines et les mauvaises semaines suivantes. Il ne dit pas ce que fait le composant au troisième mois.

xp weekly divise le test par semaine, de deux façons. La première est la semaine du calendrier du test : la semaine 1 va du 8 au 14 septembre. La deuxième est la semaine depuis la première visite. La semaine 1 correspond à la première semaine de chaque client avec le composant, peu importe quand elle commence.

Fenêtre de terminal
xp weekly
Revenue per visit, B − A, by calendar week:
1: +11.7% (+0.359 to +1.486) +#######################
2: +10.9% (+0.272 to +1.380) +#####################
3: +2.3% (-0.369 to +0.731) +####
4: -3.3% (-0.787 to +0.277) -######
5: -9.1% (-1.295 to -0.227) -##################
6: -2.4% (-0.720 to +0.339) -####
Revenue per visit, B − A, by week since first visit:
1: +8.4% (+0.253 to +0.982) +################
2: +3.9% (-0.268 to +0.878) +#######
3: +0.5% (-0.534 to +0.619) +#
4: -7.7% (-1.256 to -0.053) -###############
5: -7.1% (-1.249 to +0.024) -##############
6: +0.6% (-0.772 to +0.871) +#

Les nombres entre parenthèses sont des intervalles à 95 % de la différence en dollars par visite. Une équipe qui s’arrêterait après deux semaines annoncerait « +11 % ». Entre les semaines 4 et 6, le composant fait perdre de l’argent.

Dans la semaine 1 du calendrier, tous les clients découvrent le composant : personne ne l’avait vu avant le début du test. En semaine 2, certains clients sont dans leur première semaine, et d’autres dans leur deuxième. En semaine 6, la plupart des visites viennent de clients qui connaissent bien le composant.

Une grille avec les semaines du calendrier 1 à 6 en colonnes et quatre rangées de clients. Ces clients ont vu le composant pour la première fois en semaine 1, 2, 3 ou 4. Chaque cellule indique la semaine pour ces clients : 1re, 2e, 3e, et ainsi de suite. Les cellules de première semaine sont bleu foncé et forment une diagonale. Sous la grille, la part des visites dans la première semaine du client : 100 % en semaine 1 du calendrier, puis 56 %, 27 %, 17 %, 12 % et 9 %.
Semaine du calendrier et semaine depuis la première visite. La semaine 1 du calendrier contient seulement des visites de première semaine. Les semaines suivantes mélangent des clients à différentes étapes. La courbe du calendrier montre donc autant un changement de clientèle qu'un changement d'effet.

La courbe du calendrier mélange donc deux choses : l’évolution de l’effet pour un client et les clients présents cette semaine-là. La courbe par semaine depuis la première visite compare les clients à la même étape. Elle montre l’évolution de l’effet pour un client, et sa fin montre où l’effet va.

Le simulateur connaît l’effet réel par semaine depuis la première visite. Le graphique réunit les deux estimations et l’effet réel.

  • Estimation par semaine du calendrier
  • Estimation par semaine depuis la première visite
  • Effet réel par semaine depuis la première visite (simulateur)
L'effet du composant sur le revenu par visite, par semaine. L'effet réel (orange) est de +6,7 % dans la première semaine d'un client avec le composant. Il devient ensuite négatif et se stabilise près de −2,5 %. L'estimation par semaine du calendrier commence plus haut, car les semaines 1 et 2 comptent beaucoup de clients de première semaine.
Description textuelle du graphique

Un graphique à courbes des semaines 1 à 6, de −12 % à +15 %. L’effet réel par semaine depuis la première visite : +6,7 %, −0,7 %, −2,1 %, −3,2 %, −2,6 %, −2,5 %. L’estimation par semaine depuis la première visite : +8,4 %, +3,9 %, +0,5 %, −7,7 %, −7,1 %, +0,6 %. L’estimation par semaine du calendrier : +11,7 %, +10,9 %, +2,3 %, −3,3 %, −9,1 %, −2,4 %. Les deux estimations fluctuent autour de l’effet réel; leurs intervalles à 95 % ont une largeur de 10 à 20 points.

Comparez vos estimations à l’effet réel :

Fenêtre de terminal
xp check
Run novelty-s40: the last analysis was `xp weekly`.
Week since first visit: your estimate against the true effect (revenue per visit):
1: yours +8.4%, true +6.7%
2: yours +3.9%, true -0.7%
3: yours +0.5%, true -2.1%
4: yours -7.7%, true -3.2%
5: yours -7.1%, true -2.6%
6: yours +0.6%, true -2.5%

Chaque estimation hebdomadaire est bruitée : son intervalle a une largeur de 10 à 20 points. Regardez la direction sur plusieurs semaines, pas le nombre d’une seule semaine. Ici, la direction est claire : positive en semaine 1, négative à partir de la semaine 3. L’effet à long terme est d’environ −2,5 % du revenu par visite.

Hana, responsable du marchandisage, demande : « Alors, combien de temps doit durer un test? » Il n’y a pas de réponse unique, mais il y a quatre habitudes à prendre.

  1. Testez des semaines complètes, au-delà de la durée nécessaire pour la puissance. Deux semaines ne suffisent pas pour voir une nouveauté s’estomper. Pour un changement visible, prévoyez de trois à six semaines.
  2. Examinez l’effet par semaine depuis la première exposition. xp weekly fournit ce tableau. Si l’effet baisse semaine après semaine, les dernières semaines donnent la meilleure estimation de l’avenir.
  3. Examinez les nouveaux clients. Ils n’ont jamais connu l’ancienne page. Ils ne montrent donc aucune aversion au changement et sont moins surpris par la nouvelle page. Leur effet se rapproche davantage de l’effet à long terme pour les futurs clients. Mais ils ne représentent qu’une partie de la clientèle.
  4. Gardez un groupe de contrôle permanent après le lancement. Un groupe de contrôle permanent (holdout) est un petit groupe, par exemple 5 % des clients. Ces clients ne reçoivent pas le changement pendant quelques mois. Les comparer à tous les autres montre l’effet à long terme.

Chaque habitude a un coût. Les tests plus longs retardent chaque décision. Un groupe de contrôle permanent garde quelques clients sur l’ancienne version, et quelqu’un doit le surveiller. Utilisez ces habitudes pour les changements que les clients voient et utilisent à chaque visite, comme un composant ou une nouvelle disposition. Un changement que les clients ne remarquent pas, comme une page plus rapide, produit rarement un effet de nouveauté.

  1. Ouvrez le carnet Jupyter dans l’encadré Faites cette leçon dans un carnet Jupyter en haut de cette page.
  2. Exécutez les cellules de préparation et la cellule d’aide.
  3. Dans la section 1, prédisez quand l’effet devient négatif. Affichez ensuite la courbe. Elle passe sous zéro vers le jour 7.
  4. Dans la section 2, simulez le test de 6 semaines. Vous voyez une petite estimation positive sur les 6 semaines.
  5. Dans la section 3, calculez l’effet par semaine du calendrier. La semaine 1 contient seulement des visites de première semaine.
  6. Dans la section 4, calculez le tableau par semaine depuis la première visite et la moyenne de l’effet réel des semaines 3 à 6.
  7. Exécutez la cellule de vérification. Elle affiche Check passed (vérification réussie).
Afficher la réponse à l’étape 6
table = by("week_since_first")
long_run = round(float(table.loc[3:6, "truth"].mean()), 3)
print(table)
print(long_run)

L’effet réel est positif seulement en semaine 1 depuis la première visite. La moyenne des semaines 3 à 6 est l’effet à long terme : −0,026, soit environ −2,6 %.

À vous de jouer : quand l’effet change-t-il de signe?

Section intitulée « À vous de jouer : quand l’effet change-t-il de signe? »

TermeOmarLe gestionnaire de produit de Larkfield. Il pose les questions d’affaires : ce qu’un changement coûte et ce qu’il apporte à la boutique. lit la sortie de xp weekly ci-dessus. Il demande : « Dans quelle semaine depuis la première visite l’estimation devient-elle négative pour la première fois? L’effet réel change-t-il de signe la même semaine? » Répondez à partir de la sortie, sans nouvelle exécution.

Afficher la réponse

L’estimation par semaine depuis la première visite est négative pour la première fois en semaine 4 (−7,7 %). L’effet réel est déjà négatif en semaine 2 (−0,7 %), et clairement en semaine 3 (−2,1 %). Les estimations des semaines 2 et 3 (+3,9 % et +0,5 %) dépassent l’effet réel à cause du bruit. Leurs intervalles contiennent l’effet réel. C’est pourquoi le nombre d’une seule semaine ne suffit pas. La tendance des semaines 1 à 4 montre la baisse tôt : +8,4 %, +3,9 %, +0,5 %, −7,7 %.

Erreur courante

« Il a gagné de 11 % en deux semaines »

Symptôme : l’équipe teste le composant pendant deux semaines et voit +11,7 % et +10,9 % sur le revenu par visite. Elle livre le composant. Trois mois plus tard, le revenu par visite est environ 2,5 % plus faible qu’avant le lancement.

Cause : un effet de nouveauté. Dans les deux premières semaines du calendrier, la plupart des visites viennent de clients qui découvrent le composant. Les nouveautés attirent les clics. L’effet s’estompe et devient négatif une fois que les clients s’y habituent. Un test de deux semaines mesure la nouveauté, pas le composant.

Correction : testez pendant plusieurs semaines et examinez l’effet par semaine depuis la première visite (xp weekly). S’il baisse semaine après semaine, fiez-vous aux dernières semaines. Après un lancement, gardez un petit groupe de contrôle permanent pour vérifier l’effet à long terme.

Vérifiez votre compréhension

Pourquoi chaque visite de la semaine 1 du calendrier est-elle aussi dans la première semaine du client avec le changement? Qu'est-ce que cela signifie pour la courbe par semaine du calendrier?

Afficher la réponse

Avant le début du test, personne n’avait vu le changement. Dans la semaine 1 du calendrier, chaque client est donc dans sa première semaine avec lui. Les semaines suivantes mélangent de nouveaux clients et des clients qui connaissent le changement. La courbe par semaine du calendrier montre donc l’évolution de l’effet pour un client et celle de la clientèle. La courbe par semaine depuis la première visite compare les clients à la même étape.

Vérifiez votre compréhension

Un nouveau parcours de paiement montre −3 % sur les commandes dans la première semaine d'un client avec lui. Il montre −1 % la deuxième semaine, +1 % la troisième et +2 % la quatrième. De quel type d'effet s'agit-il, et que recommanderiez-vous?

Afficher la réponse

C’est un effet d’apprentissage, avec une aversion au changement au début. Les clients ont besoin de temps pour apprendre le nouveau parcours, puis il les aide. Un test court rejetterait un bon changement. Recommandez un test plus long : poursuivez-le jusqu’à ce que l’effet par semaine depuis la première exposition cesse de changer. Vérifiez aussi les nouveaux clients, qui n’ont aucune ancienne habitude à abandonner. Si les dernières semaines restent positives, le parcours est un bon changement.

Vérifiez votre compréhension

Le test de 6 semaines du composant donne +0,34 $ par client. Son intervalle contient l'effet réel sur 6 semaines (+0,28 $). Hana dit : « L'intervalle est juste, donc le composant est bon. » Que manque-t-il?

Afficher la réponse

L’intervalle est honnête pour la moyenne sur 6 semaines. Mais cette moyenne mélange les premières semaines fortes et les semaines suivantes plus faibles. Après le lancement, la plupart des clients auront vu le composant depuis longtemps. L’effet à long terme compte donc. Par semaine depuis la première visite, l’effet réel se stabilise près de −2,5 % du revenu par visite. Le composant gagne au début, puis fait perdre de l’argent.

Récapitulatif

  • Un effet de nouveauté est fort au début et s’estompe. Un effet d’apprentissage commence faible et augmente; l’aversion au changement est le rejet de tout changement pendant les premières semaines.
  • Le test du composant (un problème d’exercice créé exprès) montrait +11,7 % et +10,9 % dans ses deux premières semaines du calendrier. L’effet réel par semaine depuis la première visite était de +6,7 % en semaine 1, puis près de −2,5 %.
  • La moyenne sur 6 semaines (+0,34 $ contre un effet réel de +0,28 $) est honnête pour ces 6 semaines. Ce n’est pas l’effet à long terme.
  • Les semaines du calendrier sont trompeuses : la semaine 1 contient seulement des clients de première semaine. Examinez l’effet par semaine depuis la première exposition avec xp weekly.
  • Testez pendant plusieurs semaines, examinez les nouveaux clients et gardez un groupe de contrôle permanent après le lancement.

Jusqu’ici, la version d’un client ne changeait pas le résultat d’un autre client. Ensuite, un test où elle le fait : le stock partagé.

Leçon suivante : Quand les unités s'influencent