Aller au contenu
English

Segments et effets différents

  • Leçon 12
  • 35 min
  • Module 3 : Analyser le test

Où nous en sommes

Nous avons une estimation précise de l'effet moyen. Omar demande maintenant si le changement fonctionne mieux sur mobile ou pour les nouveaux clients. Dans cette leçon, nous examinons les segments et voyons pourquoi plusieurs segments révèlent de faux gagnants. Nous prévoyons aussi les segments avant le test.

Leçon 12 sur 30 · Expériences et impact causal : notre changement a-t-il fonctionné?Segments et effets différents

Ce que vous saurez faire

Interprétez l’effet dans les segments sans vous laisser tromper. Avec assez de segments, l’un d’eux « gagne » toujours par chance. Vous devez donc choisir les segments à présenter avant le test.

Carnet JupyterFaites cette leçon dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Dans le carnet (notebook) Jupyter, vous estimez l’effet de la livraison gratuite sur mobile et sur ordinateur. Vous testez ensuite si les deux segments diffèrent. Puis, vous comptez les faux gagnants parmi 20 segments de 200 tests A/A. Les cellules de préparation installent les paquets et téléchargent les données d’exercice. Aucune préparation locale n’est donc nécessaire. Environ 25 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 35 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur (seulement pour les étapes du projet)

  • Le projet larkfield-experiments à l’instantané end-of-m03, avec .venv actif, et les exécutions delivery et aa des leçons précédentes de ce module. S’il en manque une, recréez-la avec sim run --scenario NAME.

Testé sur macOS avec Python 3.12 et l’instantané end-of-m03 du projet. Windows n’a pas été testé.

Une boulangère essaie une nouvelle recette de pain pendant un mois. Les ventes augmentent un peu, mais pas clairement. Elle examine donc les données de plus près. Les enfants l’ont-ils préféré? Les clients plus âgés? Les clients du lundi? Les clients qui achètent aussi du café? Elle examine vingt groupes de clients. Dans un groupe, celui du mardi matin, les ventes ont beaucoup augmenté. « Le nouveau pain fonctionne le mardi matin! »

Est-ce vrai? Les ventes montent et descendent par hasard, peu importe le matin. Avec vingt groupes, l’un d’eux affichera une forte hausse uniquement par hasard. La boulangère n’a pas trouvé un effet du mardi. Elle a trouvé le groupe où la chance a le plus joué.

C’est le problème des segments : des sous-groupes de clients, comme les utilisateurs mobiles ou les nouveaux clients. Un effet différent dans certains segments peut être réel et important. Mais chaque segment compte moins de clients, donc plus de bruit. Chaque segment supplémentaire ajoute une occasion de se laisser tromper.

La question d’Omar : est-ce que ça fonctionne sur mobile?

Section intitulée « La question d’Omar : est-ce que ça fonctionne sur mobile? »

TermeOmarLe gestionnaire de produit de Larkfield. Il pose les questions d’affaires : ce qu’un changement coûte et ce qu’il apporte à la boutique. veut savoir où la livraison gratuite fonctionne le mieux. Le projet montre l’effet dans chaque segment d’une colonne avec --by.

  1. Analysez le test de livraison gratuite par appareil.

    Fenêtre de terminal
    xp analyse delivery --by device
    Run delivery-s40 (synthetic): Free delivery from 50 dollars instead of 75: an A/B test by customer, 28 days.
    Metric: revenue. A: 55,430 customers, mean 25.0504. B: 55,329 customers, mean 26.0770.
    difference +1.0266 (+4.1%), 95% interval +0.1583 to +1.8950, p = 0.0205 (Welch t-test)
    device = desktop: difference +0.7313 (+2.6%), 95% interval -0.7162 to +2.1787, p = 0.322 (Welch t-test)
    device = mobile: difference +1.2226 (+5.4%), 95% interval +0.1548 to +2.2904, p = 0.0248 (Welch t-test)
    Saved to runs/delivery-s40/analysis.json. Compare with the true effect: xp check
  2. Analysez-le par nouveaux clients et clients existants. new_customer vaut 1 si la première commande du client remonte à moins de 90 jours.

    Fenêtre de terminal
    xp analyse delivery --by new_customer
    Run delivery-s40 (synthetic): Free delivery from 50 dollars instead of 75: an A/B test by customer, 28 days.
    Metric: revenue. A: 55,430 customers, mean 25.0504. B: 55,329 customers, mean 26.0770.
    difference +1.0266 (+4.1%), 95% interval +0.1583 to +1.8950, p = 0.0205 (Welch t-test)
    new_customer = 0: difference +1.1829 (+4.3%), 95% interval +0.0785 to +2.2874, p = 0.0358 (Welch t-test)
    new_customer = 1: difference +0.5263 (+2.8%), 95% interval -0.7856 to +1.8382, p = 0.432 (Welch t-test)
    Saved to runs/delivery-s40/analysis.json. Compare with the true effect: xp check

TermeTomásL’ingénieur en IA de Larkfield. Il propose souvent un raccourci rapide, et la leçon montre pourquoi il échoue. lit rapidement : « Ça fonctionne sur mobile, pas sur ordinateur. Ça fonctionne pour les clients existants, pas pour les nouveaux. Offrons la livraison gratuite dès 50 dollars seulement aux clients sur mobile et aux clients existants. »

Le simulateur connaît l’effet réel dans chaque segment, car il a simulé chaque client dans les deux mondes. xp check connaît seulement le total. Le cours a donc calculé les effets réels des segments avec son propre script.

L'effet de la livraison gratuite dans quatre segments : chaque estimation avec son intervalle à 95 % (bleu : au-dessus de zéro; gris : traverse zéro), et l'effet réel du simulateur dans ce segment (point orange). Les effets réels se situent tous entre +0,57 et +0,75 dollar. Les estimations se dispersent autour d'eux par hasard.
Description textuelle du graphique

Huit lignes sur un axe de −1,5 à +3 dollars, avec une ligne pointillée à 0 indiquant l’absence d’effet. Ordinateur : estimation +0,73, TermeIntervalle de confianceUne plage autour d’une valeur mesurée, obtenue par une méthode qui contient la vraie valeur 95 fois sur 100. Si l’intervalle d’une différence ne contient pas zéro, la différence n’est probablement pas due au hasard.En savoir plus Estimer l'incertitudeMathématiques et statistiques essentielles pour l'IA de −0,72 à +2,18; effet réel +0,75. Mobile : estimation +1,22, intervalle de +0,15 à +2,29; effet réel +0,66. Clients existants : estimation +1,18, intervalle de +0,08 à +2,29; effet réel +0,75. Nouveaux clients : estimation +0,53, intervalle de −0,79 à +1,84; effet réel +0,57. Chaque intervalle contient son effet réel.

La livraison gratuite fonctionne presque de la même façon partout. Sur ordinateur, l’effet réel (+0,75) est même un peu plus élevé que sur mobile (+0,66). Les segments « gagnants » sont ceux où la chance a fait monter l’estimation. Les segments qui « ne fonctionnent pas » comptent moins de clients. Leurs intervalles sont donc plus larges et traversent zéro plus facilement.

« Gagne » et « ne gagne pas » ne montrent pas une différence

Section intitulée « « Gagne » et « ne gagne pas » ne montrent pas une différence »

Un segment atteint p < 0,05 et l’autre non. Cela ne montre pas qu’ils diffèrent. Pour comparer deux segments, testez la différence entre eux.

Les deux estimations proviennent de clients différents. Leurs erreurs s’additionnent donc ainsi : erreur type de l’écart = √(erreur typemobile² + erreur typeordinateur²).

Effet Erreur type
Mobile +1,22 0,54
Ordinateur +0,73 0,74
Mobile − ordinateur +0,49 √(0,54² + 0,74²) = 0,92

L’intervalle à 95 % de l’écart est +0,49 ± 1,96 × 0,92 : de −1,31 à +2,29 dollars. Il contient zéro et il est large. Le test ne permet pas de savoir si le mobile fait mieux, moins bien ou pareil. L’écart réel est de −0,09 dollar.

Un segment nécessite beaucoup plus de clients que l’analyse du total. L’écart entre deux moitiés a une erreur type environ deux fois plus grande que celle de l’effet total. Pour estimer un écart aussi précisément que le total, un test nécessite environ quatre fois plus de clients. La plupart des tests sont dimensionnés seulement pour le total. Leurs segments ont donc trop de bruit pour être comparés.

Les deux colonnes d’Omar ont donné quatre segments. Un rapport par province en aurait dix de plus, et les provinces croisées avec les appareils en donnent vingt. Que se passe-t-il alors?

Chaque segment sans effet réel a 5 % de chances d’avoir p < 0,05. Avec un segment, la probabilité d’un faux gagnant est de 5 %. Avec deux, la probabilité qu’aucun ne gagne est de 0,95 × 0,95 = 0,90. La probabilité d’au moins un faux gagnant est donc de 10 %. Avec 20 segments :

1 − 0,9520 = 1 − 0,36 = 0,64

Donc, avec 20 segments et aucun effet, environ deux rapports sur trois montrent au moins un « gagnant ».

Le test A/A n’a aucun effet, nulle part. Divisez-le par province et par appareil : 20 segments.

Le test A/A (les deux groupes ont vu la même boutique) divisé en 20 segments : 10 provinces × 2 appareils. Chaque effet réel est nul. Les lignes orange ont p < 0,05 : ce sont de faux gagnants. Ici, un segment sur 20. Les petites provinces ont des intervalles très larges.
Description textuelle du graphique

Vingt lignes, une par province et par appareil, sur un axe de −22 à +22 dollars. Une ligne pointillée à 0 indique l’effet réel. Dix-neuf intervalles contiennent 0. Une ligne, la Colombie-Britannique sur ordinateur, est orange : sa valeur p est de 0,026. Son intervalle exclut 0, même si rien n’a changé. Les petites provinces ont des intervalles de plus de 20 dollars de largeur.

Le cours a exécuté 100 tests A/A avec 100 graines (seeds). Chaque fois, il a compté les faux gagnants parmi les mêmes 20 segments :

Nombre de segments sur 20 ayant p < 0,05, dans chacun des 100 tests A/A simulés. Dans plusieurs tests, au moins un segment « gagne », même si rien n'a changé nulle part.
Description textuelle du graphique

Un diagramme à barres. Chaque barre représente un nombre de faux gagnants dans un test A/A : 0, 1, 2, etc. Sa hauteur indique le nombre de tests, sur 100, ayant ce nombre de faux gagnants.

Sur les 100 tests A/A, 65 avaient au moins un faux gagnant. La moyenne était de 1,0 faux gagnant par test. C’est ce que prédisait le calcul avec la pièce de monnaie. Un rapport avec 20 segments a presque toujours un « gagnant » auquel on peut attribuer une explication.

La solution est celle de Écrire le plan d’abord : décider d’avance. Le plan nomme les quelques segments qui comptent pour la décision et explique pourquoi. Ensuite, le rapport les présente tous avec leurs intervalles, qu’ils gagnent ou non.

Deux panneaux. Prévus d'avance : le plan nomme 2 segments et leur raison, appareil et nouveaux clients ou clients existants; le test s'exécute; présenter les deux segments avec leurs intervalles, qu'ils gagnent ou non. Texte vert : un faux gagnant est rare. Trouvés après coup : le test s'exécute; diviser les données de 20 façons, par province et par appareil; présenter le seul segment avec p inférieur à 0,05. Texte rouge : sans aucun effet, environ 1 segment sur 20 gagne.
Segments prévus d'avance contre segments trouvés après coup. Les mêmes données, mais seul le rapport prévu d'avance est fiable.

Le plan de TermeLarkfieldUne boutique en ligne canadienne inventée, qui vend des articles pour la maison et le jardin. Ce n’est pas une vraie entreprise. Tous les cours Nextia utilisent son service d’assistance et ses données comme exemple.En savoir plus Découvrez Larkfield pour le test de livraison gratuite, tiré de Écrire le plan d’abord, peut les énumérer ainsi :

Segments (planned): device (mobile, desktop); new or returning customer.
Why: mobile baskets are smaller, so a lower threshold may matter more there; new customers may react more to delivery prices.
Decision: one threshold for everyone, unless the interval of the gap between two segments excludes zero.
Other segments: ideas for a new test only, not results.

Certains changements aident certains clients et nuisent à d’autres. Plus loin dans le cours, un courriel de rappel aide les nouveaux clients et agace les gros acheteurs. Un module entier cherche aussi à déterminer qui traiter. Il vaut la peine de prévoir des segments lorsqu’une raison laisse attendre une différence :

  • Le changement fonctionne différemment par conception. Par exemple, une nouvelle page mobile ne change que le mobile.
  • Le coût diffère. Par exemple, la livraison gratuite coûte plus cher dans une province éloignée.
  • Une mauvaise réponse pour un groupe coûte cher. Par exemple, un changement qui pourrait dérouter les nouveaux clients.

Un segment trouvé après le test est une idée, pas un résultat. Notez-le et testez-le dans un nouveau test prévu pour lui.

Les outils de ce module fonctionnent aussi dans chaque segment. CUPED réduit la largeur de l’intervalle de chaque segment :

Fenêtre de terminal
xp analyse delivery --cuped --by device
Run delivery-s40 (synthetic): Free delivery from 50 dollars instead of 75: an A/B test by customer, 28 days.
Metric: revenue. A: 55,430 customers, mean 25.0420. B: 55,329 customers, mean 26.0854.
difference +1.0434 (+4.2%), 95% interval +0.2631 to +1.8237, p = 0.00877 (Welch t-test, CUPED)
CUPED removed 19.3% of the variance (theta 0.271).
device = desktop: difference +1.1811 (+4.2%), 95% interval -0.0992 to +2.4613, p = 0.0706 (Welch t-test, CUPED)
device = mobile: difference +0.9726 (+4.3%), 95% interval -0.0010 to +1.9462, p = 0.0502 (Welch t-test, CUPED)
Saved to runs/delivery-s40/analysis.json. Compare with the true effect: xp check

Avec CUPED, les deux appareils montrent +1,18 et +0,97 dollars : des valeurs beaucoup plus proches. Les deux manquent de peu p < 0,05. L’explication « sur mobile seulement » venait du bruit, et réduire le bruit la fait disparaître. Un déséquilibre de répartition peut aussi se cacher dans un segment, comme le bogue de redirection sur mobile. Vérifiez donc aussi la répartition par segment.

Exercice guidé : les segments dans le carnet Jupyter

Section intitulée « Exercice guidé : les segments dans le carnet Jupyter »
  1. Ouvrez le carnet Jupyter à partir de l’encadré Faites cette leçon dans un carnet Jupyter en haut de cette page.
  2. Exécutez les cellules de préparation et la cellule auxiliaire. La cellule de données se termine par Ready: 2 files in data/. (prêt : 2 fichiers dans data/).
  3. Dans la section 1, prédisez : les deux appareils montreront-ils un gain clair? Exécutez ensuite la cellule. Seul le mobile a p < 0,05.
  4. Dans la section 2, calculez l’écart entre mobile et ordinateur. Vous voyez +0.49 dollars, 95% interval -1.31 to +2.29 (+0,49 dollar, intervalle à 95 % de −1,31 à +2,29).
  5. Dans la section 3, prédisez à quelle fréquence 20 segments révèlent au moins un faux gagnant. Exécutez ensuite les 200 répartitions A/A. Vous voyez une proportion proche de 64 %.
  6. Dans la section 4, calculez gap_low pour les clients existants moins les nouveaux clients.
  7. Exécutez la cellule de vérification. Elle affiche Check passed (vérification réussie).
Afficher la réponse à l’étape 6
ret, new = welch(d[d.new_customer == 0]), welch(d[d.new_customer == 1])
gap_n = ret["difference"] - new["difference"]
se_n = np.sqrt(ret["se"] ** 2 + new["se"] ** 2)
gap_low = round(gap_n - 1.96 * se_n, 2)
print(ret, new, round(gap_n, 2), gap_low)

L’écart est de +0,66 dollar, et son intervalle va de −1,06 à +2,37 : il contient zéro. Le test ne permet pas de dire que les clients existants réagissent davantage. L’écart réel du simulateur est de +0,19 dollar.

Cette tâche utilise tout le module. Analysez le test de livraison gratuite de Hana comme le ferait TermePriyaLa scientifique des données de Larkfield. Elle mesure la qualité de l’assistant sur des jeux de test, pas à l’intuition.. Présentez le résultat à Hana en cinq phrases ou moins :

  1. Vérifiez la répartition, globalement et par appareil.
  2. Estimez l’effet sur le revenu par client, avec et sans CUPED.
  3. Estimez l’effet sur le garde-fou, les retours par commande.
  4. Présentez les deux segments prévus d’avance, appareil et nouveaux clients ou clients existants, avec leurs intervalles.
  5. Dites ce que vous décideriez et ce qu’il vous faudrait encore savoir.
Afficher la réponse
Fenêtre de terminal
xp srm delivery --by device
xp analyse delivery
xp analyse delivery --cuped
xp analyse delivery --metric return_rate
xp analyse delivery --cuped --by device
xp analyse delivery --cuped --by new_customer

La répartition est saine : B compte 49,95 % des clients (p = 0,76), et les deux appareils respectent le plan. Avec CUPED, la livraison gratuite dès 50 dollars a augmenté le revenu par client de +1,04 dollar, probablement entre +0,26 et +1,82. Sans CUPED : +1,03, de +0,16 à +1,90. Les retours sont passés de 8,3 % à 9,6 % des commandes, soit +1,29 point (+0,68 à +1,90). Le garde-fou s’est clairement dégradé. Les segments prévus d’avance ne diffèrent pas clairement. Un même seuil pour tous est donc la bonne comparaison. Avant de décider, Hana doit comparer le gain au coût des livraisons gratuites et des retours supplémentaires. Elle doit aussi se rappeler que cette exécution a eu de la chance. Sur 200 graines, le test avec CUPED détecte un gain réel de cette taille dans seulement 48,5 % des exécutions.

L’effet réel du simulateur pour cette exécution : +0,70 dollar de revenu et +1,17 point de retours.

Erreur courante

Lancer le changement pour le segment gagnant

Symptôme : Omar lit l’analyse par appareil et décide : « Livraison gratuite dès 50 dollars sur mobile seulement. » Le simulateur sait ce qui se passerait. Les clients sur mobile gagneraient environ +0,66 dollar chacun, et non les +1,22 du test. Les clients sur ordinateur, qui gagneraient +0,75, n’auraient pas l’offre.

Cause : le segment mobile a « gagné » par chance. Son intervalle, de +0,15 à +2,29, était large. L’écart avec l’ordinateur (+0,49, de −1,31 à +2,29) contenait zéro. Les effets réels étaient de +0,66 sur mobile et de +0,75 sur ordinateur. La décision a suivi le bruit.

Solution : décidez selon la mesure principale prévue pour tous, sauf si le plan nommait le segment et si l’écart est clair. Si un segment semble différent, prévoyez un nouveau test pour lui, avec assez de clients dans ce segment.

Vérifiez votre compréhension

Un rapport montre l'effet d'un changement dans 30 segments. Deux ont p < 0,05, et l'effet total n'est pas significatif. Que dites-vous à l'équipe?

Afficher la réponse

Avec 30 segments et aucun effet, nous attendons environ 1,5 faux gagnant (30 × 0,05). Au moins un apparaît dans environ 79 % des rapports (1 − 0,95³⁰). Deux gagnants sur 30 correspondent donc à ce que produit la chance seule. Ce ne sont pas des résultats. Supposons que l’un d’eux compte pour une décision et qu’une raison laisse attendre cet effet. Inscrivez-le alors dans le plan d’un nouveau test, avec assez de clients dans ce segment.

Vérifiez votre compréhension

Prédisez et expliquez : dans un test, le segment X donne +2,0 dollars (intervalle à 95 % de +0,4 à +3,6) et le segment Y donne +0,5 dollar (de −1,1 à +2,1). Le changement fonctionne-t-il mieux dans X que dans Y? Estimez approximativement l'écart et son intervalle.

Afficher la réponse

Pas clairement. Chaque intervalle est d’environ ±1,6, donc chaque erreur type est d’environ 1,6 / 1,96 ≈ 0,82. L’écart est de +1,5, avec une erreur type de √(0,82² + 0,82²) ≈ 1,16. Son intervalle est donc d’environ +1,5 ± 2,3 : de −0,8 à +3,8. Il contient zéro. X atteint p < 0,05 et Y non, mais les données ne permettent pas de dire qu’ils diffèrent.

Vérifiez votre compréhension

Rédigez la partie sur les segments d'un plan de test pour une nouvelle page de produit sur mobile. Quels segments prévoyez-vous, et pourquoi? Que faites-vous d'un segment trouvé après le test?

Afficher la réponse

Une bonne réponse nomme peu de segments et une raison pour chacun, avant le test. Par exemple, l’appareil : le changement touche une page mobile. L’ordinateur ne devrait donc montrer aucun effet, ce qui vérifie que le test fonctionne. Puis, les nouveaux clients ou clients existants : les nouveaux clients pourraient trouver une nouvelle page plus difficile à utiliser. La réponse indique que les deux sont présentés avec leurs intervalles, qu’ils gagnent ou non. Elle précise aussi leur rôle dans la décision : seulement si l’intervalle de l’écart exclut zéro. Un segment trouvé après le test est une idée pour un nouveau test, pas un résultat.

Récapitulatif

  • Un segment est un sous-groupe de clients, comme les clients sur mobile ou les nouveaux clients. Chaque segment compte moins de clients, donc son intervalle est plus large.
  • Dans le test de livraison gratuite, le mobile a « gagné » (+1,22, p = 0,025), mais pas l’ordinateur (+0,73, p = 0,32). Les effets réels du simulateur étaient de +0,66 et de +0,75. Un segment qui atteint p < 0,05 et un autre qui ne l’atteint pas ne montrent pas une différence : testez l’écart. Ici, il était de +0,49, de −1,31 à +2,29.
  • Avec 20 segments et aucun effet, environ 64 % des rapports montrent au moins un faux gagnant (1 − 0,95²⁰). Les 100 tests A/A du cours, divisés en 20 segments, ont confirmé ce résultat.
  • Prévoyez les segments avant le test, avec une raison pour chacun, et présentez-les tous avec leurs intervalles. Un segment trouvé après coup est une idée pour un nouveau test.
  • Les vérifications du module fonctionnent aussi dans les segments. CUPED réduit la largeur de l’intervalle de chaque segment. Un déséquilibre de répartition peut aussi se cacher dans un segment.

Vous pouvez maintenant analyser un test, de la répartition aux segments. Mais chaque analyse de ce module examinait le résultat une seule fois, à la fin. Vous verrez ensuite ce qui se passe quand l’équipe regarde chaque jour et s’arrête à la première « victoire ».

Leçon suivante : Regards répétés