Segments et effets différents
- Leçon 12
- 35 min
- Module 3 : Analyser le test
Où nous en sommes
Nous avons une estimation précise de l'effet moyen. Omar demande maintenant si le changement fonctionne mieux sur mobile ou pour les nouveaux clients. Dans cette leçon, nous examinons les segments et voyons pourquoi plusieurs segments révèlent de faux gagnants. Nous prévoyons aussi les segments avant le test.
Leçon 12 sur 30 · Expériences et impact causal : notre changement a-t-il fonctionné?Segments et effets différents
1. Pourquoi « ça a monté » n'est pas une réponse
2. Concevoir un test A/B
3. Analyser le test
4. Les pièges des vrais tests
5. Quand la répartition aléatoire est impossible : les expériences naturelles
6. Ajuster pour les facteurs de confusion dans des données d'observation
7. Le gain incrémental : à qui appliquer le traitement?
8. Les expériences pour les fonctions d'IA et en production
Ce que vous saurez faire
Interprétez l’effet dans les segments sans vous laisser tromper. Avec assez de segments, l’un d’eux « gagne » toujours par chance. Vous devez donc choisir les segments à présenter avant le test.
Carnet JupyterFaites cette leçon dans un carnet Jupyter
Dans le carnet (notebook) Jupyter, vous estimez l’effet de la livraison gratuite sur mobile et sur ordinateur. Vous testez ensuite si les deux segments diffèrent. Puis, vous comptez les faux gagnants parmi 20 segments de 200 tests A/A. Les cellules de préparation installent les paquets et téléchargent les données d’exercice. Aucune préparation locale n’est donc nécessaire. Environ 25 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Le test t de Welch, l’intervalle et l’erreur type, vus dans Le résultat et son incertitude.
- Les tests A/A, vus dans Vérifier le test avant le résultat.
- CUPED, vu dans Gagner en précision avec CUPED.
- Le plan de test, vu dans Écrire le plan d’abord.
Ce qu’il vous faut sur votre ordinateur (seulement pour les étapes du projet)
- Le projet
larkfield-experimentsà l’instantanéend-of-m03, avec.venvactif, et les exécutionsdeliveryetaades leçons précédentes de ce module. S’il en manque une, recréez-la avecsim run --scenario NAME.
Testé sur macOS avec Python 3.12 et l’instantané end-of-m03 du projet. Windows n’a pas été testé.
Une boulangère pose trop de questions
Section intitulée « Une boulangère pose trop de questions »Une boulangère essaie une nouvelle recette de pain pendant un mois. Les ventes augmentent un peu, mais pas clairement. Elle examine donc les données de plus près. Les enfants l’ont-ils préféré? Les clients plus âgés? Les clients du lundi? Les clients qui achètent aussi du café? Elle examine vingt groupes de clients. Dans un groupe, celui du mardi matin, les ventes ont beaucoup augmenté. « Le nouveau pain fonctionne le mardi matin! »
Est-ce vrai? Les ventes montent et descendent par hasard, peu importe le matin. Avec vingt groupes, l’un d’eux affichera une forte hausse uniquement par hasard. La boulangère n’a pas trouvé un effet du mardi. Elle a trouvé le groupe où la chance a le plus joué.
C’est le problème des segments : des sous-groupes de clients, comme les utilisateurs mobiles ou les nouveaux clients. Un effet différent dans certains segments peut être réel et important. Mais chaque segment compte moins de clients, donc plus de bruit. Chaque segment supplémentaire ajoute une occasion de se laisser tromper.
La question d’Omar : est-ce que ça fonctionne sur mobile?
Section intitulée « La question d’Omar : est-ce que ça fonctionne sur mobile? »TermeOmarLe gestionnaire de produit de Larkfield. Il pose les questions d’affaires : ce qu’un changement coûte et ce qu’il apporte à la boutique. veut savoir où la livraison gratuite fonctionne le mieux. Le projet montre l’effet dans chaque segment d’une colonne avec --by.
-
Analysez le test de livraison gratuite par appareil.
Fenêtre de terminal xp analyse delivery --by deviceRun delivery-s40 (synthetic): Free delivery from 50 dollars instead of 75: an A/B test by customer, 28 days.Metric: revenue. A: 55,430 customers, mean 25.0504. B: 55,329 customers, mean 26.0770.difference +1.0266 (+4.1%), 95% interval +0.1583 to +1.8950, p = 0.0205 (Welch t-test)device = desktop: difference +0.7313 (+2.6%), 95% interval -0.7162 to +2.1787, p = 0.322 (Welch t-test)device = mobile: difference +1.2226 (+5.4%), 95% interval +0.1548 to +2.2904, p = 0.0248 (Welch t-test)Saved to runs/delivery-s40/analysis.json. Compare with the true effect: xp check -
Analysez-le par nouveaux clients et clients existants.
new_customervaut 1 si la première commande du client remonte à moins de 90 jours.Fenêtre de terminal xp analyse delivery --by new_customerRun delivery-s40 (synthetic): Free delivery from 50 dollars instead of 75: an A/B test by customer, 28 days.Metric: revenue. A: 55,430 customers, mean 25.0504. B: 55,329 customers, mean 26.0770.difference +1.0266 (+4.1%), 95% interval +0.1583 to +1.8950, p = 0.0205 (Welch t-test)new_customer = 0: difference +1.1829 (+4.3%), 95% interval +0.0785 to +2.2874, p = 0.0358 (Welch t-test)new_customer = 1: difference +0.5263 (+2.8%), 95% interval -0.7856 to +1.8382, p = 0.432 (Welch t-test)Saved to runs/delivery-s40/analysis.json. Compare with the true effect: xp check
TermeTomásL’ingénieur en IA de Larkfield. Il propose souvent un raccourci rapide, et la leçon montre pourquoi il échoue. lit rapidement : « Ça fonctionne sur mobile, pas sur ordinateur. Ça fonctionne pour les clients existants, pas pour les nouveaux. Offrons la livraison gratuite dès 50 dollars seulement aux clients sur mobile et aux clients existants. »
Le simulateur connaît l’effet réel dans chaque segment, car il a simulé chaque client dans les deux mondes. xp check connaît seulement le total. Le cours a donc calculé les effets réels des segments avec son propre script.
Description textuelle du graphique
Huit lignes sur un axe de −1,5 à +3 dollars, avec une ligne pointillée à 0 indiquant l’absence d’effet. Ordinateur : estimation +0,73, TermeIntervalle de confianceUne plage autour d’une valeur mesurée, obtenue par une méthode qui contient la vraie valeur 95 fois sur 100. Si l’intervalle d’une différence ne contient pas zéro, la différence n’est probablement pas due au hasard.En savoir plus Estimer l'incertitudeMathématiques et statistiques essentielles pour l'IA de −0,72 à +2,18; effet réel +0,75. Mobile : estimation +1,22, intervalle de +0,15 à +2,29; effet réel +0,66. Clients existants : estimation +1,18, intervalle de +0,08 à +2,29; effet réel +0,75. Nouveaux clients : estimation +0,53, intervalle de −0,79 à +1,84; effet réel +0,57. Chaque intervalle contient son effet réel.
La livraison gratuite fonctionne presque de la même façon partout. Sur ordinateur, l’effet réel (+0,75) est même un peu plus élevé que sur mobile (+0,66). Les segments « gagnants » sont ceux où la chance a fait monter l’estimation. Les segments qui « ne fonctionnent pas » comptent moins de clients. Leurs intervalles sont donc plus larges et traversent zéro plus facilement.
« Gagne » et « ne gagne pas » ne montrent pas une différence
Section intitulée « « Gagne » et « ne gagne pas » ne montrent pas une différence »Un segment atteint p < 0,05 et l’autre non. Cela ne montre pas qu’ils diffèrent. Pour comparer deux segments, testez la différence entre eux.
Les deux estimations proviennent de clients différents. Leurs erreurs s’additionnent donc ainsi : erreur type de l’écart = √(erreur typemobile² + erreur typeordinateur²).
| Effet | Erreur type | |
|---|---|---|
| Mobile | +1,22 | 0,54 |
| Ordinateur | +0,73 | 0,74 |
| Mobile − ordinateur | +0,49 | √(0,54² + 0,74²) = 0,92 |
L’intervalle à 95 % de l’écart est +0,49 ± 1,96 × 0,92 : de −1,31 à +2,29 dollars. Il contient zéro et il est large. Le test ne permet pas de savoir si le mobile fait mieux, moins bien ou pareil. L’écart réel est de −0,09 dollar.
Un segment nécessite beaucoup plus de clients que l’analyse du total. L’écart entre deux moitiés a une erreur type environ deux fois plus grande que celle de l’effet total. Pour estimer un écart aussi précisément que le total, un test nécessite environ quatre fois plus de clients. La plupart des tests sont dimensionnés seulement pour le total. Leurs segments ont donc trop de bruit pour être comparés.
Beaucoup de segments, beaucoup de faux gagnants
Section intitulée « Beaucoup de segments, beaucoup de faux gagnants »Les deux colonnes d’Omar ont donné quatre segments. Un rapport par province en aurait dix de plus, et les provinces croisées avec les appareils en donnent vingt. Que se passe-t-il alors?
Un petit exemple avec une pièce de monnaie
Section intitulée « Un petit exemple avec une pièce de monnaie »Chaque segment sans effet réel a 5 % de chances d’avoir p < 0,05. Avec un segment, la probabilité d’un faux gagnant est de 5 %. Avec deux, la probabilité qu’aucun ne gagne est de 0,95 × 0,95 = 0,90. La probabilité d’au moins un faux gagnant est donc de 10 %. Avec 20 segments :
1 − 0,9520 = 1 − 0,36 = 0,64
Donc, avec 20 segments et aucun effet, environ deux rapports sur trois montrent au moins un « gagnant ».
Vingt segments d’un test A/A
Section intitulée « Vingt segments d’un test A/A »Le test A/A n’a aucun effet, nulle part. Divisez-le par province et par appareil : 20 segments.
Description textuelle du graphique
Vingt lignes, une par province et par appareil, sur un axe de −22 à +22 dollars. Une ligne pointillée à 0 indique l’effet réel. Dix-neuf intervalles contiennent 0. Une ligne, la Colombie-Britannique sur ordinateur, est orange : sa valeur p est de 0,026. Son intervalle exclut 0, même si rien n’a changé. Les petites provinces ont des intervalles de plus de 20 dollars de largeur.
Le cours a exécuté 100 tests A/A avec 100 graines (seeds). Chaque fois, il a compté les faux gagnants parmi les mêmes 20 segments :
Description textuelle du graphique
Un diagramme à barres. Chaque barre représente un nombre de faux gagnants dans un test A/A : 0, 1, 2, etc. Sa hauteur indique le nombre de tests, sur 100, ayant ce nombre de faux gagnants.
Sur les 100 tests A/A, 65 avaient au moins un faux gagnant. La moyenne était de 1,0 faux gagnant par test. C’est ce que prédisait le calcul avec la pièce de monnaie. Un rapport avec 20 segments a presque toujours un « gagnant » auquel on peut attribuer une explication.
L’idée : prévoir les segments avant le test
Section intitulée « L’idée : prévoir les segments avant le test »La solution est celle de Écrire le plan d’abord : décider d’avance. Le plan nomme les quelques segments qui comptent pour la décision et explique pourquoi. Ensuite, le rapport les présente tous avec leurs intervalles, qu’ils gagnent ou non.
Le plan de TermeLarkfieldUne boutique en ligne canadienne inventée, qui vend des articles pour la maison et le jardin. Ce n’est pas une vraie entreprise. Tous les cours Nextia utilisent son service d’assistance et ses données comme exemple.En savoir plus Découvrez Larkfield pour le test de livraison gratuite, tiré de Écrire le plan d’abord, peut les énumérer ainsi :
Segments (planned): device (mobile, desktop); new or returning customer.Why: mobile baskets are smaller, so a lower threshold may matter more there; new customers may react more to delivery prices.Decision: one threshold for everyone, unless the interval of the gap between two segments excludes zero.Other segments: ideas for a new test only, not results.Quand un segment mérite un examen
Section intitulée « Quand un segment mérite un examen »Certains changements aident certains clients et nuisent à d’autres. Plus loin dans le cours, un courriel de rappel aide les nouveaux clients et agace les gros acheteurs. Un module entier cherche aussi à déterminer qui traiter. Il vaut la peine de prévoir des segments lorsqu’une raison laisse attendre une différence :
- Le changement fonctionne différemment par conception. Par exemple, une nouvelle page mobile ne change que le mobile.
- Le coût diffère. Par exemple, la livraison gratuite coûte plus cher dans une province éloignée.
- Une mauvaise réponse pour un groupe coûte cher. Par exemple, un changement qui pourrait dérouter les nouveaux clients.
Un segment trouvé après le test est une idée, pas un résultat. Notez-le et testez-le dans un nouveau test prévu pour lui.
Utiliser les mêmes outils dans chaque segment
Section intitulée « Utiliser les mêmes outils dans chaque segment »Les outils de ce module fonctionnent aussi dans chaque segment. CUPED réduit la largeur de l’intervalle de chaque segment :
xp analyse delivery --cuped --by deviceRun delivery-s40 (synthetic): Free delivery from 50 dollars instead of 75: an A/B test by customer, 28 days.Metric: revenue. A: 55,430 customers, mean 25.0420. B: 55,329 customers, mean 26.0854. difference +1.0434 (+4.2%), 95% interval +0.2631 to +1.8237, p = 0.00877 (Welch t-test, CUPED) CUPED removed 19.3% of the variance (theta 0.271). device = desktop: difference +1.1811 (+4.2%), 95% interval -0.0992 to +2.4613, p = 0.0706 (Welch t-test, CUPED) device = mobile: difference +0.9726 (+4.3%), 95% interval -0.0010 to +1.9462, p = 0.0502 (Welch t-test, CUPED)Saved to runs/delivery-s40/analysis.json. Compare with the true effect: xp checkAvec CUPED, les deux appareils montrent +1,18 et +0,97 dollars : des valeurs beaucoup plus proches. Les deux manquent de peu p < 0,05. L’explication « sur mobile seulement » venait du bruit, et réduire le bruit la fait disparaître. Un déséquilibre de répartition peut aussi se cacher dans un segment, comme le bogue de redirection sur mobile. Vérifiez donc aussi la répartition par segment.
Exercice guidé : les segments dans le carnet Jupyter
Section intitulée « Exercice guidé : les segments dans le carnet Jupyter »- Ouvrez le carnet Jupyter à partir de l’encadré Faites cette leçon dans un carnet Jupyter en haut de cette page.
- Exécutez les cellules de préparation et la cellule auxiliaire. La cellule de données se termine par
Ready: 2 files in data/.(prêt : 2 fichiers dans data/). - Dans la section 1, prédisez : les deux appareils montreront-ils un gain clair? Exécutez ensuite la cellule. Seul le mobile a p < 0,05.
- Dans la section 2, calculez l’écart entre mobile et ordinateur. Vous voyez
+0.49 dollars, 95% interval -1.31 to +2.29(+0,49 dollar, intervalle à 95 % de −1,31 à +2,29). - Dans la section 3, prédisez à quelle fréquence 20 segments révèlent au moins un faux gagnant. Exécutez ensuite les 200 répartitions A/A. Vous voyez une proportion proche de 64 %.
- Dans la section 4, calculez
gap_lowpour les clients existants moins les nouveaux clients. - Exécutez la cellule de vérification. Elle affiche
Check passed(vérification réussie).
Afficher la réponse à l’étape 6
ret, new = welch(d[d.new_customer == 0]), welch(d[d.new_customer == 1])gap_n = ret["difference"] - new["difference"]se_n = np.sqrt(ret["se"] ** 2 + new["se"] ** 2)gap_low = round(gap_n - 1.96 * se_n, 2)print(ret, new, round(gap_n, 2), gap_low)L’écart est de +0,66 dollar, et son intervalle va de −1,06 à +2,37 : il contient zéro. Le test ne permet pas de dire que les clients existants réagissent davantage. L’écart réel du simulateur est de +0,19 dollar.
À vous de jouer : l’analyse du module
Section intitulée « À vous de jouer : l’analyse du module »Cette tâche utilise tout le module. Analysez le test de livraison gratuite de Hana comme le ferait TermePriyaLa scientifique des données de Larkfield. Elle mesure la qualité de l’assistant sur des jeux de test, pas à l’intuition.. Présentez le résultat à Hana en cinq phrases ou moins :
- Vérifiez la répartition, globalement et par appareil.
- Estimez l’effet sur le revenu par client, avec et sans CUPED.
- Estimez l’effet sur le garde-fou, les retours par commande.
- Présentez les deux segments prévus d’avance, appareil et nouveaux clients ou clients existants, avec leurs intervalles.
- Dites ce que vous décideriez et ce qu’il vous faudrait encore savoir.
Afficher la réponse
xp srm delivery --by devicexp analyse deliveryxp analyse delivery --cupedxp analyse delivery --metric return_ratexp analyse delivery --cuped --by devicexp analyse delivery --cuped --by new_customerLa répartition est saine : B compte 49,95 % des clients (p = 0,76), et les deux appareils respectent le plan. Avec CUPED, la livraison gratuite dès 50 dollars a augmenté le revenu par client de +1,04 dollar, probablement entre +0,26 et +1,82. Sans CUPED : +1,03, de +0,16 à +1,90. Les retours sont passés de 8,3 % à 9,6 % des commandes, soit +1,29 point (+0,68 à +1,90). Le garde-fou s’est clairement dégradé. Les segments prévus d’avance ne diffèrent pas clairement. Un même seuil pour tous est donc la bonne comparaison. Avant de décider, Hana doit comparer le gain au coût des livraisons gratuites et des retours supplémentaires. Elle doit aussi se rappeler que cette exécution a eu de la chance. Sur 200 graines, le test avec CUPED détecte un gain réel de cette taille dans seulement 48,5 % des exécutions.
L’effet réel du simulateur pour cette exécution : +0,70 dollar de revenu et +1,17 point de retours.
Erreur courante
Lancer le changement pour le segment gagnant
Symptôme : Omar lit l’analyse par appareil et décide : « Livraison gratuite dès 50 dollars sur mobile seulement. » Le simulateur sait ce qui se passerait. Les clients sur mobile gagneraient environ +0,66 dollar chacun, et non les +1,22 du test. Les clients sur ordinateur, qui gagneraient +0,75, n’auraient pas l’offre.
Cause : le segment mobile a « gagné » par chance. Son intervalle, de +0,15 à +2,29, était large. L’écart avec l’ordinateur (+0,49, de −1,31 à +2,29) contenait zéro. Les effets réels étaient de +0,66 sur mobile et de +0,75 sur ordinateur. La décision a suivi le bruit.
Solution : décidez selon la mesure principale prévue pour tous, sauf si le plan nommait le segment et si l’écart est clair. Si un segment semble différent, prévoyez un nouveau test pour lui, avec assez de clients dans ce segment.
Vérifiez votre compréhension
Un rapport montre l'effet d'un changement dans 30 segments. Deux ont p < 0,05, et l'effet total n'est pas significatif. Que dites-vous à l'équipe?
Afficher la réponse
Avec 30 segments et aucun effet, nous attendons environ 1,5 faux gagnant (30 × 0,05). Au moins un apparaît dans environ 79 % des rapports (1 − 0,95³⁰). Deux gagnants sur 30 correspondent donc à ce que produit la chance seule. Ce ne sont pas des résultats. Supposons que l’un d’eux compte pour une décision et qu’une raison laisse attendre cet effet. Inscrivez-le alors dans le plan d’un nouveau test, avec assez de clients dans ce segment.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Prédisez et expliquez : dans un test, le segment X donne +2,0 dollars (intervalle à 95 % de +0,4 à +3,6) et le segment Y donne +0,5 dollar (de −1,1 à +2,1). Le changement fonctionne-t-il mieux dans X que dans Y? Estimez approximativement l'écart et son intervalle.
Afficher la réponse
Pas clairement. Chaque intervalle est d’environ ±1,6, donc chaque erreur type est d’environ 1,6 / 1,96 ≈ 0,82. L’écart est de +1,5, avec une erreur type de √(0,82² + 0,82²) ≈ 1,16. Son intervalle est donc d’environ +1,5 ± 2,3 : de −0,8 à +3,8. Il contient zéro. X atteint p < 0,05 et Y non, mais les données ne permettent pas de dire qu’ils diffèrent.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Rédigez la partie sur les segments d'un plan de test pour une nouvelle page de produit sur mobile. Quels segments prévoyez-vous, et pourquoi? Que faites-vous d'un segment trouvé après le test?
Afficher la réponse
Une bonne réponse nomme peu de segments et une raison pour chacun, avant le test. Par exemple, l’appareil : le changement touche une page mobile. L’ordinateur ne devrait donc montrer aucun effet, ce qui vérifie que le test fonctionne. Puis, les nouveaux clients ou clients existants : les nouveaux clients pourraient trouver une nouvelle page plus difficile à utiliser. La réponse indique que les deux sont présentés avec leurs intervalles, qu’ils gagnent ou non. Elle précise aussi leur rôle dans la décision : seulement si l’intervalle de l’écart exclut zéro. Un segment trouvé après le test est une idée pour un nouveau test, pas un résultat.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Un segment est un sous-groupe de clients, comme les clients sur mobile ou les nouveaux clients. Chaque segment compte moins de clients, donc son intervalle est plus large.
- Dans le test de livraison gratuite, le mobile a « gagné » (+1,22, p = 0,025), mais pas l’ordinateur (+0,73, p = 0,32). Les effets réels du simulateur étaient de +0,66 et de +0,75. Un segment qui atteint p < 0,05 et un autre qui ne l’atteint pas ne montrent pas une différence : testez l’écart. Ici, il était de +0,49, de −1,31 à +2,29.
- Avec 20 segments et aucun effet, environ 64 % des rapports montrent au moins un faux gagnant (1 − 0,95²⁰). Les 100 tests A/A du cours, divisés en 20 segments, ont confirmé ce résultat.
- Prévoyez les segments avant le test, avec une raison pour chacun, et présentez-les tous avec leurs intervalles. Un segment trouvé après coup est une idée pour un nouveau test.
- Les vérifications du module fonctionnent aussi dans les segments. CUPED réduit la largeur de l’intervalle de chaque segment. Un déséquilibre de répartition peut aussi se cacher dans un segment.
Vous pouvez maintenant analyser un test, de la répartition aux segments. Mais chaque analyse de ce module examinait le résultat une seule fois, à la fin. Vous verrez ensuite ce qui se passe quand l’équipe regarde chaque jour et s’arrête à la première « victoire ».
Leçon suivante : Regards répétés