Quand les unités s'influencent
- Leçon 16
- 35 min
- Module 4 : Les pièges des vrais tests
Où nous en sommes
Jusqu'ici, la version d'un client ne changeait pas le résultat d'un autre client. Dans une boutique avec un stock partagé, c'est possible. Cette leçon montre comment le stock partagé et la répartition par session biaisent un test. Elle montre aussi comment la répartition par grappes et les tests par alternance aident.
Leçon 16 sur 30 · Expériences et impact causal : notre changement a-t-il fonctionné?Quand les unités s'influencent
1. Pourquoi « ça a monté » n'est pas une réponse
2. Concevoir un test A/B
3. Analyser le test
4. Les pièges des vrais tests
5. Quand la répartition aléatoire est impossible : les expériences naturelles
6. Ajuster pour les facteurs de confusion dans des données d'observation
7. Le gain incrémental : à qui appliquer le traitement?
8. Les expériences pour les fonctions d'IA et en production
Ce que vous saurez faire
Repérez les tests où la version d’un client change le résultat d’un autre. Le stock partagé, les budgets partagés et les clients qui voient les deux versions faussent un test. Aucune vérification de la répartition ne peut détecter ce problème. Répartissez au hasard des unités plus grandes : des régions entières ou des journées entières.
Carnet JupyterFaites cette leçon dans un carnet Jupyter
Dans le carnet (notebook) Jupyter, vous simulez une boutique avec un produit très vendu et peu de stock. Vous comparez un test par client à l’effet réel d’un lancement. Ensuite, vous exécutez un test par alternance et vérifiez sa couverture sur 100 graines (seeds). Les cellules de préparation installent les paquets; aucune configuration locale n’est nécessaire. Environ 25 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Les deux mondes que le simulateur compare, dans Découvrir le simulateur.
- L’unité de répartition aléatoire, dans Répartir au hasard.
- La vérification des proportions de l’échantillon, dans Vérifier le test avant le résultat.
Ce qu’il vous faut sur votre ordinateur (seulement pour les étapes du projet)
- Le projet
larkfield-experimentsà l’instantanéend-of-m04, dans Regards répétés, avec.venvactivé.
Testé sur macOS avec Python 3.12 et l’instantané end-of-m04 du projet. Windows n’a pas été testé.
Les desserts à la cantine scolaire
Section intitulée « Les desserts à la cantine scolaire »Une cantine scolaire prépare 100 desserts par jour. Pour tester une nouvelle idée, la moitié des élèves reçoivent une carte : « Allez d’abord au comptoir des desserts. » À la fin du mois, les élèves avec une carte ont mangé beaucoup plus de desserts que les autres. Le test dit : la carte fonctionne.
Mais la cantine préparait toujours 100 desserts par jour. Tous étaient mangés, avant et pendant le test. Les élèves avec une carte ont pris les desserts que les autres auraient mangés. Si chaque élève recevait une carte, personne ne mangerait davantage. Le test a mesuré une course entre les deux groupes, pas l’effet de la carte.
Le problème : un badge qui gagne une course
Section intitulée « Le problème : un badge qui gagne une course »TermeLarkfieldUne boutique en ligne canadienne inventée, qui vend des articles pour la maison et le jardin. Ce n’est pas une vraie entreprise. Tous les cours Nextia utilisent son service d’assistance et ses données comme exemple.En savoir plus Découvrez Larkfield a testé un badge « populaire en ce moment » sur ses 40 produits les plus vendus. Un tirage à pile ou face attribuait à chaque client la version A (sans badge) ou B (avec badge). Le stock de chaque produit très vendu est limité. Chaque jour, la boutique en a environ autant que le groupe A en achèterait. Le simulateur propose ce test comme scénario. Son stock partagé est un problème d’exercice que nous avons créé exprès.
-
Exécutez le test du badge.
Fenêtre de terminal sim run --scenario stockScenario stock (seed 40): A 'popular now' badge on best sellers with short stock, tested by customer (planted interference).Wrote runs/stock-s40: customers (83,052 rows), visits (268,761 rows). Synthetic data. 4.5 s -
Vérifiez d’abord la répartition, comme dans le module 3.
Fenêtre de terminal xp srm stockRun stock-s40: A 41,488, B 41,564 customers; B is 50.05% (planned 50%).chi-square 0.1, p = 0.792: no mismatch. -
Analysez le test et comparez-le à la réalité.
Fenêtre de terminal xp analysexp checkRun stock-s40 (synthetic): A 'popular now' badge on best sellers with short stock, tested by customer (planted interference).Metric: revenue. A: 41,488 customers, mean 22.2288. B: 41,564 customers, mean 25.0801.difference +2.8513 (+12.8%), 95% interval +1.8972 to +3.8053, p = 4.71e-09 (Welch t-test)Saved to runs/stock-s40/analysis.json. Compare with the true effect: xp checkRun stock-s40: the last analysis was `xp analyse`.True effect (from the simulator): +0.6869 dollars per customer, badge for everyone against nobody.Your estimate: +2.8513, 95% interval +1.8972 to +3.8053: the interval does NOT contain the true effect.
La répartition est parfaite. Le test indique +2,85 dollars par client (+12,8 %), avec une valeur p minuscule. La réalité est +0,69 : le badge pour tous comparé au badge pour personne. Le résultat du test est quatre fois trop grand. Sur 100 graines, son TermeIntervalle de confianceUne plage autour d’une valeur mesurée, obtenue par une méthode qui contient la vraie valeur 95 fois sur 100. Si l’intervalle d’une différence ne contient pas zéro, la différence n’est probablement pas due au hasard.En savoir plus Estimer l'incertitudeMathématiques et statistiques essentielles pour l'IA n’a jamais contenu la valeur réelle (couverture de 0 %). Il la dépassait de 2,60 dollars en moyenne.
D’où viennent les 2 dollars supplémentaires
Section intitulée « D’où viennent les 2 dollars supplémentaires »Le simulateur peut faire passer chaque client dans trois mondes : personne n’a le badge, tout le monde l’a, et le test. Le tableau montre le revenu par client, en dollars.
| Monde | Groupe A | Groupe B |
|---|---|---|
| Personne n’a le badge | environ 23,21 | environ 23,21 |
| Tout le monde a le badge | environ 23,90 | environ 23,90 |
| Le test | 22,23 | 25,08 |
Dans le test, B dépasse d’environ 1,87 dollar le monde sans badge, et A se situe environ 0,98 dollar en dessous. A a perdu des revenus qu’il aurait obtenus sans le test. Les clients B ont acheté les produits les plus vendus en premier, et les clients A les ont trouvés épuisés. Le +2,85 du test additionne le gain de B et la perte de A. Un lancement n’a pas de groupe A auquel prendre des produits; il donne donc seulement +0,69.
L’idée : l’interférence
Section intitulée « L’idée : l’interférence »Un test compare deux groupes et suppose que le résultat de chaque client dépend seulement de sa propre version. Il y a interférence quand c’est faux : la version d’une unité change le résultat d’une autre unité. Les statisticiens appellent cette hypothèse SUTVA (hypothèse de stabilité de la valeur du traitement pour chaque unité). Vous devez seulement en comprendre le sens : aucune unité n’en influence une autre.
L’interférence fausse un test sans qu’aucune vérification le détecte. La répartition était de 50,05 %. Les groupes se ressemblaient avant le test. L’intervalle était étroit. Tout semblait correct, mais la réponse était quatre fois trop grande.
Cherchez l’interférence partout où les groupes partagent une ressource limitée :
- Stock : un produit que les deux groupes achètent, comme ici.
- Budgets : dans une enchère publicitaire, les meilleures offres de B dépensent un budget quotidien partagé. Les annonces de A cessent tôt.
- Places de marché : dans une application de transport ou de livraison, les passagers B prennent les chauffeurs qu’auraient eus les passagers A.
- Personnes qui discutent : des amis qui partagent un code de réduction, ou un avis que les deux groupes lisent.
La deuxième forme : les clients qui voient les deux versions
Section intitulée « La deuxième forme : les clients qui voient les deux versions »L’interférence peut aussi venir de l’unité de répartition aléatoire elle-même. TermeAmiraLa développeuse de Larkfield. Elle écrit le code des outils du service d’assistance dans les cours. a déjà réparti le bloc de recommandations au hasard par session (une visite), plutôt que par client. Chaque visite avait son propre tirage à pile ou face. Le bloc aide pendant la visite où il apparaît, mais aussi plus tard. Un client qui l’a vu revient aux produits présentés. Cette aide ultérieure touche aussi les visites A.
-
Exécutez le bloc avec une répartition aléatoire par session.
Fenêtre de terminal sim run --scenario sessionScenario session (seed 40): The recommendation block randomised by session: customers see both versions (planted).Wrote runs/session-s40: visits (357,952 rows), customers (110,804 rows). Synthetic data. 12.4 s -
Analysez le test et comparez-le à la réalité.
Fenêtre de terminal xp analysexp checkRun session-s40 (synthetic): The recommendation block randomised by session: customers see both versions (planted).Metric: revenue. A: 179,188 sessions, mean 8.1237. B: 178,764 sessions, mean 8.4372.difference +0.3134 (+3.9%), 95% interval +0.0982 to +0.5287, p = 0.00432 (Welch t-test)Saved to runs/session-s40/analysis.json. Compare with the true effect: xp checkRun session-s40: the last analysis was `xp analyse`.True effect (from the simulator): +0.7264 dollars per session, if everyone got the block.Your estimate: +0.3134, 95% interval +0.0982 to +0.5287: the interval does NOT contain the true effect.
Ici, 50,3 % des clients ont vu les deux versions. Le test indique +0,31 dollar par session; un lancement donne +0,73. Cette fois, le résultat du test est trop petit. Les visites A ont reçu une partie de l’effet de B, ce qui a réduit l’écart. Sur 100 graines, la couverture était de 4 %. Vous avez choisi l’unité dans Répartir au hasard. Voilà pourquoi le client, et non la visite, est l’unité habituelle.
La solution : répartir au hasard des unités plus grandes
Section intitulée « La solution : répartir au hasard des unités plus grandes »Si les unités s’influencent, placez celles qui partagent quelque chose dans le même groupe. A et B ne partagent alors rien, et la comparaison redevient équitable.
La répartition aléatoire par grappes fait un tirage pour tout un groupe de clients qui partagent quelque chose : une région, un magasin, un entrepôt. Tout le Québec reçoit B, tout l’Ontario reçoit A. Les clients de régions différentes ne partagent pas le stock. Ils ne peuvent donc pas se prendre des produits.
Un test par alternance (switchback) fait un tirage pour une période : chaque jour, tout le monde reçoit la même version. A et B ne partagent jamais le stock d’une journée. Le test par alternance du projet change de version par jour, avec un tirage dans chaque paire de jours, pendant 28 jours.
-
Exécutez le badge avec un test par alternance.
Fenêtre de terminal sim run --scenario switchbackScenario switchback (seed 40): The 'popular now' badge with short stock, switched by day for everyone (a switchback test).Wrote runs/switchback-s40: days (28 rows), visits (268,761 rows). Synthetic data. 4.9 s -
Analysez-le. L’unité est maintenant une journée; la mesure est donc le revenu par visite pour chaque journée.
Fenêtre de terminal xp analysexp checkRun switchback-s40 (synthetic): The 'popular now' badge with short stock, switched by day for everyone (a switchback test).Metric: revenue_per_visit. A: 14 days, mean 7.2323. B: 14 days, mean 7.3049.difference +0.0726 (+1.0%), 95% interval -0.1382 to +0.2834, p = 0.485 (Welch t-test)Saved to runs/switchback-s40/analysis.json. Compare with the true effect: xp checkRun switchback-s40: the last analysis was `xp analyse`.True effect (from the simulator): +0.2123 dollars per visit, badge for everyone against nobody (approximate).Your estimate: +0.0726, 95% interval -0.1382 to +0.2834: the interval contains the true effect.La valeur réelle par visite est approximative. Le simulateur la connaît par client et la convertit avec le nombre de visites.
Description textuelle du graphique
Trois panneaux. Stock partagé, par client, en dollars par client : le test donne +2,85 (+1,90 à +3,81). L’effet réel, +0,69, est loin à gauche de l’intervalle. Stock partagé, alternance par jour, en dollars par visite : le test donne +0,07 (−0,14 à +0,28). L’effet réel de +0,21 est dans l’intervalle. Bloc de recommandations, par session, en dollars par session : le test donne +0,31 (+0,10 à +0,53). L’effet réel de +0,73 est à droite de l’intervalle.
L’estimation du test par alternance est de +0,07 dollar par visite, et la valeur réelle est de +0,21. L’estimation est inexacte. Mais l’intervalle (−0,14 à +0,28) contient la valeur réelle. Sur 100 graines, il l’a contenue 96 % du temps. Il est honnête et large, parce que 28 jours ne font que 28 unités. Ici, il ne peut même pas établir que le badge aide (p = 0,49).
Le coût des unités plus grandes
Section intitulée « Le coût des unités plus grandes »| Plan | Problèmes corrigés | Coûts |
|---|---|---|
| Par client | Aucun, si les clients partagent le stock | Précis et faux |
| Par session | Aucun; aggrave les choses | Les clients voient les deux versions |
| Par grappes (région, magasin) | Partage entre les grappes | Peu de grappes, donc intervalles larges; les grappes diffèrent entre elles |
| Par alternance (par jour ou par heure) | Partage dans une période | Peu de périodes; effet persistant d’une période à la suivante |
Un effet persistant signifie que la version d’une période agit encore pendant la suivante. Un client qui a vu le badge lundi peut encore acheter ce produit mardi, une journée A. Les équipes laissent un délai entre les périodes, ou alternent sur des périodes plus longues. Les deux options prennent du temps.
Quand les unités sont peu nombreuses, prévoyez-le. Prolongez le test, utilisez plus de grappes ou acceptez un intervalle plus large. Un intervalle large et honnête vaut mieux qu’un intervalle étroit et faux.
Les résultats de recherche : un cas particulier
Section intitulée « Les résultats de recherche : un cas particulier »En recherche et en recommandation, une liste mélange plusieurs articles. Un test peut montrer les deux modèles de classement dans une seule liste. C’est l’entrelacement (interleaving). Chaque recherche montre un mélange des résultats de A et de B. Les clics déterminent quel modèle de classement gagne. Cette méthode exige beaucoup moins de recherches qu’un test A/B. Consultez Entrelacement dans Recherche et classement : trouver la meilleure correspondance.
Exercice guidé : une boutique avec un produit très vendu
Section intitulée « Exercice guidé : une boutique avec un produit très vendu »- Ouvrez le carnet depuis l’encadré Faites cette leçon dans un carnet Jupyter en haut de cette page.
- Exécutez les cellules de préparation et la cellule utilitaire.
- Dans la section 1, faites une prédiction : le groupe avec badge obtiendra-t-il plus de la moitié des 100 unités? Exécutez ensuite une journée.
- Dans la section 2, exécutez le test par client et les deux mondes. La différence du test dépasse plusieurs fois l’effet réel d’un lancement.
- Dans la section 3, exécutez un test par alternance. Son estimation est proche de la valeur réelle, avec un intervalle large.
- Dans la section 4, calculez
coverage(couverture) : la proportion des 100 graines dont l’intervalle par alternance contient la valeur réelle. - Exécutez la cellule de vérification. Elle affiche
Check passed(vérification réussie).
Afficher la réponse à l’étape 6
runs = [switchback(s) for s in range(100)]coverage = round(float(np.mean([low <= truth <= high for est, low, high, truth in runs])), 2)print(coverage)L’intervalle du test par alternance contient la valeur réelle pour environ 95 graines sur 100.
À vous de jouer : une vérification vous aurait-elle averti?
Section intitulée « À vous de jouer : une vérification vous aurait-elle averti? »Mateo demande : « Nous vérifions chaque test pour détecter un déséquilibre de répartition. Aurions-nous détecté le stock partagé? » Faites d’abord une prédiction, puis revoyez l’étape 2 du test du badge.
Afficher la réponse
Non. xp srm stock a donné 50,05 % pour B, p = 0,792 : aucun déséquilibre. Le tirage a fonctionné et aucun client n’a été perdu. L’interférence ne change pas qui se trouve dans chaque groupe. Elle change ce qui leur arrive. Aucune vérification de la répartition, des journaux ou aucun test A/A ne peut la détecter. Vous la repérez en réfléchissant à ce que les groupes partagent avant le test et en choisissant l’unité dans le plan.
Erreur courante
« Le badge ajoute 12,8 % »
Symptôme : le test du badge indique +2,85 dollars par client (+12,8 %), p = 0,000000005. L’équipe lance le badge pour tous. Le revenu par client augmente d’environ 0,69 dollar (+3,0 %), soit un quart du gain promis.
Cause : l’interférence due au stock partagé. Les clients B ont acheté les produits très vendus que les clients A auraient achetés. Le test a compté le gain de B et la perte de A. Un lancement n’a pas de groupe A auquel prendre des produits.
Solution : avant le test, demandez : « A et B partagent-ils une ressource limitée? » Si oui, répartissez au hasard des unités plus grandes : un test par alternance par jour, ou des grappes comme les régions. Acceptez un intervalle plus large. Inscrivez l’unité et la raison dans le plan.
Vérifiez votre compréhension
Lesquels de ces tests risquent une interférence? (a) Un nouvel objet de courriel, testé par client. (b) Un tarif de livraison réduit pour les clients B, avec seulement 20 créneaux de livraison par jour. (c) Une nouvelle couleur du bouton de recherche, testée par client. Expliquez pourquoi pour chaque cas.
Afficher la réponse
(a) Risque faible : le courriel d’un client ne change pas le résultat d’un autre, sauf s’ils partagent des codes. (b) Risque élevé : les clients B réservent les créneaux limités en premier, et les clients A n’en trouvent aucun. Le test montre donc une différence plus grande que celle d’un lancement. Utilisez un test par alternance ou des grappes. (c) Risque faible : le bouton d’un client ne change pas la recherche d’un autre.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Le test du badge par alternance a donné +0,07 dollar par visite, avec un intervalle de −0,14 à +0,28 et p = 0,49. Omar dit : « Donc le badge ne fait rien. » Que répondez-vous?
Afficher la réponse
L’intervalle contient zéro, mais aussi l’effet réel (+0,21 dollar par visite) et des valeurs allant jusqu’à +0,28. Le test est honnête mais imprécis, parce qu’il n’a que 28 unités : les journées. Il ne peut pas distinguer « rien » d’un « petit gain ». Pour décider, prolongez le test par alternance. Vous pouvez aussi alterner sur des périodes plus courtes si l’effet persistant le permet, pour obtenir plus d’unités.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Le bloc de recommandations a été réparti au hasard par session, et 50,3 % des clients ont vu les deux versions. Pourquoi l'estimation est-elle trop petite, plutôt que trop grande?
Afficher la réponse
Le bloc aide aussi lors des visites suivantes : un client qui l’a vu une fois revient aux produits présentés. Quand un client a des visites A et B, ses visites A reçoivent aussi une partie de l’aide du bloc. Le revenu du groupe A augmente donc, et l’écart entre B et A diminue. Le test indiquait +0,31 dollar par session; un lancement donne +0,73. La répartition aléatoire par client garde toutes les visites d’un client dans un seul groupe.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Il y a interférence quand la version d’une unité change le résultat d’une autre unité. Le test mesure alors une course entre les groupes, pas l’effet d’un lancement.
- Le test du badge avec stock partagé (un problème d’exercice créé exprès) indiquait +2,85 dollars par client; le lancement donne +0,69. Couverture sur 100 graines : 0 %. La répartition était parfaite; aucune vérification n’a donc détecté le problème.
- La répartition aléatoire par session a permis à 50,3 % des clients de voir les deux versions. L’estimation était trop petite (+0,31 contre +0,73; couverture de 4 %).
- La répartition aléatoire par grappes (régions, magasins) et les tests par alternance (par jour) séparent A et B. L’intervalle du test par alternance contenait la valeur réelle pour 96 % des 100 graines. Mais 28 jours donnent un intervalle large, et les effets peuvent persister entre les périodes.
- Dans les listes de recherche, l’entrelacement montre les deux modèles de classement dans une seule liste.
Voilà qui termine les pièges liés à l’exécution d’un test. Parfois, vous ne pouvez pas faire de test du tout. Ensuite, vous mesurez l’effet de la livraison gratuite au Québec sans tirage à pile ou face.
Leçon suivante : Différence des différences