Les expériences comme habitude d'équipe
- Leçon 30
- 30 min
- Module 8 : Les expériences pour les fonctions d'IA et en production
Où nous en sommes
Un bon rapport ne suffit pas : une équipe mène de nombreux tests, et les pièges reviennent. Dans cette leçon, Mateo met en place un journal des tests, un préenregistrement et une révision avant le lancement. Nous examinons aussi les pièges courants des équipes qui font des tests.
Leçon 30 sur 30 · Expériences et impact causal : notre changement a-t-il fonctionné?Les expériences comme habitude d'équipe
1. Pourquoi « ça a monté » n'est pas une réponse
2. Concevoir un test A/B
3. Analyser le test
4. Les pièges des vrais tests
5. Quand la répartition aléatoire est impossible : les expériences naturelles
6. Ajuster pour les facteurs de confusion dans des données d'observation
7. Le gain incrémental : à qui appliquer le traitement?
8. Les expériences pour les fonctions d'IA et en production
Ce que vous saurez faire
Faites des bons tests une habitude de toute l’équipe, pas seulement d’un analyste attentif. Consignez chaque test dans un journal des tests. Rédigez le plan avant le test et révisez-le avant le lancement. Reconnaissez les pièges qui apparaissent seulement quand une équipe mène de nombreux tests : lancer seulement les « gagnants » et tester jusqu’à ce qu’un test gagne.
Carnet JupyterFaites cette leçon dans un carnet Jupyter
Dans le carnet (notebook) Jupyter, vous simulez une année de tests pour une équipe : 1 000 idées, dont certaines fonctionnent. Vous comptez les faux gagnants, mesurez à quel point les gagnants exagèrent et observez l’effet de « tester jusqu’à ce qu’un test gagne ». Le carnet simule les tests, donc il ne nécessite aucune donnée d’exercice. Environ 25 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Le plan de test, présenté dans Écrire le plan d’abord.
- La puissance et l’effet minimal détectable, présentés dans Taille d’échantillon et puissance.
- Les regards répétés et les nombreuses mesures, présentés dans Regards répétés et Beaucoup de mesures et beaucoup de tests.
- Le rapport des résultats, présenté dans Présenter un résultat qui inspire confiance.
Ce qu’il vous faut sur votre ordinateur (seulement pour les étapes du projet)
- Le projet
larkfield-experimentsà l’instantanéend-of-m08, présenté dans Tester un modèle ou une requête en ligne, avec.venvactif. - Vos plans
plans/free-delivery.mdetplans/reminder-email.md, de Écrire le plan d’abord et de sa section À vous de jouer.xp log addvérifie que chaque fichier de plan existe.
Testé sur macOS avec Python 3.12 et l’instantané end-of-m08. Windows n’a pas été testé.
Le carnet d’un jardinier
Section intitulée « Le carnet d’un jardinier »Une jardinière essaie quelque chose de nouveau chaque année : un nouvel engrais, un nouvel emplacement pour les tomates, une nouvelle façon d’arroser. Quand l’année est bonne, elle parle de sa nouvelle idée à tout le monde. Quand l’année est mauvaise, elle l’oublie.
Après dix ans, elle se souvient de dix « excellentes idées ». Mais beaucoup de bonnes années venaient du soleil et de la pluie, pas de ses idées. Et elle n’a aucune trace des idées qui n’ont rien changé. Elle en essaie donc certaines à nouveau.
Son voisin tient un carnet. Avant chaque saison, il écrit ce qu’il va essayer et comment il va l’évaluer. À la fin, il écrit le résultat, bon ou mauvais. Après dix ans, il sait quelles idées fonctionnent. Il sait aussi à quelle fréquence une « excellente année » était seulement due à la chance.
Une équipe qui mène des tests a besoin du carnet du voisin. La médecine l’a appris à ses dépens. De nombreux pays demandent maintenant d’enregistrer les essais cliniques avant leur début. Les essais infructueux non publiés donnaient une image trop favorable des traitements.
Le problème : une équipe qui lance seulement les « gagnants »
Section intitulée « Le problème : une équipe qui lance seulement les « gagnants » »Chaque test de ce cours avait au plus 5 % de risque de produire un faux gagnant. Cela semble sûr. Mais une équipe ne mène pas un seul test. Elle en mène des centaines et lance les changements gagnants. Deux problèmes apparaissent alors.
Certains gagnants sont faux
Section intitulée « Certains gagnants sont faux »Voici une année de tests dans une entreprise fictive. Les nombres sont un exemple, pas une mesure. L’équipe teste 1 000 idées. Parmi elles, 200 fonctionnent vraiment. Les tests ont une puissance de 80 %. Une idée sans effet produit un faux résultat gagnant, supérieur à zéro, dans 2,5 % des cas : la moitié de 5 %.
Suivez les calculs :
- vrais gagnants : 200 × 80 % = 160;
- faux gagnants : 800 × 2,5 % = 20;
- total des gagnants : 160 + 20 = 180, et 20 / 180 = environ 1 sur 9 sont faux.
Si seulement 100 idées sur 1 000 fonctionnaient, il y aurait 900 × 2,5 % = 22,5 faux gagnants, contre 80 vrais gagnants : plus de 1 sur 5. La plupart des idées ne fonctionnent pas. C’est pourquoi xp log stats affiche : « Most changes do not win » (la plupart des changements ne gagnent pas).
Les gagnants exagèrent
Section intitulée « Les gagnants exagèrent »Le deuxième problème est moins visible. Même quand un gagnant est réel, son estimation est généralement trop élevée. C’est ce qu’on appelle la malédiction du gagnant.
Regardez le test de livraison gratuite de Hana. Le cours l’a exécuté 200 fois avec le simulateur. L’effet réel moyen de ces exécutions est d’environ +0,75 $ par client. Le test manque de puissance : une estimation gagne seulement si elle dépasse environ +0,88.
Description textuelle du graphique
Un histogramme de 200 estimations allant d’environ −0,55 à +2,32 $, en forme de cloche centrée près de +0,75. Repères : l’effet réel moyen, +0,75, et la moyenne des 83 estimations gagnantes, +1,19. La plus petite estimation gagnante est d’environ +0,88.
Un test peut gagner seulement si la chance pousse son estimation vers le haut. Les gagnants, pris ensemble, bénéficient donc de la chance. Sur les 200 exécutions, les 83 gagnants ont estimé +1,19 $ en moyenne. Leur effet réel était de +0,75. Une équipe qui additionne ses gagnants promet plus que ce que les changements apportent.
Tester jusqu’à ce qu’un test gagne
Section intitulée « Tester jusqu’à ce qu’un test gagne »TermeTomásL’ingénieur en IA de Larkfield. Il propose souvent un raccourci rapide, et la leçon montre pourquoi il échoue. a essayé cinq mises en page de la page produit, un test après l’autre. Aucune n’a gagné. Il en a essayé cinq autres. La dixième a gagné, et il l’a lancée.
Si aucune des dix mises en page n’avait d’effet, quel était son risque de faux gagnant? Chaque test présente un risque de 2,5 %. La probabilité qu’aucun des k tests ne gagne est de 0,975 à la puissance k :
- 1 test : 1 − 0,975 = 2,5 %;
- 5 tests : 1 − 0,9755 = 11,9 %;
- 10 tests : 1 − 0,97510 = 22,4 %;
- 20 tests : 1 − 0,97520 = 39,7 %.
Description textuelle du graphique
Un diagramme à colonnes. Un test avec des règles fixes : 2,5 % de risque de faux gagnant supérieur à zéro. Jusqu’à 10 tests jusqu’à ce qu’un gagne : 22,4 %. Arrêt au premier résultat quotidien gagnant sur 28 jours : 27,6 % (10 000 tests A/A simulés). Présentation de la meilleure des 20 mesures : 56 % (300 tests simulés).
Chaque habitude semble sans danger quand on la prend seule. Ensemble, elles rendent probable un résultat « gagnant » pour un test sans effet. Le test individuel ne ment pas. Les habitudes de l’équipe, elles, trompent.
L’idée : des habitudes qui gardent l’équipe honnête
Section intitulée « L’idée : des habitudes qui gardent l’équipe honnête »Le préenregistrement : le plan, avec une date
Section intitulée « Le préenregistrement : le plan, avec une date »Le préenregistrement signifie : rédiger le plan et le conserver dans un endroit qui lui attribue une date, avant le début du test. Vous avez rédigé des plans avec xp plan dans Écrire le plan d’abord. Gardez-les dans un système de gestion de versions (git), pour que tous voient quand chaque ligne a été écrite. Un changement après le début exige une note datée et une raison.
Une révision avant le lancement
Section intitulée « Une révision avant le lancement »Avant le début d’un test, une deuxième personne lit le plan. Mateo, l’analyste de croissance de TermeLarkfieldUne boutique en ligne canadienne inventée, qui vend des articles pour la maison et le jardin. Ce n’est pas une vraie entreprise. Tous les cours Nextia utilisent son service d’assistance et ses données comme exemple.En savoir plus Découvrez Larkfield, utilise cinq questions :
- Est-ce que
xp plan checkindique que le plan est prêt? - L’échantillon est-il assez grand pour le plus petit effet qui compte? Vérifiez avec
xp power. - L’unité est-elle la bonne? Les clients des groupes A et B peuvent-ils s’influencer?
- La répartition fonctionne-t-elle? Menez un test A/A ou vérifiez le ratio de répartition du premier jour.
- Les garde-fous figurent-ils dans le plan, avec une règle pour chacun?
La révision prend 20 minutes. Elle détecte le bogue de redirection avant de perdre 28 jours, pas après.
Un journal des tests
Section intitulée « Un journal des tests »Un journal des tests contient une ligne par test terminé : le changement testé, le plan, l’effet avec son intervalle et la décision. Tous les tests y figurent : gagnants, perdants, « aucun effet clair » et « ne pas utiliser ». Le journal montre les habitudes de l’équipe. Il montre aussi à quelle fréquence les idées fonctionnent vraiment, ce qui aide à planifier les suivantes.
Larkfield : le journal des tests de Mateo
Section intitulée « Larkfield : le journal des tests de Mateo »xp log conserve le journal dans un fichier test-log.csv dans le dossier du projet. xp log add utilise la dernière analyse d’une exécution.
-
Vérifiez que le journal est vide.
Fenêtre de terminal xp log statsThe test log is empty. Add a test with: xp log add RUN --decision ... -
Analysez le test de livraison gratuite et consignez-le avec la décision de Hana tirée du rapport.
Fenêtre de terminal sim run --scenario deliveryxp analysexp log add delivery --decision discuss --plan plans/free-delivery.md...difference +1.0266 (+4.1%), 95% interval +0.1583 to +1.8950, p = 0.0205 (Welch t-test)Saved to runs/delivery-s40/analysis.json. Compare with the true effect: xp checkLogged delivery-s40: discuss.Nous montrons seulement les dernières lignes de la sortie.
-
Consignez trois autres tests : le courriel de rappel, le test avec le bogue de redirection et le bouton de paiement de Tomás, de Regards répétés. L’équipe a lancé le bouton au jour 3, sans plan.
Fenêtre de terminal sim run --scenario emailxp analysexp log add email --decision ship --plan plans/reminder-email.mdsim run --scenario srmxp analysexp log add srm --decision "do not use" --plan plans/free-delivery.mdsim run --scenario early-stopxp analysexp log add early-stop --decision shipLa dernière commande affiche un avertissement :
Logged early-stop-s1197: ship. Warning: no test plan. -
Affichez la liste du journal et ses statistiques.
Fenêtre de terminal xp log listxp log statsYYYY-MM-DD delivery-s40 discuss revenue: +1.0266 (+0.1583 to +1.8950) plan: plans/free-delivery.mdYYYY-MM-DD email-s40 ship ordered: +0.0147 (+0.0100 to +0.0194) plan: plans/reminder-email.mdYYYY-MM-DD srm-s40 do not use revenue: +2.9012 (+2.0226 to +3.7798) plan: plans/free-delivery.mdYYYY-MM-DD early-stop-s1197 ship revenue: +0.8510 (-0.7827 to +2.4847) plan: NONE4 tests: 2 shipped (50%), 1 without a written plan.Most changes do not win: a team that ships most of its tests may be shipping noise.Votre journal affiche la date d’aujourd’hui à la place de
YYYY-MM-DD(année-mois-jour).
Ce que montre le journal
Section intitulée « Ce que montre le journal »Lisez la dernière ligne de la liste. Le bouton de paiement a été lancé, sans plan. Son TermeIntervalle de confianceUne plage autour d’une valeur mesurée, obtenue par une méthode qui contient la vraie valeur 95 fois sur 100. Si l’intervalle d’une différence ne contient pas zéro, la différence n’est probablement pas due au hasard.En savoir plus Estimer l'incertitudeMathématiques et statistiques essentielles pour l'IA sur les 28 jours complets va de −0,78 à +2,48 $ : il traverse zéro. Le simulateur sait que le bouton n’a aucun effet. Un regard au journal révèle le test qui n’aurait pas dû mener à un lancement.
Le journal a des limites. xp log add vérifie que le fichier de plan existe, mais pas que l’équipe l’a rédigé avant : c’est le rôle de la révision. Il consigne le dernier effet que vous avez analysé pour l’exécution, par exemple avec CUPED. Si votre dernière commande était xp srm, il consigne la mesure principale sans CUPED et le précise. Exécutez donc votre analyse principale en dernier, juste avant xp log add.
Deux lancements sur quatre forment un petit échantillon. Dans un vrai journal de cent tests, une équipe qui lance 50 % ou plus des changements devrait se demander si elle lance du bruit.
Quand mettre en place ces habitudes, et ce qu’elles coûtent
Section intitulée « Quand mettre en place ces habitudes, et ce qu’elles coûtent »Commencez le journal dès le premier test. Il coûte une ligne par test et devient plus utile chaque mois.
Ajoutez la révision avant le lancement quand plusieurs personnes mènent des tests, ou quand un test coûte plus d’une semaine de trafic.
Le préenregistrement ne coûte presque rien une fois les plans conservés dans git. La difficulté n’est pas l’outil. C’est la discipline de consigner les perdants et de conserver un plan qu’on voudrait changer.
Ne transformez pas ces habitudes en paperasse. Un plan d’une page, une révision de 20 minutes et une ligne dans un journal suffisent pour la plupart des tests.
Exercice guidé : une année de tests dans un carnet Jupyter
Section intitulée « Exercice guidé : une année de tests dans un carnet Jupyter »- Ouvrez le carnet Jupyter à partir de l’encadré Faites cette leçon dans un carnet Jupyter en haut de cette page.
- Dans la section 1, simulez 1 000 tests : 200 idées avec un effet réel égal à l’effet minimal détectable, 800 sans effet.
- Dans la section 2, comptez les gagnants et les faux gagnants parmi eux. Vous voyez 158 vrais gagnants et 16 faux gagnants : 9,2 % des gagnants sont faux, près du 1 sur 9 de l’arbre.
- Dans la section 3, comparez l’estimation moyenne des vrais gagnants à leur effet réel. Vous voyez 1,10 contre 1,00 : les gagnants exagèrent.
- Dans la section 4, simulez « tester jusqu’à ce qu’un test gagne » avec au plus 10 tests sans effet. Placez la part des équipes qui trouvent un faux gagnant dans
false_win_share. Exécutez la cellule de vérification. Elle afficheCheck passed(vérification réussie).
Afficher la réponse à l’étape 5
wins = (rng.normal(0, SE, size=(TEAMS, 10)) > 1.96 * SE).any(axis=1)false_win_share = round(float(wins.mean()), 3)La valeur est de 0,224, comme dans la formule 1 − 0,97510 = 0,224.
À vous de jouer : réviser un plan avant le lancement
Section intitulée « À vous de jouer : réviser un plan avant le lancement »Rafael envoie ce plan à Mateo pour tester un nouvel objet de courriel. Utilisez les cinq questions de révision. Trouvez au moins trois problèmes avant de lire la réponse.
# Test plan: subject-line
- **Hypothesis:** the new subject line is better.- **Unit:** the email (each email sent gets A or B at random).- **Primary metric:** we will look at opens, clicks and orders, and choose the clearest.- **Guardrail metrics:** TODO- **Minimum detectable effect:** 0.2 points of orders- **Sample size:** 5,000 emails per group- **Duration:** until it wins, at most 4 weeks- **Stopping rule:** we check every morning- **Decision if B is better:** ship B- **Decision if B is worse:** keep A- **Decision if no clear effect:** try another subject lineAfficher la réponse
- La mesure principale n’est pas choisie : « la plus claire » des trois est le piège des nombreuses mesures. Choisissez-en une, par exemple les commandes dans les 14 jours.
- Le garde-fou manque.
xp plan checkindiquerait « Not ready » (pas prêt). Les désabonnements sont le garde-fou évident pour un courriel. - L’unité est le courriel. Un client qui reçoit plusieurs courriels pourrait voir les deux objets. Utilisez le client.
- La taille est beaucoup trop petite. Avec un taux de base de 9 %, détecter 0,2 point exige 324 616 clients par groupe :
xp power --baseline 0.09 --mde 0.002l’indique. Testez un effet plus grand ou dites que cette question ne peut pas recevoir de réponse. - « Jusqu’à ce qu’il gagne » et « chaque matin » sont des regards répétés (peeking). Fixez la durée ou utilisez le test séquentiel de Regards répétés.
- « Essayer un autre objet » après un résultat sans effet clair revient à tester jusqu’à ce qu’un test gagne. Consignez le résultat et comptez tous les essais.
Erreur courante
« Nos tests ont gagné 40 fois cette année, donc les ventes devraient augmenter de 40 × 2 % »
Symptôme : une équipe additionne les effets de tous ses tests gagnants et promet une forte hausse des ventes. La hausse ne se produit jamais.
Cause : certains gagnants étaient faux, car la plupart des idées n’ont aucun effet. Les estimations des vrais gagnants étaient trop élevées, car un test gagne seulement si la chance pousse son estimation vers le haut. Certains tests ont continué jusqu’à gagner, ou ont été vérifiés chaque jour. Les perdants n’ont jamais été consignés, donc personne ne pouvait voir à quelle fréquence les idées échouent.
Solution : consignez chaque test, avec son plan et son intervalle. Attendez-vous à des effets réels plus petits que les estimations gagnantes. Pour les grandes décisions, refaites le test. Gardez un groupe de contrôle permanent (holdout) : un petit groupe de clients qui ne reçoit aucun des changements de l’année. À la fin de l’année, comparez-le à tous les autres.
Vérifiez votre compréhension
Une équipe teste 1 000 idées par année. Parmi elles, 100 fonctionnent vraiment, les tests ont une puissance de 80 %, et une idée sans effet gagne par hasard dans 2,5 % des tests. Combien de gagnants figurent dans le journal, et quelle part est fausse?
Afficher la réponse
Vrais gagnants : 100 × 80 % = 80. Faux gagnants : 900 × 2,5 % = 22,5. Total des gagnants : environ 102,5. Parmi eux, 22,5 / 102,5 = environ 22 % sont faux : plus de 1 sur 5. Moins de bonnes idées signifie une plus grande part de faux gagnants.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Dans 200 exécutions simulées du test de livraison gratuite, les 83 exécutions gagnantes ont estimé +1,19 $ en moyenne. Leur effet réel était pourtant d'environ +0,75. Expliquez pourquoi en deux phrases.
Afficher la réponse
Le test manque de puissance, donc une exécution gagne seulement si son erreur aléatoire pousse l’estimation au-dessus d’environ +0,88 $. Les gagnants sont donc les exécutions chanceuses, et leur moyenne est trop élevée : c’est la malédiction du gagnant.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Nommez trois habitudes qui protègent une équipe menant de nombreux tests, et le piège que chacune évite.
Afficher la réponse
Un plan rédigé et daté avant le test (préenregistrement) empêche de choisir la mesure ou le jour d’arrêt après avoir vu le résultat. Une révision avant le lancement évite de gaspiller un test à cause d’une conception défectueuse, comme une mauvaise unité ou un échantillon trop petit. Un journal de tous les tests, avec les perdants, empêche de lancer seulement les « gagnants » et de tester jusqu’à ce qu’un test gagne, car chaque essai est compté.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- La plupart des idées ne fonctionnent pas. Dans une année fictive de 1 000 tests avec 200 bonnes idées, environ 1 gagnant sur 9 est faux. Avec 100 bonnes idées, plus de 1 sur 5 est faux.
- Les gagnants exagèrent : dans 200 exécutions simulées de livraison gratuite, les gagnants ont estimé +1,19 $, contre un effet réel d’environ +0,75. C’est la malédiction du gagnant.
- Tester jusqu’à ce qu’un test gagne : jusqu’à 10 essais sans effet donnent un faux gagnant dans 22,4 % des cas.
- Les habitudes : un plan daté (préenregistrement), une révision avant le lancement, un rapport et un journal des tests qui consigne chaque test.
xp logle conserve, etxp log statsmontre combien de changements l’équipe lance et combien de tests n’avaient aucun plan.
C’est la fin des modules d’enseignement. Ensuite, les études de cas : des données réelles sur un envoi postal, une boutique en ligne et un salaire minimum.
Leçon suivante : L'envoi postal a-t-il fonctionné, et pour qui?