Aller au contenu
English

Les expériences comme habitude d'équipe

  • Leçon 30
  • 30 min
  • Module 8 : Les expériences pour les fonctions d'IA et en production

Où nous en sommes

Un bon rapport ne suffit pas : une équipe mène de nombreux tests, et les pièges reviennent. Dans cette leçon, Mateo met en place un journal des tests, un préenregistrement et une révision avant le lancement. Nous examinons aussi les pièges courants des équipes qui font des tests.

Leçon 30 sur 30 · Expériences et impact causal : notre changement a-t-il fonctionné?Les expériences comme habitude d'équipe

Ce que vous saurez faire

Faites des bons tests une habitude de toute l’équipe, pas seulement d’un analyste attentif. Consignez chaque test dans un journal des tests. Rédigez le plan avant le test et révisez-le avant le lancement. Reconnaissez les pièges qui apparaissent seulement quand une équipe mène de nombreux tests : lancer seulement les « gagnants » et tester jusqu’à ce qu’un test gagne.

Carnet JupyterFaites cette leçon dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Dans le carnet (notebook) Jupyter, vous simulez une année de tests pour une équipe : 1 000 idées, dont certaines fonctionnent. Vous comptez les faux gagnants, mesurez à quel point les gagnants exagèrent et observez l’effet de « tester jusqu’à ce qu’un test gagne ». Le carnet simule les tests, donc il ne nécessite aucune donnée d’exercice. Environ 25 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 30 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur (seulement pour les étapes du projet)

Testé sur macOS avec Python 3.12 et l’instantané end-of-m08. Windows n’a pas été testé.

Une jardinière essaie quelque chose de nouveau chaque année : un nouvel engrais, un nouvel emplacement pour les tomates, une nouvelle façon d’arroser. Quand l’année est bonne, elle parle de sa nouvelle idée à tout le monde. Quand l’année est mauvaise, elle l’oublie.

Après dix ans, elle se souvient de dix « excellentes idées ». Mais beaucoup de bonnes années venaient du soleil et de la pluie, pas de ses idées. Et elle n’a aucune trace des idées qui n’ont rien changé. Elle en essaie donc certaines à nouveau.

Son voisin tient un carnet. Avant chaque saison, il écrit ce qu’il va essayer et comment il va l’évaluer. À la fin, il écrit le résultat, bon ou mauvais. Après dix ans, il sait quelles idées fonctionnent. Il sait aussi à quelle fréquence une « excellente année » était seulement due à la chance.

Une équipe qui mène des tests a besoin du carnet du voisin. La médecine l’a appris à ses dépens. De nombreux pays demandent maintenant d’enregistrer les essais cliniques avant leur début. Les essais infructueux non publiés donnaient une image trop favorable des traitements.

Le problème : une équipe qui lance seulement les « gagnants »

Section intitulée « Le problème : une équipe qui lance seulement les « gagnants » »

Chaque test de ce cours avait au plus 5 % de risque de produire un faux gagnant. Cela semble sûr. Mais une équipe ne mène pas un seul test. Elle en mène des centaines et lance les changements gagnants. Deux problèmes apparaissent alors.

Voici une année de tests dans une entreprise fictive. Les nombres sont un exemple, pas une mesure. L’équipe teste 1 000 idées. Parmi elles, 200 fonctionnent vraiment. Les tests ont une puissance de 80 %. Une idée sans effet produit un faux résultat gagnant, supérieur à zéro, dans 2,5 % des cas : la moitié de 5 %.

Un arbre. Les 1 000 idées testées se divisent en 200 qui fonctionnent vraiment et 800 sans effet. Les 200 donnent 160 gagnants trouvés (puissance de 80 %) et 40 gagnants manqués qui semblent sans effet. Les 800 donnent 20 faux gagnants (2,5 % de 800, par hasard) et 780 résultats non gagnants. Les 160 gagnants et les 20 faux gagnants mènent à un encadré : 180 gagnants dans le journal; 20 d'entre eux, environ 1 sur 9, sont faux.
Une année fictive de 1 000 tests. Même avec de bons tests, environ 1 gagnant sur 9 est faux, car la plupart des idées n'ont aucun effet. Avec moins d'idées qui fonctionnent, ou moins de puissance, la part des faux gagnants augmente.

Suivez les calculs :

  • vrais gagnants : 200 × 80 % = 160;
  • faux gagnants : 800 × 2,5 % = 20;
  • total des gagnants : 160 + 20 = 180, et 20 / 180 = environ 1 sur 9 sont faux.

Si seulement 100 idées sur 1 000 fonctionnaient, il y aurait 900 × 2,5 % = 22,5 faux gagnants, contre 80 vrais gagnants : plus de 1 sur 5. La plupart des idées ne fonctionnent pas. C’est pourquoi xp log stats affiche : « Most changes do not win » (la plupart des changements ne gagnent pas).

Le deuxième problème est moins visible. Même quand un gagnant est réel, son estimation est généralement trop élevée. C’est ce qu’on appelle la malédiction du gagnant.

Regardez le test de livraison gratuite de Hana. Le cours l’a exécuté 200 fois avec le simulateur. L’effet réel moyen de ces exécutions est d’environ +0,75 $ par client. Le test manque de puissance : une estimation gagne seulement si elle dépasse environ +0,88.

Les estimations de 200 exécutions simulées du test de livraison gratuite. Elles se répartissent autour de l'effet réel, environ +0,75. Seules les 83 exécutions au-dessus d'environ +0,88 gagnent. Leur moyenne est de +1,19 : plus de 50 % au-dessus de l'effet réel.
Description textuelle du graphique

Un histogramme de 200 estimations allant d’environ −0,55 à +2,32 $, en forme de cloche centrée près de +0,75. Repères : l’effet réel moyen, +0,75, et la moyenne des 83 estimations gagnantes, +1,19. La plus petite estimation gagnante est d’environ +0,88.

Un test peut gagner seulement si la chance pousse son estimation vers le haut. Les gagnants, pris ensemble, bénéficient donc de la chance. Sur les 200 exécutions, les 83 gagnants ont estimé +1,19 $ en moyenne. Leur effet réel était de +0,75. Une équipe qui additionne ses gagnants promet plus que ce que les changements apportent.

TermeTomásL’ingénieur en IA de Larkfield. Il propose souvent un raccourci rapide, et la leçon montre pourquoi il échoue. a essayé cinq mises en page de la page produit, un test après l’autre. Aucune n’a gagné. Il en a essayé cinq autres. La dixième a gagné, et il l’a lancée.

Si aucune des dix mises en page n’avait d’effet, quel était son risque de faux gagnant? Chaque test présente un risque de 2,5 %. La probabilité qu’aucun des k tests ne gagne est de 0,975 à la puissance k :

  • 1 test : 1 − 0,975 = 2,5 %;
  • 5 tests : 1 − 0,9755 = 11,9 %;
  • 10 tests : 1 − 0,97510 = 22,4 %;
  • 20 tests : 1 − 0,97520 = 39,7 %.
Le risque de faux gagnant quand rien ne fonctionne. Le risque pour un maximum de 10 tests jusqu'à ce qu'un gagne est calculé (chaque test : 2,5 % pour un résultat gagnant supérieur à zéro). Les regards quotidiens et les 20 mesures sont les mesures du cours au module 4, avec p < 0,05.
Description textuelle du graphique

Un diagramme à colonnes. Un test avec des règles fixes : 2,5 % de risque de faux gagnant supérieur à zéro. Jusqu’à 10 tests jusqu’à ce qu’un gagne : 22,4 %. Arrêt au premier résultat quotidien gagnant sur 28 jours : 27,6 % (10 000 tests A/A simulés). Présentation de la meilleure des 20 mesures : 56 % (300 tests simulés).

Chaque habitude semble sans danger quand on la prend seule. Ensemble, elles rendent probable un résultat « gagnant » pour un test sans effet. Le test individuel ne ment pas. Les habitudes de l’équipe, elles, trompent.

L’idée : des habitudes qui gardent l’équipe honnête

Section intitulée « L’idée : des habitudes qui gardent l’équipe honnête »
Cinq étapes de suite. 1, Plan, rédigé avant le test : mesures, taille, règle d'arrêt; empêche de choisir la mesure après le résultat. 2, Révision : avant le lancement, une deuxième personne lit le plan; évite une conception défectueuse que personne ne remarque avant la fin. 3, Exécution : aucun regard anticipé sur le résultat; empêche de tester jusqu'à ce qu'un test gagne. 4, Rapport : décision, intervalle, vérifications, limites; empêche de raconter seulement la moitié favorable du résultat. 5, Journal : une ligne par test, y compris les perdants; empêche d'oublier les perdants.
La vie d'un test et le piège que chaque étape évite. Le plan et le journal sont les deux extrémités : le plan précède le résultat, et le journal conserve tous les résultats, même les perdants.

Le préenregistrement signifie : rédiger le plan et le conserver dans un endroit qui lui attribue une date, avant le début du test. Vous avez rédigé des plans avec xp plan dans Écrire le plan d’abord. Gardez-les dans un système de gestion de versions (git), pour que tous voient quand chaque ligne a été écrite. Un changement après le début exige une note datée et une raison.

Avant le début d’un test, une deuxième personne lit le plan. Mateo, l’analyste de croissance de TermeLarkfieldUne boutique en ligne canadienne inventée, qui vend des articles pour la maison et le jardin. Ce n’est pas une vraie entreprise. Tous les cours Nextia utilisent son service d’assistance et ses données comme exemple.En savoir plus Découvrez Larkfield, utilise cinq questions :

  1. Est-ce que xp plan check indique que le plan est prêt?
  2. L’échantillon est-il assez grand pour le plus petit effet qui compte? Vérifiez avec xp power.
  3. L’unité est-elle la bonne? Les clients des groupes A et B peuvent-ils s’influencer?
  4. La répartition fonctionne-t-elle? Menez un test A/A ou vérifiez le ratio de répartition du premier jour.
  5. Les garde-fous figurent-ils dans le plan, avec une règle pour chacun?

La révision prend 20 minutes. Elle détecte le bogue de redirection avant de perdre 28 jours, pas après.

Un journal des tests contient une ligne par test terminé : le changement testé, le plan, l’effet avec son intervalle et la décision. Tous les tests y figurent : gagnants, perdants, « aucun effet clair » et « ne pas utiliser ». Le journal montre les habitudes de l’équipe. Il montre aussi à quelle fréquence les idées fonctionnent vraiment, ce qui aide à planifier les suivantes.

xp log conserve le journal dans un fichier test-log.csv dans le dossier du projet. xp log add utilise la dernière analyse d’une exécution.

  1. Vérifiez que le journal est vide.

    Fenêtre de terminal
    xp log stats
    The test log is empty. Add a test with: xp log add RUN --decision ...
  2. Analysez le test de livraison gratuite et consignez-le avec la décision de Hana tirée du rapport.

    Fenêtre de terminal
    sim run --scenario delivery
    xp analyse
    xp log add delivery --decision discuss --plan plans/free-delivery.md
    ...
    difference +1.0266 (+4.1%), 95% interval +0.1583 to +1.8950, p = 0.0205 (Welch t-test)
    Saved to runs/delivery-s40/analysis.json. Compare with the true effect: xp check
    Logged delivery-s40: discuss.

    Nous montrons seulement les dernières lignes de la sortie.

  3. Consignez trois autres tests : le courriel de rappel, le test avec le bogue de redirection et le bouton de paiement de Tomás, de Regards répétés. L’équipe a lancé le bouton au jour 3, sans plan.

    Fenêtre de terminal
    sim run --scenario email
    xp analyse
    xp log add email --decision ship --plan plans/reminder-email.md
    sim run --scenario srm
    xp analyse
    xp log add srm --decision "do not use" --plan plans/free-delivery.md
    sim run --scenario early-stop
    xp analyse
    xp log add early-stop --decision ship

    La dernière commande affiche un avertissement :

    Logged early-stop-s1197: ship. Warning: no test plan.
  4. Affichez la liste du journal et ses statistiques.

    Fenêtre de terminal
    xp log list
    xp log stats
    YYYY-MM-DD delivery-s40 discuss revenue: +1.0266 (+0.1583 to +1.8950) plan: plans/free-delivery.md
    YYYY-MM-DD email-s40 ship ordered: +0.0147 (+0.0100 to +0.0194) plan: plans/reminder-email.md
    YYYY-MM-DD srm-s40 do not use revenue: +2.9012 (+2.0226 to +3.7798) plan: plans/free-delivery.md
    YYYY-MM-DD early-stop-s1197 ship revenue: +0.8510 (-0.7827 to +2.4847) plan: NONE
    4 tests: 2 shipped (50%), 1 without a written plan.
    Most changes do not win: a team that ships most of its tests may be shipping noise.

    Votre journal affiche la date d’aujourd’hui à la place de YYYY-MM-DD (année-mois-jour).

Lisez la dernière ligne de la liste. Le bouton de paiement a été lancé, sans plan. Son TermeIntervalle de confianceUne plage autour d’une valeur mesurée, obtenue par une méthode qui contient la vraie valeur 95 fois sur 100. Si l’intervalle d’une différence ne contient pas zéro, la différence n’est probablement pas due au hasard.En savoir plus Estimer l'incertitudeMathématiques et statistiques essentielles pour l'IA sur les 28 jours complets va de −0,78 à +2,48 $ : il traverse zéro. Le simulateur sait que le bouton n’a aucun effet. Un regard au journal révèle le test qui n’aurait pas dû mener à un lancement.

Le journal a des limites. xp log add vérifie que le fichier de plan existe, mais pas que l’équipe l’a rédigé avant : c’est le rôle de la révision. Il consigne le dernier effet que vous avez analysé pour l’exécution, par exemple avec CUPED. Si votre dernière commande était xp srm, il consigne la mesure principale sans CUPED et le précise. Exécutez donc votre analyse principale en dernier, juste avant xp log add.

Deux lancements sur quatre forment un petit échantillon. Dans un vrai journal de cent tests, une équipe qui lance 50 % ou plus des changements devrait se demander si elle lance du bruit.

Quand mettre en place ces habitudes, et ce qu’elles coûtent

Section intitulée « Quand mettre en place ces habitudes, et ce qu’elles coûtent »

Commencez le journal dès le premier test. Il coûte une ligne par test et devient plus utile chaque mois.

Ajoutez la révision avant le lancement quand plusieurs personnes mènent des tests, ou quand un test coûte plus d’une semaine de trafic.

Le préenregistrement ne coûte presque rien une fois les plans conservés dans git. La difficulté n’est pas l’outil. C’est la discipline de consigner les perdants et de conserver un plan qu’on voudrait changer.

Ne transformez pas ces habitudes en paperasse. Un plan d’une page, une révision de 20 minutes et une ligne dans un journal suffisent pour la plupart des tests.

Exercice guidé : une année de tests dans un carnet Jupyter

Section intitulée « Exercice guidé : une année de tests dans un carnet Jupyter »
  1. Ouvrez le carnet Jupyter à partir de l’encadré Faites cette leçon dans un carnet Jupyter en haut de cette page.
  2. Dans la section 1, simulez 1 000 tests : 200 idées avec un effet réel égal à l’effet minimal détectable, 800 sans effet.
  3. Dans la section 2, comptez les gagnants et les faux gagnants parmi eux. Vous voyez 158 vrais gagnants et 16 faux gagnants : 9,2 % des gagnants sont faux, près du 1 sur 9 de l’arbre.
  4. Dans la section 3, comparez l’estimation moyenne des vrais gagnants à leur effet réel. Vous voyez 1,10 contre 1,00 : les gagnants exagèrent.
  5. Dans la section 4, simulez « tester jusqu’à ce qu’un test gagne » avec au plus 10 tests sans effet. Placez la part des équipes qui trouvent un faux gagnant dans false_win_share. Exécutez la cellule de vérification. Elle affiche Check passed (vérification réussie).
Afficher la réponse à l’étape 5
wins = (rng.normal(0, SE, size=(TEAMS, 10)) > 1.96 * SE).any(axis=1)
false_win_share = round(float(wins.mean()), 3)

La valeur est de 0,224, comme dans la formule 1 − 0,97510 = 0,224.

À vous de jouer : réviser un plan avant le lancement

Section intitulée « À vous de jouer : réviser un plan avant le lancement »

Rafael envoie ce plan à Mateo pour tester un nouvel objet de courriel. Utilisez les cinq questions de révision. Trouvez au moins trois problèmes avant de lire la réponse.

# Test plan: subject-line
- **Hypothesis:** the new subject line is better.
- **Unit:** the email (each email sent gets A or B at random).
- **Primary metric:** we will look at opens, clicks and orders, and choose the clearest.
- **Guardrail metrics:** TODO
- **Minimum detectable effect:** 0.2 points of orders
- **Sample size:** 5,000 emails per group
- **Duration:** until it wins, at most 4 weeks
- **Stopping rule:** we check every morning
- **Decision if B is better:** ship B
- **Decision if B is worse:** keep A
- **Decision if no clear effect:** try another subject line
Afficher la réponse
  • La mesure principale n’est pas choisie : « la plus claire » des trois est le piège des nombreuses mesures. Choisissez-en une, par exemple les commandes dans les 14 jours.
  • Le garde-fou manque. xp plan check indiquerait « Not ready » (pas prêt). Les désabonnements sont le garde-fou évident pour un courriel.
  • L’unité est le courriel. Un client qui reçoit plusieurs courriels pourrait voir les deux objets. Utilisez le client.
  • La taille est beaucoup trop petite. Avec un taux de base de 9 %, détecter 0,2 point exige 324 616 clients par groupe : xp power --baseline 0.09 --mde 0.002 l’indique. Testez un effet plus grand ou dites que cette question ne peut pas recevoir de réponse.
  • « Jusqu’à ce qu’il gagne » et « chaque matin » sont des regards répétés (peeking). Fixez la durée ou utilisez le test séquentiel de Regards répétés.
  • « Essayer un autre objet » après un résultat sans effet clair revient à tester jusqu’à ce qu’un test gagne. Consignez le résultat et comptez tous les essais.

Erreur courante

« Nos tests ont gagné 40 fois cette année, donc les ventes devraient augmenter de 40 × 2 % »

Symptôme : une équipe additionne les effets de tous ses tests gagnants et promet une forte hausse des ventes. La hausse ne se produit jamais.

Cause : certains gagnants étaient faux, car la plupart des idées n’ont aucun effet. Les estimations des vrais gagnants étaient trop élevées, car un test gagne seulement si la chance pousse son estimation vers le haut. Certains tests ont continué jusqu’à gagner, ou ont été vérifiés chaque jour. Les perdants n’ont jamais été consignés, donc personne ne pouvait voir à quelle fréquence les idées échouent.

Solution : consignez chaque test, avec son plan et son intervalle. Attendez-vous à des effets réels plus petits que les estimations gagnantes. Pour les grandes décisions, refaites le test. Gardez un groupe de contrôle permanent (holdout) : un petit groupe de clients qui ne reçoit aucun des changements de l’année. À la fin de l’année, comparez-le à tous les autres.

Vérifiez votre compréhension

Une équipe teste 1 000 idées par année. Parmi elles, 100 fonctionnent vraiment, les tests ont une puissance de 80 %, et une idée sans effet gagne par hasard dans 2,5 % des tests. Combien de gagnants figurent dans le journal, et quelle part est fausse?

Afficher la réponse

Vrais gagnants : 100 × 80 % = 80. Faux gagnants : 900 × 2,5 % = 22,5. Total des gagnants : environ 102,5. Parmi eux, 22,5 / 102,5 = environ 22 % sont faux : plus de 1 sur 5. Moins de bonnes idées signifie une plus grande part de faux gagnants.

Vérifiez votre compréhension

Dans 200 exécutions simulées du test de livraison gratuite, les 83 exécutions gagnantes ont estimé +1,19 $ en moyenne. Leur effet réel était pourtant d'environ +0,75. Expliquez pourquoi en deux phrases.

Afficher la réponse

Le test manque de puissance, donc une exécution gagne seulement si son erreur aléatoire pousse l’estimation au-dessus d’environ +0,88 $. Les gagnants sont donc les exécutions chanceuses, et leur moyenne est trop élevée : c’est la malédiction du gagnant.

Vérifiez votre compréhension

Nommez trois habitudes qui protègent une équipe menant de nombreux tests, et le piège que chacune évite.

Afficher la réponse

Un plan rédigé et daté avant le test (préenregistrement) empêche de choisir la mesure ou le jour d’arrêt après avoir vu le résultat. Une révision avant le lancement évite de gaspiller un test à cause d’une conception défectueuse, comme une mauvaise unité ou un échantillon trop petit. Un journal de tous les tests, avec les perdants, empêche de lancer seulement les « gagnants » et de tester jusqu’à ce qu’un test gagne, car chaque essai est compté.

Récapitulatif

  • La plupart des idées ne fonctionnent pas. Dans une année fictive de 1 000 tests avec 200 bonnes idées, environ 1 gagnant sur 9 est faux. Avec 100 bonnes idées, plus de 1 sur 5 est faux.
  • Les gagnants exagèrent : dans 200 exécutions simulées de livraison gratuite, les gagnants ont estimé +1,19 $, contre un effet réel d’environ +0,75. C’est la malédiction du gagnant.
  • Tester jusqu’à ce qu’un test gagne : jusqu’à 10 essais sans effet donnent un faux gagnant dans 22,4 % des cas.
  • Les habitudes : un plan daté (préenregistrement), une révision avant le lancement, un rapport et un journal des tests qui consigne chaque test. xp log le conserve, et xp log stats montre combien de changements l’équipe lance et combien de tests n’avaient aucun plan.

C’est la fin des modules d’enseignement. Ensuite, les études de cas : des données réelles sur un envoi postal, une boutique en ligne et un salaire minimum.

Leçon suivante : L'envoi postal a-t-il fonctionné, et pour qui?