Aller au contenu
English

Répartir au hasard

  • Leçon 5
  • 35 min
  • Module 2 : Concevoir un test A/B

Où nous en sommes

Le simulateur nous a montré qu'une comparaison naïve peut s'éloigner beaucoup de la vérité. Un test avec répartition aléatoire s'en est beaucoup rapproché. Dans cette leçon, nous voyons pourquoi un tirage à pile ou face élimine les facteurs de confusion. Nous voyons aussi comment le choix de répartir des clients ou des sessions change la réponse.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité
Leçon 5 sur 30 · Expériences et impact causal : notre changement a-t-il fonctionné?Répartir au hasard

Ce que vous saurez faire

Laissez une pièce décider qui reçoit un changement, pour que les deux groupes se ressemblent avant le début du changement. Ensuite, une différence ne peut venir que du changement ou du hasard. Choisissez pour quoi vous lancez la pièce, le client ou la session, car une mauvaise unité invalide le test.

Carnet JupyterFaites cette leçon dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter compare les utilisateurs du bloc de recommandations aux autres clients avant que le bloc existe. Puis il répartit ces mêmes clients à pile ou face, 1 000 fois, et mesure la ressemblance entre les groupes. Ses cellules de préparation installent pandas et téléchargent les données d’exercice, donc aucune installation locale n’est nécessaire. Environ 30 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 35 minutes

Ce que vous devez savoir

  • Les facteurs de confusion : un troisième élément qui influence à la fois qui reçoit un changement et le résultat, dans Causes et comparaisons.
  • La réponse naïve « utilisateurs contre non-utilisateurs » (+9,70 dollars contre un effet réel de +2,73), dans Causes et comparaisons.
  • Les commandes sim run, xp naive, xp analyse et xp check, dans Découvrir le simulateur.

Ce qu’il vous faut sur votre ordinateur

  • Le dossier de projet larkfield-experiments de Découvrir le simulateur, avec son environnement virtuel actif. python -m pytest -q affiche 11 passed (11 tests réussis).

Testé sur macOS avec Python 3.12, pandas 3.1.1 et l’instantané start du projet. Windows n’a pas été testé.

Une boulangère prépare un nouveau pain aux graines. Elle veut savoir si une dégustation gratuite incite les gens à l’acheter. Pendant deux semaines, elle propose une dégustation aux clients qu’elle connaît bien. Ils discutent avec elle, viennent chaque jour et achètent déjà beaucoup de pain. À la fin, les clients qui ont goûté ont acheté deux fois plus de pain que les autres.

Est-ce dû à la dégustation? Elle ne peut pas le dire. Elle a choisi ses meilleurs clients pour la dégustation. Ils achèteraient plus de pain avec ou sans elle. La comparaison mélange deux choses : l’effet de la dégustation et qui en a profité.

Elle essaie maintenant une autre fois. À l’entrée, elle lance une pièce pour chaque client. Pile, une dégustation; face, aucune dégustation. La pièce ne sait pas qui est un habitué. Les habitués et les nouveaux clients se retrouvent donc des deux côtés, en nombres à peu près égaux. Si ceux qui goûtent achètent maintenant plus, la dégustation est la raison la plus probable. La seule autre raison est le hasard du tirage, dont l’effet diminue quand beaucoup de clients entrent.

Voilà toute l’idée de cette leçon. Laissez une pièce décider qui reçoit le changement.

Le problème : les utilisateurs étaient différents avant

Section intitulée « Le problème : les utilisateurs étaient différents avant »

Vous avez rencontré ce problème au module 1. Les journaux (logs) de TermeLarkfieldUne boutique en ligne canadienne inventée, qui vend des articles pour la maison et le jardin. Ce n’est pas une vraie entreprise. Tous les cours Nextia utilisent son service d’assistance et ses données comme exemple.En savoir plus Découvrez Larkfield montrent que les utilisateurs du bloc de recommandations ont dépensé 9,70 dollars de plus que les autres. Le simulateur connaît la vérité : le bloc a ajouté seulement 2,73 dollars pour ses utilisateurs. D’où vient le reste?

Les journaux contiennent une colonne pour les dépenses de chaque client dans les 8 semaines avant le lancement : pre_spend. Le bloc ne peut pas les avoir changées, car il n’existait pas encore. Voici les deux groupes avant le lancement (données simulées) :

Avant le lancement Utilisateurs du bloc Les autres clients
Clients 13 338 26 662
Dépenses dans les 8 semaines précédentes (dollars) 51,77 41,28
Commandes dans les 8 semaines précédentes 0,62 0,48
Jours depuis que la personne est cliente 884 782
Part de nouveaux clients 26 % 32 %

Les utilisateurs dépensaient déjà 10,49 dollars de plus avant que le bloc existe. Ils étaient clients depuis plus longtemps, et moins d’entre eux étaient nouveaux. Ce sont les habitués de la boulangerie. Les clients ont choisi d’utiliser le bloc, et les clients intéressés le choisissaient plus souvent. C’est l’autosélection : les gens choisissent leur propre groupe, donc les groupes diffèrent sur des aspects qui changent aussi le résultat.

Deux panneaux. À gauche, les clients ont choisi : un encadré « client intéressé et actif » a une flèche rouge pointillée vers « utilise le bloc » et une flèche grise vers « dépense plus »; « utilise le bloc » a une flèche bleue vers « dépense plus ». À droite, une pièce a choisi : un « tirage à pile ou face » a une flèche bleue vers « voit le bloc », qui a une flèche bleue vers « dépense plus ». Le client intéressé a toujours une flèche vers « dépense plus », mais sa flèche vers « voit le bloc » est barrée.
Quand les clients choisissent, leur intérêt mène à la fois au bloc et aux dépenses : l'écart mélange les deux chemins. Quand une pièce choisit, la flèche du client vers le bloc disparaît.
Description textuelle du diagramme

Le diagramme comporte deux panneaux. Dans le panneau de gauche, les clients ont choisi. Un encadré « client intéressé et actif (dépensait plus avant) » a deux flèches. Une flèche rouge pointillée mène à « utilise le bloc », et une flèche grise mène à « dépense plus ». Une flèche bleue va de « utilise le bloc » à « dépense plus ». Il y a donc deux chemins vers « dépense plus » : le bloc lui-même et le type de client qui l’utilise. La note indique que l’écart de +9,70 dollars les mélange. Dans le panneau de droite, une pièce a choisi. Un « tirage à pile ou face » a une flèche bleue vers « voit le bloc ». « Voit le bloc » a une flèche bleue vers « dépense plus ». Le client intéressé dépense toujours plus, mais sa flèche vers « voit le bloc » est barrée : la pièce ignore le client. Les clients intéressés sont dans les deux groupes, donc seul le bloc peut créer un écart.

Vous avez dessiné ce genre de graphe dans Dessiner les causes. L’intérêt est un facteur de confusion : il cause à la fois « utilise le bloc » et « dépense plus ». Un facteur de confusion ouvre un deuxième chemin entre le changement et le résultat, donc l’écart naïf est faux.

La répartition aléatoire signifie que seul le hasard décide dans quel groupe chaque unité va. Les nombres aléatoires d’un ordinateur jouent le rôle de la pièce. Un test qui fait cela est un essai contrôlé randomisé, souvent appelé test A/B. Le groupe A, le groupe témoin, conserve la version actuelle. Le groupe B, le groupe de traitement, reçoit le changement.

Pourquoi une pièce élimine-t-elle les facteurs de confusion? Parce qu’un facteur de confusion agit seulement par le choix. Les clients intéressés ont obtenu le bloc parce qu’ils l’ont choisi. Leur intérêt, ou toute autre chose à leur sujet, ne peut pas influencer une pièce. Chaque type de client a donc la même chance d’être dans A ou dans B. En moyenne, les deux groupes se ressemblent dans chaque colonne, avant le début du changement.

« Chaque colonne » comprend les colonnes que vous n’avez pas mesurées. Le scénario des journaux cache volontairement une cause : le fait que le client possède ou non un jardin. Elle n’est pas dans les données, donc aucune méthode utilisant les données ne peut en tenir compte pour corriger l’estimation. Une pièce l’équilibre quand même, car elle n’a pas besoin de la voir. Aucune autre méthode de ce cours ne peut promettre cela. Les modules 5 et 6 présentent des méthodes à utiliser quand vous ne pouvez pas répartir au hasard. Chacune exige une hypothèse dont une pièce n’a pas besoin.

Voici 8 clients et leurs dépenses avant le changement. Dans la première colonne, trois clients intéressés ont choisi le bloc. Dans la deuxième, une pièce a décidé (un exemple construit) :

Client Dépenses avant (dollars) A choisi le bloc La pièce
C1 120 oui B
C2 90 oui A
C3 80 oui A
C4 60 non B
C5 30 non A
C6 20 non B
C7 10 non B
C8 0 non A

Comparez les groupes avant que quoi que ce soit arrive :

  • Ont choisi le bloc : (120 + 90 + 80) ÷ 3 = 96,67 dollars. Les autres : (60 + 30 + 20 + 10 + 0) ÷ 5 = 24,00. Un écart de 72,67 dollars avant le changement.
  • La pièce : B donne (120 + 60 + 20 + 10) ÷ 4 = 52,50 dollars. A donne (90 + 80 + 30 + 0) ÷ 4 = 50,00. Un écart de 2,50 dollars.

L’écart de la pièce n’est pas nul. Avec 8 clients, le hasard compte encore : un autre tirage pourrait placer C1 et C2 ensemble. Mais l’écart de la pièce n’a pas de direction. Il favorise A aussi souvent que B, et diminue quand les groupes grandissent. L’écart lié au choix a une direction et demeure, peu importe le nombre de clients ajoutés.

À quel point les groupes se ressemblent-ils? Lancer la pièce 1 000 fois

Section intitulée « À quel point les groupes se ressemblent-ils? Lancer la pièce 1 000 fois »

Prenez maintenant les 40 000 clients des journaux de Larkfield. Lancez une pièce pour chacun et comparez les dépenses avant le lancement des deux groupes formés par la pièce. Puis recommencez 1 000 fois, avec un nouveau tirage chaque fois. Le carnet fait exactement cela. Le graphique montre les 1 000 écarts et l’écart des utilisateurs :

1 000 tirages à pile ou face pour les mêmes 40 000 clients. 95 % des écarts se situent entre −2,52 et +2,76 dollars, et le plus grand est de 4,85. L'écart des utilisateurs, +10,49, est bien en dehors.
Description textuelle du graphique

Un histogramme de 1 000 écarts de dépenses avant le lancement, un pour chaque tirage à pile ou face. Les écarts forment une colline centrée sur 0 dollar. 95 % se situent entre −2,52 et +2,76 dollars, et aucun ne dépasse 4,85 dollars dans un sens ou l’autre. Une ligne à droite indique l’écart entre les utilisateurs du bloc et les autres clients : +10,49 dollars. C’est plus du double du plus grand écart produit par la pièce.

Les écarts de la pièce sont petits et se trouvent des deux côtés de zéro. L’écart des utilisateurs est bien au-delà de tous ces écarts. Ce n’est pas de la malchance. C’est de l’autosélection.

Une deuxième façon de le voir : la différence standardisée. C’est l’écart entre les moyennes des groupes, divisé par la dispersion typique de la colonne. Vous pouvez ainsi comparer des colonnes aux unités différentes. Les valeurs proches de 0 signifient « semblables ». Le carnet la calcule pour quatre colonnes :

  • Utilisateurs du bloc contre les autres
  • Tirage à pile ou face (graine 1)
Les utilisateurs diffèrent des autres dans les quatre colonnes. Les groupes de la pièce sont à moins de 0,015 de zéro dans les quatre.
Description textuelle du graphique

Un graphique avec huit points sur un axe de −0,2 à +0,2, avec une ligne à 0 portant l’étiquette « semblables ». Pour chacune des quatre colonnes, un point compare les utilisateurs du bloc aux autres clients. Un autre compare deux groupes formés par la pièce. Utilisateurs : dépenses avant +0,076, commandes avant +0,104, jours comme client +0,143, nouveau client −0,146. Pièce : +0,001, −0,003, 0,000 et −0,014. Les points de la pièce se trouvent sur la ligne zéro; ceux des utilisateurs s’en éloignent.

Une règle pratique courante qualifie d’« équilibrée » une différence standardisée inférieure à 0,1. Selon cette règle, les dépenses antérieures des utilisateurs (+0,076) semblent correctes. L’histogramme montre le contraire : l’écart dépasse largement tous ceux que produit une pièce. Utilisez cette règle comme vérification rapide, pas comme preuve.

Le test de courriel de Larkfield utilisait une répartition aléatoire

Section intitulée « Le test de courriel de Larkfield utilisait une répartition aléatoire »

Le test de courriel de rappel de Rafael dans le simulateur fonctionne comme le deuxième essai de la boulangère. Le code de répartition d’TermeAmiraLa développeuse de Larkfield. Elle écrit le code des outils du service d’assistance dans les cours. lance une pièce pour chaque client. La ligne se trouve dans larkfield_experiments/ab.py :

variant = (rng.random(n) < share_b).astype(int) # the coin flip

rng.random(n) donne un nombre aléatoire entre 0 et 1 pour chacun des n clients. Un nombre inférieur à share_b (0,5) place le client dans B. Chaque client a donc 50 % de chances d’être dans B, peu importe ce qu’il faisait avant.

Vous avez exécuté ce test dans Découvrir le simulateur. L’estimation du test était de +1,47 point, avec un TermeIntervalle de confianceUne plage autour d’une valeur mesurée, obtenue par une méthode qui contient la vraie valeur 95 fois sur 100. Si l’intervalle d’une différence ne contient pas zéro, la différence n’est probablement pas due au hasard.En savoir plus Estimer l'incertitudeMathématiques et statistiques essentielles pour l'IA à 95 % de +1,00 à +1,94. L’effet réel, +1,19 point, se trouve dans l’intervalle. La réponse utilisateurs contre non-utilisateurs dans les journaux valait 3,6 fois l’effet réel. Dans l’exercice guidé ci-dessous, vous vérifiez pourquoi le test fonctionne : ses groupes se ressemblaient avant le courriel.

On lance la pièce pour quelque chose. Cette chose est l’unité de répartition. L’unité reçoit A ou B et reste dans son groupe pendant tout le test. C’est un choix de conception qui compte autant que la pièce elle-même.

Unité Exemple Convient quand Échoue quand
Client (ou utilisateur, compte) le seuil de livraison gratuite, le courriel de rappel une personne remarque le changement et s’en souvient les clients partagent une ressource que le changement épuise, comme le stock
Session (une visite) la couleur d’un bouton le changement ne laisse pas de souvenir : ce que vous avez vu la dernière fois ne compte pas le changement apprend quelque chose au client, ou le résultat est compté par client
Commande une page de paiement chaque commande est une décision séparée le même client reçoit les deux versions et les compare
Région ou magasin (une grappe) une promesse de livraison pour toute une province le changement agit sur tout le monde dans la région ensemble il y a seulement quelques régions, donc les groupes ne peuvent pas se ressembler

La règle : choisissez une unité au moins aussi grande que l’espace où l’effet se propage. Si ce qu’un client voit pendant une visite change ce qu’il fait à la suivante, le client est la plus petite unité sûre.

Deux rangées. En haut, une pièce lancée une fois par client : les trois visites d'Ana, lundi, mercredi et samedi, sont toutes B; Ana reste dans B pendant tout le test. En bas, une pièce lancée par session : lundi B, mercredi A, samedi B, avec une flèche rouge pointillée « se prolonge » du lundi au mercredi; 50,3 % des clients ont vu les deux versions, et l'intervalle n'incluait pas l'effet réel.
Une cliente, trois visites. Avec un tirage par client, Ana reste dans B. Avec un tirage par session, elle voit les deux versions. Ce qu'elle voit pendant une visite B change ce qu'elle fait pendant une visite A.
Description textuelle du diagramme

Le diagramme comporte deux rangées. Dans la rangée du haut, on lance la pièce une fois par client. Les trois visites d’Ana, lundi, mercredi et samedi, sont toutes dans B. Ana reste dans B pendant tout le test, et tous ses achats comptent pour B. Le groupe A reste un groupe « sans bloc » non contaminé. Chaque client voit une seule version. Dans la rangée du bas, on lance la pièce pour chaque session. La visite d’Ana du lundi est B, celle du mercredi est A et celle du samedi est B. Une flèche rouge pointillée portant l’étiquette « se prolonge » va du lundi au mercredi. Ce qu’elle a vu pendant la visite B change ses achats pendant la visite A. Les chiffres de A ne représentent donc plus « sans bloc ». Dans le simulateur, 50,3 % des clients ont vu les deux versions. L’intervalle du test n’incluait pas l’effet réel pour 96 graines (seeds) sur 100.

Supposons qu’Amira ait affiché le bloc de recommandations par session : un nouveau tirage à chaque visite. C’est simple à construire et cela donne beaucoup plus d’unités. Le simulateur propose aussi ce scénario; vous l’exécutez au module 4, dans Quand les unités s’influencent. Voici ce qu’il trouve (données simulées, un problème d’exercice que nous avons créé volontairement) :

  • 50,3 % des clients ont vu les deux versions pendant le test.
  • L’effet du bloc dure après la visite. Une partie apparaît dans les sessions A ultérieures du client, donc elle compte pour A.
  • L’estimation du test était de +0,3134 dollars par session. L’effet réel du bloc est de +0,7264. L’intervalle, de +0,0982 à +0,5287, ne contient pas l’effet réel.
Avec une répartition aléatoire par session, le test trouve moins de la moitié de l'effet réel du bloc, et son intervalle à 95 % manque la vérité. Sur 100 graines, l'intervalle contient la vérité dans 4 % des cas.
Description textuelle du graphique

Deux rangées sur un axe de 0 à 0,9 dollar par session. La première rangée montre l’estimation du test avec répartition aléatoire par session : +0,3134 dollars. Son intervalle à 95 % va de +0,0982 à +0,5287. La deuxième rangée montre l’effet réel du simulateur : +0,7264 dollars. L’effet réel se trouve à droite de l’intervalle entier.

Ce n’est pas de la malchance. Sur 100 graines, l’intervalle contenait l’effet réel dans seulement 4 % des exécutions. L’estimation était trop basse de 0,447 dollars par session en moyenne. L’intervalle à 95 % d’un test valide contient l’effet réel dans environ 95 % des exécutions. La conception par session se trompe chaque fois, du même montant, dans la même direction.

Une autre règle découle de l’unité : analysez à l’échelle de l’unité que vous avez répartie au hasard. La pièce a décidé par client, donc chaque client est une observation indépendante. Les visites d’un client ne sont pas indépendantes : un client intéressé fait beaucoup de visites et de commandes. C’est pourquoi xp analyse additionne d’abord les visites de chaque client, puis compare les clients. Le cours de mathématiques explique pourquoi des lignes dépendantes rendent un intervalle trop étroit : Des billets qui ne sont pas indépendants.

Utilisez la répartition aléatoire quand vous pouvez contrôler qui reçoit le changement : une page, un prix, un courriel, une requête. C’est le seul plan qui élimine les facteurs de confusion que vous n’avez pas mesurés.

Vous ne pouvez pas répartir au hasard dans certains cas. Le changement a déjà eu lieu (le bloc a été lancé pour tout le monde). La loi exige qu’il s’applique à toute une région. Ou le retenir serait injuste ou dangereux. Les modules 5 et 6 montrent quoi faire alors, et à quel point ces méthodes s’écartent de la vérité.

Ce que cela coûte :

  • La moitié de vos clients ne reçoit pas le changement pendant le test. Si B est meilleur, ils en sont privés un moment. Si B est pire, l’autre moitié en paie le prix.
  • Il vous faut assez d’unités. Il faut beaucoup de tirages à pile ou face pour rendre les groupes semblables : 8 clients ne suffisent pas, 40 000 oui. Taille d’échantillon et puissance calcule combien il en faut.
  • Il faut du travail de développement : une répartition stable garde chaque client dans le même groupe, à chaque visite et sur chaque appareil. Il faut aussi un journal indiquant qui a reçu quoi. Amira est responsable de ce code.

Exercice guidé : pourquoi le test du courriel fonctionne

Section intitulée « Exercice guidé : pourquoi le test du courriel fonctionne »
  1. Dans larkfield-experiments, avec l’TermeEnvironnement virtuelUn dossier avec son propre Python et ses propres paquets, pour un seul projet. Les paquets installés là ne changent pas les autres projets.En savoir plus Isoler les dépendancesPython pour l'ingénierie de l'IA en pratique actif, exécutez le scénario des journaux et sa réponse naïve :

    Fenêtre de terminal
    sim run --scenario logs
    xp naive
    xp check
    Scenario logs (seed 40): 28 days of logs after the recommendation block's launch: who used it and what they spent (no test).
    Wrote runs/logs-s40: customers (40,000 rows). Synthetic data. 0.3 s
    Customers who used the block: 13,338, mean revenue 39.19 dollars
    Customers who did not: 26,662, mean revenue 29.48 dollars
    Difference: +9.70 dollars (+32.9%).
    Saved to runs/logs-s40/analysis.json. Compare with the true effect: xp check
    Run logs-s40: the last analysis was `xp naive`.
    Naive answer: users spent +9.70 dollars more (+32.9%).
    True effect of the block on its users (from the simulator): +2.73 dollars per customer.
    The naive answer is 3.6 times the true effect: the users were different customers before they used the block.

    L’heure à la deuxième ligne peut être différente sur votre ordinateur.

  2. Exécutez le test du courriel, son analyse et la vérification :

    Fenêtre de terminal
    sim run --scenario email
    xp analyse
    xp check

    Les dernières lignes sont :

    difference +0.0147 (+16.4%), 95% interval +0.0100 to +0.0194, p = 1.14e-09 (Welch t-test)
    Saved to runs/email-s40/analysis.json. Compare with the true effect: xp check
    Run email-s40: the last analysis was `xp analyse`.
    True effect (from the simulator): +0.0119 share of customers with an order.
    Your estimate: +0.0147, 95% interval +0.0100 to +0.0194: the interval contains the true effect.
  3. Créez un fichier balance.py dans le dossier du projet, avec ce code. C’est un outil pour cette leçon, pas une partie du projet :

    """Compare the two groups of an email test before the email. Usage: python balance.py email-s40"""
    import sys
    import pandas as pd
    df = pd.read_csv(f"runs/{sys.argv[1]}/customers.csv.gz")
    before = ["spend_12m", "orders_12m", "tenure_days", "new_customer", "email_open_rate"]
    print(df.groupby("variant")[before].mean().round(3).T)

    Les cinq colonnes décrivent chaque client avant le courriel : dépenses et commandes des 12 derniers mois, nombre de jours comme client, nouveau ou non, et proportion des courriels précédents ouverts.

  4. Exécutez-le :

    Fenêtre de terminal
    python balance.py email-s40
    variant A B
    spend_12m 313.894 313.285
    orders_12m 3.683 3.678
    tenure_days 1027.661 1031.862
    new_customer 0.252 0.252
    email_open_rate 0.301 0.302
  5. Comparez les deux colonnes. A et B ont dépensé autant avant le courriel, à 61 cents près sur 314 $. Ils comptent autant de nouveaux clients et ouvrent autant de courriels. L’écart des commandes après le courriel (+1,47 point) ne peut donc venir que du courriel ou du hasard. L’intervalle mesure ce hasard.

Chaque graine (seed) du simulateur donne un nouvel ensemble de clients et une nouvelle pièce. Prédisez d’abord : avec la graine 41, les groupes seront-ils encore semblables avant le courriel? L’intervalle contiendra-t-il encore la vérité? Puis exécutez le test du courriel avec --seed 41, analysez-le et vérifiez-le. Exécutez aussi balance.py sur la nouvelle exécution (son dossier est email-s41).

Afficher la réponse
Fenêtre de terminal
sim run --scenario email --seed 41
xp analyse
xp check
python balance.py email-s41

Les dernières lignes de xp analyse et xp check :

difference +0.0152 (+17.0%), 95% interval +0.0105 to +0.0199, p = 3.22e-10 (Welch t-test)
Saved to runs/email-s41/analysis.json. Compare with the true effect: xp check
Run email-s41: the last analysis was `xp analyse`.
True effect (from the simulator): +0.0145 share of customers with an order.
Your estimate: +0.0152, 95% interval +0.0105 to +0.0199: the interval contains the true effect.

Et les groupes avant le courriel :

variant A B
spend_12m 312.466 313.736
orders_12m 3.677 3.669
tenure_days 1030.488 1029.975
new_customer 0.247 0.252
email_open_rate 0.301 0.301

Les groupes sont encore semblables, avec de petits écarts différents : une nouvelle pièce donne un nouveau résultat au hasard. L’effet réel diffère aussi (+1,45 point), car la graine 41 contient d’autres clients. L’intervalle le contient. Sur 200 graines, l’intervalle du test du courriel contenait la vérité dans 97 % des exécutions.

Erreur courante

Les deux premières semaines reçoivent A, les deux dernières reçoivent B

Symptôme : TermeTomásL’ingénieur en IA de Larkfield. Il propose souvent un raccourci rapide, et la leçon montre pourquoi il échoue. propose un plan plus simple pour le test de livraison gratuite : « Gardons 75 $ pendant les deux premières semaines. Puis passons à 50 $ pendant deux semaines. Pas de pièce, pas de code de répartition. » B gagne largement.

Cause : le temps est un facteur de confusion. Les deux moitiés du test couvrent des semaines différentes, et les semaines diffèrent : la saison avance, les jours fériés et les soldes passent. Supposons que le passage à 50 $ ait eu lieu le 6 octobre 2025. Les soldes d’automne de Larkfield (du 9 au 19 octobre) et l’Action de grâce (13 octobre) tomberaient seulement pendant B. B gagnerait sans l’aide du changement. Le seuil et le calendrier changent ensemble, donc le test ne peut pas les séparer.

Correction : tirez à pile ou face pour chaque client et exécutez A et B en même temps, pendant les mêmes semaines complètes. Les soldes et le jour férié touchent alors les deux groupes de la même façon.

Conséquence pour le travail en IA : les plans « avant et après » reviennent sous plusieurs formes. Par exemple, l’ancien modèle en mai et le nouveau en juin, ou l’ancienne requête la semaine dernière et la nouvelle cette semaine. Chacun confond le changement avec le calendrier. Exécutez l’ancienne et la nouvelle version côte à côte, sur des utilisateurs répartis au hasard.

Vérifiez votre compréhension

Omar dit : « Les utilisateurs du bloc ont dépensé 32,9 % de plus, et les groupes sont grands, donc le résultat est fiable. » Expliquez pourquoi la taille des groupes n'aide pas, et ce qui aiderait.

Afficher la réponse

Les clients ont choisi d’utiliser le bloc, et les clients les plus intéressés l’ont choisi plus souvent. Les utilisateurs dépensaient déjà 51,77 $ avant le lancement, contre 41,28 $ pour les autres. L’autosélection crée un écart orienté dans un sens, qu’un plus grand échantillon n’élimine pas. Il mesure seulement le mauvais écart avec plus de précision. L’écart naïf, +9,70 $, vaut 3,6 fois l’effet réel sur les utilisateurs (+2,73 $). Un tirage à pile ou face aiderait. Il ne tient pas compte du client. Les groupes sont donc semblables avant le changement dans chaque colonne, même celles qui sont cachées, comme posséder un jardin.

Vérifiez votre compréhension

Prédisez : vous tirez à pile ou face pour 8 clients, puis pour 40 000 clients. Dans quel cas les deux groupes peuvent-ils beaucoup différer avant le changement? Pourquoi ce problème diffère-t-il de l'autosélection?

Afficher la réponse

Avec 8 clients, la pièce peut facilement regrouper les grands dépensiers. Dans l’exemple de la leçon, l’écart était de 2,50 $, et un autre tirage pourrait donner beaucoup plus. Avec 40 000 clients, 95 % des 1 000 tirages ont donné des écarts entre −2,52 et +2,76 $. L’écart créé par la pièce vient du hasard : il n’a pas de direction et diminue quand les groupes grandissent. L’intervalle du test en tient déjà compte. L’écart de l’autosélection a une direction, ne diminue pas avec la taille, et aucun intervalle n’en tient compte.

Vérifiez votre compréhension

Amira veut répartir le bloc de recommandations au hasard par session, car cela donne trois fois plus d'unités. Que lui dites-vous? Quelle unité proposez-vous, et pourquoi?

Afficher la réponse

L’effet du bloc persiste : ce qu’un client voit dans une session B change aussi ses achats dans ses sessions A suivantes. Le même client voit donc les deux versions, et une partie de l’effet du bloc est comptée pour A. Dans le simulateur, 50,3 % des clients ont vu les deux. L’estimation était de +0,31 $ par session, contre un effet réel de +0,73 $. Son intervalle contenait la vérité dans seulement 4 % des 100 graines. Proposez le client comme unité : chaque client reste dans un seul groupe pendant tout le test, et l’analyse compare les clients.

Récapitulatif

  • Quand les gens choisissent leur propre groupe, les groupes diffèrent avant le changement. Les utilisateurs du bloc de Larkfield dépensaient 51,77 $ avant le lancement, contre 41,28 $ : l’autosélection, un facteur de confusion.
  • La répartition aléatoire laisse une pièce décider. La pièce ne tient pas compte du client. Les groupes sont donc semblables avant le changement dans chaque colonne, même celles que vous n’avez pas mesurées.
  • Une pièce laisse quand même un écart dû au hasard. Avec 40 000 clients, 95 % des 1 000 tirages ont donné des écarts entre −2,52 et +2,76 $. L’écart des utilisateurs était de +10,49 $.
  • L’unité de répartition doit être au moins aussi grande que l’espace où l’effet se propage. Avec une répartition aléatoire par session, la moitié des clients ont vu les deux versions. L’intervalle contenait la vérité dans 4 % des graines.
  • Analysez à l’unité que vous avez répartie au hasard : une ligne par client.

Les groupes sont maintenant comparables. Ensuite, vous décidez quoi mesurer : une mesure principale pour le test de livraison gratuite de Hana, et les garde-fous qui ne doivent pas se dégrader.

Leçon suivante : Choisir les mesures