Aller au contenu
English

Gagner en précision avec CUPED

  • Leçon 11
  • 35 min
  • Module 3 : Analyser le test

Où nous en sommes

Nos vérifications passent et notre intervalle est honnête. Il est aussi large : les dépenses sont bruyantes, et un effet réel peut se cacher dans ce bruit. Dans cette leçon, nous utilisons les dépenses de chaque client avant le test pour enlever une partie du bruit avec CUPED. Nous voyons ensuite combien de clients cela économise.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité
Leçon 11 sur 30 · Expériences et impact causal : notre changement a-t-il fonctionné?Gagner en précision avec CUPED

Ce que vous saurez faire

Rendez un test plus précis sans ajouter de clients. Les dépenses de chaque client avant le test prédisent une partie de ses dépenses pendant le test. Enlever cette partie rend l’TermeIntervalle de confianceUne plage autour d’une valeur mesurée, obtenue par une méthode qui contient la vraie valeur 95 fois sur 100. Si l’intervalle d’une différence ne contient pas zéro, la différence n’est probablement pas due au hasard.En savoir plus Estimer l'incertitudeMathématiques et statistiques essentielles pour l'IA plus étroit.

Carnet JupyterFaire cette leçon dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Dans le carnet (notebook) Jupyter, vous calculez CUPED à la main sur les données de livraison gratuite : thêta, les dépenses ajustées, l’intervalle plus étroit et la variance éliminée. Vous essayez ensuite une covariable mesurée au mauvais moment. Les cellules de préparation installent les paquets et téléchargent les données d’exercice. Aucune configuration locale n’est nécessaire. Environ 25 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 35 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur (seulement pour les étapes du projet)

  • Le projet larkfield-experiments à l’instantané end-of-m03, avec .venv actif, et les exécutions delivery, srm et aa des deux dernières leçons. S’il en manque une, recréez-la avec sim run --scenario NAME.

Testé sur macOS avec Python 3.12 et l’instantané end-of-m03 du projet. Windows n’a pas été testé.

Un club de course teste de nouvelles chaussures. Un tirage à pile ou face attribue les nouvelles chaussures à la moitié des coureurs. Un mois plus tard, tous courent 5 kilomètres, et le club compare les temps moyens. Les temps vont de 18 à 40 minutes, car certains coureurs sont beaucoup plus rapides que d’autres. Les nouvelles chaussures peuvent faire gagner 20 secondes. C’est difficile à voir quand les temps diffèrent de 20 minutes.

L’entraîneuse a une meilleure idée. Chaque coureur a parcouru les mêmes 5 kilomètres le mois dernier, avant les chaussures. Elle compare donc chaque coureur à son propre temps passé. Un coureur rapide qui a mis 19 minutes le mois dernier et 18 minutes 40 secondes maintenant gagne 20 secondes. Les grandes différences entre coureurs disparaissent, et le petit effet des chaussures devient plus facile à voir.

Les chaussures n’ont pas changé les temps du mois dernier. Il est donc juste de les utiliser : ils sont semblables dans les deux groupes, à part les différences dues au hasard.

Le problème : les clients diffèrent plus que l’effet

Section intitulée « Le problème : les clients diffèrent plus que l’effet »

Le test de livraison gratuite de TermeLarkfieldUne boutique en ligne canadienne inventée, qui vend des articles pour la maison et le jardin. Ce n’est pas une vraie entreprise. Tous les cours Nextia utilisent son service d’assistance et ses données comme exemple.En savoir plus Découvrez Larkfield a le même problème. L’intervalle du revenu par client va de +0,16 à +1,90 dollar : une largeur de 1,74 dollar. L’effet réel est de 0,70 dollar. Sur 200 graines (seeds), le test le détecte seulement 41,5 % du temps.

Le bruit vient des clients eux-mêmes. Certains dépensent des centaines de dollars par mois, et la plupart ne dépensent rien. Le projet contient les dépenses de chaque client pendant les 8 semaines avant le test : pre_spend. Le graphique montre à quel point elles prédisent les dépenses suivantes.

Test de livraison gratuite, les deux groupes réunis : revenu pendant le test selon les dépenses des 8 semaines précédentes. « Aucune dépense » représente les 69 % de clients qui n'avaient rien dépensé. Les autres sont répartis en quatre groupes de taille égale. Ceux qui dépensaient le plus avant le test dépensent le plus pendant celui-ci.
Description textuelle du graphique

Cinq barres. Clients qui n’avaient rien dépensé avant le test : 14,34 dollars pendant le test. Faibles dépenses avant (2 à 53 dollars) : 19,45. Moyennes (53 à 95 dollars) : 30,10. Élevées (95 à 178 dollars) : 44,21. Les plus élevées (178 dollars et plus) : 107,95.

Les dépenses avant le test prédisent les dépenses pendant le test. La corrélation mesure à quel point deux valeurs varient ensemble : 0 signifie aucun lien, et 1, une ligne parfaitement droite. Ici, elle est de 0,44. Cette partie du bruit n’a rien à voir avec la livraison gratuite, alors nous pouvons l’enlever.

Nous ajustons les dépenses de chaque client pendant le test (y) selon ses dépenses avant le test (x) :

valeur ajustée = y − θ × (x − moyenne de x)

θ (thêta) indique combien de dollars dépensés pendant le test correspondent à chaque dollar dépensé avant le test. C’est la pente d’une droite passant parmi les clients : θ = covariance(y, x) / variance(x). La covariance ressemble à la corrélation, mais utilise les unités des données : des dollars multipliés par des dollars. Nous calculons un seul θ avec les deux groupes réunis. L’ajustement suit donc la même règle pour A et B.

Un client qui a dépensé plus que la moyenne avant le test obtient une valeur ajustée plus basse. Un client qui a dépensé moins obtient une valeur plus élevée. Il reste la partie de ses dépenses que son passé n’explique pas. Le changement, s’il fonctionne, se trouve dans cette partie.

Voici six clients fictifs pour que vous puissiez voir chaque valeur. La moyenne de x est de 60 dollars, et θ = 0,559.

Client Avant le test (x) Pendant le test (y) x − 60 0,559 × (x − 60) Valeur ajustée
1 0 10 −60 −33,5 43,5
2 20 0 −40 −22,4 22,4
3 40 50 −20 −11,2 61,2
4 60 30 0 0 30,0
5 100 70 40 22,4 47,6
6 140 80 80 44,7 35,3

Le client 1 n’a rien dépensé avant le test et a dépensé 10 dollars pendant celui-ci. CUPED ajoute donc 33,5 dollars. Le client 6 a dépensé 140 dollars avant le test, alors CUPED enlève 44,7 dollars. La moyenne de y et celle des valeurs ajustées sont toutes deux de 40 dollars : CUPED ne déplace pas la moyenne. Mais la variance passe de 1 040 à 191 : une baisse de 82 %.

Les six clients du tout petit exemple, avant et après CUPED (un exemple construit). La moyenne reste à 40 dollars, et la dispersion devient beaucoup plus faible.
Description textuelle du graphique

Deux rangées de six points. Dépenses pendant le test : 0, 10, 30, 50, 70 et 80 dollars, réparties sur 80 dollars. Après CUPED, valeurs arrondies : 22, 30, 35, 44, 48 et 61 dollars, réparties sur 39 dollars. Les deux rangées ont une moyenne de 40.

Le tirage à pile ou face a choisi le groupe après les 8 semaines de pre_spend. La livraison gratuite ne pouvait donc pas modifier pre_spend. Le tirage l’a rendu semblable dans les deux groupes, à part les différences dues au hasard. La soustraction enlève du bruit, pas l’effet. Si un groupe comptait quelques gros clients de plus par hasard, CUPED corrige aussi cette différence.

La part de variance que CUPED élimine est le carré de la corrélation entre x et y. Dans le tout petit exemple, la corrélation est de 0,90, donc 0,90² = 82 %. Chez Larkfield, la corrélation est de 0,44, donc 0,44² = 19 %.

Cette méthode s’appelle CUPED : Controlled-experiment Using Pre-Experiment Data (expérience contrôlée utilisant des données antérieures à l’expérience). Alex Deng, Ya Xu, Ron Kohavi et Toby Walker l’ont publiée chez Microsoft en 2013. C’est une forme d’ajustement par régression avec une covariable. Une covariable est une valeur mesurée pour chaque unité, ici chaque client, en plus du résultat.

Le code CUPED du projet tient en dix lignes dans larkfield_experiments/cuped.py :

def cuped_adjust(y, x):
y, x = np.asarray(y, float), np.asarray(x, float)
theta = np.cov(y, x, ddof=1)[0, 1] / x.var(ddof=1)
return y - theta * (x - x.mean()), float(theta)
def variance_reduction(y, x) -> float:
"""The share of the variance that CUPED removes: the squared correlation of outcome and covariate."""
return float(np.corrcoef(y, x)[0, 1] ** 2)

xp analyse --cuped ajuste le revenu de chaque client avec pre_spend. La commande applique ensuite le même test t de Welch aux valeurs ajustées.

  1. Analysez le test de livraison gratuite avec CUPED.

    Fenêtre de terminal
    xp analyse delivery --cuped
    Run delivery-s40 (synthetic): Free delivery from 50 dollars instead of 75: an A/B test by customer, 28 days.
    Metric: revenue. A: 55,430 customers, mean 25.0420. B: 55,329 customers, mean 26.0854.
    difference +1.0434 (+4.2%), 95% interval +0.2631 to +1.8237, p = 0.00877 (Welch t-test, CUPED)
    CUPED removed 19.3% of the variance (theta 0.271).
    Saved to runs/delivery-s40/analysis.json. Compare with the true effect: xp check
  2. Comparez-le à la réalité. xp check vérifie la dernière exécution que vous avez analysée, ici delivery.

    Fenêtre de terminal
    xp check
    Run delivery-s40: the last analysis was `xp analyse`.
    True effect (from the simulator): +0.6979 dollars per customer.
    Your estimate: +1.0434, 95% interval +0.2631 to +1.8237: the interval contains the true effect.

θ vaut 0,271 : chaque dollar dépensé avant le test correspond à 27 cents dépensés pendant celui-ci. CUPED a éliminé 19,3 % de la variance. L’intervalle va maintenant de +0,26 à +1,82 dollar : une largeur de 1,56 au lieu de 1,74. Il contient encore la valeur réelle, +0,70.

Le test de livraison gratuite sans et avec CUPED, avec la graine par défaut. L'estimation bouge à peine, et l'intervalle est environ 10 % plus étroit. Les deux contiennent l'effet réel.
Description textuelle du graphique

Deux rangées sur un axe de −0,5 à +2,5 dollars. Welch, sans ajustement : +1,03, intervalle de +0,16 à +1,90. Welch avec CUPED : +1,04, intervalle de +0,26 à +1,82. Des lignes pointillées indiquent 0 (aucun effet) et l’effet réel, +0,70.

L’estimation est encore trop élevée. CUPED enlève du bruit, mais cette graine reste chanceuse. Une seule exécution ne peut pas montrer ce qu’une méthode fait. Plusieurs exécutions le peuvent.

Le graphique montre la largeur de l’intervalle sur 20 graines, avec et sans CUPED.

La largeur de l'intervalle du test de livraison gratuite sur 20 graines du simulateur, sans et avec CUPED. Pour chaque graine, l'intervalle de CUPED est plus étroit.
Description textuelle du graphique

Deux rangées de 20 points. Welch : largeurs de 1,71 à 1,79 dollar. CUPED : largeurs de 1,53 à 1,59 dollar. Chaque largeur avec CUPED est inférieure à chaque largeur avec Welch.

Sur 200 graines, le cours a mesuré les résultats suivants :

  • CUPED a éliminé 20,3 % de la variance en moyenne.
  • La largeur de l’intervalle était multipliée par 0,89 : 1,56 dollar au lieu de 1,75.
  • L’intervalle contenait encore la valeur réelle : 94 % des exécutions, contre 95,5 % sans CUPED.
  • Le test détectait le gain dans 48,5 % des exécutions, contre 41,5 %.

Le nombre de clients nécessaire à un test augmente avec la variance. Donc, 20 % de variance en moins signifie environ 20 % de clients en moins pour la même précision. Ou, avec les mêmes clients, un effet plus petit devient visible. Le test de livraison gratuite pouvait détecter 1,23 dollar avec une puissance de 80 %. Avec CUPED, il peut détecter environ 1,10 dollar.

C’est utile, mais ce n’est pas magique. L’effet réel est de 0,70 dollar, et le test reste trop petit pour le détecter. Il détecte l’effet dans seulement environ la moitié des graines. CUPED améliore un test; il ne remplace pas un test de la bonne taille.

Pourquoi seulement un cinquième? Regardez encore le graphique des tranches de dépenses : 69 % des clients n’ont rien dépensé pendant les 8 semaines avant le test. Pour eux, pre_spend ne dit presque rien à CUPED. Les magasins dont les clients achètent plus régulièrement rapportent souvent des gains plus importants. Leurs dépenses passées prédisent mieux les dépenses suivantes.

Utilisez CUPED quand une valeur mesurée avant le test prédit la mesure. Les dépenses, les visites et les commandes passées sont de bons choix. Inscrivez la covariable dans le plan de test. Vous éviterez ainsi d’essayer dix covariables pour garder le meilleur intervalle.

Ne l’utilisez pas dans les cas suivants :

  • La covariable a été mesurée pendant le test. Le changement peut la modifier, et CUPED élimine alors une partie de l’effet. L’erreur ci-dessous montre dans quelle mesure.

  • La mesure est un ratio par commande, comme les retours par commande. Le code CUPED du projet utilise une valeur par client et refuse un ratio :

    Fenêtre de terminal
    xp analyse delivery --cuped --metric return_rate
    CUPED works on a metric per customer, such as revenue. 'return_rate' is a ratio (per order): run it without --cuped.
  • Le test est défectueux. CUPED ne répare pas un déséquilibre de répartition. Sur le test avec le bogue de redirection, xp analyse srm --cuped donne +2,01 dollars (+1,22 à +2,80). La valeur réelle reste +0,87. Faites d’abord les vérifications.

Son coût : une colonne de données antérieures au test et quelques lignes de code. Ce coût est faible. Beaucoup de grandes plateformes de test utilisent donc CUPED, ou une régression avec plusieurs covariables, par défaut.

  1. Ouvrez le carnet dans l’encadré Faire cette leçon dans un carnet Jupyter en haut de cette page.
  2. Exécutez les cellules de préparation et la cellule utilitaire. La cellule des données se termine par Ready: 2 files in data/. (prêt : 2 fichiers dans data/).
  3. Dans la section 1, exécutez le tout petit exemple. Vous voyez theta 0.559 (thêta : 0,559) et la variance passer de 1040.0 à 190.6.
  4. Dans la section 2, faites une prédiction : θ pour Larkfield sera-t-il supérieur ou inférieur à 0,5? Exécutez ensuite la cellule. Vous voyez theta 0.271 et correlation 0.439 (corrélation : 0,439).
  5. Dans la section 3, exécutez le test t ajusté. Vous voyez l’intervalle +0.263 to +1.824 (+0,263 à +1,824), le même qu’avec xp analyse --cuped.
  6. Dans la section 4, comparez les deux largeurs. Vous voyez width 1.737 (largeur : 1,737) sans CUPED et 1.561 avec CUPED.
  7. Dans la section 5, calculez share_removed : la part de variance que CUPED élimine, à partir de la corrélation.
  8. Exécutez la cellule de vérification. Elle affiche Check passed (vérification réussie).
Afficher la réponse à l’étape 7
share_removed = round(np.corrcoef(d.revenue, d.pre_spend)[0, 1] ** 2, 3)
print(share_removed)

La réponse est 0.193, comme le message du projet CUPED removed 19.3% of the variance (CUPED a éliminé 19,3 % de la variance). La variance du revenu ajusté représente 1 − 0,193 = 80,7 % de la variance du revenu.

Changez une seule chose : le test. Appliquez CUPED au test A/A de la dernière leçon. Sans CUPED, il donnait −0,84 $ (de −1,72 à +0,04), avec p = 0,06. Faites d’abord une prédiction : l’estimation va-t-elle changer? Se rapprocher de zéro ou s’en éloigner?

Afficher la réponse
Fenêtre de terminal
xp analyse aa --cuped
xp check aa
difference -0.3143 (-1.2%), 95% interval -1.0994 to +0.4708, p = 0.433 (Welch t-test, CUPED)
CUPED removed 20.4% of the variance (theta 0.275).
...
True effect (from the simulator): +0.0000 dollars per customer.
Your estimate: -0.3143, 95% interval -1.0994 to +0.4708: the interval contains the true effect.

L’estimation est passée de −0,84 à −0,31 $, vers le véritable zéro, et l’intervalle est devenu plus étroit. Par hasard, le groupe A comptait plus de clients dépensant beaucoup avant le test que le groupe B. Sans CUPED, cela ressemblait à une perte pour B. CUPED a corrigé cet écart, car il compare chaque client à son propre passé.

Erreur courante

Une covariable mesurée au mauvais moment

Symptôme : TermeTomásL’ingénieur en IA de Larkfield. Il propose souvent un raccourci rapide, et la leçon montre pourquoi il échoue. veut un plus grand gain de précision. Il utilise le nombre de commandes de chaque client pendant le test comme covariable, car il prédit beaucoup mieux le revenu. Le carnet (notebook) Jupyter affiche : CUPED removed 61.6% of the variance. (CUPED a éliminé 61,6 % de la variance.) L’estimation devient −0,42 $ (de −0,96 à +0,12). L’effet réel est de +0,70.

Cause : la livraison gratuite a changé le nombre de commandes : les clients de B ont commandé davantage. La covariable contient donc une partie de l’effet. CUPED la soustrait, et l’effet disparaît. Même le signe change.

Solution : utilisez seulement des covariables mesurées avant le tirage à pile ou face. Une covariable mesurée avant le test ne peut pas contenir l’effet. Inscrivez-la dans le plan avant le début du test. Si une covariable élimine beaucoup plus de variance que prévu, demandez d’abord quand elle a été mesurée.

Vérifiez votre compréhension

Expliquez CUPED à Hana en trois phrases, sans formule. Dites pourquoi il ne change pas l'effet moyen.

Afficher la réponse

Les dépenses varient beaucoup d’un client à l’autre, et ces différences cachent le petit effet de la livraison gratuite. CUPED compare chaque client à ses propres dépenses avant le test. Les différences entre clients disparaissent donc en grande partie, et l’intervalle devient plus étroit. La livraison gratuite ne pouvait pas changer les dépenses avant le test. Le tirage les a rendues semblables dans les deux groupes, à l’exception des écarts dus au hasard. L’ajustement élimine donc le bruit, pas l’effet.

Vérifiez votre compréhension

Faites une prédiction : la covariable d'un magasin a une corrélation de 0,7 avec sa mesure. Quelle part de la variance CUPED élimine-t-il environ? De combien de clients un test a-t-il besoin, comparativement à un test sans CUPED?

Afficher la réponse

CUPED élimine le carré de la corrélation : 0,7² = 0,49, soit environ la moitié de la variance. Le nombre de clients nécessaires augmente avec la variance. Le test a donc besoin d’environ deux fois moins de clients pour la même précision. La corrélation de Larkfield n’est que de 0,44. CUPED élimine donc environ un cinquième de la variance et réduit d’environ un cinquième le nombre de clients nécessaires.

Vérifiez votre compréhension

Tomás dit : « CUPED a donné un intervalle plus étroit sur le test avec le bogue de redirection. On peut donc lui faire confiance maintenant. » Que répondez-vous?

Afficher la réponse

Un intervalle plus étroit n’est pas forcément correct. CUPED réduit le bruit causé par les différences entre clients. Il ne peut pas ramener les clients de B perdus à cause de la redirection. Sur ce test, CUPED donne +2,01 $ (de +1,22 à +2,80), et l’effet réel est de +0,87. Il reste donc loin à l’extérieur de l’intervalle. La vérification de la répartition des groupes vient en premier. En cas de déséquilibre, aucun ajustement ne rend le résultat utilisable.

Récapitulatif

  • Les différences entre clients dépassent largement l’effet d’un changement, et ce bruit élargit les intervalles. Les dépenses avant le test prédisent une partie des dépenses pendant le test.
  • CUPED soustrait cette partie prévisible : valeur ajustée = y − θ × (x − moyenne de x). θ = cov(y, x) / var(x), calculé à partir des deux groupes réunis. La moyenne reste la même; la variance diminue selon le carré de la corrélation.
  • Cette méthode est équitable, car la covariable précède le tirage à pile ou face. Le changement ne peut pas la modifier. Le tirage l’a rendue semblable dans les deux groupes, à l’exception des écarts dus au hasard.
  • Sur le test de livraison gratuite, CUPED a éliminé 19,3 % de la variance (θ = 0,271). L’intervalle est passé de +0,16 à +1,90 à +0,26 à +1,82. Sur 200 graines (seeds) : 20,3 % de la variance, environ 20 % moins de clients, et une puissance passant de 41,5 % à 48,5 %.
  • Utilisez seulement des covariables mesurées avant le test, sur des mesures par client, et seulement sur un test sans problème. Une covariable mesurée pendant le test élimine l’effet lui-même.

Vous pouvez maintenant obtenir un effet moyen précis. Mais TermeOmarLe gestionnaire de produit de Larkfield. Il pose les questions d’affaires : ce qu’un changement coûte et ce qu’il apporte à la boutique. pose une nouvelle question : la livraison gratuite fonctionne-t-elle mieux sur mobile, ou pour les nouveaux clients? Ensuite, vous examinerez les segments et verrez pourquoi leur multiplication fait ressortir de faux gagnants.

Leçon suivante : Segments et effets différents