Choisir les mesures
- Leçon 6
- 30 min
- Module 2 : Concevoir un test A/B
Où nous en sommes
Nous pouvons maintenant répartir les clients équitablement à pile ou face. Il faut ensuite décider quoi mesurer. Dans cette leçon, nous choisissons une mesure principale pour le test de livraison gratuite de Hana. Nous ajoutons des garde-fous qui ne doivent pas se dégrader. Nous traitons aussi les mesures de ratio comme le revenu par visiteur.
Leçon 6 sur 30 · Expériences et impact causal : notre changement a-t-il fonctionné?Choisir les mesures
1. Pourquoi « ça a monté » n'est pas une réponse
2. Concevoir un test A/B
3. Analyser le test
4. Les pièges des vrais tests
5. Quand la répartition aléatoire est impossible : les expériences naturelles
6. Ajuster pour les facteurs de confusion dans des données d'observation
7. Le gain incrémental : à qui appliquer le traitement?
8. Les expériences pour les fonctions d'IA et en production
Ce que vous saurez faire
Choisissez une mesure principale qui détermine le résultat du test, avant son début. Ajoutez des garde-fous qui ne doivent pas se dégrader. Calculez correctement les mesures de ratio comme le taux de retour. Avec six mesures et aucune règle, un test peut raconter l’histoire que vous voulez.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- La répartition aléatoire et son unité (le client), présentées dans Répartir au hasard.
- Un intervalle à 95 % pour une différence contient la différence réelle dans environ 95 tests sur 100. Le cours de mathématiques l’explique dans L’intervalle de confiance : une plage avec un taux de réussite connu.
Ce qu’il vous faut sur votre ordinateur
- Le dossier du projet
larkfield-experiments, avec son environnement virtuel actif, comme dans Répartir au hasard. Cette leçon n’ajoute aucun code : elle utilisexp analyse --metric.
Testé sur macOS avec Python 3.12 et l’instantané start (début) du projet. Windows n’a pas été testé.
La nouvelle vitrine
Section intitulée « La nouvelle vitrine »La propriétaire de la boutique de cadeaux du module 1 a sa nouvelle vitrine depuis un mois. Elle demande : a-t-elle fonctionné? Son assistant apporte six chiffres. Plus de personnes sont entrées. La proportion de visiteurs qui ont acheté quelque chose a augmenté. Mais la vente moyenne était un peu plus petite. Les retours ont augmenté. Les ventes par visiteur ont un peu augmenté. Et les visites par client n’ont pas changé.
Alors, a-t-elle fonctionné? Tout dépend du chiffre qu’elle lit. Si elle voulait plus de ventes, peut-être que oui. Si les retours lui coûtent cher, peut-être que non. Supposons qu’elle choisisse le chiffre après avoir vu les six. Elle peut alors raconter presque n’importe quelle histoire. Elle racontera généralement celle qu’elle espérait.
Une propriétaire prudente décide d’abord. « La vitrine vise les ventes. Je la jugerai sur les ventes par visiteur. Et je ne la garderai pas si les retours se dégradent clairement. » Un chiffre décide. Un autre peut l’arrêter. Les autres l’aident à comprendre pourquoi.
Le problème : six mesures, six histoires
Section intitulée « Le problème : six mesures, six histoires »Le test de livraison gratuite de Hana présente la même situation. Le groupe A garde la livraison gratuite à partir de 75 dollars. Le groupe B l’obtient à partir de 50 dollars. Le simulateur a exécuté le test pendant 28 jours avec 110 759 clients (simulés). xp analyse --metric peut mesurer plusieurs choses dans le même test. En voici six, chacune exprimée comme une variation par rapport au groupe A. L’effet réel du simulateur apparaît quand celui-ci le connaît :
- L'estimation et l'intervalle du test
- Effet réel (du simulateur)
Description textuelle du graphique
Un graphique des variations relatives de −6 % à +24 %, avec une ligne à 0 portant l’étiquette « aucun effet ». Revenu par client : +4,1 %, TermeIntervalle de confianceUne plage autour d’une valeur mesurée, obtenue par une méthode qui contient la vraie valeur 95 fois sur 100. Si l’intervalle d’une différence ne contient pas zéro, la différence n’est probablement pas due au hasard.En savoir plus Estimer l'incertitudeMathématiques et statistiques essentielles pour l'IA de +0,63 % à +7,56 %, effet réel de +2,79 %. Proportion ayant commandé : +5,36 %, intervalle de +3,09 % à +7,64 %, effet réel de +3,49 %. Commandes par client : +5,83 %, intervalle de +3,08 % à +8,57 %, effet réel de +4,43 %. Valeur de la commande : −1,63 %, intervalle de −3,72 % à +0,45 %, aucune valeur réelle dans le simulateur. Visites par client : +0,37 %, intervalle de −0,69 % à +1,42 %, aucune valeur réelle. Taux de retour : +15,53 %, intervalle de +8,15 % à +22,91 %, effet réel de +14,12 %.
Chaque mesure raconte une histoire différente. TermeOmarLe gestionnaire de produit de Larkfield. Il pose les questions d’affaires : ce qu’un changement coûte et ce qu’il apporte à la boutique. peut dire « les commandes ont augmenté de 5,8 % ». Le collègue de Hana aux finances peut dire « les retours ont augmenté de 15,5 % ». Quelqu’un d’autre peut dire « la valeur de la commande a baissé ». Tous lisent le même test. Sans règle, la personne qui parle le plus fort choisit le chiffre.
Il y a un deuxième problème. Chaque mesure a sa propre chance de montrer une différence par hasard. Le module 4 la mesure : dans un test avec 20 mesures et aucun effet réel, au moins une mesure a « gagné » dans 56 % des exécutions simulées (Beaucoup de mesures et beaucoup de tests). Choisir la meilleure mesure après le test revient à retenir cette chance.
L’idée : une mesure décide, les autres protègent
Section intitulée « L’idée : une mesure décide, les autres protègent »Avant le test, classez les mesures en quatre catégories :
Description textuelle du diagramme
Le diagramme contient cinq encadrés de haut en bas, reliés par des flèches. En haut se trouve la décision : abaisser le seuil de livraison gratuite de 75 à 50 dollars pour tout le monde? En dessous se trouve la mesure principale, une seule, choisie avant le test : le revenu par client. Elle décide. Viennent ensuite les garde-fous, qui ne doivent pas se dégrader clairement : taux de retour, contacts avec le soutien et vitesse des pages. Ils peuvent arrêter un lancement. Viennent ensuite les mesures de diagnostic, qui expliquent pourquoi : proportion ayant commandé, commandes par client, valeur de la commande et visites. En bas se trouve la vérification de cohérence, une mesure que le changement ne peut pas modifier : dépenses avant le test. Un écart à cet endroit indique une répartition défectueuse.
- La mesure principale est le seul chiffre qui détermine le résultat du test. Il y en a exactement une, et vous la choisissez avant le début du test. Certaines équipes l’appellent « mesure de décision » ou « critère global d’évaluation ».
- Les garde-fous sont des chiffres qui ne doivent pas se dégrader clairement. Ils ne décident pas que B est meilleur. Ils peuvent arrêter un lancement. Les garde-fous courants sont les retours, les contacts avec le soutien, la vitesse des pages, les erreurs et les désabonnements.
- Les mesures de diagnostic expliquent pourquoi la mesure principale a changé. Elles ne décident jamais à elles seules.
- Une vérification de cohérence est une mesure que le changement ne peut pas modifier, comme les dépenses avant le test. Si elle montre un écart clair, la répartition est défectueuse. Vous avez vu pourquoi dans Répartir au hasard.
Ce qui fait une bonne mesure principale
Section intitulée « Ce qui fait une bonne mesure principale »La décision de Hana est : « TermeLarkfieldUne boutique en ligne canadienne inventée, qui vend des articles pour la maison et le jardin. Ce n’est pas une vraie entreprise. Tous les cours Nextia utilisent son service d’assistance et ses données comme exemple.En savoir plus Découvrez Larkfield devrait-elle payer la livraison sur davantage de commandes? » Le changement coûte de l’argent sur chaque commande entre 50 et 75 dollars. Il est rentable seulement si les clients dépensent plus. La mesure principale est donc le revenu par client. C’est tout ce que les clients du groupe ont dépensé pendant le test, divisé par le nombre de clients du groupe.
Une bonne mesure principale a cinq propriétés :
- Elle est liée à la décision. Le revenu paie la livraison. La proportion de clients ayant commandé ne le fait pas. Un client qui achète maintenant un petit article ajoute un coût de livraison et peu de revenu.
- Elle se mesure par unité de répartition. Le tirage à pile ou face se faisait par client. La mesure est donc par client.
- Elle compte tout le monde dans le groupe, y compris les clients qui n’ont rien acheté. Dans ce test, 78 % des clients n’ont aucune commande. Ils comptent pour 0 dollar.
- Elle peut changer pendant le test. « Clients encore actifs l’an prochain » est un meilleur objectif, mais un test de 4 semaines ne peut pas l’observer.
- Elle est difficile à manipuler. Une mesure comme « clics sur la bannière de livraison » augmente quand la bannière grossit, même si personne n’achète plus.
Un piège : la valeur de la commande compte seulement les acheteurs
Section intitulée « Un piège : la valeur de la commande compte seulement les acheteurs »Regardez la valeur de la commande dans le graphique : les commandes de B sont 1,6 % plus petites. Il est tentant de lire cela comme « la livraison gratuite fait dépenser moins par commande ». Mais la valeur de la commande se calcule seulement sur les clients qui ont commandé : 11 893 dans A et 12 508 dans B. B compte 615 acheteurs de plus que A : le changement a amené davantage de clients à acheter. Ces acheteurs supplémentaires peuvent différer des autres, par exemple avec des paniers plus petits.
Les acheteurs de A et ceux de B ne sont donc peut-être plus le même type de personnes. Le tirage à pile ou face a rendu les groupes semblables. Garder seulement les clients qui ont « acheté quelque chose » après le changement peut défaire cet équilibre. La valeur de la commande mélange alors deux choses : un changement dans ce que chaque client achète et dans qui achète. Le test ne peut pas les séparer. La valeur de la commande convient comme diagnostic : elle aide à expliquer le résultat. Elle ne doit jamais être la mesure principale. Il en va de même pour le « revenu par acheteur ». Le revenu par client n’a aucun filtre, donc l’équilibre du tirage tient.
Les mesures de ratio
Section intitulée « Les mesures de ratio »Certaines mesures ne sont pas « par client ». Le taux de retour correspond aux retours par commande. Le revenu par visite correspond au revenu par visite. L’unité au bas de la fraction n’est pas l’unité de répartition. Ce sont des mesures de ratio, et elles demandent de l’attention à deux endroits.
Un petit exemple : quatre clients et leurs retours
Section intitulée « Un petit exemple : quatre clients et leurs retours »Voici quatre clients du groupe A avec leurs commandes et leurs retours (un exemple construit) :
| Client | Commandes | Retours | Son propre taux de retour |
|---|---|---|---|
| K1 | 4 | 1 | 1 ÷ 4 = 25 % |
| K2 | 1 | 1 | 1 ÷ 1 = 100 % |
| K3 | 0 | 0 | aucune commande |
| K4 | 3 | 0 | 0 ÷ 3 = 0 % |
| Tous | 8 | 2 |
Il y a deux façons de calculer « le taux de retour du groupe A » :
- Ratio des sommes : 2 retours ÷ 8 commandes = 25 %. Chaque commande compte une fois.
- Moyenne des taux des clients : (25 % + 100 % + 0 %) ÷ 3 = 41,7 %. Chaque client ayant une commande compte une fois. La seule commande de K2 pèse donc autant que les quatre de K1.
Elles répondent à des questions différentes. Larkfield paie pour chaque commande retournée. Hana veut donc les « retours par commande » : le ratio des sommes. Écrivez la définition dans le plan de test pour que personne ne la change plus tard.
Le deuxième point est l’intervalle. Il est tentant de traiter les 8 commandes comme 8 lignes indépendantes. Elles ne le sont pas : les quatre commandes de K1 viennent d’une seule personne, qui a ses habitudes de retour. Le tirage à pile ou face se faisait par client. Les clients sont donc les unités indépendantes. xp analyse garde ainsi une ligne par client : ses commandes et ses retours. Il calcule le ratio des sommes et son intervalle avec la méthode delta. Cette formule donne l’incertitude d’un ratio lorsque le haut et le bas de la fraction varient d’un client à l’autre. Vous n’avez pas besoin de la formule : la sortie indique (ratio, delta method) (ratio, méthode delta). Les mesures du cours montrent qu’elle fonctionne. Sur 200 graines, son intervalle à 95 % pour le taux de retour contenait la vérité dans 94 % des exécutions.
Le « revenu par visiteur », qu’utilisent plusieurs boutiques, est le cas facile. Le visiteur est le client, l’unité de répartition. C’est donc une simple moyenne par client. C’est la mesure principale de Hana. Le « revenu par visite » est une mesure de ratio, comme le taux de retour.
Larkfield : les mesures de Hana
Section intitulée « Larkfield : les mesures de Hana »TermePriyaLa scientifique des données de Larkfield. Elle mesure la qualité de l’assistant sur des jeux de test, pas à l’intuition. et Hana fixent les mesures du test de livraison gratuite avant son début :
| Catégorie | Mesure | Dans le projet |
|---|---|---|
| Principale | Revenu par client, pendant les 28 jours | revenue (revenu, la mesure par défaut du scénario) |
| Garde-fou | Taux de retour : retours par commande | return_rate (taux de retour) |
| Garde-fou | Contacts avec le soutien par client; vitesse des pages | absents du simulateur : une vraie boutique les ajouterait |
| Diagnostic | Proportion ayant commandé; commandes par client; valeur de la commande; visites par client | converted (a commandé), orders (commandes), order_value (valeur de la commande), visits (visites) |
| Vérification de cohérence | Dépenses pendant les 8 semaines avant le test | pre_spend (dépenses avant le test) |
Relisez maintenant le graphique avec la règle. La mesure principale a augmenté : +1,03 dollar par client (+4,1 %), avec un intervalle de +0,16 à +1,90. Cet intervalle contient l’effet réel, +0,70. Mais cette graine était chanceuse. Sur 200 graines du simulateur, un test de cette taille détecte l’effet sur le revenu dans seulement 41,5 % des exécutions. Taille d’échantillon et puissance explique pourquoi. Le garde-fou s’est clairement dégradé. Le taux de retour est passé de 8,31 % à 9,60 % des commandes, soit +1,29 point (effet réel de +1,17). Les diagnostics expliquent l’histoire : plus de clients ont commandé, et leurs commandes étaient un peu plus petites.
Le test ne se termine donc pas par « B gagne ». Il se termine par une question pour Hana : +1,03 dollar de revenu vaut-il 1,29 retour supplémentaire par 100 commandes? Ce compromis est une décision d’affaires. Le plan dans Écrire le plan d’abord indique d’avance qui la prend et comment.
Quand ajouter une mesure, et ce que cela coûte
Section intitulée « Quand ajouter une mesure, et ce que cela coûte »Ajoutez un garde-fou pour chaque dommage possible du changement : financier (retours, remboursements), humain (contacts avec le soutien, désabonnements, plaintes) et au produit (vitesse des pages, erreurs). Un garde-fou est une assurance peu coûteuse.
N’ajoutez pas de mesures principales. Un test, une mesure principale. Si deux objectifs comptent vraiment, combinez-les en un chiffre avant le test, par exemple le revenu moins le coût des retours.
Ce que cela coûte : chaque mesure supplémentaire ajoute une chance de faux gagnant et un chiffre de plus à débattre. Chaque garde-fou qui peut arrêter un lancement a aussi besoin de sa propre limite. Ici, « clairement dégradé » signifie que tout son intervalle est du mauvais côté de 0. Les mesures de ratio exigent la bonne analyse, comme ci-dessus.
Exercice guidé : les mesures du test de livraison gratuite
Section intitulée « Exercice guidé : les mesures du test de livraison gratuite »-
Dans
larkfield-experiments, avec l’TermeEnvironnement virtuelUn dossier avec son propre Python et ses propres paquets, pour un seul projet. Les paquets installés là ne changent pas les autres projets.En savoir plus Isoler les dépendancesPython pour l'ingénierie de l'IA en pratique actif, exécutez le test de livraison gratuite :Fenêtre de terminal sim run --scenario deliveryScenario delivery (seed 40): Free delivery from 50 dollars instead of 75: an A/B test by customer, 28 days.Wrote runs/delivery-s40: customers (110,759 rows), visits (358,302 rows). Synthetic data. 8.6 sCela prend quelques secondes. Le temps peut être différent sur votre ordinateur.
-
Analysez la mesure principale. Sans
--metric,xp analyseutilise la mesure principale du scénario :Fenêtre de terminal xp analyseRun delivery-s40 (synthetic): Free delivery from 50 dollars instead of 75: an A/B test by customer, 28 days.Metric: revenue. A: 55,430 customers, mean 25.0504. B: 55,329 customers, mean 26.0770.difference +1.0266 (+4.1%), 95% interval +0.1583 to +1.8950, p = 0.0205 (Welch t-test)Saved to runs/delivery-s40/analysis.json. Compare with the true effect: xp check -
Analysez le garde-fou, puis comparez-le à la vérité du simulateur :
Fenêtre de terminal xp analyse --metric return_ratexp checkRun delivery-s40 (synthetic): Free delivery from 50 dollars instead of 75: an A/B test by customer, 28 days.Metric: return_rate. A: 11,893 customers, mean 0.0831. B: 12,508 customers, mean 0.0960.difference +0.0129 (+15.5%), 95% interval +0.0068 to +0.0190, p = 3.7e-05 (ratio, delta method)Saved to runs/delivery-s40/analysis.json. Compare with the true effect: xp checkRun delivery-s40: the last analysis was `xp analyse`.True effect (from the simulator): +0.0117 returns per order.Your estimate: +0.0129, 95% interval +0.0068 to +0.0190: the interval contains the true effect.Le taux de retour compte seulement les clients ayant une commande (11 893 et 12 508). La sortie indique
ratio, delta method(ratio, méthode delta). Son intervalle est au-dessus de 0 : le garde-fou s’est clairement dégradé. -
Analysez un diagnostic, la valeur de la commande :
Fenêtre de terminal xp analyse --metric order_valueRun delivery-s40 (synthetic): Free delivery from 50 dollars instead of 75: an A/B test by customer, 28 days.Metric: order_value. A: 11,893 customers, mean 85.3280. B: 12,508 customers, mean 83.9334.difference -1.3947 (-1.6%), 95% interval -3.1745 to +0.3851, p = 0.125 (ratio, delta method)Saved to runs/delivery-s40/analysis.json. Compare with the true effect: xp check -
Exécutez la vérification de cohérence. Le changement ne peut pas modifier les dépenses d’avant le test :
Fenêtre de terminal xp analyse --metric pre_spendRun delivery-s40 (synthetic): Free delivery from 50 dollars instead of 75: an A/B test by customer, 28 days.Metric: pre_spend. A: 55,430 customers, mean 46.6598. B: 55,329 customers, mean 46.5977.difference -0.0621 (-0.1%), 95% interval -1.4699 to +1.3458, p = 0.931 (Welch t-test)Saved to runs/delivery-s40/analysis.json. Compare with the true effect: xp checkL’intervalle est large et centré près de 0, comme il devrait l’être. La répartition est saine.
À vous : le garde-fou du courriel
Section intitulée « À vous : le garde-fou du courriel »Le courriel de rappel de Rafael a pour mesure principale ordered (a commandé). C’est la proportion de clients qui commandent dans les 14 jours après le courriel. Quel garde-fou ajouteriez-vous pour un courriel? Prédisez s’il se dégrade. Exécutez ensuite de nouveau le test du courriel. Analysez la mesure unsubscribed (désabonné, 1 si le client s’est désabonné des courriels de Larkfield), puis vérifiez-la.
Afficher la réponse
Les désabonnements sont le garde-fou naturel : un courriel qui agace les gens prive Larkfield de tous les courriels futurs à leur envoyer.
sim run --scenario emailxp analyse --metric unsubscribedxp checkLes dernières lignes :
Metric: unsubscribed. A: 30,208 customers, mean 0.0024. B: 29,792 customers, mean 0.0084. difference +0.0060 (+250.7%), 95% interval +0.0048 to +0.0071, p = 1.61e-23 (Welch t-test)Saved to runs/email-s40/analysis.json. Compare with the true effect: xp checkRun email-s40: the last analysis was `xp analyse`.True effect (from the simulator): +0.0064 share of customers.Your estimate: +0.0060, 95% interval +0.0048 to +0.0071: the interval contains the true effect.Le garde-fou s’est clairement dégradé : les désabonnements sont passés de 0,24 % à 0,84 % des clients. C’est peu en points et beaucoup en termes relatifs (+251 %). Le module 7 montre qui se désabonne : surtout les gros acheteurs, que le courriel agace. Un test qui regarderait seulement les commandes manquerait cela.
Erreur courante
La mesure choisie après le test
Symptôme : TermeTomásL’ingénieur en IA de Larkfield. Il propose souvent un raccourci rapide, et la leçon montre pourquoi il échoue. lit le test de livraison gratuite. « Le revenu est seulement significatif à p = 0,0205. Mais les commandes par client ont augmenté de 5,8 % avec p = 0,00003. Présentons les commandes : c’est le résultat le plus fort. »
Cause : il a choisi la mesure après avoir vu les résultats. Les commandes ne sont pas liées à la décision de Hana. Davantage de petites commandes peuvent coûter plus en livraison qu’elles ne rapportent. Choisir la plus forte des six mesures revient aussi à retenir la chance. Avec 20 mesures et aucun effet réel, au moins une « gagne » dans 56 % des exécutions simulées.
Correction : présentez la mesure principale choisie avant le test, avec son intervalle, ainsi que les garde-fous. Présentez les diagnostics seulement comme des explications. Écrivez la mesure principale dans le plan de test avant le début du test.
Conséquence dans le travail en IA : la même chose arrive avec les tests de modèles et de requêtes. Une équipe qui présente « la mesure qui a le plus changé » trouvera un gagnant dans presque chaque test. Ce sera l’exactitude une semaine, la note des utilisateurs la suivante. Ses lancements n’améliorent alors pas le chiffre qui compte pour l’entreprise.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Omar veut choisir la proportion de clients qui commandent comme mesure principale du test de livraison gratuite, « parce qu'elle a changé le plus clairement ». Que répondez-vous?
Afficher la réponse
La mesure principale doit être liée à la décision et choisie avant le test, pas parce qu’elle a changé le plus. Hana doit décider si elle paiera la livraison pour plus de commandes. La proportion de clients qui commandent peut augmenter sans que le revenu couvre la livraison, par exemple avec beaucoup de petites commandes. Le revenu par client est lié à cette décision. Il compte tous les clients du groupe, même ceux qui dépensent 0 $. La proportion de clients qui commandent est une mesure de diagnostic utile : elle explique pourquoi le revenu a changé.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Dans le test de livraison gratuite, les commandes du groupe B sont 1,6 % plus petites que celles du groupe A. Tomás conclut : « La livraison gratuite fait dépenser moins à chaque client par commande. » Quel est le problème avec cette interprétation?
Afficher la réponse
La valeur de la commande se calcule seulement parmi les clients qui ont commandé : 11 893 dans A et 12 508 dans B. Le changement a poussé plus de clients à acheter. Les acheteurs de B ne sont donc peut-être pas le même type de clients que ceux de A. Le filtre « a acheté quelque chose » peut briser l’équilibre créé par le tirage à pile ou face. Le 1,6 % mélange alors un changement dans les achats de chaque client et un changement dans les personnes qui achètent. Le test ne peut pas les séparer. La valeur de la commande peut expliquer le résultat comme mesure de diagnostic. Le revenu par client n’a aucun filtre : il mesure donc l’effet sur des groupes comparables.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Quatre clients ont 4, 1, 0 et 3 commandes, et 1, 1, 0 et 0 retours. Calculez le taux de retour selon la définition de Larkfield. Dites pourquoi l'analyse garde une ligne par client plutôt qu'une ligne par commande.
Afficher la réponse
Le taux de retour de Larkfield est le nombre de retours par commande : le ratio des sommes, 2 ÷ 8 = 25 %. (La moyenne des taux individuels des clients serait de 41,7 %, ce qui répond à une autre question.) Les commandes d’un même client ne sont pas indépendantes : elles partagent les habitudes de ce client. Le tirage à pile ou face se fait par client, donc les clients sont les unités indépendantes. Une ligne par client, avec la méthode delta pour le ratio, donne un intervalle fidèle à l’incertitude. Une ligne par commande le rendrait trop étroit.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Dans le même test de livraison gratuite, six mesures racontent six histoires : revenu +4,1 %, commandes +5,8 %, valeur de la commande −1,6 %, taux de retour +15,5 %. En choisir une après le test revient à choisir l’histoire que vous espériez.
- Une mesure principale détermine la décision. Choisissez-la avant le test et liez-la à la décision : le revenu par client, avec 0 pour les clients sans commande.
- Les garde-fous ne doivent pas se détériorer clairement : le taux de retour est passé de 8,31 % à 9,60 % des commandes. Le test se termine donc par un compromis pour Hana, et non par « B gagne ». Les mesures de diagnostic expliquent; une vérification de cohérence (
pre_spend) teste la répartition. - Une mesure calculée seulement parmi les acheteurs, comme la valeur de la commande, compare des personnes différentes. N’en faites jamais la mesure principale.
- Mesures de ratio (retours par commande, revenu par visite) : définissez le ratio, gardez une ligne par client et utilisez la méthode delta pour l’intervalle.
Vous savez quoi mesurer. Ensuite, vous calculez combien de clients il faut au test pour détecter un effet de la taille qui compte. Vous le vérifiez par simulation.
Leçon suivante : Taille d'échantillon et puissance