Aller au contenu
English

Bandits manchots

  • Leçon 28
  • 35 min
  • Module 8 : Les expériences pour les fonctions d'IA et en production

Où nous en sommes

Un test A/B garde la moitié du trafic sur la moins bonne version jusqu'à la fin. Un bandit manchot déplace le trafic vers la meilleure version pendant qu'il apprend. Dans cette leçon, nous utilisons l'échantillonnage de Thompson pour choisir un titre. Nous voyons ce qu'il apporte et les preuves qu'il ne fournit pas.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité
Leçon 28 sur 30 · Expériences et impact causal : notre changement a-t-il fonctionné?Bandits manchots

Ce que vous saurez faire

Utilisez un bandit manchot pour obtenir des gains pendant l’apprentissage : il déplace le trafic vers la meilleure option durant le test. Découvrez comment l’échantillonnage de Thompson choisit et ce qu’il apporte par rapport à une répartition fixe. Voyez aussi pourquoi ses comparaisons fournissent des preuves moins solides qu’un test A/B.

Carnet JupyterFaites cette leçon dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Dans le carnet (notebook) Jupyter, vous écrivez l’échantillonnage de Thompson en quelques lignes. Vous le comparez à une répartition fixe pour quatre objets de courriel. Vous comptez les clics que chaque méthode perd. Le carnet simule les courriels : il ne nécessite ni données d’exercice ni clé. Environ 35 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 35 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur (seulement pour les étapes du projet)

Testé sur macOS avec Python 3.12 et l’instantané end-of-m08. Windows n’a pas été testé.

Vous commencez un nouvel emploi dans une nouvelle ville. Il y a quatre restaurants près du bureau pour dîner. La première semaine, vous les essayez tous. L’un est clairement bon. Allez-vous y manger tous les jours désormais?

La plupart des gens choisissent une voie intermédiaire. Ils mangent au bon restaurant la plupart des jours. De temps en temps, ils en essaient un autre : une mauvaise journée était peut-être due à la malchance. Si un restaurant les déçoit à répétition, ils cessent de l’essayer.

C’est toute l’idée d’un bandit manchot. Chaque jour, vous exploitez : vous utilisez vos connaissances pour choisir la meilleure option. Parfois, vous explorez : vous essayez une option moins connue pour en apprendre davantage. Un bon bandit manchot explore moins à mesure qu’il apprend.

Le nom vient des machines à sous, qu’on appelait « bandits manchots ». Un joueur devant plusieurs machines doit décider quel bras tirer ensuite. Chaque option est un bras.

Le problème : une répartition fixe continue d’envoyer le pire objet

Section intitulée « Le problème : une répartition fixe continue d’envoyer le pire objet »

Rafael, le responsable des courriels, a quatre objets pour le prochain courriel de rappel. Il veut celui qui obtient le plus de clics. Les taux de clics sont simulés, donc nous connaissons la réalité :

Objet A B C D
Taux de clics réel 4,0 % 4,6 % 5,2 % 4,4 %

Rafael envoie 40 000 courriels. Un test A/B/n normal les répartit également : 10 000 par objet, du premier courriel au dernier. Le test trouve le meilleur objet à la fin. Mais il a envoyé 10 000 courriels avec l’objet A, le pire, tout au long du test.

Si chaque courriel avait utilisé l’objet C, Rafael s’attendrait à 0,052 × 40 000 = 2 080 clics. La répartition fixe prévoit (4,0 + 4,6 + 5,2 + 4,4) / 4 = 4,55 % en moyenne, soit 1 820 clics. Elle perd 260 clics en moyenne. C’est le coût de l’apprentissage.

Pour une décision qui dure un an, comme un seuil de livraison gratuite, 260 clics n’ont pas d’importance. Pour un courriel envoyé une seule fois, le test constitue toute la campagne. Chaque clic perdu durant le test est alors perdu pour toujours.

L’échantillonnage de Thompson est une façon d’utiliser un bandit manchot. Il conserve, pour chaque bras, un intervalle de taux de clics plausibles. On peut le décrire simplement en quatre étapes.

Une boucle de quatre encadrés. 1, pour chaque objet, conserver les clics et les courriels envoyés. 2, pour chaque objet, tirer un taux de clics plausible selon nos connaissances. 3, envoyer l'objet dont le tirage est le plus élevé. 4, ajouter le résultat, clic ou aucun clic. Une flèche nommée courriel suivant revient à l'étape 1. Une note : un objet peu connu a un intervalle large, donc son tirage est parfois élevé et on continue de l'essayer; un objet clairement faible a un intervalle bas et étroit, donc on ne l'essaie presque jamais.
L'échantillonnage de Thompson, un courriel à la fois. Les objets qui semblent bons reçoivent plus de courriels. Les objets peu connus en reçoivent encore, car leur intervalle large donne parfois un tirage élevé.

Disons que l’objet A a obtenu 5 clics sur 100 courriels, et l’objet B, 9 clics sur 100. Quels taux de clics sont plausibles pour chaque objet? Avec seulement 100 courriels, beaucoup de taux le sont. Le graphique montre à quel point chaque taux est plausible. Cette forme est une distribution bêta : le choix habituel pour un taux calculé à partir des clics et des absences de clic.

  • Objet A : 5 clics sur 100
  • Objet B : 9 clics sur 100
La plausibilité de chaque taux de clics après 100 courriels par objet (une distribution bêta, calculée). Les deux intervalles se chevauchent beaucoup : B semble meilleur, mais A pourrait encore être le meilleur objet.
Description textuelle du graphique

Deux courbes en forme de colline sur des taux de clics allant de 0 à 25 %. L’objet A, 5 clics sur 100, atteint son sommet près de 5 %; ses 95 % centraux vont d’environ 2,2 % à 11,2 %. L’objet B, 9 clics sur 100, atteint son sommet près de 9 %; ses 95 % centraux vont d’environ 4,9 % à 16,2 %. Les courbes se chevauchent entre environ 5 % et 11 %.

Pour choisir le prochain courriel, l’échantillonnage de Thompson tire un taux au hasard dans chaque courbe. La plupart des tirages de B dépassent ceux de A, donc B reçoit la plupart des courriels. Mais parfois, le tirage de A est plus élevé, donc on essaie encore A. À mesure que les courriels arrivent, les courbes se resserrent. Un objet faible ne gagne alors presque jamais le tirage.

Voici une véritable exécution de 12 courriels, avec deux objets. Les taux réels sont de 20 % pour A et de 50 % pour B. Nous les avons choisis élevés pour rendre les clics visibles. Les tirages sont des nombres aléatoires, arrondis.

Courriel A jusqu’ici : clics / envois B jusqu’ici : clics / envois Tirage pour A Tirage pour B Objet envoyé Clic?
1 0 / 0 0 / 0 0,01 0,52 B oui
2 0 / 0 1 / 1 0,47 0,6 B non
3 0 / 0 1 / 2 0,21 0,59 B non
4 0 / 0 1 / 3 0,67 0,55 A non
5 0 / 1 1 / 3 0 0,36 B non
6 0 / 1 1 / 4 0,86 0,17 A oui
7 1 / 2 1 / 4 0,55 0,18 A non
8 1 / 3 1 / 4 0,5 0,18 A non
9 1 / 4 1 / 4 0,48 0,56 B oui
10 1 / 4 2 / 5 0,59 0,56 A non
11 1 / 5 2 / 5 0,44 0,37 A non
12 1 / 6 2 / 5 0,51 0,13 A non

Suivez les premiers courriels. Avant le courriel 1, on ne sait rien, donc les deux tirages sont aléatoires entre 0 et 1. Le tirage de B est plus élevé, on envoie B et le client clique. B a maintenant 1 clic sur 1 courriel, donc ses tirages tendent à être élevés. Les courriels 2 et 3 utilisent aussi B, sans clic. Au courriel 4, le tirage de A (0,67) dépasse celui de B (0,55) : on explore A.

Après 12 courriels, A a 1 clic sur 7, et B, 2 clics sur 5. Le bandit manchot ne favorise pas encore B, qui est réellement meilleur. Douze courriels, c’est beaucoup trop peu. Un bandit manchot a besoin de milliers de courriels pour se stabiliser, comme le montre l’exécution de TermeLarkfieldUne boutique en ligne canadienne inventée, qui vend des articles pour la maison et le jardin. Ce n’est pas une vraie entreprise. Tous les cours Nextia utilisent son service d’assistance et ses données comme exemple.En savoir plus Découvrez Larkfield.

xp bandit exécute les deux méthodes sur les quatre mêmes objets : une répartition fixe égale et l’échantillonnage de Thompson. Chacune envoie 40 000 courriels. La commande envoie les courriels par lots de 100 et met les intervalles à jour après chaque lot.

  1. Avec le .venv du projet actif, exécutez le bandit manchot.

    Fenêtre de terminal
    xp bandit
    Subject lines A 4.0%, B 4.6%, C 5.2%, D 4.4% (true click rates, simulated); 40,000 emails.
    fixed equal split (A/B/n test): 1,849 clicks; expected clicks lost against always the best: 261
    traffic share by tenth of the emails, best line C: 24% 25% 24% 25% 26% 25% 24% 25% 26% 25%
    chance each line is best: A 0.00, B 0.00, C 1.00, D 0.00
    C − A: +0.0112 (95% interval +0.0052 to +0.0171; true +0.0120); emails: 9,941 and 10,038
    Thompson sampling: 1,941 clicks; expected clicks lost against always the best: 44
    traffic share by tenth of the emails, best line C: 55% 80% 84% 87% 93% 93% 92% 93% 87% 89%
    chance each line is best: A 0.01, B 0.02, C 0.92, D 0.05
    C − A: +0.0217 (95% interval +0.0069 to +0.0365; true +0.0120); emails: 34,161 and 497
  2. Répétez les deux méthodes 100 fois pour voir la moyenne plutôt qu’une seule exécution chanceuse.

    Fenêtre de terminal
    xp bandit --repeats 100
    100 repeats, fixed: clicks lost 260 on average; the best line has the highest observed rate in 97% of them
    100 repeats, thompson: clicks lost 73 on average; the best line has the highest observed rate in 100% of them

    Nous montrons seulement les deux dernières lignes. Les huit premières sont les mêmes qu’à l’étape 1.

  • Objet C, échantillonnage de Thompson
  • Objet C, répartition fixe
  • Objet A, échantillonnage de Thompson
La part des courriels envoyés avec chaque objet, par dixième de la campagne (simulation, graine 40). La répartition fixe garde 25 % sur le meilleur objet C jusqu'à la fin. L'échantillonnage de Thompson déplace la plupart des courriels vers C dès les premiers dixièmes. Le pire objet A n'en reçoit presque aucun.
Description textuelle du graphique

Un graphique linéaire couvrant les dix dixièmes de la campagne. Répartition fixe, objet C : environ 25 % dans chaque dixième, de 23,5 % à 26,3 %. Échantillonnage de Thompson, objet C : 54,6 % dans le premier dixième, 80,2 % dans le deuxième, puis de 84 % à 93 %, pour finir à 89,4 %. Échantillonnage de Thompson, objet A : 3,6 % dans le premier dixième, puis presque 0 %, avec une petite hausse à 4,4 % et 3,1 % dans les deux derniers dixièmes.

Dans cette exécution, la répartition fixe perd 261 clics, et l’échantillonnage de Thompson, 44. Sur 500 répétitions, le cours a mesuré 260 clics perdus pour la répartition fixe et 80 pour l’échantillonnage de Thompson. Vos 100 répétitions ont donné 73. Les deux méthodes trouvent le meilleur objet à la fin presque aussi souvent : 97,4 % et 97,8 % des 500 répétitions.

Clics perdus dans une campagne de 40 000 courriels, par rapport à l'envoi de l'objet C à tous : la moyenne de 500 répétitions simulées. L'échantillonnage de Thompson perd moins du tiers des clics que perd la répartition fixe.
Description textuelle du graphique

Un graphique à colonnes. Répartition fixe égale : 260 clics perdus en moyenne. Échantillonnage de Thompson : 80 clics perdus en moyenne. Les deux moyennes portent sur 500 campagnes simulées de 40 000 courriels.

TermeTomásL’ingénieur en IA de Larkfield. Il propose souvent un raccourci rapide, et la leçon montre pourquoi il échoue. dit : « Donc un bandit manchot donne les mêmes preuves qu’un test A/B, mais plus vite et moins cher. » Ce n’est pas le cas. Regardez la dernière ligne de chaque bloc à l’étape 1 : la comparaison du meilleur objet C avec le pire objet A.

La différence de taux de clics entre le meilleur objet C et le pire objet A, avec des intervalles à 95 %, dans une exécution simulée (graine 40). La répartition fixe la mesure bien. L'échantillonnage de Thompson a envoyé seulement 497 courriels avec l'objet A. Son intervalle est donc deux fois et demie plus large, et son estimation est loin de la réalité.
Description textuelle du graphique

Un panneau avec une ligne à 0 et une ligne à la différence réelle, +1,2 point. Répartition fixe, 9 941 et 10 038 courriels : +1,12 point (+0,52 à +1,71). Échantillonnage de Thompson, 34 161 et 497 courriels : +2,17 points (+0,69 à +3,65).

L’échantillonnage de Thompson a cessé tôt d’envoyer l’objet A. Il connaît donc peu A. La différence C − A est de +2,17 points, contre une différence réelle de +1,2. Son TermeIntervalle de confianceUne plage autour d’une valeur mesurée, obtenue par une méthode qui contient la vraie valeur 95 fois sur 100. Si l’intervalle d’une différence ne contient pas zéro, la différence n’est probablement pas due au hasard.En savoir plus Estimer l'incertitudeMathématiques et statistiques essentielles pour l'IA est large. Un bandit manchot trouve bien le meilleur bras. Il indique mal à quel point le meilleur bras est supérieur.

C’est un problème subtil. Un objet malchanceux au début reçoit moins de courriels, donc sa malchance n’est jamais corrigée. Un objet chanceux au début reçoit plus de courriels, et sa chance est corrigée. Sur les 500 répétitions, le taux observé de l’objet A était de 3,64 % en moyenne avec l’échantillonnage de Thompson. Son taux réel était de 4,0 %. Avec la répartition fixe, il était de 4,00 %.

Les intervalles d’un bandit manchot ne sont donc pas aussi honnêtes qu’ils en ont l’air. Sur les 500 répétitions, l’intervalle à 95 % de C − A contenait la valeur réelle dans 89,6 % des exécutions avec l’échantillonnage de Thompson, et 94,4 % avec la répartition fixe.

Quand rien ne diffère, un bandit manchot choisit quand même des favoris

Section intitulée « Quand rien ne diffère, un bandit manchot choisit quand même des favoris »

Le pire cas est celui de quatre objets tous identiques. Dans 500 campagnes simulées avec quatre objets à 5 %, nous avons comparé les objets ayant reçu le plus et le moins de courriels. Avec la répartition fixe, l’intervalle excluait zéro dans 5,0 % des campagnes : le taux de faux positifs d’un test normal. Avec l’échantillonnage de Thompson, il excluait zéro dans 31,4 % des campagnes. Les chiffres d’un bandit manchot peuvent montrer une différence « claire » qui n’existe pas. Vous en verrez une dans la section À vous de jouer.

  • Un bandit manchot optimise une seule mesure, et il en a besoin rapidement. Les clics arrivent en quelques minutes. Les commandes, les retours et les plaintes arrivent en quelques jours ou semaines : un bandit manchot ne peut pas les attendre.
  • Un bandit manchot n’a aucun garde-fou. Il envoie plus de trafic vers ce qui gagne selon sa seule mesure, même si cet objet cause plus de désabonnements.
  • Un bandit manchot suppose que les taux restent les mêmes. Si un objet fonctionne mieux le lundi, ses premiers choix peuvent être erronés.
Question Utilisez un test A/B Utilisez un bandit manchot
Que voulez-vous? Connaître l’ampleur de l’effet, avec un intervalle Obtenir le plus de clics maintenant
Combien de temps la décision dure-t-elle? Longtemps : une règle de prix, une conception de page Peu de temps : un courriel, un titre pour une journée
Quand le résultat arrive-t-il? À tout moment, même des semaines plus tard En quelques minutes ou quelques heures
Des garde-fous? Oui, plusieurs Seulement si vous les ajoutez vous-même
Beaucoup d’options? Peu Beaucoup, comme 10 titres

Pour les résultats de recherche, une troisième méthode existe : l’entrelacement (interleaving) mélange deux modèles de classement dans une liste. La leçon Quand les unités s’influencent l’a montré. Consultez Entrelacement dans Recherche et classement : trouver la meilleure correspondance.

Ce qu’un bandit manchot coûte : un peu de code, une mesure qui arrive vite et la perte d’une comparaison nette. Ce qu’il économise : le trafic qu’une répartition fixe envoie vers les options perdantes.

Exercice guidé : l’échantillonnage de Thompson dans un carnet Jupyter

Section intitulée « Exercice guidé : l’échantillonnage de Thompson dans un carnet Jupyter »
  1. Ouvrez le carnet depuis l’encadré Faites cette leçon dans un carnet Jupyter en haut de cette page.
  2. Dans la section 1, lisez les quatre taux de clics réels et la fonction thompson. Elle comporte six lignes.
  3. Dans la section 2, exécutez 40 000 courriels avec une répartition fixe et avec l’échantillonnage de Thompson. Vous voyez les clics et les courriels par objet.
  4. Dans la section 3, tracez la part des courriels que l’objet C reçoit dans chaque dixième.
  5. Dans la section 4, calculez les clics perdus attendus avec l’échantillonnage de Thompson par rapport à l’utilisation systématique de C. Placez la valeur dans lost_thompson et exécutez la cellule de vérification. Elle affiche Check passed (vérification réussie).
Afficher la réponse à l’étape 5
lost_thompson = round(float(rates.max() * EMAILS - (shown_t * rates).sum()), 1)
print(lost_thompson)

Les clics perdus attendus sont les clics obtenus en utilisant toujours C, moins les clics attendus des courriels de chaque objet. La valeur est de 97,6 clics, contre 260,7 pour la répartition fixe. Le carnet envoie un courriel à la fois, avec des nombres aléatoires différents de ceux de xp bandit. Ses chiffres diffèrent donc un peu.

À vous de jouer : quatre objets de courriel équivalents

Section intitulée « À vous de jouer : quatre objets de courriel équivalents »

Faites d’abord une prédiction. Si les quatre objets ont le même taux de clics réel, 5 %, comment l’échantillonnage de Thompson répartira-t-il les courriels? Et que montrera la comparaison de deux objets? Puis exécutez :

Fenêtre de terminal
xp bandit --rates 0.05,0.05,0.05,0.05
Afficher la réponse
Subject lines A 5.0%, B 5.0%, C 5.0%, D 5.0% (true click rates, simulated); 40,000 emails.
fixed equal split (A/B/n test): 1,999 clicks; expected clicks lost against always the best: -0
traffic share by tenth of the emails, best line A: 26% 25% 25% 25% 24% 25% 26% 25% 25% 24%
chance each line is best: A 0.37, B 0.06, C 0.47, D 0.09
A − B: +0.0025 (95% interval -0.0035 to +0.0086; true +0.0000); emails: 10,038 and 9,878
Thompson sampling: 1,945 clicks; expected clicks lost against always the best: 0
traffic share by tenth of the emails, best line A: 3% 0% 0% 0% 0% 1% 1% 1% 0% 0%
chance each line is best: A 0.00, B 0.27, C 0.65, D 0.08
A − B: -0.0300 (95% interval -0.0453 to -0.0146; true +0.0000); emails: 323 and 11,128

Avec des objets équivalents, aucun n’est le « meilleur ». L’outil désigne donc l’objet A. Dans les deux cas, rien n’est perdu (le « -0 » est un zéro arrondi).

L’échantillonnage de Thompson n’a pas réparti les courriels également. L’objet A n’a reçu que 323 courriels après un début malchanceux, et B en a reçu 11 128. La comparaison A − B donne −3,00 points, avec un intervalle de −4,53 à −1,46 : une différence « claire ». La différence réelle est nulle. C’est la fausse différence des 31,4 % ci-dessus. Avec la répartition fixe, l’intervalle contient zéro. Ne présentez jamais la comparaison d’un bandit manchot comme si elle provenait d’un test A/B.

Erreur courante

« Un bandit manchot donne les mêmes preuves, plus vite »

Symptôme : une équipe utilise un bandit manchot pour quatre titres pendant une semaine. Elle rapporte : « Le titre C dépasse le titre A de 2,2 points (intervalle à 95 % de 0,7 à 3,7) ». Le test A/B suivant, avec les mêmes titres, trouve 1,2 point.

Cause : le bandit manchot n’a presque plus envoyé de trafic vers A après les premiers jours. L’estimation de A est restée basse après son début malchanceux. Son intervalle est large et trompeur. Un bandit manchot trouve le meilleur bras; il ne mesure pas les différences entre les bras.

Solution : utilisez un bandit manchot pour obtenir des clics, et indiquez seulement le bras qu’il a choisi. Avez-vous besoin de la taille de l’effet pour une décision durable? Faites alors un test A/B avec une répartition fixe, ou gardez une part fixe du trafic pour chaque bras.

Vérifiez votre compréhension

Vérification des acquis. Choisissez un test A/B ou un bandit manchot pour chaque situation et justifiez vos choix. (1) Le courriel du Vendredi fou de Larkfield : un seul envoi de 200 000 courriels, cinq objets, des clics en quelques heures. (2) Le nouveau seuil de livraison gratuite de Hana : une règle en place pour un an. On mesure le revenu et les retours sur quatre semaines.

Afficher la réponse

(1) Un bandit manchot. Le courriel n’est envoyé qu’une fois : le test constitue donc toute la campagne. Chaque clic perdu à cause d’un objet faible est perdu pour de bon. Les clics arrivent en quelques heures, donc le bandit manchot peut apprendre vite. Larkfield a besoin du meilleur objet, pas de la taille exacte de chaque différence. (2) Un test A/B avec une répartition fixe. La décision dure un an. Hana a donc besoin de la taille de l’effet et d’un intervalle pour la comparer au coût. Le revenu et les retours arrivent sur plusieurs semaines, trop lentement pour un bandit manchot. Le taux de retour est aussi un garde-fou qu’un bandit manchot ignorerait.

Vérifiez votre compréhension

Dans l'exécution de Larkfield, l'échantillonnage de Thompson estime la différence objet C − objet A à +2,17 points. L'intervalle à 95 % va de +0,69 à +3,65. La différence réelle est de +1,2. Expliquez en deux ou trois phrases pourquoi la comparaison du meilleur et du pire objet par un bandit manchot est peu fiable.

Afficher la réponse

Le bandit manchot a cessé tôt d’envoyer l’objet A. A n’a donc reçu que 497 courriels, son taux est mal mesuré et l’intervalle est large. De plus, un bras malchanceux au début reçoit moins de courriels, donc son estimation basse reste basse. Sur 500 répétitions, le taux observé de A était de 3,64 %, contre un taux réel de 4,0 %. La différence semble donc plus grande qu’elle ne l’est, et l’intervalle contient la valeur réelle moins de 95 % du temps.

Vérifiez votre compréhension

Explorer ou exploiter? Un bandit manchot a envoyé 10 000 courriels avec l'objet C (520 clics) et 300 avec l'objet D (12 clics). Pourquoi l'échantillonnage de Thompson envoie-t-il encore parfois l'objet D?

Afficher la réponse

L’objet D a reçu peu de courriels, donc son intervalle de taux de clics plausibles est large. 12 clics sur 300 donnent 4 %, mais le taux réel pourrait bien être de 5 % ou plus. Parfois, un tirage aléatoire dans le large intervalle de D dépasse celui dans l’intervalle étroit de C, près de 5,2 %. D reçoit alors le courriel. C’est de l’exploration : on vérifie que D n’est pas meilleur qu’il ne paraît. À mesure que D reçoit des courriels, son intervalle se rétrécit et on l’envoie moins souvent.

Récapitulatif

  • Un bandit manchot explore et exploite : il déplace le trafic vers la meilleure option pendant qu’il apprend. L’échantillonnage de Thompson tire un taux plausible pour chaque bras et envoie le bras dont le taux tiré est le plus élevé.
  • Avec quatre objets de courriel (simulés), il a perdu 80 clics, contre 260 pour une répartition fixe. Il a trouvé le meilleur objet aussi souvent.
  • Il fournit des preuves peu fiables sur la taille des différences. C − A : +2,17 points, contre une différence réelle de +1,2. Couverture de l’intervalle : 89,6 %. Une fausse différence « claire » : 31,4 % des tests avec des objets équivalents.
  • Utilisez un bandit manchot pour des décisions à court terme aux résultats rapides. Utilisez un test A/B si vous avez besoin de la taille de l’effet, de garde-fous ou d’une décision durable.

Ensuite, nous rédigerons le résultat d’un test pour que les gens lui fassent confiance et agissent en conséquence.

Leçon suivante : Présenter un résultat qui inspire confiance