Bandits manchots
- Leçon 28
- 35 min
- Module 8 : Les expériences pour les fonctions d'IA et en production
Où nous en sommes
Un test A/B garde la moitié du trafic sur la moins bonne version jusqu'à la fin. Un bandit manchot déplace le trafic vers la meilleure version pendant qu'il apprend. Dans cette leçon, nous utilisons l'échantillonnage de Thompson pour choisir un titre. Nous voyons ce qu'il apporte et les preuves qu'il ne fournit pas.
Leçon 28 sur 30 · Expériences et impact causal : notre changement a-t-il fonctionné?Bandits manchots
1. Pourquoi « ça a monté » n'est pas une réponse
2. Concevoir un test A/B
3. Analyser le test
4. Les pièges des vrais tests
5. Quand la répartition aléatoire est impossible : les expériences naturelles
6. Ajuster pour les facteurs de confusion dans des données d'observation
7. Le gain incrémental : à qui appliquer le traitement?
8. Les expériences pour les fonctions d'IA et en production
Ce que vous saurez faire
Utilisez un bandit manchot pour obtenir des gains pendant l’apprentissage : il déplace le trafic vers la meilleure option durant le test. Découvrez comment l’échantillonnage de Thompson choisit et ce qu’il apporte par rapport à une répartition fixe. Voyez aussi pourquoi ses comparaisons fournissent des preuves moins solides qu’un test A/B.
Carnet JupyterFaites cette leçon dans un carnet Jupyter
Dans le carnet (notebook) Jupyter, vous écrivez l’échantillonnage de Thompson en quelques lignes. Vous le comparez à une répartition fixe pour quatre objets de courriel. Vous comptez les clics que chaque méthode perd. Le carnet simule les courriels : il ne nécessite ni données d’exercice ni clé. Environ 35 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Un test A/B à répartition fixe et son intervalle à 95 %, vus dans Le résultat et son incertitude.
- Pourquoi regarder un test chaque jour est un piège, vu dans Regards répétés.
- Ce qu’est une distribution de probabilité. Pour un rappel, consultez Les distributions en pratique dans le cours de mathématiques.
Ce qu’il vous faut sur votre ordinateur (seulement pour les étapes du projet)
- Le projet
larkfield-experimentsà l’instantanéend-of-m08, provenant de Tester un modèle ou une requête en ligne, avec.venvactif.
Testé sur macOS avec Python 3.12 et l’instantané end-of-m08. Windows n’a pas été testé.
Dîner dans une nouvelle ville
Section intitulée « Dîner dans une nouvelle ville »Vous commencez un nouvel emploi dans une nouvelle ville. Il y a quatre restaurants près du bureau pour dîner. La première semaine, vous les essayez tous. L’un est clairement bon. Allez-vous y manger tous les jours désormais?
La plupart des gens choisissent une voie intermédiaire. Ils mangent au bon restaurant la plupart des jours. De temps en temps, ils en essaient un autre : une mauvaise journée était peut-être due à la malchance. Si un restaurant les déçoit à répétition, ils cessent de l’essayer.
C’est toute l’idée d’un bandit manchot. Chaque jour, vous exploitez : vous utilisez vos connaissances pour choisir la meilleure option. Parfois, vous explorez : vous essayez une option moins connue pour en apprendre davantage. Un bon bandit manchot explore moins à mesure qu’il apprend.
Le nom vient des machines à sous, qu’on appelait « bandits manchots ». Un joueur devant plusieurs machines doit décider quel bras tirer ensuite. Chaque option est un bras.
Le problème : une répartition fixe continue d’envoyer le pire objet
Section intitulée « Le problème : une répartition fixe continue d’envoyer le pire objet »Rafael, le responsable des courriels, a quatre objets pour le prochain courriel de rappel. Il veut celui qui obtient le plus de clics. Les taux de clics sont simulés, donc nous connaissons la réalité :
| Objet | A | B | C | D |
|---|---|---|---|---|
| Taux de clics réel | 4,0 % | 4,6 % | 5,2 % | 4,4 % |
Rafael envoie 40 000 courriels. Un test A/B/n normal les répartit également : 10 000 par objet, du premier courriel au dernier. Le test trouve le meilleur objet à la fin. Mais il a envoyé 10 000 courriels avec l’objet A, le pire, tout au long du test.
Si chaque courriel avait utilisé l’objet C, Rafael s’attendrait à 0,052 × 40 000 = 2 080 clics. La répartition fixe prévoit (4,0 + 4,6 + 5,2 + 4,4) / 4 = 4,55 % en moyenne, soit 1 820 clics. Elle perd 260 clics en moyenne. C’est le coût de l’apprentissage.
Pour une décision qui dure un an, comme un seuil de livraison gratuite, 260 clics n’ont pas d’importance. Pour un courriel envoyé une seule fois, le test constitue toute la campagne. Chaque clic perdu durant le test est alors perdu pour toujours.
L’idée : l’échantillonnage de Thompson
Section intitulée « L’idée : l’échantillonnage de Thompson »L’échantillonnage de Thompson est une façon d’utiliser un bandit manchot. Il conserve, pour chaque bras, un intervalle de taux de clics plausibles. On peut le décrire simplement en quatre étapes.
Un intervalle de taux de clics plausibles
Section intitulée « Un intervalle de taux de clics plausibles »Disons que l’objet A a obtenu 5 clics sur 100 courriels, et l’objet B, 9 clics sur 100. Quels taux de clics sont plausibles pour chaque objet? Avec seulement 100 courriels, beaucoup de taux le sont. Le graphique montre à quel point chaque taux est plausible. Cette forme est une distribution bêta : le choix habituel pour un taux calculé à partir des clics et des absences de clic.
- Objet A : 5 clics sur 100
- Objet B : 9 clics sur 100
Description textuelle du graphique
Deux courbes en forme de colline sur des taux de clics allant de 0 à 25 %. L’objet A, 5 clics sur 100, atteint son sommet près de 5 %; ses 95 % centraux vont d’environ 2,2 % à 11,2 %. L’objet B, 9 clics sur 100, atteint son sommet près de 9 %; ses 95 % centraux vont d’environ 4,9 % à 16,2 %. Les courbes se chevauchent entre environ 5 % et 11 %.
Pour choisir le prochain courriel, l’échantillonnage de Thompson tire un taux au hasard dans chaque courbe. La plupart des tirages de B dépassent ceux de A, donc B reçoit la plupart des courriels. Mais parfois, le tirage de A est plus élevé, donc on essaie encore A. À mesure que les courriels arrivent, les courbes se resserrent. Un objet faible ne gagne alors presque jamais le tirage.
Une petite exécution où chaque valeur est visible
Section intitulée « Une petite exécution où chaque valeur est visible »Voici une véritable exécution de 12 courriels, avec deux objets. Les taux réels sont de 20 % pour A et de 50 % pour B. Nous les avons choisis élevés pour rendre les clics visibles. Les tirages sont des nombres aléatoires, arrondis.
| Courriel | A jusqu’ici : clics / envois | B jusqu’ici : clics / envois | Tirage pour A | Tirage pour B | Objet envoyé | Clic? |
|---|---|---|---|---|---|---|
| 1 | 0 / 0 | 0 / 0 | 0,01 | 0,52 | B | oui |
| 2 | 0 / 0 | 1 / 1 | 0,47 | 0,6 | B | non |
| 3 | 0 / 0 | 1 / 2 | 0,21 | 0,59 | B | non |
| 4 | 0 / 0 | 1 / 3 | 0,67 | 0,55 | A | non |
| 5 | 0 / 1 | 1 / 3 | 0 | 0,36 | B | non |
| 6 | 0 / 1 | 1 / 4 | 0,86 | 0,17 | A | oui |
| 7 | 1 / 2 | 1 / 4 | 0,55 | 0,18 | A | non |
| 8 | 1 / 3 | 1 / 4 | 0,5 | 0,18 | A | non |
| 9 | 1 / 4 | 1 / 4 | 0,48 | 0,56 | B | oui |
| 10 | 1 / 4 | 2 / 5 | 0,59 | 0,56 | A | non |
| 11 | 1 / 5 | 2 / 5 | 0,44 | 0,37 | A | non |
| 12 | 1 / 6 | 2 / 5 | 0,51 | 0,13 | A | non |
Suivez les premiers courriels. Avant le courriel 1, on ne sait rien, donc les deux tirages sont aléatoires entre 0 et 1. Le tirage de B est plus élevé, on envoie B et le client clique. B a maintenant 1 clic sur 1 courriel, donc ses tirages tendent à être élevés. Les courriels 2 et 3 utilisent aussi B, sans clic. Au courriel 4, le tirage de A (0,67) dépasse celui de B (0,55) : on explore A.
Après 12 courriels, A a 1 clic sur 7, et B, 2 clics sur 5. Le bandit manchot ne favorise pas encore B, qui est réellement meilleur. Douze courriels, c’est beaucoup trop peu. Un bandit manchot a besoin de milliers de courriels pour se stabiliser, comme le montre l’exécution de TermeLarkfieldUne boutique en ligne canadienne inventée, qui vend des articles pour la maison et le jardin. Ce n’est pas une vraie entreprise. Tous les cours Nextia utilisent son service d’assistance et ses données comme exemple.En savoir plus Découvrez Larkfield.
Larkfield : quatre objets de courriel
Section intitulée « Larkfield : quatre objets de courriel »xp bandit exécute les deux méthodes sur les quatre mêmes objets : une répartition fixe égale et l’échantillonnage de Thompson. Chacune envoie 40 000 courriels. La commande envoie les courriels par lots de 100 et met les intervalles à jour après chaque lot.
-
Avec le
.venvdu projet actif, exécutez le bandit manchot.Fenêtre de terminal xp banditSubject lines A 4.0%, B 4.6%, C 5.2%, D 4.4% (true click rates, simulated); 40,000 emails.fixed equal split (A/B/n test): 1,849 clicks; expected clicks lost against always the best: 261traffic share by tenth of the emails, best line C: 24% 25% 24% 25% 26% 25% 24% 25% 26% 25%chance each line is best: A 0.00, B 0.00, C 1.00, D 0.00C − A: +0.0112 (95% interval +0.0052 to +0.0171; true +0.0120); emails: 9,941 and 10,038Thompson sampling: 1,941 clicks; expected clicks lost against always the best: 44traffic share by tenth of the emails, best line C: 55% 80% 84% 87% 93% 93% 92% 93% 87% 89%chance each line is best: A 0.01, B 0.02, C 0.92, D 0.05C − A: +0.0217 (95% interval +0.0069 to +0.0365; true +0.0120); emails: 34,161 and 497 -
Répétez les deux méthodes 100 fois pour voir la moyenne plutôt qu’une seule exécution chanceuse.
Fenêtre de terminal xp bandit --repeats 100100 repeats, fixed: clicks lost 260 on average; the best line has the highest observed rate in 97% of them100 repeats, thompson: clicks lost 73 on average; the best line has the highest observed rate in 100% of themNous montrons seulement les deux dernières lignes. Les huit premières sont les mêmes qu’à l’étape 1.
Le trafic se déplace vers le meilleur objet
Section intitulée « Le trafic se déplace vers le meilleur objet »- Objet C, échantillonnage de Thompson
- Objet C, répartition fixe
- Objet A, échantillonnage de Thompson
Description textuelle du graphique
Un graphique linéaire couvrant les dix dixièmes de la campagne. Répartition fixe, objet C : environ 25 % dans chaque dixième, de 23,5 % à 26,3 %. Échantillonnage de Thompson, objet C : 54,6 % dans le premier dixième, 80,2 % dans le deuxième, puis de 84 % à 93 %, pour finir à 89,4 %. Échantillonnage de Thompson, objet A : 3,6 % dans le premier dixième, puis presque 0 %, avec une petite hausse à 4,4 % et 3,1 % dans les deux derniers dixièmes.
Dans cette exécution, la répartition fixe perd 261 clics, et l’échantillonnage de Thompson, 44. Sur 500 répétitions, le cours a mesuré 260 clics perdus pour la répartition fixe et 80 pour l’échantillonnage de Thompson. Vos 100 répétitions ont donné 73. Les deux méthodes trouvent le meilleur objet à la fin presque aussi souvent : 97,4 % et 97,8 % des 500 répétitions.
Description textuelle du graphique
Un graphique à colonnes. Répartition fixe égale : 260 clics perdus en moyenne. Échantillonnage de Thompson : 80 clics perdus en moyenne. Les deux moyennes portent sur 500 campagnes simulées de 40 000 courriels.
Ce qu’un bandit manchot ne peut pas vous dire
Section intitulée « Ce qu’un bandit manchot ne peut pas vous dire »TermeTomásL’ingénieur en IA de Larkfield. Il propose souvent un raccourci rapide, et la leçon montre pourquoi il échoue. dit : « Donc un bandit manchot donne les mêmes preuves qu’un test A/B, mais plus vite et moins cher. » Ce n’est pas le cas. Regardez la dernière ligne de chaque bloc à l’étape 1 : la comparaison du meilleur objet C avec le pire objet A.
Description textuelle du graphique
Un panneau avec une ligne à 0 et une ligne à la différence réelle, +1,2 point. Répartition fixe, 9 941 et 10 038 courriels : +1,12 point (+0,52 à +1,71). Échantillonnage de Thompson, 34 161 et 497 courriels : +2,17 points (+0,69 à +3,65).
Les objets faibles reçoivent trop peu de courriels
Section intitulée « Les objets faibles reçoivent trop peu de courriels »L’échantillonnage de Thompson a cessé tôt d’envoyer l’objet A. Il connaît donc peu A. La différence C − A est de +2,17 points, contre une différence réelle de +1,2. Son TermeIntervalle de confianceUne plage autour d’une valeur mesurée, obtenue par une méthode qui contient la vraie valeur 95 fois sur 100. Si l’intervalle d’une différence ne contient pas zéro, la différence n’est probablement pas due au hasard.En savoir plus Estimer l'incertitudeMathématiques et statistiques essentielles pour l'IA est large. Un bandit manchot trouve bien le meilleur bras. Il indique mal à quel point le meilleur bras est supérieur.
Les objets faibles semblent pires qu’ils ne le sont
Section intitulée « Les objets faibles semblent pires qu’ils ne le sont »C’est un problème subtil. Un objet malchanceux au début reçoit moins de courriels, donc sa malchance n’est jamais corrigée. Un objet chanceux au début reçoit plus de courriels, et sa chance est corrigée. Sur les 500 répétitions, le taux observé de l’objet A était de 3,64 % en moyenne avec l’échantillonnage de Thompson. Son taux réel était de 4,0 %. Avec la répartition fixe, il était de 4,00 %.
Les intervalles d’un bandit manchot ne sont donc pas aussi honnêtes qu’ils en ont l’air. Sur les 500 répétitions, l’intervalle à 95 % de C − A contenait la valeur réelle dans 89,6 % des exécutions avec l’échantillonnage de Thompson, et 94,4 % avec la répartition fixe.
Quand rien ne diffère, un bandit manchot choisit quand même des favoris
Section intitulée « Quand rien ne diffère, un bandit manchot choisit quand même des favoris »Le pire cas est celui de quatre objets tous identiques. Dans 500 campagnes simulées avec quatre objets à 5 %, nous avons comparé les objets ayant reçu le plus et le moins de courriels. Avec la répartition fixe, l’intervalle excluait zéro dans 5,0 % des campagnes : le taux de faux positifs d’un test normal. Avec l’échantillonnage de Thompson, il excluait zéro dans 31,4 % des campagnes. Les chiffres d’un bandit manchot peuvent montrer une différence « claire » qui n’existe pas. Vous en verrez une dans la section À vous de jouer.
Autres limites
Section intitulée « Autres limites »- Un bandit manchot optimise une seule mesure, et il en a besoin rapidement. Les clics arrivent en quelques minutes. Les commandes, les retours et les plaintes arrivent en quelques jours ou semaines : un bandit manchot ne peut pas les attendre.
- Un bandit manchot n’a aucun garde-fou. Il envoie plus de trafic vers ce qui gagne selon sa seule mesure, même si cet objet cause plus de désabonnements.
- Un bandit manchot suppose que les taux restent les mêmes. Si un objet fonctionne mieux le lundi, ses premiers choix peuvent être erronés.
Un bandit manchot ou un test A/B?
Section intitulée « Un bandit manchot ou un test A/B? »| Question | Utilisez un test A/B | Utilisez un bandit manchot |
|---|---|---|
| Que voulez-vous? | Connaître l’ampleur de l’effet, avec un intervalle | Obtenir le plus de clics maintenant |
| Combien de temps la décision dure-t-elle? | Longtemps : une règle de prix, une conception de page | Peu de temps : un courriel, un titre pour une journée |
| Quand le résultat arrive-t-il? | À tout moment, même des semaines plus tard | En quelques minutes ou quelques heures |
| Des garde-fous? | Oui, plusieurs | Seulement si vous les ajoutez vous-même |
| Beaucoup d’options? | Peu | Beaucoup, comme 10 titres |
Pour les résultats de recherche, une troisième méthode existe : l’entrelacement (interleaving) mélange deux modèles de classement dans une liste. La leçon Quand les unités s’influencent l’a montré. Consultez Entrelacement dans Recherche et classement : trouver la meilleure correspondance.
Ce qu’un bandit manchot coûte : un peu de code, une mesure qui arrive vite et la perte d’une comparaison nette. Ce qu’il économise : le trafic qu’une répartition fixe envoie vers les options perdantes.
Exercice guidé : l’échantillonnage de Thompson dans un carnet Jupyter
Section intitulée « Exercice guidé : l’échantillonnage de Thompson dans un carnet Jupyter »- Ouvrez le carnet depuis l’encadré Faites cette leçon dans un carnet Jupyter en haut de cette page.
- Dans la section 1, lisez les quatre taux de clics réels et la fonction
thompson. Elle comporte six lignes. - Dans la section 2, exécutez 40 000 courriels avec une répartition fixe et avec l’échantillonnage de Thompson. Vous voyez les clics et les courriels par objet.
- Dans la section 3, tracez la part des courriels que l’objet C reçoit dans chaque dixième.
- Dans la section 4, calculez les clics perdus attendus avec l’échantillonnage de Thompson par rapport à l’utilisation systématique de C. Placez la valeur dans
lost_thompsonet exécutez la cellule de vérification. Elle afficheCheck passed(vérification réussie).
Afficher la réponse à l’étape 5
lost_thompson = round(float(rates.max() * EMAILS - (shown_t * rates).sum()), 1)print(lost_thompson)Les clics perdus attendus sont les clics obtenus en utilisant toujours C, moins les clics attendus des courriels de chaque objet. La valeur est de 97,6 clics, contre 260,7 pour la répartition fixe. Le carnet envoie un courriel à la fois, avec des nombres aléatoires différents de ceux de xp bandit. Ses chiffres diffèrent donc un peu.
À vous de jouer : quatre objets de courriel équivalents
Section intitulée « À vous de jouer : quatre objets de courriel équivalents »Faites d’abord une prédiction. Si les quatre objets ont le même taux de clics réel, 5 %, comment l’échantillonnage de Thompson répartira-t-il les courriels? Et que montrera la comparaison de deux objets? Puis exécutez :
xp bandit --rates 0.05,0.05,0.05,0.05Afficher la réponse
Subject lines A 5.0%, B 5.0%, C 5.0%, D 5.0% (true click rates, simulated); 40,000 emails. fixed equal split (A/B/n test): 1,999 clicks; expected clicks lost against always the best: -0 traffic share by tenth of the emails, best line A: 26% 25% 25% 25% 24% 25% 26% 25% 25% 24% chance each line is best: A 0.37, B 0.06, C 0.47, D 0.09 A − B: +0.0025 (95% interval -0.0035 to +0.0086; true +0.0000); emails: 10,038 and 9,878 Thompson sampling: 1,945 clicks; expected clicks lost against always the best: 0 traffic share by tenth of the emails, best line A: 3% 0% 0% 0% 0% 1% 1% 1% 0% 0% chance each line is best: A 0.00, B 0.27, C 0.65, D 0.08 A − B: -0.0300 (95% interval -0.0453 to -0.0146; true +0.0000); emails: 323 and 11,128Avec des objets équivalents, aucun n’est le « meilleur ». L’outil désigne donc l’objet A. Dans les deux cas, rien n’est perdu (le « -0 » est un zéro arrondi).
L’échantillonnage de Thompson n’a pas réparti les courriels également. L’objet A n’a reçu que 323 courriels après un début malchanceux, et B en a reçu 11 128. La comparaison A − B donne −3,00 points, avec un intervalle de −4,53 à −1,46 : une différence « claire ». La différence réelle est nulle. C’est la fausse différence des 31,4 % ci-dessus. Avec la répartition fixe, l’intervalle contient zéro. Ne présentez jamais la comparaison d’un bandit manchot comme si elle provenait d’un test A/B.
Erreur courante
« Un bandit manchot donne les mêmes preuves, plus vite »
Symptôme : une équipe utilise un bandit manchot pour quatre titres pendant une semaine. Elle rapporte : « Le titre C dépasse le titre A de 2,2 points (intervalle à 95 % de 0,7 à 3,7) ». Le test A/B suivant, avec les mêmes titres, trouve 1,2 point.
Cause : le bandit manchot n’a presque plus envoyé de trafic vers A après les premiers jours. L’estimation de A est restée basse après son début malchanceux. Son intervalle est large et trompeur. Un bandit manchot trouve le meilleur bras; il ne mesure pas les différences entre les bras.
Solution : utilisez un bandit manchot pour obtenir des clics, et indiquez seulement le bras qu’il a choisi. Avez-vous besoin de la taille de l’effet pour une décision durable? Faites alors un test A/B avec une répartition fixe, ou gardez une part fixe du trafic pour chaque bras.
Vérifiez votre compréhension
Vérification des acquis. Choisissez un test A/B ou un bandit manchot pour chaque situation et justifiez vos choix. (1) Le courriel du Vendredi fou de Larkfield : un seul envoi de 200 000 courriels, cinq objets, des clics en quelques heures. (2) Le nouveau seuil de livraison gratuite de Hana : une règle en place pour un an. On mesure le revenu et les retours sur quatre semaines.
Afficher la réponse
(1) Un bandit manchot. Le courriel n’est envoyé qu’une fois : le test constitue donc toute la campagne. Chaque clic perdu à cause d’un objet faible est perdu pour de bon. Les clics arrivent en quelques heures, donc le bandit manchot peut apprendre vite. Larkfield a besoin du meilleur objet, pas de la taille exacte de chaque différence. (2) Un test A/B avec une répartition fixe. La décision dure un an. Hana a donc besoin de la taille de l’effet et d’un intervalle pour la comparer au coût. Le revenu et les retours arrivent sur plusieurs semaines, trop lentement pour un bandit manchot. Le taux de retour est aussi un garde-fou qu’un bandit manchot ignorerait.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Dans l'exécution de Larkfield, l'échantillonnage de Thompson estime la différence objet C − objet A à +2,17 points. L'intervalle à 95 % va de +0,69 à +3,65. La différence réelle est de +1,2. Expliquez en deux ou trois phrases pourquoi la comparaison du meilleur et du pire objet par un bandit manchot est peu fiable.
Afficher la réponse
Le bandit manchot a cessé tôt d’envoyer l’objet A. A n’a donc reçu que 497 courriels, son taux est mal mesuré et l’intervalle est large. De plus, un bras malchanceux au début reçoit moins de courriels, donc son estimation basse reste basse. Sur 500 répétitions, le taux observé de A était de 3,64 %, contre un taux réel de 4,0 %. La différence semble donc plus grande qu’elle ne l’est, et l’intervalle contient la valeur réelle moins de 95 % du temps.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Explorer ou exploiter? Un bandit manchot a envoyé 10 000 courriels avec l'objet C (520 clics) et 300 avec l'objet D (12 clics). Pourquoi l'échantillonnage de Thompson envoie-t-il encore parfois l'objet D?
Afficher la réponse
L’objet D a reçu peu de courriels, donc son intervalle de taux de clics plausibles est large. 12 clics sur 300 donnent 4 %, mais le taux réel pourrait bien être de 5 % ou plus. Parfois, un tirage aléatoire dans le large intervalle de D dépasse celui dans l’intervalle étroit de C, près de 5,2 %. D reçoit alors le courriel. C’est de l’exploration : on vérifie que D n’est pas meilleur qu’il ne paraît. À mesure que D reçoit des courriels, son intervalle se rétrécit et on l’envoie moins souvent.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Un bandit manchot explore et exploite : il déplace le trafic vers la meilleure option pendant qu’il apprend. L’échantillonnage de Thompson tire un taux plausible pour chaque bras et envoie le bras dont le taux tiré est le plus élevé.
- Avec quatre objets de courriel (simulés), il a perdu 80 clics, contre 260 pour une répartition fixe. Il a trouvé le meilleur objet aussi souvent.
- Il fournit des preuves peu fiables sur la taille des différences. C − A : +2,17 points, contre une différence réelle de +1,2. Couverture de l’intervalle : 89,6 %. Une fausse différence « claire » : 31,4 % des tests avec des objets équivalents.
- Utilisez un bandit manchot pour des décisions à court terme aux résultats rapides. Utilisez un test A/B si vous avez besoin de la taille de l’effet, de garde-fous ou d’une décision durable.
Ensuite, nous rédigerons le résultat d’un test pour que les gens lui fassent confiance et agissent en conséquence.
Leçon suivante : Présenter un résultat qui inspire confiance