Nous savons bien analyser un test terminé. On surveille les vrais tests pendant leur déroulement. Tomás veut arrêter dès que le changement gagne. Dans cette leçon, nous simulons l'effet des regards répétés (*peeking*) quotidiens sur les faux gagnants. Nous découvrons aussi les tests séquentiels, qui permettent de regarder chaque jour.
Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité
Leçon 13 sur 30 · Expériences et impact causal : notre changement a-t-il fonctionné?Regards répétés
Décidez quand un test en cours peut s’arrêter. Certaines équipes regardent un test chaque jour et l’arrêtent au premier résultat « significatif ». Elles trouvent des faux gagnants cinq fois plus souvent qu’elles le pensent. Un test séquentiel permet de regarder chaque jour tout en respectant la promesse des 5 %.
Carnet JupyterFaites cette leçon dans un carnet JupyterColab · Kaggle · GitHub · en anglais
Dans le carnet (notebook) Jupyter, vous simulez 2 000 tests A/A. Vous regardez chacun chaque jour et comptez les faux gagnants. Ensuite, vous appliquez un test séquentiel aux mêmes tests. Ses cellules de préparation installent les paquets, donc aucune préparation locale n’est nécessaire. Environ 40 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 40 minutes
Un propriétaire de magasin installe une nouvelle présentation dans sa vitrine le lundi. Chaque soir, il compare le nombre de clients du jour à celui du même jour le mois précédent. Lundi : un peu plus. Mardi : un peu moins. Mercredi : beaucoup plus! Il appelle sa sœur : « La vitrine fonctionne. »
Le jeudi, les chiffres reviennent à la normale. À la fin du mois, ils ressemblent à ceux du mois précédent. La vitrine n’a rien changé. Le mercredi, il a observé une journée chanceuse et a arrêté de regarder au bon moment.
Chaque jour connaît des hausses et des baisses. Si vous regardez chaque jour et arrêtez lors d’une bonne journée, vous arrêterez souvent lors d’une journée chanceuse. Plus vous regardez souvent, plus vous rencontrez de journées chanceuses.
Le problème : un bouton de paiement qui gagne au jour 3
TermeLarkfieldUne boutique en ligne canadienne inventée, qui vend des articles pour la maison et le jardin. Ce n’est pas une vraie entreprise. Tous les cours Nextia utilisent son service d’assistance et ses données comme exemple.En savoir plusDécouvrez Larkfield a testé un nouveau bouton de paiement vert. TermeTomásL’ingénieur en IA de Larkfield. Il propose souvent un raccourci rapide, et la leçon montre pourquoi il échoue., l’ingénieur en IA, regardait le tableau de bord chaque jour. Au jour 3, B était en avance avec p = 0,02. Il a dit : « C’est significatif. Arrêtons le test et mettons le bouton en production. » Le simulateur propose ce test comme scénario. Son arrêt anticipé est un exercice que nous avons créé exprès : le bouton n’a aucun effet réel.
D’abord, mettez le projet à jour avec l’instantané end-of-m04. Il ajoute tous les outils de ce module : xp peek, xp metrics, xp weekly, le test séquentiel et six nouveaux scénarios. Vous copiez ses fichiers dans votre dossier de projet. Vos propres exécutions et plans restent en place.
Ouvrez un terminal dans le dossier qui contient larkfield-experiments et nextia-learning-labs. Si vous avez cloné le dépôt des laboratoires avec Git, mettez-le d’abord à jour.
Les paquets sont les mêmes que dans le module Analyser le test. Vous n’installez donc rien de nouveau.
Exécutez les tests.
Fenêtre de terminal
python-mpytest-q
................... [100%]
21 passed in 3.44s
Les vingt et un tests réussissent. Votre durée sera différente.
Exécutez le test du bouton de paiement.
Fenêtre de terminal
simrun--scenarioearly-stop
Scenario early-stop (seed 1197): A new checkout button with no real effect, stopped on day 3 when it looked like a win (planted).
Wrote runs/early-stop-s1197: customers (33,090 rows), visits (107,059 rows). Synthetic data. 3.0 s
Examinez-le jour par jour, comme sur le tableau de bord.
Fenêtre de terminal
xppeek
Run early-stop-s1197, metric revenue: one look a day. 'fixed p' is the usual test at that day; the sequential columns are valid at every look (tau 1.24).
day date customers difference fixed p sequential interval seq. p
1 2025-09-08 3,500 +1.1842 0.223 -2.0675 to +4.4359 1.000
2 2025-09-09 6,571 +1.1951 0.131 -1.3291 to +3.7194 0.828
3 2025-09-10 9,244 +1.7557 0.020 -0.6315 to +3.7194 0.267 <
4 2025-09-11 11,587 +1.4692 0.034 -0.6315 to +3.6371 0.267 <
5 2025-09-12 13,647 +0.8414 0.207 -0.6315 to +2.9137 0.267
6 2025-09-13 15,624 +0.6416 0.319 -0.6315 to +2.6316 0.267
7 2025-09-14 17,312 +0.7028 0.275 -0.6315 to +2.6316 0.267
8 2025-09-15 18,637 +0.9617 0.137 -0.6315 to +2.6316 0.267
9 2025-09-16 19,880 +1.4123 0.032 -0.6284 to +2.6316 0.267 <
10 2025-09-17 20,993 +1.4680 0.028 -0.6074 to +2.6316 0.267 <
11 2025-09-18 22,126 +1.5251 0.022 -0.5342 to +2.6316 0.267 <
12 2025-09-19 23,203 +1.5892 0.020 -0.5342 to +2.6316 0.262 <
13 2025-09-20 24,186 +1.2393 0.072 -0.5342 to +2.6316 0.262
14 2025-09-21 25,137 +1.5858 0.026 -0.5342 to +2.6316 0.262 <
15 2025-09-22 25,857 +1.2731 0.073 -0.5342 to +2.6316 0.262
16 2025-09-23 26,597 +1.3112 0.067 -0.5342 to +2.6316 0.262
17 2025-09-24 27,278 +1.4985 0.037 -0.5342 to +2.6316 0.262 <
18 2025-09-25 27,948 +1.4660 0.047 -0.5342 to +2.6316 0.262 <
19 2025-09-26 28,571 +1.5365 0.042 -0.5342 to +2.6316 0.262 <
20 2025-09-27 29,190 +1.3275 0.082 -0.5342 to +2.6316 0.262
21 2025-09-28 29,788 +0.9141 0.237 -0.5342 to +2.6316 0.262
22 2025-09-29 30,246 +0.8297 0.285 -0.5342 to +2.6316 0.262
23 2025-09-30 30,778 +0.8105 0.301 -0.5342 to +2.6316 0.262
24 2025-10-01 31,294 +0.6923 0.384 -0.5342 to +2.6316 0.262
25 2025-10-02 31,760 +0.8130 0.311 -0.5342 to +2.6316 0.262
26 2025-10-03 32,228 +0.8993 0.268 -0.5342 to +2.6316 0.262
27 2025-10-04 32,689 +0.8118 0.325 -0.5342 to +2.6316 0.262
28 2025-10-05 33,090 +0.8510 0.307 -0.5342 to +2.6316 0.262
First day with p < 0.05 (peeking): 3. First day the sequential test decides: none.
Analysez le test complet, comme prévu dans le plan, et comparez-le à la vérité.
Fenêtre de terminal
xpanalyse
xpcheck
Run early-stop-s1197 (synthetic): A new checkout button with no real effect, stopped on day 3 when it looked like a win (planted).
Metric: revenue. A: 16,471 customers, mean 24.8770. B: 16,619 customers, mean 25.7280.
difference +0.8510 (+3.4%), 95% interval -0.7827 to +2.4847, p = 0.307 (Welch t-test)
Saved to runs/early-stop-s1197/analysis.json. Compare with the true effect: xp check
Run early-stop-s1197: the last analysis was `xp analyse`.
True effect (from the simulator): +0.0000 dollars per customer.
Your estimate: +0.8510, 95% interval -0.7827 to +2.4847: the interval contains the true effect.
Au jour 3, B avait une avance de 1,76 $, avec p = 0,020. Au jour 28, B a une avance de 0,85 $, avec p = 0,31. L’TermeIntervalle de confianceUne plage autour d’une valeur mesurée, obtenue par une méthode qui contient la vraie valeur 95 fois sur 100. Si l’intervalle d’une différence ne contient pas zéro, la différence n’est probablement pas due au hasard.En savoir plusEstimer l'incertitudeMathématiques et statistiques essentielles pour l'IA contient zéro. Les signes < (inférieur à) indiquent les jours où p < 0,05. Il y en a 10, répartis sur le mois. Une équipe qui regarde chaque jour a de nombreuses occasions de voir une « victoire ».
Différence B − A
Intervalle habituel à 95 %
Intervalle séquentiel
Le test du bouton de paiement, jour par jour. L'effet réel est nul. L'intervalle habituel exclut zéro au jour 3 et plusieurs jours suivants. L'intervalle séquentiel contient toujours zéro.Description textuelle du graphique
Un graphique en courbes sur les 28 jours du test montre la différence B − A en dollars par client, de −2,5 à +4,5. La différence commence à +1,18 au jour 1, culmine à +1,76 au jour 3 et termine à +0,85 au jour 28. Deux lignes grises pointillées montrent l’intervalle habituel. Il va de −0,72 à +3,09 au jour 1 et de −0,78 à +2,48 au jour 28. Sa borne inférieure dépasse zéro au jour 3 (+0,28), au jour 4 (+0,11) et aux jours 9 à 12, 14 et 17 à 19. L’intervalle séquentiel, représenté par deux lignes vertes, est plus large : de −0,63 à +3,72 au jour 3, et de −0,53 à +2,63 à partir du jour 11. Sa borne inférieure ne dépasse jamais zéro.
Une valeur p inférieure à 0,05 n’a de sens que pour un seul regard. « 5 % des tests sans effet franchissent le seuil » est vrai si vous regardez une seule fois, à la fin. Chaque regard supplémentaire offre au bruit une autre chance de franchir le seuil. Vous arrêtez au premier franchissement, alors les chances s’accumulent.
Un petit exemple : comment les chances s’accumulent
Supposons que chaque regard soit un nouveau test indépendant. La probabilité qu’au moins un des k regards franchisse le seuil est alors de 1 − 0,95k. C’est comme pour plusieurs segments dans Segments et effets différents.
Regards
Probabilité d’au moins une fausse « victoire »
1
1 − 0,95 = 5 %
4 (une fois par semaine)
1 − 0,954 = 1 − 0,815 = 18,5 %
14
1 − 0,9514 = 1 − 0,488 = 51 %
28 (chaque jour)
1 − 0,9528 = 1 − 0,238 = 76 %
Les regards réels ne sont pas indépendants. Les données du jour 4 contiennent celles du jour 3. Deux jours consécutifs donnent donc presque la même réponse. Le taux réel est inférieur aux valeurs de ce tableau, mais bien supérieur à 5 %. Une simulation nous indique à quel point il est supérieur.
L’explorateur montre 40 tests A/A simulés : les deux groupes voient le même magasin, donc chaque « gagnant » est faux. Chaque test compte 2 000 nouveaux clients par groupe par jour, et 22 % d’entre eux passent une commande. Chaque ligne représente un test, et chaque carré, un jour. Choisissez votre façon de regarder, puis changez le jour.
Explorer
Regards répétés sur 40 tests A/A
Prédisez d’abord : Les 40 tests n'ont aucun effet réel. Si vous regardez chacun chaque jour pendant 28 jours, combien franchiront p < 0,05 au moins une fois?
Comment on regarde
Regards jusqu’ici
28
Faux gagnants parmi ces 40 tests
10 sur 40 (25 %)
Part de 10 000 tests au jour 28
27,6 % chaque jour, 1,8 % en séquentiel
Au jour 28, avec un regard chaque jour, 10 des 40 tests A/A se sont arrêtés sur un faux gagnant. Aucun de ces tests n’a d’effet réel.
Un regard : p ≥ 0,05
Un regard : p < 0,05, arrêt (un faux gagnant)
Pas de regard ce jour-là
Après l’arrêt
Jour pas encore atteint
Regard chaque jour
Test séquentiel
Quarante tests A/A simulés, examinés jour après jour. Avec un seul regard au jour 28, 2 tests sur 40 montrent un faux gagnant. Avec un regard chaque jour, 10 tests sur 40 s'arrêtent sur un faux gagnant. Le test séquentiel n'en arrête qu'un.Description textuelle de l’explorateur
Commandes : un choix de quatre règles (un regard au jour 28, une fois par semaine, chaque jour, chaque jour avec le test séquentiel). Un curseur avec des boutons − et + règle le jour du test, de 1 à 28. Le graphique du haut compte 40 lignes, une par test A/A, et 28 carrés par ligne, un par jour. Un carré bleu foncé représente un regard avec p ≥ 0,05. Un carré orange représente le premier regard avec p < 0,05. Le test s’arrête là avec un faux gagnant, et les carrés suivants deviennent orange pâle. Au jour 28, avec un regard chaque jour, 10 lignes ont un carré orange. Ils apparaissent au jour 1 (1 test), au jour 2 (3 tests), puis aux jours 3, 4, 5, 7, 12 et 18. Une fois par semaine, 5 tests s’arrêtent; avec un seul regard, 2; avec le test séquentiel, 1. Le graphique du bas montre la proportion de 10 000 tests de ce type ayant un faux gagnant à chaque jour. Avec un regard chaque jour, elle passe de 5,1 % au jour 1 à 10,9 % au jour 3, puis à 27,6 % au jour 28. Avec le test séquentiel, elle passe de 0,0 % à 1,8 %. Une ligne pointillée marque 5 %.
Avancez lentement le jour avec un regard chaque jour. Les faux gagnants s’accumulent : 1 au jour 1, 5 au jour 3, 10 au jour 28. Choisissez ensuite un seul regard au jour 28 : seulement 2 tests franchissent le seuil. Les données n’ont pas changé. Seule la règle pour regarder a changé.
Le cours a mesuré les mêmes règles sur 10 000 tests A/A simulés :
Faux gagnants dans 10 000 tests A/A simulés de 28 jours, selon la règle pour regarder : une fois au jour 28, chaque semaine, tous les 2 jours, chaque jour, ou chaque jour avec un test séquentiel. Un seul regard maintient les 5 %. Les regards répétés chaque jour trouvent un faux gagnant dans plus du quart des tests. Un test séquentiel, avec un regard chaque jour, reste sous 5 %.Description textuelle du graphique
Cinq barres. Un regard au jour 28 : 5,2 %. Une fois par semaine : 13,1 %. Tous les 2 jours : 22,3 %. Chaque jour : 27,6 %. Test séquentiel, avec un regard chaque jour : 1,8 %.
Les regards répétés chaque jour transforment une règle de 5 % en une règle de 27,6 %. Plus d’un test sur quatre « gagnerait » avec un changement qui ne fait rien.
Tests séquentiels : regarder chaque jour, garder les 5 %
Les équipes veulent regarder les résultats pendant le test. Il faut arrêter rapidement un changement défectueux. Un excellent changement ne devrait pas attendre un mois. Il nous faut donc un test qui permet de regarder chaque jour.
Pensez à une médecin qui vérifie la fièvre d’un patient chaque heure. Elle ne lance pas d’alerte à la première lecture de 37,6 °C, parce que les lectures varient. Elle utilise un seuil d’alerte plus élevé pour les lectures fréquentes. Elle peut alors vérifier chaque heure sans fausses alertes.
Un test séquentiel fait la même chose. À chaque regard, il utilise un intervalle plus large que l’intervalle habituel. Il l’élargit juste assez pour garder sous 5 % le risque d’un faux gagnant sur l’ensemble des regards. Cet intervalle plus large est appelé intervalle toujours valide, car il est valide à chaque regard, pas seulement à la fin. Sa valeur p est une valeur p toujours valide.
Le projet du cours utilise un test séquentiel : le test séquentiel du rapport de vraisemblance par mélange (mSPRT), de Johari, Pekelis et Walsh (2015). Son code compte 40 lignes dans larkfield_experiments/sequential.py. Vous n’avez pas besoin de sa formule. Vous devez connaître trois faits :
Il a un seul paramètre, tau : une estimation de la taille d’un effet réel. Le projet utilise 5 % de la moyenne du groupe témoin.
Chaque jour, il calcule un intervalle toujours valide et conserve le chevauchement de tous les intervalles calculés jusque-là. Une fois qu’une valeur est exclue, elle le reste.
Il décide que « B est différent » seulement quand zéro sort de cet intervalle.
Regardez de nouveau le graphique du test du bouton de paiement. Au jour 3, l’intervalle habituel allait de +0,28 à +3,24 dollars : au-dessus de zéro, une « victoire ». L’intervalle séquentiel allait de −0,63 à +3,72 : il contient zéro. Le test séquentiel n’a jamais pris de décision, et c’était la bonne chose à faire. Pour le calcul de l’intervalle habituel, consultez Comparer des options dans Mathématiques et statistiques essentielles pour l’IA.
L’intervalle plus large a un coût. Supposons que le changement a un effet réel. Un test séquentiel exige généralement plus de clients pour le détecter qu’un test fixe, regardé seulement à la fin prévue. Vous payez en temps le droit de regarder chaque jour.
Vous voulez
Utilisez
Coût
Lire le résultat une fois, à la fin prévue
Un test à durée fixe, un seul regard
Vous ne devez pas arrêter tôt, même pour un excellent résultat
Surveiller le test et arrêter tôt pour une victoire claire ou un effet nuisible clair
Un test séquentiel
Plus de clients pour détecter le même effet
Regarder chaque jour et arrêter à la première valeur p < 0,05
Jamais
Environ 28 % de faux gagnants au lieu de 5 %
Vous pouvez toujours regarder un test en cours pour trouver des bogues : une page défectueuse, un SRM, un journal vide. C’est une vérification du test, présentée dans Vérifier le test avant le résultat. La règle concerne la décision. Ne décidez pas que « B gagne » à partir d’un regard que le plan n’autorisait pas.
Ouvrez le carnet (notebook) Jupyter dans l’encadré Faire cette leçon dans un carnet Jupyter en haut de cette page.
Exécutez les cellules de préparation et la cellule auxiliaire. Le carnet crée ses propres données. La cellule de données se termine donc par Ready: 0 files in data/. (prêt : 0 fichiers dans data/).
Dans la section 1, prédisez combien des 28 regards quotidiens montrent p < 0,05 dans un seul test A/A. Puis exécutez la cellule. Vous voyez days with p < 0.05: 12 (jours avec une valeur p inférieure à 0,05 : 12) : ce test est malchanceux.
Dans la section 2, exécutez 2 000 tests A/A. Vous voyez environ 4,5 % de faux gagnants avec un seul regard, et 27,2 % avec un regard chaque jour.
Dans la section 3, exécutez le test séquentiel sur les mêmes tests. Vous voyez 1,5 %.
Dans la section 4, calculez weekly_rate : la proportion de tests avec p < 0,05 au jour 7, 14, 21 ou 28.
Exécutez la cellule de vérification. Elle affiche Check passed (vérification réussie).
Elle affiche 0.12 : 12,0 % des tests « gagnent » lors d’un des quatre regards hebdomadaires. Moins de regards donnent moins de faux gagnants, mais leur proportion dépasse encore 5 %.
Tomás dit : « Faisons le test pendant 56 jours plutôt que 28, pour avoir plus de clients. Regardons quand même chaque jour. » Faites d’abord une prédiction : avec deux fois plus de jours, les regards répétés quotidiens trouveront-ils plus ou moins de faux gagnants? Lancez ensuite la simulation pour 56 jours.
Afficher la réponse
Fenêtre de terminal
xppeek--aa-tests1000--days56
1,000 simulated A/A tests (no real effect), 56 days, 2,000 new customers per group a day:
fixed length, one look at day 56: 4.2% false winners
peeking once a week, stop at p < 0.05: 17.8% false winners
peeking every day, stop at p < 0.05: 33.7% false winners
sequential test, look every day: 1.9% false winners
Plus. Avec des regards répétés quotidiens, un test plus long offre plus d’occasions de franchir le seuil : 33,7 % contre 28,6 % pour 28 jours. Un seul regard reste près de 5 %, et le test séquentiel reste sous ce seuil. Plus de clients ne règlent pas le problème des regards répétés. Seule la règle qui encadre les regards le fait.
Erreur courante
« C'est significatif au jour 3, donc c'est réel »
Symptôme : Tomás voit p = 0,02 au jour 3 et arrête le test. Le rapport indique « +1,76 $ par client, significatif ». L’équipe met le bouton en production. Le mois suivant, le revenu ne bouge pas.
Cause : la valeur p de 0,02 est valide pour un seul regard à la fin prévue. Tomás a regardé chaque jour et s’est arrêté au premier franchissement du seuil. Avec cette règle, environ 28 % des tests sans effet « gagnent ». L’effet réel était nul, et le résultat du jour 28 le confirme : +0,85, p = 0,31.
Solution : écrivez la durée dans le plan et regardez une seule fois, à la fin. Si l’équipe doit surveiller le test, utilisez un test séquentiel : xp peek affiche son intervalle chaque jour. Notez tout arrêt anticipé dans le journal des tests, avec la règle qui l’a permis.
Vérifiez votre compréhension
Une équipe regarde chaque test une fois par jour et l'arrête dès que p < 0,05. En un an, elle mène 40 tests de changements qui, en réalité, ne font rien. Environ combien de changements mettra-t-elle en production comme gagnants? Utilisez la simulation du cours.
Afficher la réponse
Avec des regards quotidiens pendant 28 jours, environ 27,6 % des tests sans effet donnent un faux gagnant. 27,6 % de 40, c’est environ 11 tests. Avec un seul regard à la fin prévue, ce serait environ 5 % de 40 : 2 tests. La règle quotidienne met donc en production environ 9 changements supplémentaires qui ne font rien.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Vérification de fin de leçon. Expliquez à Omar, le gestionnaire de produit, en cinq phrases, pourquoi le test du bouton de paiement ne peut pas s'arrêter au jour 3, où B était en tête avec p = 0,02.
Afficher la réponse
La valeur p de 0,02 n’est valide que pour un seul regard, à la fin fixée par le plan : le jour 28.
Nous avons regardé chaque jour, et chaque regard donne au hasard une nouvelle occasion de franchir le seuil.
Avec des regards quotidiens, environ 28 % des tests sans effet réel montrent une « victoire » un jour donné, pas 5 %.
Au jour 28, le même test montre +0,85 $ avec p = 0,31, et le simulateur indique un effet réel nul.
Si nous devons arrêter tôt, nous utilisons un test séquentiel, qui permet un regard quotidien; ici, il n’a jamais trouvé de gagnant.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Au jour 10 d'un test, l'intervalle habituel à 95 % va de +0,40 à +2,10 $. L'intervalle séquentiel va de −0,20 à +2,70 $. L'équipe veut arrêter et mettre le changement en production. Que dites-vous?
Afficher la réponse
Ne mettez pas encore le changement en production. L’intervalle habituel n’est valide que pour un seul regard à la fin prévue. Il ne peut donc pas servir à décider au jour 10. L’intervalle séquentiel est valide à chaque regard et contient encore zéro : les données n’excluent pas encore l’« absence d’effet ». Attendez la fin prévue et lisez l’intervalle habituel une seule fois, ou surveillez l’intervalle séquentiel jusqu’à ce qu’il exclue zéro.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
Les regards répétés (peeking) consistent à regarder un test en cours plusieurs fois et à l’arrêter dès que p < 0,05. Chaque regard offre une nouvelle chance au hasard. Dans 10 000 tests A/A simulés de 28 jours : un seul regard donne 5,2 % de faux gagnants, un regard hebdomadaire 13,1 %, un regard quotidien 27,6 %.
Le test du bouton de paiement (un exercice créé exprès) a « gagné » au jour 3 avec p = 0,020. Au jour 28, il montrait +0,85 $, avec p = 0,31. L’effet réel était nul.
Un test séquentiel utilise un intervalle toujours valide : plus large à chaque regard, il limite les faux gagnants. Leur probabilité sur l’ensemble des regards reste sous 5 %. Le mSPRT du cours a donné 1,8 % avec un regard quotidien.
Cela prend du temps : avec un effet réel, un test séquentiel a généralement besoin de plus de clients pour décider.
Vous pouvez regarder un test en cours pour trouver des bogues. Décidez que « B gagne » seulement lors d’un regard permis par le plan.
Vous pouvez maintenant décider quand regarder. Ensuite, le même piège prend une autre forme : un seul regard, mais sur 20 mesures.