Aller au contenu
English

Regards répétés

  • Leçon 13
  • 40 min
  • Module 4 : Les pièges des vrais tests

Où nous en sommes

Nous savons bien analyser un test terminé. On surveille les vrais tests pendant leur déroulement. Tomás veut arrêter dès que le changement gagne. Dans cette leçon, nous simulons l'effet des regards répétés (*peeking*) quotidiens sur les faux gagnants. Nous découvrons aussi les tests séquentiels, qui permettent de regarder chaque jour.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité
Leçon 13 sur 30 · Expériences et impact causal : notre changement a-t-il fonctionné?Regards répétés

Ce que vous saurez faire

Décidez quand un test en cours peut s’arrêter. Certaines équipes regardent un test chaque jour et l’arrêtent au premier résultat « significatif ». Elles trouvent des faux gagnants cinq fois plus souvent qu’elles le pensent. Un test séquentiel permet de regarder chaque jour tout en respectant la promesse des 5 %.

Carnet JupyterFaites cette leçon dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Dans le carnet (notebook) Jupyter, vous simulez 2 000 tests A/A. Vous regardez chacun chaque jour et comptez les faux gagnants. Ensuite, vous appliquez un test séquentiel aux mêmes tests. Ses cellules de préparation installent les paquets, donc aucune préparation locale n’est nécessaire. Environ 40 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 40 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur (seulement pour les étapes du projet)

Testé sur macOS avec Python 3.12 et l’instantané end-of-m04 du projet. Windows n’a pas été testé.

Un propriétaire de magasin installe une nouvelle présentation dans sa vitrine le lundi. Chaque soir, il compare le nombre de clients du jour à celui du même jour le mois précédent. Lundi : un peu plus. Mardi : un peu moins. Mercredi : beaucoup plus! Il appelle sa sœur : « La vitrine fonctionne. »

Le jeudi, les chiffres reviennent à la normale. À la fin du mois, ils ressemblent à ceux du mois précédent. La vitrine n’a rien changé. Le mercredi, il a observé une journée chanceuse et a arrêté de regarder au bon moment.

Chaque jour connaît des hausses et des baisses. Si vous regardez chaque jour et arrêtez lors d’une bonne journée, vous arrêterez souvent lors d’une journée chanceuse. Plus vous regardez souvent, plus vous rencontrez de journées chanceuses.

Le problème : un bouton de paiement qui gagne au jour 3

Section intitulée « Le problème : un bouton de paiement qui gagne au jour 3 »

TermeLarkfieldUne boutique en ligne canadienne inventée, qui vend des articles pour la maison et le jardin. Ce n’est pas une vraie entreprise. Tous les cours Nextia utilisent son service d’assistance et ses données comme exemple.En savoir plus Découvrez Larkfield a testé un nouveau bouton de paiement vert. TermeTomásL’ingénieur en IA de Larkfield. Il propose souvent un raccourci rapide, et la leçon montre pourquoi il échoue., l’ingénieur en IA, regardait le tableau de bord chaque jour. Au jour 3, B était en avance avec p = 0,02. Il a dit : « C’est significatif. Arrêtons le test et mettons le bouton en production. » Le simulateur propose ce test comme scénario. Son arrêt anticipé est un exercice que nous avons créé exprès : le bouton n’a aucun effet réel.

D’abord, mettez le projet à jour avec l’instantané end-of-m04. Il ajoute tous les outils de ce module : xp peek, xp metrics, xp weekly, le test séquentiel et six nouveaux scénarios. Vous copiez ses fichiers dans votre dossier de projet. Vos propres exécutions et plans restent en place.

  1. Ouvrez un terminal dans le dossier qui contient larkfield-experiments et nextia-learning-labs. Si vous avez cloné le dépôt des laboratoires avec Git, mettez-le d’abord à jour.

    Fenêtre de terminal
    git -C nextia-learning-labs pull
  2. Copiez l’instantané dans votre projet.

    Fenêtre de terminal
    cp -R nextia-learning-labs/C40/snapshots/end-of-m04/. larkfield-experiments/
    cd larkfield-experiments
    source .venv/bin/activate

    Les paquets sont les mêmes que dans le module Analyser le test. Vous n’installez donc rien de nouveau.

  3. Exécutez les tests.

    Fenêtre de terminal
    python -m pytest -q
    ................... [100%]
    21 passed in 3.44s

    Les vingt et un tests réussissent. Votre durée sera différente.

  4. Exécutez le test du bouton de paiement.

    Fenêtre de terminal
    sim run --scenario early-stop
    Scenario early-stop (seed 1197): A new checkout button with no real effect, stopped on day 3 when it looked like a win (planted).
    Wrote runs/early-stop-s1197: customers (33,090 rows), visits (107,059 rows). Synthetic data. 3.0 s
  5. Examinez-le jour par jour, comme sur le tableau de bord.

    Fenêtre de terminal
    xp peek
    Run early-stop-s1197, metric revenue: one look a day. 'fixed p' is the usual test at that day; the sequential columns are valid at every look (tau 1.24).
    day date customers difference fixed p sequential interval seq. p
    1 2025-09-08 3,500 +1.1842 0.223 -2.0675 to +4.4359 1.000
    2 2025-09-09 6,571 +1.1951 0.131 -1.3291 to +3.7194 0.828
    3 2025-09-10 9,244 +1.7557 0.020 -0.6315 to +3.7194 0.267 <
    4 2025-09-11 11,587 +1.4692 0.034 -0.6315 to +3.6371 0.267 <
    5 2025-09-12 13,647 +0.8414 0.207 -0.6315 to +2.9137 0.267
    6 2025-09-13 15,624 +0.6416 0.319 -0.6315 to +2.6316 0.267
    7 2025-09-14 17,312 +0.7028 0.275 -0.6315 to +2.6316 0.267
    8 2025-09-15 18,637 +0.9617 0.137 -0.6315 to +2.6316 0.267
    9 2025-09-16 19,880 +1.4123 0.032 -0.6284 to +2.6316 0.267 <
    10 2025-09-17 20,993 +1.4680 0.028 -0.6074 to +2.6316 0.267 <
    11 2025-09-18 22,126 +1.5251 0.022 -0.5342 to +2.6316 0.267 <
    12 2025-09-19 23,203 +1.5892 0.020 -0.5342 to +2.6316 0.262 <
    13 2025-09-20 24,186 +1.2393 0.072 -0.5342 to +2.6316 0.262
    14 2025-09-21 25,137 +1.5858 0.026 -0.5342 to +2.6316 0.262 <
    15 2025-09-22 25,857 +1.2731 0.073 -0.5342 to +2.6316 0.262
    16 2025-09-23 26,597 +1.3112 0.067 -0.5342 to +2.6316 0.262
    17 2025-09-24 27,278 +1.4985 0.037 -0.5342 to +2.6316 0.262 <
    18 2025-09-25 27,948 +1.4660 0.047 -0.5342 to +2.6316 0.262 <
    19 2025-09-26 28,571 +1.5365 0.042 -0.5342 to +2.6316 0.262 <
    20 2025-09-27 29,190 +1.3275 0.082 -0.5342 to +2.6316 0.262
    21 2025-09-28 29,788 +0.9141 0.237 -0.5342 to +2.6316 0.262
    22 2025-09-29 30,246 +0.8297 0.285 -0.5342 to +2.6316 0.262
    23 2025-09-30 30,778 +0.8105 0.301 -0.5342 to +2.6316 0.262
    24 2025-10-01 31,294 +0.6923 0.384 -0.5342 to +2.6316 0.262
    25 2025-10-02 31,760 +0.8130 0.311 -0.5342 to +2.6316 0.262
    26 2025-10-03 32,228 +0.8993 0.268 -0.5342 to +2.6316 0.262
    27 2025-10-04 32,689 +0.8118 0.325 -0.5342 to +2.6316 0.262
    28 2025-10-05 33,090 +0.8510 0.307 -0.5342 to +2.6316 0.262
    First day with p < 0.05 (peeking): 3. First day the sequential test decides: none.
  6. Analysez le test complet, comme prévu dans le plan, et comparez-le à la vérité.

    Fenêtre de terminal
    xp analyse
    xp check
    Run early-stop-s1197 (synthetic): A new checkout button with no real effect, stopped on day 3 when it looked like a win (planted).
    Metric: revenue. A: 16,471 customers, mean 24.8770. B: 16,619 customers, mean 25.7280.
    difference +0.8510 (+3.4%), 95% interval -0.7827 to +2.4847, p = 0.307 (Welch t-test)
    Saved to runs/early-stop-s1197/analysis.json. Compare with the true effect: xp check
    Run early-stop-s1197: the last analysis was `xp analyse`.
    True effect (from the simulator): +0.0000 dollars per customer.
    Your estimate: +0.8510, 95% interval -0.7827 to +2.4847: the interval contains the true effect.

Au jour 3, B avait une avance de 1,76 $, avec p = 0,020. Au jour 28, B a une avance de 0,85 $, avec p = 0,31. L’TermeIntervalle de confianceUne plage autour d’une valeur mesurée, obtenue par une méthode qui contient la vraie valeur 95 fois sur 100. Si l’intervalle d’une différence ne contient pas zéro, la différence n’est probablement pas due au hasard.En savoir plus Estimer l'incertitudeMathématiques et statistiques essentielles pour l'IA contient zéro. Les signes < (inférieur à) indiquent les jours où p < 0,05. Il y en a 10, répartis sur le mois. Une équipe qui regarde chaque jour a de nombreuses occasions de voir une « victoire ».

  • Différence B − A
  • Intervalle habituel à 95 %
  • Intervalle séquentiel
Le test du bouton de paiement, jour par jour. L'effet réel est nul. L'intervalle habituel exclut zéro au jour 3 et plusieurs jours suivants. L'intervalle séquentiel contient toujours zéro.
Description textuelle du graphique

Un graphique en courbes sur les 28 jours du test montre la différence B − A en dollars par client, de −2,5 à +4,5. La différence commence à +1,18 au jour 1, culmine à +1,76 au jour 3 et termine à +0,85 au jour 28. Deux lignes grises pointillées montrent l’intervalle habituel. Il va de −0,72 à +3,09 au jour 1 et de −0,78 à +2,48 au jour 28. Sa borne inférieure dépasse zéro au jour 3 (+0,28), au jour 4 (+0,11) et aux jours 9 à 12, 14 et 17 à 19. L’intervalle séquentiel, représenté par deux lignes vertes, est plus large : de −0,63 à +3,72 au jour 3, et de −0,53 à +2,63 à partir du jour 11. Sa borne inférieure ne dépasse jamais zéro.

Une valeur p inférieure à 0,05 n’a de sens que pour un seul regard. « 5 % des tests sans effet franchissent le seuil » est vrai si vous regardez une seule fois, à la fin. Chaque regard supplémentaire offre au bruit une autre chance de franchir le seuil. Vous arrêtez au premier franchissement, alors les chances s’accumulent.

Un petit exemple : comment les chances s’accumulent

Section intitulée « Un petit exemple : comment les chances s’accumulent »

Supposons que chaque regard soit un nouveau test indépendant. La probabilité qu’au moins un des k regards franchisse le seuil est alors de 1 − 0,95k. C’est comme pour plusieurs segments dans Segments et effets différents.

Regards Probabilité d’au moins une fausse « victoire »
1 1 − 0,95 = 5 %
4 (une fois par semaine) 1 − 0,954 = 1 − 0,815 = 18,5 %
14 1 − 0,9514 = 1 − 0,488 = 51 %
28 (chaque jour) 1 − 0,9528 = 1 − 0,238 = 76 %

Les regards réels ne sont pas indépendants. Les données du jour 4 contiennent celles du jour 3. Deux jours consécutifs donnent donc presque la même réponse. Le taux réel est inférieur aux valeurs de ce tableau, mais bien supérieur à 5 %. Une simulation nous indique à quel point il est supérieur.

L’explorateur montre 40 tests A/A simulés : les deux groupes voient le même magasin, donc chaque « gagnant » est faux. Chaque test compte 2 000 nouveaux clients par groupe par jour, et 22 % d’entre eux passent une commande. Chaque ligne représente un test, et chaque carré, un jour. Choisissez votre façon de regarder, puis changez le jour.

Explorer

Regards répétés sur 40 tests A/A

Regards jusqu’ici
28
Faux gagnants parmi ces 40 tests
10 sur 40 (25 %)
Part de 10 000 tests au jour 28
27,6 % chaque jour, 1,8 % en séquentiel

Au jour 28, avec un regard chaque jour, 10 des 40 tests A/A se sont arrêtés sur un faux gagnant. Aucun de ces tests n’a d’effet réel.

  • Un regard : p ≥ 0,05
  • Un regard : p < 0,05, arrêt (un faux gagnant)
  • Pas de regard ce jour-là
  • Après l’arrêt
  • Jour pas encore atteint
40 tests A/A, une ligne chacunTest 1, jour 1 : p = 0,428 (un regard)Test 1, jour 2 : p = 0,611 (un regard)Test 1, jour 3 : p = 0,584 (un regard)Test 1, jour 4 : p = 0,350 (un regard)Test 1, jour 5 : p = 0,297 (un regard)Test 1, jour 6 : p = 0,156 (un regard)Test 1, jour 7 : p = 0,362 (un regard)Test 1, jour 8 : p = 0,234 (un regard)Test 1, jour 9 : p = 0,321 (un regard)Test 1, jour 10 : p = 0,231 (un regard)Test 1, jour 11 : p = 0,222 (un regard)Test 1, jour 12 : p = 0,190 (un regard)Test 1, jour 13 : p = 0,249 (un regard)Test 1, jour 14 : p = 0,169 (un regard)Test 1, jour 15 : p = 0,340 (un regard)Test 1, jour 16 : p = 0,524 (un regard)Test 1, jour 17 : p = 0,605 (un regard)Test 1, jour 18 : p = 0,441 (un regard)Test 1, jour 19 : p = 0,369 (un regard)Test 1, jour 20 : p = 0,345 (un regard)Test 1, jour 21 : p = 0,512 (un regard)Test 1, jour 22 : p = 0,777 (un regard)Test 1, jour 23 : p = 0,956 (un regard)Test 1, jour 24 : p = 0,858 (un regard)Test 1, jour 25 : p = 0,692 (un regard)Test 1, jour 26 : p = 0,806 (un regard)Test 1, jour 27 : p = 0,798 (un regard)Test 1, jour 28 : p = 0,880 (un regard)Test 2, jour 1 : p = 0,099 (un regard)Test 2, jour 2 : p = 0,606 (un regard)Test 2, jour 3 : p = 0,860 (un regard)Test 2, jour 4 : p = 0,744 (un regard)Test 2, jour 5 : p = 0,945 (un regard)Test 2, jour 6 : p = 0,629 (un regard)Test 2, jour 7 : p = 0,341 (un regard)Test 2, jour 8 : p = 0,264 (un regard)Test 2, jour 9 : p = 0,204 (un regard)Test 2, jour 10 : p = 0,106 (un regard)Test 2, jour 11 : p = 0,076 (un regard)Test 2, jour 12 : p = 0,039 (un regard : p < 0,05, le test s’arrête sur un faux gagnant)Test 2, jour 13 : p = 0,042 (après l’arrêt)Test 2, jour 14 : p = 0,011 (après l’arrêt)Test 2, jour 15 : p = 0,008 (après l’arrêt)Test 2, jour 16 : p = 0,018 (après l’arrêt)Test 2, jour 17 : p = 0,011 (après l’arrêt)Test 2, jour 18 : p = 0,046 (après l’arrêt)Test 2, jour 19 : p = 0,058 (après l’arrêt)Test 2, jour 20 : p = 0,048 (après l’arrêt)Test 2, jour 21 : p = 0,027 (après l’arrêt)Test 2, jour 22 : p = 0,065 (après l’arrêt)Test 2, jour 23 : p = 0,066 (après l’arrêt)Test 2, jour 24 : p = 0,022 (après l’arrêt)Test 2, jour 25 : p = 0,040 (après l’arrêt)Test 2, jour 26 : p = 0,042 (après l’arrêt)Test 2, jour 27 : p = 0,030 (après l’arrêt)Test 2, jour 28 : p = 0,036 (après l’arrêt)arrêt, jour 12Test 3, jour 1 : p = 0,970 (un regard)Test 3, jour 2 : p = 0,936 (un regard)Test 3, jour 3 : p = 0,777 (un regard)Test 3, jour 4 : p = 0,533 (un regard)Test 3, jour 5 : p = 0,499 (un regard)Test 3, jour 6 : p = 0,537 (un regard)Test 3, jour 7 : p = 0,390 (un regard)Test 3, jour 8 : p = 0,271 (un regard)Test 3, jour 9 : p = 0,164 (un regard)Test 3, jour 10 : p = 0,186 (un regard)Test 3, jour 11 : p = 0,151 (un regard)Test 3, jour 12 : p = 0,213 (un regard)Test 3, jour 13 : p = 0,086 (un regard)Test 3, jour 14 : p = 0,096 (un regard)Test 3, jour 15 : p = 0,156 (un regard)Test 3, jour 16 : p = 0,184 (un regard)Test 3, jour 17 : p = 0,122 (un regard)Test 3, jour 18 : p = 0,105 (un regard)Test 3, jour 19 : p = 0,110 (un regard)Test 3, jour 20 : p = 0,208 (un regard)Test 3, jour 21 : p = 0,199 (un regard)Test 3, jour 22 : p = 0,140 (un regard)Test 3, jour 23 : p = 0,118 (un regard)Test 3, jour 24 : p = 0,155 (un regard)Test 3, jour 25 : p = 0,148 (un regard)Test 3, jour 26 : p = 0,224 (un regard)Test 3, jour 27 : p = 0,173 (un regard)Test 3, jour 28 : p = 0,184 (un regard)Test 4, jour 1 : p = 0,232 (un regard)Test 4, jour 2 : p = 0,455 (un regard)Test 4, jour 3 : p = 0,601 (un regard)Test 4, jour 4 : p = 0,806 (un regard)Test 4, jour 5 : p = 0,567 (un regard)Test 4, jour 6 : p = 0,963 (un regard)Test 4, jour 7 : p = 0,977 (un regard)Test 4, jour 8 : p = 0,852 (un regard)Test 4, jour 9 : p = 0,668 (un regard)Test 4, jour 10 : p = 0,565 (un regard)Test 4, jour 11 : p = 0,523 (un regard)Test 4, jour 12 : p = 0,710 (un regard)Test 4, jour 13 : p = 0,867 (un regard)Test 4, jour 14 : p = 0,871 (un regard)Test 4, jour 15 : p = 0,544 (un regard)Test 4, jour 16 : p = 0,525 (un regard)Test 4, jour 17 : p = 0,832 (un regard)Test 4, jour 18 : p = 0,971 (un regard)Test 4, jour 19 : p = 0,930 (un regard)Test 4, jour 20 : p = 0,925 (un regard)Test 4, jour 21 : p = 0,803 (un regard)Test 4, jour 22 : p = 0,968 (un regard)Test 4, jour 23 : p = 0,781 (un regard)Test 4, jour 24 : p = 0,762 (un regard)Test 4, jour 25 : p = 0,767 (un regard)Test 4, jour 26 : p = 0,911 (un regard)Test 4, jour 27 : p = 0,971 (un regard)Test 4, jour 28 : p = 0,903 (un regard)Test 5, jour 1 : p = 0,646 (un regard)Test 5, jour 2 : p = 0,089 (un regard)Test 5, jour 3 : p = 0,035 (un regard : p < 0,05, le test s’arrête sur un faux gagnant)Test 5, jour 4 : p = 0,229 (après l’arrêt)Test 5, jour 5 : p = 0,444 (après l’arrêt)Test 5, jour 6 : p = 0,113 (après l’arrêt)Test 5, jour 7 : p = 0,159 (après l’arrêt)Test 5, jour 8 : p = 0,276 (après l’arrêt)Test 5, jour 9 : p = 0,224 (après l’arrêt)Test 5, jour 10 : p = 0,194 (après l’arrêt)Test 5, jour 11 : p = 0,243 (après l’arrêt)Test 5, jour 12 : p = 0,357 (après l’arrêt)Test 5, jour 13 : p = 0,500 (après l’arrêt)Test 5, jour 14 : p = 0,434 (après l’arrêt)Test 5, jour 15 : p = 0,651 (après l’arrêt)Test 5, jour 16 : p = 0,621 (après l’arrêt)Test 5, jour 17 : p = 0,733 (après l’arrêt)Test 5, jour 18 : p = 0,979 (après l’arrêt)Test 5, jour 19 : p = 0,958 (après l’arrêt)Test 5, jour 20 : p = 0,872 (après l’arrêt)Test 5, jour 21 : p = 0,636 (après l’arrêt)Test 5, jour 22 : p = 0,500 (après l’arrêt)Test 5, jour 23 : p = 0,628 (après l’arrêt)Test 5, jour 24 : p = 0,816 (après l’arrêt)Test 5, jour 25 : p = 0,642 (après l’arrêt)Test 5, jour 26 : p = 0,648 (après l’arrêt)Test 5, jour 27 : p = 0,665 (après l’arrêt)Test 5, jour 28 : p = 0,277 (après l’arrêt)arrêt, jour 3Test 6, jour 1 : p = 0,386 (un regard)Test 6, jour 2 : p = 0,667 (un regard)Test 6, jour 3 : p = 0,692 (un regard)Test 6, jour 4 : p = 0,529 (un regard)Test 6, jour 5 : p = 0,194 (un regard)Test 6, jour 6 : p = 0,367 (un regard)Test 6, jour 7 : p = 0,489 (un regard)Test 6, jour 8 : p = 0,434 (un regard)Test 6, jour 9 : p = 0,526 (un regard)Test 6, jour 10 : p = 0,847 (un regard)Test 6, jour 11 : p = 1,000 (un regard)Test 6, jour 12 : p = 0,939 (un regard)Test 6, jour 13 : p = 0,800 (un regard)Test 6, jour 14 : p = 0,654 (un regard)Test 6, jour 15 : p = 0,568 (un regard)Test 6, jour 16 : p = 0,266 (un regard)Test 6, jour 17 : p = 0,252 (un regard)Test 6, jour 18 : p = 0,609 (un regard)Test 6, jour 19 : p = 0,513 (un regard)Test 6, jour 20 : p = 0,580 (un regard)Test 6, jour 21 : p = 0,666 (un regard)Test 6, jour 22 : p = 0,650 (un regard)Test 6, jour 23 : p = 0,868 (un regard)Test 6, jour 24 : p = 0,852 (un regard)Test 6, jour 25 : p = 0,790 (un regard)Test 6, jour 26 : p = 0,800 (un regard)Test 6, jour 27 : p = 0,676 (un regard)Test 6, jour 28 : p = 0,605 (un regard)Test 7, jour 1 : p = 0,135 (un regard)Test 7, jour 2 : p = 0,765 (un regard)Test 7, jour 3 : p = 0,164 (un regard)Test 7, jour 4 : p = 0,168 (un regard)Test 7, jour 5 : p = 0,123 (un regard)Test 7, jour 6 : p = 0,090 (un regard)Test 7, jour 7 : p = 0,369 (un regard)Test 7, jour 8 : p = 0,491 (un regard)Test 7, jour 9 : p = 0,485 (un regard)Test 7, jour 10 : p = 0,673 (un regard)Test 7, jour 11 : p = 0,513 (un regard)Test 7, jour 12 : p = 0,553 (un regard)Test 7, jour 13 : p = 0,612 (un regard)Test 7, jour 14 : p = 0,569 (un regard)Test 7, jour 15 : p = 0,523 (un regard)Test 7, jour 16 : p = 0,241 (un regard)Test 7, jour 17 : p = 0,448 (un regard)Test 7, jour 18 : p = 0,388 (un regard)Test 7, jour 19 : p = 0,186 (un regard)Test 7, jour 20 : p = 0,362 (un regard)Test 7, jour 21 : p = 0,356 (un regard)Test 7, jour 22 : p = 0,354 (un regard)Test 7, jour 23 : p = 0,441 (un regard)Test 7, jour 24 : p = 0,581 (un regard)Test 7, jour 25 : p = 0,642 (un regard)Test 7, jour 26 : p = 0,899 (un regard)Test 7, jour 27 : p = 0,769 (un regard)Test 7, jour 28 : p = 0,880 (un regard)Test 8, jour 1 : p = 0,729 (un regard)Test 8, jour 2 : p = 0,606 (un regard)Test 8, jour 3 : p = 0,537 (un regard)Test 8, jour 4 : p = 0,985 (un regard)Test 8, jour 5 : p = 0,707 (un regard)Test 8, jour 6 : p = 0,988 (un regard)Test 8, jour 7 : p = 0,665 (un regard)Test 8, jour 8 : p = 0,829 (un regard)Test 8, jour 9 : p = 0,629 (un regard)Test 8, jour 10 : p = 0,981 (un regard)Test 8, jour 11 : p = 0,704 (un regard)Test 8, jour 12 : p = 0,708 (un regard)Test 8, jour 13 : p = 0,775 (un regard)Test 8, jour 14 : p = 0,691 (un regard)Test 8, jour 15 : p = 0,898 (un regard)Test 8, jour 16 : p = 0,621 (un regard)Test 8, jour 17 : p = 0,740 (un regard)Test 8, jour 18 : p = 0,686 (un regard)Test 8, jour 19 : p = 0,800 (un regard)Test 8, jour 20 : p = 0,824 (un regard)Test 8, jour 21 : p = 0,751 (un regard)Test 8, jour 22 : p = 0,714 (un regard)Test 8, jour 23 : p = 0,685 (un regard)Test 8, jour 24 : p = 0,497 (un regard)Test 8, jour 25 : p = 0,477 (un regard)Test 8, jour 26 : p = 0,595 (un regard)Test 8, jour 27 : p = 0,436 (un regard)Test 8, jour 28 : p = 0,493 (un regard)Test 9, jour 1 : p = 0,512 (un regard)Test 9, jour 2 : p = 0,034 (un regard : p < 0,05, le test s’arrête sur un faux gagnant)Test 9, jour 3 : p = 0,066 (après l’arrêt)Test 9, jour 4 : p = 0,243 (après l’arrêt)Test 9, jour 5 : p = 0,119 (après l’arrêt)Test 9, jour 6 : p = 0,234 (après l’arrêt)Test 9, jour 7 : p = 0,444 (après l’arrêt)Test 9, jour 8 : p = 0,256 (après l’arrêt)Test 9, jour 9 : p = 0,400 (après l’arrêt)Test 9, jour 10 : p = 0,482 (après l’arrêt)Test 9, jour 11 : p = 0,738 (après l’arrêt)Test 9, jour 12 : p = 0,581 (après l’arrêt)Test 9, jour 13 : p = 0,581 (après l’arrêt)Test 9, jour 14 : p = 0,475 (après l’arrêt)Test 9, jour 15 : p = 0,454 (après l’arrêt)Test 9, jour 16 : p = 0,600 (après l’arrêt)Test 9, jour 17 : p = 0,719 (après l’arrêt)Test 9, jour 18 : p = 0,565 (après l’arrêt)Test 9, jour 19 : p = 0,535 (après l’arrêt)Test 9, jour 20 : p = 0,469 (après l’arrêt)Test 9, jour 21 : p = 0,474 (après l’arrêt)Test 9, jour 22 : p = 0,426 (après l’arrêt)Test 9, jour 23 : p = 0,356 (après l’arrêt)Test 9, jour 24 : p = 0,283 (après l’arrêt)Test 9, jour 25 : p = 0,208 (après l’arrêt)Test 9, jour 26 : p = 0,226 (après l’arrêt)Test 9, jour 27 : p = 0,256 (après l’arrêt)Test 9, jour 28 : p = 0,317 (après l’arrêt)arrêt, jour 2Test 10, jour 1 : p = 0,057 (un regard)Test 10, jour 2 : p = 0,667 (un regard)Test 10, jour 3 : p = 0,315 (un regard)Test 10, jour 4 : p = 0,865 (un regard)Test 10, jour 5 : p = 0,574 (un regard)Test 10, jour 6 : p = 0,698 (un regard)Test 10, jour 7 : p = 0,508 (un regard)Test 10, jour 8 : p = 0,686 (un regard)Test 10, jour 9 : p = 0,780 (un regard)Test 10, jour 10 : p = 0,664 (un regard)Test 10, jour 11 : p = 0,791 (un regard)Test 10, jour 12 : p = 0,930 (un regard)Test 10, jour 13 : p = 0,899 (un regard)Test 10, jour 14 : p = 0,775 (un regard)Test 10, jour 15 : p = 0,836 (un regard)Test 10, jour 16 : p = 0,939 (un regard)Test 10, jour 17 : p = 0,919 (un regard)Test 10, jour 18 : p = 0,978 (un regard)Test 10, jour 19 : p = 0,779 (un regard)Test 10, jour 20 : p = 0,714 (un regard)Test 10, jour 21 : p = 0,714 (un regard)Test 10, jour 22 : p = 0,832 (un regard)Test 10, jour 23 : p = 0,673 (un regard)Test 10, jour 24 : p = 0,559 (un regard)Test 10, jour 25 : p = 0,567 (un regard)Test 10, jour 26 : p = 0,554 (un regard)Test 10, jour 27 : p = 0,537 (un regard)Test 10, jour 28 : p = 0,603 (un regard)Test 11, jour 1 : p = 0,191 (un regard)Test 11, jour 2 : p = 0,166 (un regard)Test 11, jour 3 : p = 0,241 (un regard)Test 11, jour 4 : p = 0,251 (un regard)Test 11, jour 5 : p = 0,019 (un regard : p < 0,05, le test s’arrête sur un faux gagnant)Test 11, jour 6 : p = 0,113 (après l’arrêt)Test 11, jour 7 : p = 0,162 (après l’arrêt)Test 11, jour 8 : p = 0,201 (après l’arrêt)Test 11, jour 9 : p = 0,109 (après l’arrêt)Test 11, jour 10 : p = 0,109 (après l’arrêt)Test 11, jour 11 : p = 0,051 (après l’arrêt)Test 11, jour 12 : p = 0,108 (après l’arrêt)Test 11, jour 13 : p = 0,072 (après l’arrêt)Test 11, jour 14 : p = 0,089 (après l’arrêt)Test 11, jour 15 : p = 0,083 (après l’arrêt)Test 11, jour 16 : p = 0,223 (après l’arrêt)Test 11, jour 17 : p = 0,161 (après l’arrêt)Test 11, jour 18 : p = 0,156 (après l’arrêt)Test 11, jour 19 : p = 0,072 (après l’arrêt)Test 11, jour 20 : p = 0,112 (après l’arrêt)Test 11, jour 21 : p = 0,186 (après l’arrêt)Test 11, jour 22 : p = 0,163 (après l’arrêt)Test 11, jour 23 : p = 0,093 (après l’arrêt)Test 11, jour 24 : p = 0,155 (après l’arrêt)Test 11, jour 25 : p = 0,174 (après l’arrêt)Test 11, jour 26 : p = 0,375 (après l’arrêt)Test 11, jour 27 : p = 0,469 (après l’arrêt)Test 11, jour 28 : p = 0,698 (après l’arrêt)arrêt, jour 5Test 12, jour 1 : p = 0,645 (un regard)Test 12, jour 2 : p = 0,236 (un regard)Test 12, jour 3 : p = 0,212 (un regard)Test 12, jour 4 : p = 0,732 (un regard)Test 12, jour 5 : p = 0,798 (un regard)Test 12, jour 6 : p = 0,139 (un regard)Test 12, jour 7 : p = 0,011 (un regard : p < 0,05, le test s’arrête sur un faux gagnant)Test 12, jour 8 : p = 0,050 (après l’arrêt)Test 12, jour 9 : p = 0,124 (après l’arrêt)Test 12, jour 10 : p = 0,045 (après l’arrêt)Test 12, jour 11 : p = 0,107 (après l’arrêt)Test 12, jour 12 : p = 0,058 (après l’arrêt)Test 12, jour 13 : p = 0,112 (après l’arrêt)Test 12, jour 14 : p = 0,171 (après l’arrêt)Test 12, jour 15 : p = 0,126 (après l’arrêt)Test 12, jour 16 : p = 0,106 (après l’arrêt)Test 12, jour 17 : p = 0,088 (après l’arrêt)Test 12, jour 18 : p = 0,150 (après l’arrêt)Test 12, jour 19 : p = 0,305 (après l’arrêt)Test 12, jour 20 : p = 0,522 (après l’arrêt)Test 12, jour 21 : p = 0,623 (après l’arrêt)Test 12, jour 22 : p = 0,801 (après l’arrêt)Test 12, jour 23 : p = 0,709 (après l’arrêt)Test 12, jour 24 : p = 0,518 (après l’arrêt)Test 12, jour 25 : p = 0,578 (après l’arrêt)Test 12, jour 26 : p = 0,535 (après l’arrêt)Test 12, jour 27 : p = 0,558 (après l’arrêt)Test 12, jour 28 : p = 0,625 (après l’arrêt)arrêt, jour 7Test 13, jour 1 : p = 0,148 (un regard)Test 13, jour 2 : p = 0,549 (un regard)Test 13, jour 3 : p = 0,250 (un regard)Test 13, jour 4 : p = 0,894 (un regard)Test 13, jour 5 : p = 0,595 (un regard)Test 13, jour 6 : p = 0,532 (un regard)Test 13, jour 7 : p = 0,362 (un regard)Test 13, jour 8 : p = 0,474 (un regard)Test 13, jour 9 : p = 0,459 (un regard)Test 13, jour 10 : p = 0,370 (un regard)Test 13, jour 11 : p = 0,677 (un regard)Test 13, jour 12 : p = 0,912 (un regard)Test 13, jour 13 : p = 0,686 (un regard)Test 13, jour 14 : p = 0,743 (un regard)Test 13, jour 15 : p = 0,560 (un regard)Test 13, jour 16 : p = 0,612 (un regard)Test 13, jour 17 : p = 0,690 (un regard)Test 13, jour 18 : p = 0,766 (un regard)Test 13, jour 19 : p = 0,909 (un regard)Test 13, jour 20 : p = 0,871 (un regard)Test 13, jour 21 : p = 0,980 (un regard)Test 13, jour 22 : p = 0,708 (un regard)Test 13, jour 23 : p = 0,836 (un regard)Test 13, jour 24 : p = 0,803 (un regard)Test 13, jour 25 : p = 0,818 (un regard)Test 13, jour 26 : p = 0,816 (un regard)Test 13, jour 27 : p = 0,831 (un regard)Test 13, jour 28 : p = 0,778 (un regard)Test 14, jour 1 : p = 0,848 (un regard)Test 14, jour 2 : p = 0,244 (un regard)Test 14, jour 3 : p = 0,199 (un regard)Test 14, jour 4 : p = 0,673 (un regard)Test 14, jour 5 : p = 0,878 (un regard)Test 14, jour 6 : p = 0,640 (un regard)Test 14, jour 7 : p = 0,863 (un regard)Test 14, jour 8 : p = 0,627 (un regard)Test 14, jour 9 : p = 0,656 (un regard)Test 14, jour 10 : p = 0,476 (un regard)Test 14, jour 11 : p = 0,407 (un regard)Test 14, jour 12 : p = 0,238 (un regard)Test 14, jour 13 : p = 0,172 (un regard)Test 14, jour 14 : p = 0,169 (un regard)Test 14, jour 15 : p = 0,106 (un regard)Test 14, jour 16 : p = 0,057 (un regard)Test 14, jour 17 : p = 0,072 (un regard)Test 14, jour 18 : p = 0,037 (un regard : p < 0,05, le test s’arrête sur un faux gagnant)Test 14, jour 19 : p = 0,026 (après l’arrêt)Test 14, jour 20 : p = 0,025 (après l’arrêt)Test 14, jour 21 : p = 0,035 (après l’arrêt)Test 14, jour 22 : p = 0,025 (après l’arrêt)Test 14, jour 23 : p = 0,067 (après l’arrêt)Test 14, jour 24 : p = 0,046 (après l’arrêt)Test 14, jour 25 : p = 0,034 (après l’arrêt)Test 14, jour 26 : p = 0,044 (après l’arrêt)Test 14, jour 27 : p = 0,021 (après l’arrêt)Test 14, jour 28 : p = 0,027 (après l’arrêt)arrêt, jour 18Test 15, jour 1 : p = 0,909 (un regard)Test 15, jour 2 : p = 0,538 (un regard)Test 15, jour 3 : p = 0,879 (un regard)Test 15, jour 4 : p = 0,598 (un regard)Test 15, jour 5 : p = 0,438 (un regard)Test 15, jour 6 : p = 0,458 (un regard)Test 15, jour 7 : p = 0,616 (un regard)Test 15, jour 8 : p = 0,851 (un regard)Test 15, jour 9 : p = 0,723 (un regard)Test 15, jour 10 : p = 0,639 (un regard)Test 15, jour 11 : p = 0,740 (un regard)Test 15, jour 12 : p = 0,887 (un regard)Test 15, jour 13 : p = 1,000 (un regard)Test 15, jour 14 : p = 0,816 (un regard)Test 15, jour 15 : p = 0,739 (un regard)Test 15, jour 16 : p = 0,409 (un regard)Test 15, jour 17 : p = 0,495 (un regard)Test 15, jour 18 : p = 0,311 (un regard)Test 15, jour 19 : p = 0,272 (un regard)Test 15, jour 20 : p = 0,234 (un regard)Test 15, jour 21 : p = 0,344 (un regard)Test 15, jour 22 : p = 0,385 (un regard)Test 15, jour 23 : p = 0,260 (un regard)Test 15, jour 24 : p = 0,189 (un regard)Test 15, jour 25 : p = 0,215 (un regard)Test 15, jour 26 : p = 0,282 (un regard)Test 15, jour 27 : p = 0,379 (un regard)Test 15, jour 28 : p = 0,300 (un regard)Test 16, jour 1 : p = 0,595 (un regard)Test 16, jour 2 : p = 0,628 (un regard)Test 16, jour 3 : p = 0,709 (un regard)Test 16, jour 4 : p = 0,985 (un regard)Test 16, jour 5 : p = 0,610 (un regard)Test 16, jour 6 : p = 0,238 (un regard)Test 16, jour 7 : p = 0,195 (un regard)Test 16, jour 8 : p = 0,300 (un regard)Test 16, jour 9 : p = 0,274 (un regard)Test 16, jour 10 : p = 0,745 (un regard)Test 16, jour 11 : p = 0,629 (un regard)Test 16, jour 12 : p = 0,775 (un regard)Test 16, jour 13 : p = 0,719 (un regard)Test 16, jour 14 : p = 0,943 (un regard)Test 16, jour 15 : p = 0,813 (un regard)Test 16, jour 16 : p = 0,614 (un regard)Test 16, jour 17 : p = 0,684 (un regard)Test 16, jour 18 : p = 0,719 (un regard)Test 16, jour 19 : p = 0,416 (un regard)Test 16, jour 20 : p = 0,670 (un regard)Test 16, jour 21 : p = 0,683 (un regard)Test 16, jour 22 : p = 0,764 (un regard)Test 16, jour 23 : p = 0,562 (un regard)Test 16, jour 24 : p = 0,533 (un regard)Test 16, jour 25 : p = 0,512 (un regard)Test 16, jour 26 : p = 0,464 (un regard)Test 16, jour 27 : p = 0,394 (un regard)Test 16, jour 28 : p = 0,407 (un regard)Test 17, jour 1 : p = 0,438 (un regard)Test 17, jour 2 : p = 0,589 (un regard)Test 17, jour 3 : p = 0,186 (un regard)Test 17, jour 4 : p = 0,594 (un regard)Test 17, jour 5 : p = 0,517 (un regard)Test 17, jour 6 : p = 0,708 (un regard)Test 17, jour 7 : p = 0,954 (un regard)Test 17, jour 8 : p = 0,882 (un regard)Test 17, jour 9 : p = 0,683 (un regard)Test 17, jour 10 : p = 0,942 (un regard)Test 17, jour 11 : p = 0,854 (un regard)Test 17, jour 12 : p = 0,974 (un regard)Test 17, jour 13 : p = 0,857 (un regard)Test 17, jour 14 : p = 0,854 (un regard)Test 17, jour 15 : p = 0,737 (un regard)Test 17, jour 16 : p = 0,833 (un regard)Test 17, jour 17 : p = 0,904 (un regard)Test 17, jour 18 : p = 0,943 (un regard)Test 17, jour 19 : p = 0,965 (un regard)Test 17, jour 20 : p = 0,824 (un regard)Test 17, jour 21 : p = 0,815 (un regard)Test 17, jour 22 : p = 0,890 (un regard)Test 17, jour 23 : p = 0,848 (un regard)Test 17, jour 24 : p = 0,656 (un regard)Test 17, jour 25 : p = 0,635 (un regard)Test 17, jour 26 : p = 0,574 (un regard)Test 17, jour 27 : p = 0,551 (un regard)Test 17, jour 28 : p = 0,452 (un regard)Test 18, jour 1 : p = 0,970 (un regard)Test 18, jour 2 : p = 0,935 (un regard)Test 18, jour 3 : p = 0,691 (un regard)Test 18, jour 4 : p = 0,788 (un regard)Test 18, jour 5 : p = 0,430 (un regard)Test 18, jour 6 : p = 0,381 (un regard)Test 18, jour 7 : p = 0,623 (un regard)Test 18, jour 8 : p = 0,498 (un regard)Test 18, jour 9 : p = 0,413 (un regard)Test 18, jour 10 : p = 0,497 (un regard)Test 18, jour 11 : p = 0,262 (un regard)Test 18, jour 12 : p = 0,245 (un regard)Test 18, jour 13 : p = 0,655 (un regard)Test 18, jour 14 : p = 0,615 (un regard)Test 18, jour 15 : p = 0,441 (un regard)Test 18, jour 16 : p = 0,400 (un regard)Test 18, jour 17 : p = 0,308 (un regard)Test 18, jour 18 : p = 0,368 (un regard)Test 18, jour 19 : p = 0,139 (un regard)Test 18, jour 20 : p = 0,142 (un regard)Test 18, jour 21 : p = 0,230 (un regard)Test 18, jour 22 : p = 0,193 (un regard)Test 18, jour 23 : p = 0,161 (un regard)Test 18, jour 24 : p = 0,119 (un regard)Test 18, jour 25 : p = 0,231 (un regard)Test 18, jour 26 : p = 0,199 (un regard)Test 18, jour 27 : p = 0,207 (un regard)Test 18, jour 28 : p = 0,229 (un regard)Test 19, jour 1 : p = 0,727 (un regard)Test 19, jour 2 : p = 0,702 (un regard)Test 19, jour 3 : p = 1,000 (un regard)Test 19, jour 4 : p = 0,728 (un regard)Test 19, jour 5 : p = 0,209 (un regard)Test 19, jour 6 : p = 0,461 (un regard)Test 19, jour 7 : p = 0,485 (un regard)Test 19, jour 8 : p = 0,430 (un regard)Test 19, jour 9 : p = 0,565 (un regard)Test 19, jour 10 : p = 0,467 (un regard)Test 19, jour 11 : p = 0,533 (un regard)Test 19, jour 12 : p = 0,799 (un regard)Test 19, jour 13 : p = 0,718 (un regard)Test 19, jour 14 : p = 0,767 (un regard)Test 19, jour 15 : p = 0,745 (un regard)Test 19, jour 16 : p = 0,579 (un regard)Test 19, jour 17 : p = 0,697 (un regard)Test 19, jour 18 : p = 0,822 (un regard)Test 19, jour 19 : p = 0,888 (un regard)Test 19, jour 20 : p = 0,959 (un regard)Test 19, jour 21 : p = 0,980 (un regard)Test 19, jour 22 : p = 0,896 (un regard)Test 19, jour 23 : p = 0,962 (un regard)Test 19, jour 24 : p = 0,833 (un regard)Test 19, jour 25 : p = 0,848 (un regard)Test 19, jour 26 : p = 0,674 (un regard)Test 19, jour 27 : p = 0,718 (un regard)Test 19, jour 28 : p = 0,723 (un regard)Test 20, jour 1 : p = 0,273 (un regard)Test 20, jour 2 : p = 0,957 (un regard)Test 20, jour 3 : p = 0,648 (un regard)Test 20, jour 4 : p = 0,822 (un regard)Test 20, jour 5 : p = 0,775 (un regard)Test 20, jour 6 : p = 0,988 (un regard)Test 20, jour 7 : p = 0,977 (un regard)Test 20, jour 8 : p = 0,883 (un regard)Test 20, jour 9 : p = 0,650 (un regard)Test 20, jour 10 : p = 0,711 (un regard)Test 20, jour 11 : p = 0,648 (un regard)Test 20, jour 12 : p = 0,563 (un regard)Test 20, jour 13 : p = 0,543 (un regard)Test 20, jour 14 : p = 0,816 (un regard)Test 20, jour 15 : p = 0,423 (un regard)Test 20, jour 16 : p = 0,461 (un regard)Test 20, jour 17 : p = 0,514 (un regard)Test 20, jour 18 : p = 0,387 (un regard)Test 20, jour 19 : p = 0,244 (un regard)Test 20, jour 20 : p = 0,189 (un regard)Test 20, jour 21 : p = 0,206 (un regard)Test 20, jour 22 : p = 0,210 (un regard)Test 20, jour 23 : p = 0,148 (un regard)Test 20, jour 24 : p = 0,168 (un regard)Test 20, jour 25 : p = 0,113 (un regard)Test 20, jour 26 : p = 0,136 (un regard)Test 20, jour 27 : p = 0,095 (un regard)Test 20, jour 28 : p = 0,111 (un regard)Test 21, jour 1 : p = 0,970 (un regard)Test 21, jour 2 : p = 0,872 (un regard)Test 21, jour 3 : p = 0,725 (un regard)Test 21, jour 4 : p = 0,324 (un regard)Test 21, jour 5 : p = 0,433 (un regard)Test 21, jour 6 : p = 0,359 (un regard)Test 21, jour 7 : p = 0,818 (un regard)Test 21, jour 8 : p = 0,935 (un regard)Test 21, jour 9 : p = 0,789 (un regard)Test 21, jour 10 : p = 0,781 (un regard)Test 21, jour 11 : p = 0,662 (un regard)Test 21, jour 12 : p = 0,921 (un regard)Test 21, jour 13 : p = 0,656 (un regard)Test 21, jour 14 : p = 0,610 (un regard)Test 21, jour 15 : p = 0,508 (un regard)Test 21, jour 16 : p = 0,613 (un regard)Test 21, jour 17 : p = 0,650 (un regard)Test 21, jour 18 : p = 0,760 (un regard)Test 21, jour 19 : p = 0,979 (un regard)Test 21, jour 20 : p = 0,858 (un regard)Test 21, jour 21 : p = 0,521 (un regard)Test 21, jour 22 : p = 0,473 (un regard)Test 21, jour 23 : p = 0,170 (un regard)Test 21, jour 24 : p = 0,215 (un regard)Test 21, jour 25 : p = 0,218 (un regard)Test 21, jour 26 : p = 0,271 (un regard)Test 21, jour 27 : p = 0,370 (un regard)Test 21, jour 28 : p = 0,391 (un regard)Test 22, jour 1 : p = 0,103 (un regard)Test 22, jour 2 : p = 0,257 (un regard)Test 22, jour 3 : p = 0,167 (un regard)Test 22, jour 4 : p = 0,158 (un regard)Test 22, jour 5 : p = 0,505 (un regard)Test 22, jour 6 : p = 0,697 (un regard)Test 22, jour 7 : p = 0,697 (un regard)Test 22, jour 8 : p = 0,205 (un regard)Test 22, jour 9 : p = 0,191 (un regard)Test 22, jour 10 : p = 0,419 (un regard)Test 22, jour 11 : p = 0,696 (un regard)Test 22, jour 12 : p = 0,783 (un regard)Test 22, jour 13 : p = 0,672 (un regard)Test 22, jour 14 : p = 0,676 (un regard)Test 22, jour 15 : p = 0,568 (un regard)Test 22, jour 16 : p = 0,724 (un regard)Test 22, jour 17 : p = 0,711 (un regard)Test 22, jour 18 : p = 0,455 (un regard)Test 22, jour 19 : p = 0,425 (un regard)Test 22, jour 20 : p = 0,233 (un regard)Test 22, jour 21 : p = 0,224 (un regard)Test 22, jour 22 : p = 0,241 (un regard)Test 22, jour 23 : p = 0,126 (un regard)Test 22, jour 24 : p = 0,149 (un regard)Test 22, jour 25 : p = 0,114 (un regard)Test 22, jour 26 : p = 0,107 (un regard)Test 22, jour 27 : p = 0,172 (un regard)Test 22, jour 28 : p = 0,298 (un regard)Test 23, jour 1 : p = 0,276 (un regard)Test 23, jour 2 : p = 0,200 (un regard)Test 23, jour 3 : p = 0,597 (un regard)Test 23, jour 4 : p = 0,985 (un regard)Test 23, jour 5 : p = 0,824 (un regard)Test 23, jour 6 : p = 0,876 (un regard)Test 23, jour 7 : p = 0,896 (un regard)Test 23, jour 8 : p = 0,829 (un regard)Test 23, jour 9 : p = 0,711 (un regard)Test 23, jour 10 : p = 0,654 (un regard)Test 23, jour 11 : p = 0,489 (un regard)Test 23, jour 12 : p = 0,567 (un regard)Test 23, jour 13 : p = 0,397 (un regard)Test 23, jour 14 : p = 0,397 (un regard)Test 23, jour 15 : p = 0,396 (un regard)Test 23, jour 16 : p = 0,560 (un regard)Test 23, jour 17 : p = 0,559 (un regard)Test 23, jour 18 : p = 0,640 (un regard)Test 23, jour 19 : p = 0,827 (un regard)Test 23, jour 20 : p = 0,707 (un regard)Test 23, jour 21 : p = 0,790 (un regard)Test 23, jour 22 : p = 0,877 (un regard)Test 23, jour 23 : p = 0,918 (un regard)Test 23, jour 24 : p = 0,640 (un regard)Test 23, jour 25 : p = 0,731 (un regard)Test 23, jour 26 : p = 0,544 (un regard)Test 23, jour 27 : p = 0,445 (un regard)Test 23, jour 28 : p = 0,493 (un regard)Test 24, jour 1 : p = 0,877 (un regard)Test 24, jour 2 : p = 0,514 (un regard)Test 24, jour 3 : p = 0,723 (un regard)Test 24, jour 4 : p = 0,502 (un regard)Test 24, jour 5 : p = 0,441 (un regard)Test 24, jour 6 : p = 0,134 (un regard)Test 24, jour 7 : p = 0,122 (un regard)Test 24, jour 8 : p = 0,199 (un regard)Test 24, jour 9 : p = 0,220 (un regard)Test 24, jour 10 : p = 0,304 (un regard)Test 24, jour 11 : p = 0,209 (un regard)Test 24, jour 12 : p = 0,326 (un regard)Test 24, jour 13 : p = 0,231 (un regard)Test 24, jour 14 : p = 0,308 (un regard)Test 24, jour 15 : p = 0,355 (un regard)Test 24, jour 16 : p = 0,452 (un regard)Test 24, jour 17 : p = 0,868 (un regard)Test 24, jour 18 : p = 0,907 (un regard)Test 24, jour 19 : p = 0,902 (un regard)Test 24, jour 20 : p = 0,765 (un regard)Test 24, jour 21 : p = 0,532 (un regard)Test 24, jour 22 : p = 0,580 (un regard)Test 24, jour 23 : p = 0,616 (un regard)Test 24, jour 24 : p = 0,528 (un regard)Test 24, jour 25 : p = 0,393 (un regard)Test 24, jour 26 : p = 0,346 (un regard)Test 24, jour 27 : p = 0,304 (un regard)Test 24, jour 28 : p = 0,445 (un regard)Test 25, jour 1 : p = 0,033 (un regard : p < 0,05, le test s’arrête sur un faux gagnant)Test 25, jour 2 : p = 0,155 (après l’arrêt)Test 25, jour 3 : p = 0,759 (après l’arrêt)Test 25, jour 4 : p = 0,864 (après l’arrêt)Test 25, jour 5 : p = 0,851 (après l’arrêt)Test 25, jour 6 : p = 0,401 (après l’arrêt)Test 25, jour 7 : p = 0,413 (après l’arrêt)Test 25, jour 8 : p = 0,667 (après l’arrêt)Test 25, jour 9 : p = 0,761 (après l’arrêt)Test 25, jour 10 : p = 0,782 (après l’arrêt)Test 25, jour 11 : p = 0,706 (après l’arrêt)Test 25, jour 12 : p = 0,709 (après l’arrêt)Test 25, jour 13 : p = 0,751 (après l’arrêt)Test 25, jour 14 : p = 0,691 (après l’arrêt)Test 25, jour 15 : p = 0,760 (après l’arrêt)Test 25, jour 16 : p = 0,682 (après l’arrêt)Test 25, jour 17 : p = 0,985 (après l’arrêt)Test 25, jour 18 : p = 0,740 (après l’arrêt)Test 25, jour 19 : p = 0,681 (après l’arrêt)Test 25, jour 20 : p = 0,939 (après l’arrêt)Test 25, jour 21 : p = 0,967 (après l’arrêt)Test 25, jour 22 : p = 0,720 (après l’arrêt)Test 25, jour 23 : p = 0,842 (après l’arrêt)Test 25, jour 24 : p = 0,657 (après l’arrêt)Test 25, jour 25 : p = 0,957 (après l’arrêt)Test 25, jour 26 : p = 0,893 (après l’arrêt)Test 25, jour 27 : p = 0,912 (après l’arrêt)Test 25, jour 28 : p = 0,966 (après l’arrêt)arrêt, jour 1Test 26, jour 1 : p = 0,593 (un regard)Test 26, jour 2 : p = 0,404 (un regard)Test 26, jour 3 : p = 0,056 (un regard)Test 26, jour 4 : p = 0,022 (un regard : p < 0,05, le test s’arrête sur un faux gagnant)Test 26, jour 5 : p = 0,022 (après l’arrêt)Test 26, jour 6 : p = 0,045 (après l’arrêt)Test 26, jour 7 : p = 0,068 (après l’arrêt)Test 26, jour 8 : p = 0,040 (après l’arrêt)Test 26, jour 9 : p = 0,028 (après l’arrêt)Test 26, jour 10 : p = 0,015 (après l’arrêt)Test 26, jour 11 : p = 0,017 (après l’arrêt)Test 26, jour 12 : p = 0,034 (après l’arrêt)Test 26, jour 13 : p = 0,035 (après l’arrêt)Test 26, jour 14 : p = 0,040 (après l’arrêt)Test 26, jour 15 : p = 0,051 (après l’arrêt)Test 26, jour 16 : p = 0,050 (après l’arrêt)Test 26, jour 17 : p = 0,055 (après l’arrêt)Test 26, jour 18 : p = 0,123 (après l’arrêt)Test 26, jour 19 : p = 0,084 (après l’arrêt)Test 26, jour 20 : p = 0,089 (après l’arrêt)Test 26, jour 21 : p = 0,074 (après l’arrêt)Test 26, jour 22 : p = 0,098 (après l’arrêt)Test 26, jour 23 : p = 0,180 (après l’arrêt)Test 26, jour 24 : p = 0,258 (après l’arrêt)Test 26, jour 25 : p = 0,171 (après l’arrêt)Test 26, jour 26 : p = 0,233 (après l’arrêt)Test 26, jour 27 : p = 0,331 (après l’arrêt)Test 26, jour 28 : p = 0,282 (après l’arrêt)arrêt, jour 4Test 27, jour 1 : p = 0,273 (un regard)Test 27, jour 2 : p = 0,606 (un regard)Test 27, jour 3 : p = 0,451 (un regard)Test 27, jour 4 : p = 0,702 (un regard)Test 27, jour 5 : p = 0,865 (un regard)Test 27, jour 6 : p = 0,284 (un regard)Test 27, jour 7 : p = 0,565 (un regard)Test 27, jour 8 : p = 0,381 (un regard)Test 27, jour 9 : p = 0,760 (un regard)Test 27, jour 10 : p = 0,745 (un regard)Test 27, jour 11 : p = 0,612 (un regard)Test 27, jour 12 : p = 0,337 (un regard)Test 27, jour 13 : p = 0,356 (un regard)Test 27, jour 14 : p = 0,443 (un regard)Test 27, jour 15 : p = 0,348 (un regard)Test 27, jour 16 : p = 0,339 (un regard)Test 27, jour 17 : p = 0,231 (un regard)Test 27, jour 18 : p = 0,137 (un regard)Test 27, jour 19 : p = 0,118 (un regard)Test 27, jour 20 : p = 0,163 (un regard)Test 27, jour 21 : p = 0,260 (un regard)Test 27, jour 22 : p = 0,230 (un regard)Test 27, jour 23 : p = 0,274 (un regard)Test 27, jour 24 : p = 0,310 (un regard)Test 27, jour 25 : p = 0,453 (un regard)Test 27, jour 26 : p = 0,674 (un regard)Test 27, jour 27 : p = 0,453 (un regard)Test 27, jour 28 : p = 0,426 (un regard)Test 28, jour 1 : p = 0,623 (un regard)Test 28, jour 2 : p = 0,248 (un regard)Test 28, jour 3 : p = 0,930 (un regard)Test 28, jour 4 : p = 0,970 (un regard)Test 28, jour 5 : p = 0,798 (un regard)Test 28, jour 6 : p = 0,876 (un regard)Test 28, jour 7 : p = 0,829 (un regard)Test 28, jour 8 : p = 0,850 (un regard)Test 28, jour 9 : p = 0,723 (un regard)Test 28, jour 10 : p = 0,273 (un regard)Test 28, jour 11 : p = 0,142 (un regard)Test 28, jour 12 : p = 0,156 (un regard)Test 28, jour 13 : p = 0,163 (un regard)Test 28, jour 14 : p = 0,308 (un regard)Test 28, jour 15 : p = 0,334 (un regard)Test 28, jour 16 : p = 0,214 (un regard)Test 28, jour 17 : p = 0,182 (un regard)Test 28, jour 18 : p = 0,265 (un regard)Test 28, jour 19 : p = 0,192 (un regard)Test 28, jour 20 : p = 0,121 (un regard)Test 28, jour 21 : p = 0,234 (un regard)Test 28, jour 22 : p = 0,201 (un regard)Test 28, jour 23 : p = 0,242 (un regard)Test 28, jour 24 : p = 0,204 (un regard)Test 28, jour 25 : p = 0,252 (un regard)Test 28, jour 26 : p = 0,242 (un regard)Test 28, jour 27 : p = 0,132 (un regard)Test 28, jour 28 : p = 0,122 (un regard)Test 29, jour 1 : p = 0,591 (un regard)Test 29, jour 2 : p = 0,957 (un regard)Test 29, jour 3 : p = 0,724 (un regard)Test 29, jour 4 : p = 0,301 (un regard)Test 29, jour 5 : p = 0,584 (un regard)Test 29, jour 6 : p = 0,791 (un regard)Test 29, jour 7 : p = 0,796 (un regard)Test 29, jour 8 : p = 0,656 (un regard)Test 29, jour 9 : p = 0,960 (un regard)Test 29, jour 10 : p = 0,631 (un regard)Test 29, jour 11 : p = 0,599 (un regard)Test 29, jour 12 : p = 0,599 (un regard)Test 29, jour 13 : p = 0,643 (un regard)Test 29, jour 14 : p = 0,471 (un regard)Test 29, jour 15 : p = 0,474 (un regard)Test 29, jour 16 : p = 0,582 (un regard)Test 29, jour 17 : p = 0,352 (un regard)Test 29, jour 18 : p = 0,220 (un regard)Test 29, jour 19 : p = 0,307 (un regard)Test 29, jour 20 : p = 0,287 (un regard)Test 29, jour 21 : p = 0,319 (un regard)Test 29, jour 22 : p = 0,311 (un regard)Test 29, jour 23 : p = 0,243 (un regard)Test 29, jour 24 : p = 0,187 (un regard)Test 29, jour 25 : p = 0,373 (un regard)Test 29, jour 26 : p = 0,670 (un regard)Test 29, jour 27 : p = 0,720 (un regard)Test 29, jour 28 : p = 0,615 (un regard)Test 30, jour 1 : p = 0,970 (un regard)Test 30, jour 2 : p = 0,662 (un regard)Test 30, jour 3 : p = 0,436 (un regard)Test 30, jour 4 : p = 0,673 (un regard)Test 30, jour 5 : p = 0,471 (un regard)Test 30, jour 6 : p = 0,310 (un regard)Test 30, jour 7 : p = 0,136 (un regard)Test 30, jour 8 : p = 0,336 (un regard)Test 30, jour 9 : p = 0,674 (un regard)Test 30, jour 10 : p = 0,595 (un regard)Test 30, jour 11 : p = 0,612 (un regard)Test 30, jour 12 : p = 0,529 (un regard)Test 30, jour 13 : p = 0,582 (un regard)Test 30, jour 14 : p = 0,450 (un regard)Test 30, jour 15 : p = 0,636 (un regard)Test 30, jour 16 : p = 0,468 (un regard)Test 30, jour 17 : p = 0,321 (un regard)Test 30, jour 18 : p = 0,439 (un regard)Test 30, jour 19 : p = 0,318 (un regard)Test 30, jour 20 : p = 0,169 (un regard)Test 30, jour 21 : p = 0,278 (un regard)Test 30, jour 22 : p = 0,286 (un regard)Test 30, jour 23 : p = 0,194 (un regard)Test 30, jour 24 : p = 0,409 (un regard)Test 30, jour 25 : p = 0,497 (un regard)Test 30, jour 26 : p = 0,589 (un regard)Test 30, jour 27 : p = 0,566 (un regard)Test 30, jour 28 : p = 0,440 (un regard)Test 31, jour 1 : p = 0,970 (un regard)Test 31, jour 2 : p = 0,270 (un regard)Test 31, jour 3 : p = 0,895 (un regard)Test 31, jour 4 : p = 0,879 (un regard)Test 31, jour 5 : p = 0,747 (un regard)Test 31, jour 6 : p = 0,664 (un regard)Test 31, jour 7 : p = 0,275 (un regard)Test 31, jour 8 : p = 0,747 (un regard)Test 31, jour 9 : p = 0,909 (un regard)Test 31, jour 10 : p = 0,875 (un regard)Test 31, jour 11 : p = 0,670 (un regard)Test 31, jour 12 : p = 0,783 (un regard)Test 31, jour 13 : p = 0,874 (un regard)Test 31, jour 14 : p = 0,862 (un regard)Test 31, jour 15 : p = 0,976 (un regard)Test 31, jour 16 : p = 0,724 (un regard)Test 31, jour 17 : p = 0,465 (un regard)Test 31, jour 18 : p = 0,565 (un regard)Test 31, jour 19 : p = 0,581 (un regard)Test 31, jour 20 : p = 0,714 (un regard)Test 31, jour 21 : p = 0,565 (un regard)Test 31, jour 22 : p = 0,690 (un regard)Test 31, jour 23 : p = 0,917 (un regard)Test 31, jour 24 : p = 0,994 (un regard)Test 31, jour 25 : p = 0,976 (un regard)Test 31, jour 26 : p = 0,982 (un regard)Test 31, jour 27 : p = 0,854 (un regard)Test 31, jour 28 : p = 0,723 (un regard)Test 32, jour 1 : p = 0,078 (un regard)Test 32, jour 2 : p = 0,013 (un regard : p < 0,05, le test s’arrête sur un faux gagnant)Test 32, jour 3 : p = 0,019 (après l’arrêt)Test 32, jour 4 : p = 0,006 (après l’arrêt)Test 32, jour 5 : p = <0.001 (après l’arrêt)Test 32, jour 6 : p = 0,002 (après l’arrêt)Test 32, jour 7 : p = <0.001 (après l’arrêt)Test 32, jour 8 : p = 0,004 (après l’arrêt)Test 32, jour 9 : p = 0,009 (après l’arrêt)Test 32, jour 10 : p = 0,012 (après l’arrêt)Test 32, jour 11 : p = 0,021 (après l’arrêt)Test 32, jour 12 : p = 0,065 (après l’arrêt)Test 32, jour 13 : p = 0,195 (après l’arrêt)Test 32, jour 14 : p = 0,263 (après l’arrêt)Test 32, jour 15 : p = 0,504 (après l’arrêt)Test 32, jour 16 : p = 0,620 (après l’arrêt)Test 32, jour 17 : p = 0,618 (après l’arrêt)Test 32, jour 18 : p = 0,634 (après l’arrêt)Test 32, jour 19 : p = 0,707 (après l’arrêt)Test 32, jour 20 : p = 0,766 (après l’arrêt)Test 32, jour 21 : p = 0,709 (après l’arrêt)Test 32, jour 22 : p = 0,620 (après l’arrêt)Test 32, jour 23 : p = 0,793 (après l’arrêt)Test 32, jour 24 : p = 0,669 (après l’arrêt)Test 32, jour 25 : p = 0,698 (après l’arrêt)Test 32, jour 26 : p = 0,952 (après l’arrêt)Test 32, jour 27 : p = 0,971 (après l’arrêt)Test 32, jour 28 : p = 0,943 (après l’arrêt)arrêt, jour 2Test 33, jour 1 : p = 0,339 (un regard)Test 33, jour 2 : p = 0,914 (un regard)Test 33, jour 3 : p = 0,947 (un regard)Test 33, jour 4 : p = 0,954 (un regard)Test 33, jour 5 : p = 0,473 (un regard)Test 33, jour 6 : p = 0,684 (un regard)Test 33, jour 7 : p = 0,707 (un regard)Test 33, jour 8 : p = 0,626 (un regard)Test 33, jour 9 : p = 0,838 (un regard)Test 33, jour 10 : p = 0,846 (un regard)Test 33, jour 11 : p = 0,853 (un regard)Test 33, jour 12 : p = 0,938 (un regard)Test 33, jour 13 : p = 0,734 (un regard)Test 33, jour 14 : p = 0,659 (un regard)Test 33, jour 15 : p = 0,766 (un regard)Test 33, jour 16 : p = 0,992 (un regard)Test 33, jour 17 : p = 0,724 (un regard)Test 33, jour 18 : p = 0,821 (un regard)Test 33, jour 19 : p = 0,888 (un regard)Test 33, jour 20 : p = 0,764 (un regard)Test 33, jour 21 : p = 0,713 (un regard)Test 33, jour 22 : p = 0,719 (un regard)Test 33, jour 23 : p = 0,892 (un regard)Test 33, jour 24 : p = 0,633 (un regard)Test 33, jour 25 : p = 0,908 (un regard)Test 33, jour 26 : p = 0,816 (un regard)Test 33, jour 27 : p = 0,819 (un regard)Test 33, jour 28 : p = 0,578 (un regard)Test 34, jour 1 : p = 0,757 (un regard)Test 34, jour 2 : p = 0,724 (un regard)Test 34, jour 3 : p = 0,519 (un regard)Test 34, jour 4 : p = 0,408 (un regard)Test 34, jour 5 : p = 0,295 (un regard)Test 34, jour 6 : p = 0,552 (un regard)Test 34, jour 7 : p = 0,562 (un regard)Test 34, jour 8 : p = 0,552 (un regard)Test 34, jour 9 : p = 0,750 (un regard)Test 34, jour 10 : p = 0,673 (un regard)Test 34, jour 11 : p = 0,721 (un regard)Test 34, jour 12 : p = 0,895 (un regard)Test 34, jour 13 : p = 0,849 (un regard)Test 34, jour 14 : p = 0,831 (un regard)Test 34, jour 15 : p = 0,760 (un regard)Test 34, jour 16 : p = 0,683 (un regard)Test 34, jour 17 : p = 0,904 (un regard)Test 34, jour 18 : p = 0,823 (un regard)Test 34, jour 19 : p = 0,787 (un regard)Test 34, jour 20 : p = 0,792 (un regard)Test 34, jour 21 : p = 0,561 (un regard)Test 34, jour 22 : p = 0,335 (un regard)Test 34, jour 23 : p = 0,634 (un regard)Test 34, jour 24 : p = 0,681 (un regard)Test 34, jour 25 : p = 0,533 (un regard)Test 34, jour 26 : p = 0,314 (un regard)Test 34, jour 27 : p = 0,341 (un regard)Test 34, jour 28 : p = 0,317 (un regard)Test 35, jour 1 : p = 0,259 (un regard)Test 35, jour 2 : p = 0,011 (un regard : p < 0,05, le test s’arrête sur un faux gagnant)Test 35, jour 3 : p = 0,052 (après l’arrêt)Test 35, jour 4 : p = 0,009 (après l’arrêt)Test 35, jour 5 : p = 0,009 (après l’arrêt)Test 35, jour 6 : p = 0,038 (après l’arrêt)Test 35, jour 7 : p = 0,081 (après l’arrêt)Test 35, jour 8 : p = 0,135 (après l’arrêt)Test 35, jour 9 : p = 0,152 (après l’arrêt)Test 35, jour 10 : p = 0,069 (après l’arrêt)Test 35, jour 11 : p = 0,165 (après l’arrêt)Test 35, jour 12 : p = 0,097 (après l’arrêt)Test 35, jour 13 : p = 0,118 (après l’arrêt)Test 35, jour 14 : p = 0,138 (après l’arrêt)Test 35, jour 15 : p = 0,082 (après l’arrêt)Test 35, jour 16 : p = 0,057 (après l’arrêt)Test 35, jour 17 : p = 0,076 (après l’arrêt)Test 35, jour 18 : p = 0,176 (après l’arrêt)Test 35, jour 19 : p = 0,119 (après l’arrêt)Test 35, jour 20 : p = 0,200 (après l’arrêt)Test 35, jour 21 : p = 0,260 (après l’arrêt)Test 35, jour 22 : p = 0,484 (après l’arrêt)Test 35, jour 23 : p = 0,696 (après l’arrêt)Test 35, jour 24 : p = 0,749 (après l’arrêt)Test 35, jour 25 : p = 0,765 (après l’arrêt)Test 35, jour 26 : p = 0,869 (après l’arrêt)Test 35, jour 27 : p = 0,959 (après l’arrêt)Test 35, jour 28 : p = 0,745 (après l’arrêt)arrêt, jour 2Test 36, jour 1 : p = 0,672 (un regard)Test 36, jour 2 : p = 0,935 (un regard)Test 36, jour 3 : p = 0,824 (un regard)Test 36, jour 4 : p = 0,878 (un regard)Test 36, jour 5 : p = 0,732 (un regard)Test 36, jour 6 : p = 0,628 (un regard)Test 36, jour 7 : p = 0,624 (un regard)Test 36, jour 8 : p = 0,426 (un regard)Test 36, jour 9 : p = 0,268 (un regard)Test 36, jour 10 : p = 0,252 (un regard)Test 36, jour 11 : p = 0,528 (un regard)Test 36, jour 12 : p = 0,379 (un regard)Test 36, jour 13 : p = 0,472 (un regard)Test 36, jour 14 : p = 0,541 (un regard)Test 36, jour 15 : p = 0,426 (un regard)Test 36, jour 16 : p = 0,529 (un regard)Test 36, jour 17 : p = 0,657 (un regard)Test 36, jour 18 : p = 0,921 (un regard)Test 36, jour 19 : p = 0,806 (un regard)Test 36, jour 20 : p = 0,952 (un regard)Test 36, jour 21 : p = 0,887 (un regard)Test 36, jour 22 : p = 0,696 (un regard)Test 36, jour 23 : p = 0,524 (un regard)Test 36, jour 24 : p = 0,726 (un regard)Test 36, jour 25 : p = 0,588 (un regard)Test 36, jour 26 : p = 0,394 (un regard)Test 36, jour 27 : p = 0,378 (un regard)Test 36, jour 28 : p = 0,338 (un regard)Test 37, jour 1 : p = 0,276 (un regard)Test 37, jour 2 : p = 0,467 (un regard)Test 37, jour 3 : p = 0,808 (un regard)Test 37, jour 4 : p = 0,581 (un regard)Test 37, jour 5 : p = 0,528 (un regard)Test 37, jour 6 : p = 0,815 (un regard)Test 37, jour 7 : p = 0,565 (un regard)Test 37, jour 8 : p = 0,989 (un regard)Test 37, jour 9 : p = 0,849 (un regard)Test 37, jour 10 : p = 0,828 (un regard)Test 37, jour 11 : p = 0,982 (un regard)Test 37, jour 12 : p = 0,692 (un regard)Test 37, jour 13 : p = 0,992 (un regard)Test 37, jour 14 : p = 0,854 (un regard)Test 37, jour 15 : p = 0,671 (un regard)Test 37, jour 16 : p = 0,450 (un regard)Test 37, jour 17 : p = 0,623 (un regard)Test 37, jour 18 : p = 0,466 (un regard)Test 37, jour 19 : p = 0,792 (un regard)Test 37, jour 20 : p = 0,579 (un regard)Test 37, jour 21 : p = 0,537 (un regard)Test 37, jour 22 : p = 0,757 (un regard)Test 37, jour 23 : p = 0,762 (un regard)Test 37, jour 24 : p = 0,685 (un regard)Test 37, jour 25 : p = 0,355 (un regard)Test 37, jour 26 : p = 0,330 (un regard)Test 37, jour 27 : p = 0,346 (un regard)Test 37, jour 28 : p = 0,263 (un regard)Test 38, jour 1 : p = 0,970 (un regard)Test 38, jour 2 : p = 0,979 (un regard)Test 38, jour 3 : p = 0,599 (un regard)Test 38, jour 4 : p = 1,000 (un regard)Test 38, jour 5 : p = 0,932 (un regard)Test 38, jour 6 : p = 0,651 (un regard)Test 38, jour 7 : p = 0,896 (un regard)Test 38, jour 8 : p = 0,903 (un regard)Test 38, jour 9 : p = 0,970 (un regard)Test 38, jour 10 : p = 0,981 (un regard)Test 38, jour 11 : p = 0,572 (un regard)Test 38, jour 12 : p = 0,414 (un regard)Test 38, jour 13 : p = 0,266 (un regard)Test 38, jour 14 : p = 0,136 (un regard)Test 38, jour 15 : p = 0,119 (un regard)Test 38, jour 16 : p = 0,272 (un regard)Test 38, jour 17 : p = 0,295 (un regard)Test 38, jour 18 : p = 0,245 (un regard)Test 38, jour 19 : p = 0,285 (un regard)Test 38, jour 20 : p = 0,278 (un regard)Test 38, jour 21 : p = 0,214 (un regard)Test 38, jour 22 : p = 0,225 (un regard)Test 38, jour 23 : p = 0,327 (un regard)Test 38, jour 24 : p = 0,314 (un regard)Test 38, jour 25 : p = 0,317 (un regard)Test 38, jour 26 : p = 0,485 (un regard)Test 38, jour 27 : p = 0,335 (un regard)Test 38, jour 28 : p = 0,315 (un regard)Test 39, jour 1 : p = 0,848 (un regard)Test 39, jour 2 : p = 0,727 (un regard)Test 39, jour 3 : p = 0,861 (un regard)Test 39, jour 4 : p = 0,529 (un regard)Test 39, jour 5 : p = 0,246 (un regard)Test 39, jour 6 : p = 0,139 (un regard)Test 39, jour 7 : p = 0,364 (un regard)Test 39, jour 8 : p = 0,359 (un regard)Test 39, jour 9 : p = 0,858 (un regard)Test 39, jour 10 : p = 0,735 (un regard)Test 39, jour 11 : p = 1,000 (un regard)Test 39, jour 12 : p = 0,774 (un regard)Test 39, jour 13 : p = 0,687 (un regard)Test 39, jour 14 : p = 0,587 (un regard)Test 39, jour 15 : p = 0,729 (un regard)Test 39, jour 16 : p = 0,553 (un regard)Test 39, jour 17 : p = 0,498 (un regard)Test 39, jour 18 : p = 0,322 (un regard)Test 39, jour 19 : p = 0,197 (un regard)Test 39, jour 20 : p = 0,200 (un regard)Test 39, jour 21 : p = 0,174 (un regard)Test 39, jour 22 : p = 0,290 (un regard)Test 39, jour 23 : p = 0,390 (un regard)Test 39, jour 24 : p = 0,353 (un regard)Test 39, jour 25 : p = 0,359 (un regard)Test 39, jour 26 : p = 0,246 (un regard)Test 39, jour 27 : p = 0,296 (un regard)Test 39, jour 28 : p = 0,406 (un regard)Test 40, jour 1 : p = 0,494 (un regard)Test 40, jour 2 : p = 0,830 (un regard)Test 40, jour 3 : p = 0,843 (un regard)Test 40, jour 4 : p = 0,213 (un regard)Test 40, jour 5 : p = 0,539 (un regard)Test 40, jour 6 : p = 0,342 (un regard)Test 40, jour 7 : p = 0,280 (un regard)Test 40, jour 8 : p = 0,325 (un regard)Test 40, jour 9 : p = 0,182 (un regard)Test 40, jour 10 : p = 0,360 (un regard)Test 40, jour 11 : p = 0,550 (un regard)Test 40, jour 12 : p = 0,692 (un regard)Test 40, jour 13 : p = 0,916 (un regard)Test 40, jour 14 : p = 0,737 (un regard)Test 40, jour 15 : p = 0,805 (un regard)Test 40, jour 16 : p = 0,819 (un regard)Test 40, jour 17 : p = 0,817 (un regard)Test 40, jour 18 : p = 0,935 (un regard)Test 40, jour 19 : p = 0,847 (un regard)Test 40, jour 20 : p = 0,804 (un regard)Test 40, jour 21 : p = 0,940 (un regard)Test 40, jour 22 : p = 0,948 (un regard)Test 40, jour 23 : p = 0,874 (un regard)Test 40, jour 24 : p = 0,925 (un regard)Test 40, jour 25 : p = 0,994 (un regard)Test 40, jour 26 : p = 0,916 (un regard)Test 40, jour 27 : p = 0,965 (un regard)Test 40, jour 28 : p = 0,931 (un regard)17142128Jour du test
40 tests A/A, une ligne chacunTest 1, jour 1 : p = 0,428 (un regard)Test 1, jour 2 : p = 0,611 (un regard)Test 1, jour 3 : p = 0,584 (un regard)Test 1, jour 4 : p = 0,350 (un regard)Test 1, jour 5 : p = 0,297 (un regard)Test 1, jour 6 : p = 0,156 (un regard)Test 1, jour 7 : p = 0,362 (un regard)Test 1, jour 8 : p = 0,234 (un regard)Test 1, jour 9 : p = 0,321 (un regard)Test 1, jour 10 : p = 0,231 (un regard)Test 1, jour 11 : p = 0,222 (un regard)Test 1, jour 12 : p = 0,190 (un regard)Test 1, jour 13 : p = 0,249 (un regard)Test 1, jour 14 : p = 0,169 (un regard)Test 1, jour 15 : p = 0,340 (un regard)Test 1, jour 16 : p = 0,524 (un regard)Test 1, jour 17 : p = 0,605 (un regard)Test 1, jour 18 : p = 0,441 (un regard)Test 1, jour 19 : p = 0,369 (un regard)Test 1, jour 20 : p = 0,345 (un regard)Test 1, jour 21 : p = 0,512 (un regard)Test 1, jour 22 : p = 0,777 (un regard)Test 1, jour 23 : p = 0,956 (un regard)Test 1, jour 24 : p = 0,858 (un regard)Test 1, jour 25 : p = 0,692 (un regard)Test 1, jour 26 : p = 0,806 (un regard)Test 1, jour 27 : p = 0,798 (un regard)Test 1, jour 28 : p = 0,880 (un regard)Test 2, jour 1 : p = 0,099 (un regard)Test 2, jour 2 : p = 0,606 (un regard)Test 2, jour 3 : p = 0,860 (un regard)Test 2, jour 4 : p = 0,744 (un regard)Test 2, jour 5 : p = 0,945 (un regard)Test 2, jour 6 : p = 0,629 (un regard)Test 2, jour 7 : p = 0,341 (un regard)Test 2, jour 8 : p = 0,264 (un regard)Test 2, jour 9 : p = 0,204 (un regard)Test 2, jour 10 : p = 0,106 (un regard)Test 2, jour 11 : p = 0,076 (un regard)Test 2, jour 12 : p = 0,039 (un regard : p < 0,05, le test s’arrête sur un faux gagnant)Test 2, jour 13 : p = 0,042 (après l’arrêt)Test 2, jour 14 : p = 0,011 (après l’arrêt)Test 2, jour 15 : p = 0,008 (après l’arrêt)Test 2, jour 16 : p = 0,018 (après l’arrêt)Test 2, jour 17 : p = 0,011 (après l’arrêt)Test 2, jour 18 : p = 0,046 (après l’arrêt)Test 2, jour 19 : p = 0,058 (après l’arrêt)Test 2, jour 20 : p = 0,048 (après l’arrêt)Test 2, jour 21 : p = 0,027 (après l’arrêt)Test 2, jour 22 : p = 0,065 (après l’arrêt)Test 2, jour 23 : p = 0,066 (après l’arrêt)Test 2, jour 24 : p = 0,022 (après l’arrêt)Test 2, jour 25 : p = 0,040 (après l’arrêt)Test 2, jour 26 : p = 0,042 (après l’arrêt)Test 2, jour 27 : p = 0,030 (après l’arrêt)Test 2, jour 28 : p = 0,036 (après l’arrêt)Test 3, jour 1 : p = 0,970 (un regard)Test 3, jour 2 : p = 0,936 (un regard)Test 3, jour 3 : p = 0,777 (un regard)Test 3, jour 4 : p = 0,533 (un regard)Test 3, jour 5 : p = 0,499 (un regard)Test 3, jour 6 : p = 0,537 (un regard)Test 3, jour 7 : p = 0,390 (un regard)Test 3, jour 8 : p = 0,271 (un regard)Test 3, jour 9 : p = 0,164 (un regard)Test 3, jour 10 : p = 0,186 (un regard)Test 3, jour 11 : p = 0,151 (un regard)Test 3, jour 12 : p = 0,213 (un regard)Test 3, jour 13 : p = 0,086 (un regard)Test 3, jour 14 : p = 0,096 (un regard)Test 3, jour 15 : p = 0,156 (un regard)Test 3, jour 16 : p = 0,184 (un regard)Test 3, jour 17 : p = 0,122 (un regard)Test 3, jour 18 : p = 0,105 (un regard)Test 3, jour 19 : p = 0,110 (un regard)Test 3, jour 20 : p = 0,208 (un regard)Test 3, jour 21 : p = 0,199 (un regard)Test 3, jour 22 : p = 0,140 (un regard)Test 3, jour 23 : p = 0,118 (un regard)Test 3, jour 24 : p = 0,155 (un regard)Test 3, jour 25 : p = 0,148 (un regard)Test 3, jour 26 : p = 0,224 (un regard)Test 3, jour 27 : p = 0,173 (un regard)Test 3, jour 28 : p = 0,184 (un regard)Test 4, jour 1 : p = 0,232 (un regard)Test 4, jour 2 : p = 0,455 (un regard)Test 4, jour 3 : p = 0,601 (un regard)Test 4, jour 4 : p = 0,806 (un regard)Test 4, jour 5 : p = 0,567 (un regard)Test 4, jour 6 : p = 0,963 (un regard)Test 4, jour 7 : p = 0,977 (un regard)Test 4, jour 8 : p = 0,852 (un regard)Test 4, jour 9 : p = 0,668 (un regard)Test 4, jour 10 : p = 0,565 (un regard)Test 4, jour 11 : p = 0,523 (un regard)Test 4, jour 12 : p = 0,710 (un regard)Test 4, jour 13 : p = 0,867 (un regard)Test 4, jour 14 : p = 0,871 (un regard)Test 4, jour 15 : p = 0,544 (un regard)Test 4, jour 16 : p = 0,525 (un regard)Test 4, jour 17 : p = 0,832 (un regard)Test 4, jour 18 : p = 0,971 (un regard)Test 4, jour 19 : p = 0,930 (un regard)Test 4, jour 20 : p = 0,925 (un regard)Test 4, jour 21 : p = 0,803 (un regard)Test 4, jour 22 : p = 0,968 (un regard)Test 4, jour 23 : p = 0,781 (un regard)Test 4, jour 24 : p = 0,762 (un regard)Test 4, jour 25 : p = 0,767 (un regard)Test 4, jour 26 : p = 0,911 (un regard)Test 4, jour 27 : p = 0,971 (un regard)Test 4, jour 28 : p = 0,903 (un regard)Test 5, jour 1 : p = 0,646 (un regard)Test 5, jour 2 : p = 0,089 (un regard)Test 5, jour 3 : p = 0,035 (un regard : p < 0,05, le test s’arrête sur un faux gagnant)Test 5, jour 4 : p = 0,229 (après l’arrêt)Test 5, jour 5 : p = 0,444 (après l’arrêt)Test 5, jour 6 : p = 0,113 (après l’arrêt)Test 5, jour 7 : p = 0,159 (après l’arrêt)Test 5, jour 8 : p = 0,276 (après l’arrêt)Test 5, jour 9 : p = 0,224 (après l’arrêt)Test 5, jour 10 : p = 0,194 (après l’arrêt)Test 5, jour 11 : p = 0,243 (après l’arrêt)Test 5, jour 12 : p = 0,357 (après l’arrêt)Test 5, jour 13 : p = 0,500 (après l’arrêt)Test 5, jour 14 : p = 0,434 (après l’arrêt)Test 5, jour 15 : p = 0,651 (après l’arrêt)Test 5, jour 16 : p = 0,621 (après l’arrêt)Test 5, jour 17 : p = 0,733 (après l’arrêt)Test 5, jour 18 : p = 0,979 (après l’arrêt)Test 5, jour 19 : p = 0,958 (après l’arrêt)Test 5, jour 20 : p = 0,872 (après l’arrêt)Test 5, jour 21 : p = 0,636 (après l’arrêt)Test 5, jour 22 : p = 0,500 (après l’arrêt)Test 5, jour 23 : p = 0,628 (après l’arrêt)Test 5, jour 24 : p = 0,816 (après l’arrêt)Test 5, jour 25 : p = 0,642 (après l’arrêt)Test 5, jour 26 : p = 0,648 (après l’arrêt)Test 5, jour 27 : p = 0,665 (après l’arrêt)Test 5, jour 28 : p = 0,277 (après l’arrêt)Test 6, jour 1 : p = 0,386 (un regard)Test 6, jour 2 : p = 0,667 (un regard)Test 6, jour 3 : p = 0,692 (un regard)Test 6, jour 4 : p = 0,529 (un regard)Test 6, jour 5 : p = 0,194 (un regard)Test 6, jour 6 : p = 0,367 (un regard)Test 6, jour 7 : p = 0,489 (un regard)Test 6, jour 8 : p = 0,434 (un regard)Test 6, jour 9 : p = 0,526 (un regard)Test 6, jour 10 : p = 0,847 (un regard)Test 6, jour 11 : p = 1,000 (un regard)Test 6, jour 12 : p = 0,939 (un regard)Test 6, jour 13 : p = 0,800 (un regard)Test 6, jour 14 : p = 0,654 (un regard)Test 6, jour 15 : p = 0,568 (un regard)Test 6, jour 16 : p = 0,266 (un regard)Test 6, jour 17 : p = 0,252 (un regard)Test 6, jour 18 : p = 0,609 (un regard)Test 6, jour 19 : p = 0,513 (un regard)Test 6, jour 20 : p = 0,580 (un regard)Test 6, jour 21 : p = 0,666 (un regard)Test 6, jour 22 : p = 0,650 (un regard)Test 6, jour 23 : p = 0,868 (un regard)Test 6, jour 24 : p = 0,852 (un regard)Test 6, jour 25 : p = 0,790 (un regard)Test 6, jour 26 : p = 0,800 (un regard)Test 6, jour 27 : p = 0,676 (un regard)Test 6, jour 28 : p = 0,605 (un regard)Test 7, jour 1 : p = 0,135 (un regard)Test 7, jour 2 : p = 0,765 (un regard)Test 7, jour 3 : p = 0,164 (un regard)Test 7, jour 4 : p = 0,168 (un regard)Test 7, jour 5 : p = 0,123 (un regard)Test 7, jour 6 : p = 0,090 (un regard)Test 7, jour 7 : p = 0,369 (un regard)Test 7, jour 8 : p = 0,491 (un regard)Test 7, jour 9 : p = 0,485 (un regard)Test 7, jour 10 : p = 0,673 (un regard)Test 7, jour 11 : p = 0,513 (un regard)Test 7, jour 12 : p = 0,553 (un regard)Test 7, jour 13 : p = 0,612 (un regard)Test 7, jour 14 : p = 0,569 (un regard)Test 7, jour 15 : p = 0,523 (un regard)Test 7, jour 16 : p = 0,241 (un regard)Test 7, jour 17 : p = 0,448 (un regard)Test 7, jour 18 : p = 0,388 (un regard)Test 7, jour 19 : p = 0,186 (un regard)Test 7, jour 20 : p = 0,362 (un regard)Test 7, jour 21 : p = 0,356 (un regard)Test 7, jour 22 : p = 0,354 (un regard)Test 7, jour 23 : p = 0,441 (un regard)Test 7, jour 24 : p = 0,581 (un regard)Test 7, jour 25 : p = 0,642 (un regard)Test 7, jour 26 : p = 0,899 (un regard)Test 7, jour 27 : p = 0,769 (un regard)Test 7, jour 28 : p = 0,880 (un regard)Test 8, jour 1 : p = 0,729 (un regard)Test 8, jour 2 : p = 0,606 (un regard)Test 8, jour 3 : p = 0,537 (un regard)Test 8, jour 4 : p = 0,985 (un regard)Test 8, jour 5 : p = 0,707 (un regard)Test 8, jour 6 : p = 0,988 (un regard)Test 8, jour 7 : p = 0,665 (un regard)Test 8, jour 8 : p = 0,829 (un regard)Test 8, jour 9 : p = 0,629 (un regard)Test 8, jour 10 : p = 0,981 (un regard)Test 8, jour 11 : p = 0,704 (un regard)Test 8, jour 12 : p = 0,708 (un regard)Test 8, jour 13 : p = 0,775 (un regard)Test 8, jour 14 : p = 0,691 (un regard)Test 8, jour 15 : p = 0,898 (un regard)Test 8, jour 16 : p = 0,621 (un regard)Test 8, jour 17 : p = 0,740 (un regard)Test 8, jour 18 : p = 0,686 (un regard)Test 8, jour 19 : p = 0,800 (un regard)Test 8, jour 20 : p = 0,824 (un regard)Test 8, jour 21 : p = 0,751 (un regard)Test 8, jour 22 : p = 0,714 (un regard)Test 8, jour 23 : p = 0,685 (un regard)Test 8, jour 24 : p = 0,497 (un regard)Test 8, jour 25 : p = 0,477 (un regard)Test 8, jour 26 : p = 0,595 (un regard)Test 8, jour 27 : p = 0,436 (un regard)Test 8, jour 28 : p = 0,493 (un regard)Test 9, jour 1 : p = 0,512 (un regard)Test 9, jour 2 : p = 0,034 (un regard : p < 0,05, le test s’arrête sur un faux gagnant)Test 9, jour 3 : p = 0,066 (après l’arrêt)Test 9, jour 4 : p = 0,243 (après l’arrêt)Test 9, jour 5 : p = 0,119 (après l’arrêt)Test 9, jour 6 : p = 0,234 (après l’arrêt)Test 9, jour 7 : p = 0,444 (après l’arrêt)Test 9, jour 8 : p = 0,256 (après l’arrêt)Test 9, jour 9 : p = 0,400 (après l’arrêt)Test 9, jour 10 : p = 0,482 (après l’arrêt)Test 9, jour 11 : p = 0,738 (après l’arrêt)Test 9, jour 12 : p = 0,581 (après l’arrêt)Test 9, jour 13 : p = 0,581 (après l’arrêt)Test 9, jour 14 : p = 0,475 (après l’arrêt)Test 9, jour 15 : p = 0,454 (après l’arrêt)Test 9, jour 16 : p = 0,600 (après l’arrêt)Test 9, jour 17 : p = 0,719 (après l’arrêt)Test 9, jour 18 : p = 0,565 (après l’arrêt)Test 9, jour 19 : p = 0,535 (après l’arrêt)Test 9, jour 20 : p = 0,469 (après l’arrêt)Test 9, jour 21 : p = 0,474 (après l’arrêt)Test 9, jour 22 : p = 0,426 (après l’arrêt)Test 9, jour 23 : p = 0,356 (après l’arrêt)Test 9, jour 24 : p = 0,283 (après l’arrêt)Test 9, jour 25 : p = 0,208 (après l’arrêt)Test 9, jour 26 : p = 0,226 (après l’arrêt)Test 9, jour 27 : p = 0,256 (après l’arrêt)Test 9, jour 28 : p = 0,317 (après l’arrêt)Test 10, jour 1 : p = 0,057 (un regard)Test 10, jour 2 : p = 0,667 (un regard)Test 10, jour 3 : p = 0,315 (un regard)Test 10, jour 4 : p = 0,865 (un regard)Test 10, jour 5 : p = 0,574 (un regard)Test 10, jour 6 : p = 0,698 (un regard)Test 10, jour 7 : p = 0,508 (un regard)Test 10, jour 8 : p = 0,686 (un regard)Test 10, jour 9 : p = 0,780 (un regard)Test 10, jour 10 : p = 0,664 (un regard)Test 10, jour 11 : p = 0,791 (un regard)Test 10, jour 12 : p = 0,930 (un regard)Test 10, jour 13 : p = 0,899 (un regard)Test 10, jour 14 : p = 0,775 (un regard)Test 10, jour 15 : p = 0,836 (un regard)Test 10, jour 16 : p = 0,939 (un regard)Test 10, jour 17 : p = 0,919 (un regard)Test 10, jour 18 : p = 0,978 (un regard)Test 10, jour 19 : p = 0,779 (un regard)Test 10, jour 20 : p = 0,714 (un regard)Test 10, jour 21 : p = 0,714 (un regard)Test 10, jour 22 : p = 0,832 (un regard)Test 10, jour 23 : p = 0,673 (un regard)Test 10, jour 24 : p = 0,559 (un regard)Test 10, jour 25 : p = 0,567 (un regard)Test 10, jour 26 : p = 0,554 (un regard)Test 10, jour 27 : p = 0,537 (un regard)Test 10, jour 28 : p = 0,603 (un regard)Test 11, jour 1 : p = 0,191 (un regard)Test 11, jour 2 : p = 0,166 (un regard)Test 11, jour 3 : p = 0,241 (un regard)Test 11, jour 4 : p = 0,251 (un regard)Test 11, jour 5 : p = 0,019 (un regard : p < 0,05, le test s’arrête sur un faux gagnant)Test 11, jour 6 : p = 0,113 (après l’arrêt)Test 11, jour 7 : p = 0,162 (après l’arrêt)Test 11, jour 8 : p = 0,201 (après l’arrêt)Test 11, jour 9 : p = 0,109 (après l’arrêt)Test 11, jour 10 : p = 0,109 (après l’arrêt)Test 11, jour 11 : p = 0,051 (après l’arrêt)Test 11, jour 12 : p = 0,108 (après l’arrêt)Test 11, jour 13 : p = 0,072 (après l’arrêt)Test 11, jour 14 : p = 0,089 (après l’arrêt)Test 11, jour 15 : p = 0,083 (après l’arrêt)Test 11, jour 16 : p = 0,223 (après l’arrêt)Test 11, jour 17 : p = 0,161 (après l’arrêt)Test 11, jour 18 : p = 0,156 (après l’arrêt)Test 11, jour 19 : p = 0,072 (après l’arrêt)Test 11, jour 20 : p = 0,112 (après l’arrêt)Test 11, jour 21 : p = 0,186 (après l’arrêt)Test 11, jour 22 : p = 0,163 (après l’arrêt)Test 11, jour 23 : p = 0,093 (après l’arrêt)Test 11, jour 24 : p = 0,155 (après l’arrêt)Test 11, jour 25 : p = 0,174 (après l’arrêt)Test 11, jour 26 : p = 0,375 (après l’arrêt)Test 11, jour 27 : p = 0,469 (après l’arrêt)Test 11, jour 28 : p = 0,698 (après l’arrêt)Test 12, jour 1 : p = 0,645 (un regard)Test 12, jour 2 : p = 0,236 (un regard)Test 12, jour 3 : p = 0,212 (un regard)Test 12, jour 4 : p = 0,732 (un regard)Test 12, jour 5 : p = 0,798 (un regard)Test 12, jour 6 : p = 0,139 (un regard)Test 12, jour 7 : p = 0,011 (un regard : p < 0,05, le test s’arrête sur un faux gagnant)Test 12, jour 8 : p = 0,050 (après l’arrêt)Test 12, jour 9 : p = 0,124 (après l’arrêt)Test 12, jour 10 : p = 0,045 (après l’arrêt)Test 12, jour 11 : p = 0,107 (après l’arrêt)Test 12, jour 12 : p = 0,058 (après l’arrêt)Test 12, jour 13 : p = 0,112 (après l’arrêt)Test 12, jour 14 : p = 0,171 (après l’arrêt)Test 12, jour 15 : p = 0,126 (après l’arrêt)Test 12, jour 16 : p = 0,106 (après l’arrêt)Test 12, jour 17 : p = 0,088 (après l’arrêt)Test 12, jour 18 : p = 0,150 (après l’arrêt)Test 12, jour 19 : p = 0,305 (après l’arrêt)Test 12, jour 20 : p = 0,522 (après l’arrêt)Test 12, jour 21 : p = 0,623 (après l’arrêt)Test 12, jour 22 : p = 0,801 (après l’arrêt)Test 12, jour 23 : p = 0,709 (après l’arrêt)Test 12, jour 24 : p = 0,518 (après l’arrêt)Test 12, jour 25 : p = 0,578 (après l’arrêt)Test 12, jour 26 : p = 0,535 (après l’arrêt)Test 12, jour 27 : p = 0,558 (après l’arrêt)Test 12, jour 28 : p = 0,625 (après l’arrêt)Test 13, jour 1 : p = 0,148 (un regard)Test 13, jour 2 : p = 0,549 (un regard)Test 13, jour 3 : p = 0,250 (un regard)Test 13, jour 4 : p = 0,894 (un regard)Test 13, jour 5 : p = 0,595 (un regard)Test 13, jour 6 : p = 0,532 (un regard)Test 13, jour 7 : p = 0,362 (un regard)Test 13, jour 8 : p = 0,474 (un regard)Test 13, jour 9 : p = 0,459 (un regard)Test 13, jour 10 : p = 0,370 (un regard)Test 13, jour 11 : p = 0,677 (un regard)Test 13, jour 12 : p = 0,912 (un regard)Test 13, jour 13 : p = 0,686 (un regard)Test 13, jour 14 : p = 0,743 (un regard)Test 13, jour 15 : p = 0,560 (un regard)Test 13, jour 16 : p = 0,612 (un regard)Test 13, jour 17 : p = 0,690 (un regard)Test 13, jour 18 : p = 0,766 (un regard)Test 13, jour 19 : p = 0,909 (un regard)Test 13, jour 20 : p = 0,871 (un regard)Test 13, jour 21 : p = 0,980 (un regard)Test 13, jour 22 : p = 0,708 (un regard)Test 13, jour 23 : p = 0,836 (un regard)Test 13, jour 24 : p = 0,803 (un regard)Test 13, jour 25 : p = 0,818 (un regard)Test 13, jour 26 : p = 0,816 (un regard)Test 13, jour 27 : p = 0,831 (un regard)Test 13, jour 28 : p = 0,778 (un regard)Test 14, jour 1 : p = 0,848 (un regard)Test 14, jour 2 : p = 0,244 (un regard)Test 14, jour 3 : p = 0,199 (un regard)Test 14, jour 4 : p = 0,673 (un regard)Test 14, jour 5 : p = 0,878 (un regard)Test 14, jour 6 : p = 0,640 (un regard)Test 14, jour 7 : p = 0,863 (un regard)Test 14, jour 8 : p = 0,627 (un regard)Test 14, jour 9 : p = 0,656 (un regard)Test 14, jour 10 : p = 0,476 (un regard)Test 14, jour 11 : p = 0,407 (un regard)Test 14, jour 12 : p = 0,238 (un regard)Test 14, jour 13 : p = 0,172 (un regard)Test 14, jour 14 : p = 0,169 (un regard)Test 14, jour 15 : p = 0,106 (un regard)Test 14, jour 16 : p = 0,057 (un regard)Test 14, jour 17 : p = 0,072 (un regard)Test 14, jour 18 : p = 0,037 (un regard : p < 0,05, le test s’arrête sur un faux gagnant)Test 14, jour 19 : p = 0,026 (après l’arrêt)Test 14, jour 20 : p = 0,025 (après l’arrêt)Test 14, jour 21 : p = 0,035 (après l’arrêt)Test 14, jour 22 : p = 0,025 (après l’arrêt)Test 14, jour 23 : p = 0,067 (après l’arrêt)Test 14, jour 24 : p = 0,046 (après l’arrêt)Test 14, jour 25 : p = 0,034 (après l’arrêt)Test 14, jour 26 : p = 0,044 (après l’arrêt)Test 14, jour 27 : p = 0,021 (après l’arrêt)Test 14, jour 28 : p = 0,027 (après l’arrêt)Test 15, jour 1 : p = 0,909 (un regard)Test 15, jour 2 : p = 0,538 (un regard)Test 15, jour 3 : p = 0,879 (un regard)Test 15, jour 4 : p = 0,598 (un regard)Test 15, jour 5 : p = 0,438 (un regard)Test 15, jour 6 : p = 0,458 (un regard)Test 15, jour 7 : p = 0,616 (un regard)Test 15, jour 8 : p = 0,851 (un regard)Test 15, jour 9 : p = 0,723 (un regard)Test 15, jour 10 : p = 0,639 (un regard)Test 15, jour 11 : p = 0,740 (un regard)Test 15, jour 12 : p = 0,887 (un regard)Test 15, jour 13 : p = 1,000 (un regard)Test 15, jour 14 : p = 0,816 (un regard)Test 15, jour 15 : p = 0,739 (un regard)Test 15, jour 16 : p = 0,409 (un regard)Test 15, jour 17 : p = 0,495 (un regard)Test 15, jour 18 : p = 0,311 (un regard)Test 15, jour 19 : p = 0,272 (un regard)Test 15, jour 20 : p = 0,234 (un regard)Test 15, jour 21 : p = 0,344 (un regard)Test 15, jour 22 : p = 0,385 (un regard)Test 15, jour 23 : p = 0,260 (un regard)Test 15, jour 24 : p = 0,189 (un regard)Test 15, jour 25 : p = 0,215 (un regard)Test 15, jour 26 : p = 0,282 (un regard)Test 15, jour 27 : p = 0,379 (un regard)Test 15, jour 28 : p = 0,300 (un regard)Test 16, jour 1 : p = 0,595 (un regard)Test 16, jour 2 : p = 0,628 (un regard)Test 16, jour 3 : p = 0,709 (un regard)Test 16, jour 4 : p = 0,985 (un regard)Test 16, jour 5 : p = 0,610 (un regard)Test 16, jour 6 : p = 0,238 (un regard)Test 16, jour 7 : p = 0,195 (un regard)Test 16, jour 8 : p = 0,300 (un regard)Test 16, jour 9 : p = 0,274 (un regard)Test 16, jour 10 : p = 0,745 (un regard)Test 16, jour 11 : p = 0,629 (un regard)Test 16, jour 12 : p = 0,775 (un regard)Test 16, jour 13 : p = 0,719 (un regard)Test 16, jour 14 : p = 0,943 (un regard)Test 16, jour 15 : p = 0,813 (un regard)Test 16, jour 16 : p = 0,614 (un regard)Test 16, jour 17 : p = 0,684 (un regard)Test 16, jour 18 : p = 0,719 (un regard)Test 16, jour 19 : p = 0,416 (un regard)Test 16, jour 20 : p = 0,670 (un regard)Test 16, jour 21 : p = 0,683 (un regard)Test 16, jour 22 : p = 0,764 (un regard)Test 16, jour 23 : p = 0,562 (un regard)Test 16, jour 24 : p = 0,533 (un regard)Test 16, jour 25 : p = 0,512 (un regard)Test 16, jour 26 : p = 0,464 (un regard)Test 16, jour 27 : p = 0,394 (un regard)Test 16, jour 28 : p = 0,407 (un regard)Test 17, jour 1 : p = 0,438 (un regard)Test 17, jour 2 : p = 0,589 (un regard)Test 17, jour 3 : p = 0,186 (un regard)Test 17, jour 4 : p = 0,594 (un regard)Test 17, jour 5 : p = 0,517 (un regard)Test 17, jour 6 : p = 0,708 (un regard)Test 17, jour 7 : p = 0,954 (un regard)Test 17, jour 8 : p = 0,882 (un regard)Test 17, jour 9 : p = 0,683 (un regard)Test 17, jour 10 : p = 0,942 (un regard)Test 17, jour 11 : p = 0,854 (un regard)Test 17, jour 12 : p = 0,974 (un regard)Test 17, jour 13 : p = 0,857 (un regard)Test 17, jour 14 : p = 0,854 (un regard)Test 17, jour 15 : p = 0,737 (un regard)Test 17, jour 16 : p = 0,833 (un regard)Test 17, jour 17 : p = 0,904 (un regard)Test 17, jour 18 : p = 0,943 (un regard)Test 17, jour 19 : p = 0,965 (un regard)Test 17, jour 20 : p = 0,824 (un regard)Test 17, jour 21 : p = 0,815 (un regard)Test 17, jour 22 : p = 0,890 (un regard)Test 17, jour 23 : p = 0,848 (un regard)Test 17, jour 24 : p = 0,656 (un regard)Test 17, jour 25 : p = 0,635 (un regard)Test 17, jour 26 : p = 0,574 (un regard)Test 17, jour 27 : p = 0,551 (un regard)Test 17, jour 28 : p = 0,452 (un regard)Test 18, jour 1 : p = 0,970 (un regard)Test 18, jour 2 : p = 0,935 (un regard)Test 18, jour 3 : p = 0,691 (un regard)Test 18, jour 4 : p = 0,788 (un regard)Test 18, jour 5 : p = 0,430 (un regard)Test 18, jour 6 : p = 0,381 (un regard)Test 18, jour 7 : p = 0,623 (un regard)Test 18, jour 8 : p = 0,498 (un regard)Test 18, jour 9 : p = 0,413 (un regard)Test 18, jour 10 : p = 0,497 (un regard)Test 18, jour 11 : p = 0,262 (un regard)Test 18, jour 12 : p = 0,245 (un regard)Test 18, jour 13 : p = 0,655 (un regard)Test 18, jour 14 : p = 0,615 (un regard)Test 18, jour 15 : p = 0,441 (un regard)Test 18, jour 16 : p = 0,400 (un regard)Test 18, jour 17 : p = 0,308 (un regard)Test 18, jour 18 : p = 0,368 (un regard)Test 18, jour 19 : p = 0,139 (un regard)Test 18, jour 20 : p = 0,142 (un regard)Test 18, jour 21 : p = 0,230 (un regard)Test 18, jour 22 : p = 0,193 (un regard)Test 18, jour 23 : p = 0,161 (un regard)Test 18, jour 24 : p = 0,119 (un regard)Test 18, jour 25 : p = 0,231 (un regard)Test 18, jour 26 : p = 0,199 (un regard)Test 18, jour 27 : p = 0,207 (un regard)Test 18, jour 28 : p = 0,229 (un regard)Test 19, jour 1 : p = 0,727 (un regard)Test 19, jour 2 : p = 0,702 (un regard)Test 19, jour 3 : p = 1,000 (un regard)Test 19, jour 4 : p = 0,728 (un regard)Test 19, jour 5 : p = 0,209 (un regard)Test 19, jour 6 : p = 0,461 (un regard)Test 19, jour 7 : p = 0,485 (un regard)Test 19, jour 8 : p = 0,430 (un regard)Test 19, jour 9 : p = 0,565 (un regard)Test 19, jour 10 : p = 0,467 (un regard)Test 19, jour 11 : p = 0,533 (un regard)Test 19, jour 12 : p = 0,799 (un regard)Test 19, jour 13 : p = 0,718 (un regard)Test 19, jour 14 : p = 0,767 (un regard)Test 19, jour 15 : p = 0,745 (un regard)Test 19, jour 16 : p = 0,579 (un regard)Test 19, jour 17 : p = 0,697 (un regard)Test 19, jour 18 : p = 0,822 (un regard)Test 19, jour 19 : p = 0,888 (un regard)Test 19, jour 20 : p = 0,959 (un regard)Test 19, jour 21 : p = 0,980 (un regard)Test 19, jour 22 : p = 0,896 (un regard)Test 19, jour 23 : p = 0,962 (un regard)Test 19, jour 24 : p = 0,833 (un regard)Test 19, jour 25 : p = 0,848 (un regard)Test 19, jour 26 : p = 0,674 (un regard)Test 19, jour 27 : p = 0,718 (un regard)Test 19, jour 28 : p = 0,723 (un regard)Test 20, jour 1 : p = 0,273 (un regard)Test 20, jour 2 : p = 0,957 (un regard)Test 20, jour 3 : p = 0,648 (un regard)Test 20, jour 4 : p = 0,822 (un regard)Test 20, jour 5 : p = 0,775 (un regard)Test 20, jour 6 : p = 0,988 (un regard)Test 20, jour 7 : p = 0,977 (un regard)Test 20, jour 8 : p = 0,883 (un regard)Test 20, jour 9 : p = 0,650 (un regard)Test 20, jour 10 : p = 0,711 (un regard)Test 20, jour 11 : p = 0,648 (un regard)Test 20, jour 12 : p = 0,563 (un regard)Test 20, jour 13 : p = 0,543 (un regard)Test 20, jour 14 : p = 0,816 (un regard)Test 20, jour 15 : p = 0,423 (un regard)Test 20, jour 16 : p = 0,461 (un regard)Test 20, jour 17 : p = 0,514 (un regard)Test 20, jour 18 : p = 0,387 (un regard)Test 20, jour 19 : p = 0,244 (un regard)Test 20, jour 20 : p = 0,189 (un regard)Test 20, jour 21 : p = 0,206 (un regard)Test 20, jour 22 : p = 0,210 (un regard)Test 20, jour 23 : p = 0,148 (un regard)Test 20, jour 24 : p = 0,168 (un regard)Test 20, jour 25 : p = 0,113 (un regard)Test 20, jour 26 : p = 0,136 (un regard)Test 20, jour 27 : p = 0,095 (un regard)Test 20, jour 28 : p = 0,111 (un regard)Test 21, jour 1 : p = 0,970 (un regard)Test 21, jour 2 : p = 0,872 (un regard)Test 21, jour 3 : p = 0,725 (un regard)Test 21, jour 4 : p = 0,324 (un regard)Test 21, jour 5 : p = 0,433 (un regard)Test 21, jour 6 : p = 0,359 (un regard)Test 21, jour 7 : p = 0,818 (un regard)Test 21, jour 8 : p = 0,935 (un regard)Test 21, jour 9 : p = 0,789 (un regard)Test 21, jour 10 : p = 0,781 (un regard)Test 21, jour 11 : p = 0,662 (un regard)Test 21, jour 12 : p = 0,921 (un regard)Test 21, jour 13 : p = 0,656 (un regard)Test 21, jour 14 : p = 0,610 (un regard)Test 21, jour 15 : p = 0,508 (un regard)Test 21, jour 16 : p = 0,613 (un regard)Test 21, jour 17 : p = 0,650 (un regard)Test 21, jour 18 : p = 0,760 (un regard)Test 21, jour 19 : p = 0,979 (un regard)Test 21, jour 20 : p = 0,858 (un regard)Test 21, jour 21 : p = 0,521 (un regard)Test 21, jour 22 : p = 0,473 (un regard)Test 21, jour 23 : p = 0,170 (un regard)Test 21, jour 24 : p = 0,215 (un regard)Test 21, jour 25 : p = 0,218 (un regard)Test 21, jour 26 : p = 0,271 (un regard)Test 21, jour 27 : p = 0,370 (un regard)Test 21, jour 28 : p = 0,391 (un regard)Test 22, jour 1 : p = 0,103 (un regard)Test 22, jour 2 : p = 0,257 (un regard)Test 22, jour 3 : p = 0,167 (un regard)Test 22, jour 4 : p = 0,158 (un regard)Test 22, jour 5 : p = 0,505 (un regard)Test 22, jour 6 : p = 0,697 (un regard)Test 22, jour 7 : p = 0,697 (un regard)Test 22, jour 8 : p = 0,205 (un regard)Test 22, jour 9 : p = 0,191 (un regard)Test 22, jour 10 : p = 0,419 (un regard)Test 22, jour 11 : p = 0,696 (un regard)Test 22, jour 12 : p = 0,783 (un regard)Test 22, jour 13 : p = 0,672 (un regard)Test 22, jour 14 : p = 0,676 (un regard)Test 22, jour 15 : p = 0,568 (un regard)Test 22, jour 16 : p = 0,724 (un regard)Test 22, jour 17 : p = 0,711 (un regard)Test 22, jour 18 : p = 0,455 (un regard)Test 22, jour 19 : p = 0,425 (un regard)Test 22, jour 20 : p = 0,233 (un regard)Test 22, jour 21 : p = 0,224 (un regard)Test 22, jour 22 : p = 0,241 (un regard)Test 22, jour 23 : p = 0,126 (un regard)Test 22, jour 24 : p = 0,149 (un regard)Test 22, jour 25 : p = 0,114 (un regard)Test 22, jour 26 : p = 0,107 (un regard)Test 22, jour 27 : p = 0,172 (un regard)Test 22, jour 28 : p = 0,298 (un regard)Test 23, jour 1 : p = 0,276 (un regard)Test 23, jour 2 : p = 0,200 (un regard)Test 23, jour 3 : p = 0,597 (un regard)Test 23, jour 4 : p = 0,985 (un regard)Test 23, jour 5 : p = 0,824 (un regard)Test 23, jour 6 : p = 0,876 (un regard)Test 23, jour 7 : p = 0,896 (un regard)Test 23, jour 8 : p = 0,829 (un regard)Test 23, jour 9 : p = 0,711 (un regard)Test 23, jour 10 : p = 0,654 (un regard)Test 23, jour 11 : p = 0,489 (un regard)Test 23, jour 12 : p = 0,567 (un regard)Test 23, jour 13 : p = 0,397 (un regard)Test 23, jour 14 : p = 0,397 (un regard)Test 23, jour 15 : p = 0,396 (un regard)Test 23, jour 16 : p = 0,560 (un regard)Test 23, jour 17 : p = 0,559 (un regard)Test 23, jour 18 : p = 0,640 (un regard)Test 23, jour 19 : p = 0,827 (un regard)Test 23, jour 20 : p = 0,707 (un regard)Test 23, jour 21 : p = 0,790 (un regard)Test 23, jour 22 : p = 0,877 (un regard)Test 23, jour 23 : p = 0,918 (un regard)Test 23, jour 24 : p = 0,640 (un regard)Test 23, jour 25 : p = 0,731 (un regard)Test 23, jour 26 : p = 0,544 (un regard)Test 23, jour 27 : p = 0,445 (un regard)Test 23, jour 28 : p = 0,493 (un regard)Test 24, jour 1 : p = 0,877 (un regard)Test 24, jour 2 : p = 0,514 (un regard)Test 24, jour 3 : p = 0,723 (un regard)Test 24, jour 4 : p = 0,502 (un regard)Test 24, jour 5 : p = 0,441 (un regard)Test 24, jour 6 : p = 0,134 (un regard)Test 24, jour 7 : p = 0,122 (un regard)Test 24, jour 8 : p = 0,199 (un regard)Test 24, jour 9 : p = 0,220 (un regard)Test 24, jour 10 : p = 0,304 (un regard)Test 24, jour 11 : p = 0,209 (un regard)Test 24, jour 12 : p = 0,326 (un regard)Test 24, jour 13 : p = 0,231 (un regard)Test 24, jour 14 : p = 0,308 (un regard)Test 24, jour 15 : p = 0,355 (un regard)Test 24, jour 16 : p = 0,452 (un regard)Test 24, jour 17 : p = 0,868 (un regard)Test 24, jour 18 : p = 0,907 (un regard)Test 24, jour 19 : p = 0,902 (un regard)Test 24, jour 20 : p = 0,765 (un regard)Test 24, jour 21 : p = 0,532 (un regard)Test 24, jour 22 : p = 0,580 (un regard)Test 24, jour 23 : p = 0,616 (un regard)Test 24, jour 24 : p = 0,528 (un regard)Test 24, jour 25 : p = 0,393 (un regard)Test 24, jour 26 : p = 0,346 (un regard)Test 24, jour 27 : p = 0,304 (un regard)Test 24, jour 28 : p = 0,445 (un regard)Test 25, jour 1 : p = 0,033 (un regard : p < 0,05, le test s’arrête sur un faux gagnant)Test 25, jour 2 : p = 0,155 (après l’arrêt)Test 25, jour 3 : p = 0,759 (après l’arrêt)Test 25, jour 4 : p = 0,864 (après l’arrêt)Test 25, jour 5 : p = 0,851 (après l’arrêt)Test 25, jour 6 : p = 0,401 (après l’arrêt)Test 25, jour 7 : p = 0,413 (après l’arrêt)Test 25, jour 8 : p = 0,667 (après l’arrêt)Test 25, jour 9 : p = 0,761 (après l’arrêt)Test 25, jour 10 : p = 0,782 (après l’arrêt)Test 25, jour 11 : p = 0,706 (après l’arrêt)Test 25, jour 12 : p = 0,709 (après l’arrêt)Test 25, jour 13 : p = 0,751 (après l’arrêt)Test 25, jour 14 : p = 0,691 (après l’arrêt)Test 25, jour 15 : p = 0,760 (après l’arrêt)Test 25, jour 16 : p = 0,682 (après l’arrêt)Test 25, jour 17 : p = 0,985 (après l’arrêt)Test 25, jour 18 : p = 0,740 (après l’arrêt)Test 25, jour 19 : p = 0,681 (après l’arrêt)Test 25, jour 20 : p = 0,939 (après l’arrêt)Test 25, jour 21 : p = 0,967 (après l’arrêt)Test 25, jour 22 : p = 0,720 (après l’arrêt)Test 25, jour 23 : p = 0,842 (après l’arrêt)Test 25, jour 24 : p = 0,657 (après l’arrêt)Test 25, jour 25 : p = 0,957 (après l’arrêt)Test 25, jour 26 : p = 0,893 (après l’arrêt)Test 25, jour 27 : p = 0,912 (après l’arrêt)Test 25, jour 28 : p = 0,966 (après l’arrêt)Test 26, jour 1 : p = 0,593 (un regard)Test 26, jour 2 : p = 0,404 (un regard)Test 26, jour 3 : p = 0,056 (un regard)Test 26, jour 4 : p = 0,022 (un regard : p < 0,05, le test s’arrête sur un faux gagnant)Test 26, jour 5 : p = 0,022 (après l’arrêt)Test 26, jour 6 : p = 0,045 (après l’arrêt)Test 26, jour 7 : p = 0,068 (après l’arrêt)Test 26, jour 8 : p = 0,040 (après l’arrêt)Test 26, jour 9 : p = 0,028 (après l’arrêt)Test 26, jour 10 : p = 0,015 (après l’arrêt)Test 26, jour 11 : p = 0,017 (après l’arrêt)Test 26, jour 12 : p = 0,034 (après l’arrêt)Test 26, jour 13 : p = 0,035 (après l’arrêt)Test 26, jour 14 : p = 0,040 (après l’arrêt)Test 26, jour 15 : p = 0,051 (après l’arrêt)Test 26, jour 16 : p = 0,050 (après l’arrêt)Test 26, jour 17 : p = 0,055 (après l’arrêt)Test 26, jour 18 : p = 0,123 (après l’arrêt)Test 26, jour 19 : p = 0,084 (après l’arrêt)Test 26, jour 20 : p = 0,089 (après l’arrêt)Test 26, jour 21 : p = 0,074 (après l’arrêt)Test 26, jour 22 : p = 0,098 (après l’arrêt)Test 26, jour 23 : p = 0,180 (après l’arrêt)Test 26, jour 24 : p = 0,258 (après l’arrêt)Test 26, jour 25 : p = 0,171 (après l’arrêt)Test 26, jour 26 : p = 0,233 (après l’arrêt)Test 26, jour 27 : p = 0,331 (après l’arrêt)Test 26, jour 28 : p = 0,282 (après l’arrêt)Test 27, jour 1 : p = 0,273 (un regard)Test 27, jour 2 : p = 0,606 (un regard)Test 27, jour 3 : p = 0,451 (un regard)Test 27, jour 4 : p = 0,702 (un regard)Test 27, jour 5 : p = 0,865 (un regard)Test 27, jour 6 : p = 0,284 (un regard)Test 27, jour 7 : p = 0,565 (un regard)Test 27, jour 8 : p = 0,381 (un regard)Test 27, jour 9 : p = 0,760 (un regard)Test 27, jour 10 : p = 0,745 (un regard)Test 27, jour 11 : p = 0,612 (un regard)Test 27, jour 12 : p = 0,337 (un regard)Test 27, jour 13 : p = 0,356 (un regard)Test 27, jour 14 : p = 0,443 (un regard)Test 27, jour 15 : p = 0,348 (un regard)Test 27, jour 16 : p = 0,339 (un regard)Test 27, jour 17 : p = 0,231 (un regard)Test 27, jour 18 : p = 0,137 (un regard)Test 27, jour 19 : p = 0,118 (un regard)Test 27, jour 20 : p = 0,163 (un regard)Test 27, jour 21 : p = 0,260 (un regard)Test 27, jour 22 : p = 0,230 (un regard)Test 27, jour 23 : p = 0,274 (un regard)Test 27, jour 24 : p = 0,310 (un regard)Test 27, jour 25 : p = 0,453 (un regard)Test 27, jour 26 : p = 0,674 (un regard)Test 27, jour 27 : p = 0,453 (un regard)Test 27, jour 28 : p = 0,426 (un regard)Test 28, jour 1 : p = 0,623 (un regard)Test 28, jour 2 : p = 0,248 (un regard)Test 28, jour 3 : p = 0,930 (un regard)Test 28, jour 4 : p = 0,970 (un regard)Test 28, jour 5 : p = 0,798 (un regard)Test 28, jour 6 : p = 0,876 (un regard)Test 28, jour 7 : p = 0,829 (un regard)Test 28, jour 8 : p = 0,850 (un regard)Test 28, jour 9 : p = 0,723 (un regard)Test 28, jour 10 : p = 0,273 (un regard)Test 28, jour 11 : p = 0,142 (un regard)Test 28, jour 12 : p = 0,156 (un regard)Test 28, jour 13 : p = 0,163 (un regard)Test 28, jour 14 : p = 0,308 (un regard)Test 28, jour 15 : p = 0,334 (un regard)Test 28, jour 16 : p = 0,214 (un regard)Test 28, jour 17 : p = 0,182 (un regard)Test 28, jour 18 : p = 0,265 (un regard)Test 28, jour 19 : p = 0,192 (un regard)Test 28, jour 20 : p = 0,121 (un regard)Test 28, jour 21 : p = 0,234 (un regard)Test 28, jour 22 : p = 0,201 (un regard)Test 28, jour 23 : p = 0,242 (un regard)Test 28, jour 24 : p = 0,204 (un regard)Test 28, jour 25 : p = 0,252 (un regard)Test 28, jour 26 : p = 0,242 (un regard)Test 28, jour 27 : p = 0,132 (un regard)Test 28, jour 28 : p = 0,122 (un regard)Test 29, jour 1 : p = 0,591 (un regard)Test 29, jour 2 : p = 0,957 (un regard)Test 29, jour 3 : p = 0,724 (un regard)Test 29, jour 4 : p = 0,301 (un regard)Test 29, jour 5 : p = 0,584 (un regard)Test 29, jour 6 : p = 0,791 (un regard)Test 29, jour 7 : p = 0,796 (un regard)Test 29, jour 8 : p = 0,656 (un regard)Test 29, jour 9 : p = 0,960 (un regard)Test 29, jour 10 : p = 0,631 (un regard)Test 29, jour 11 : p = 0,599 (un regard)Test 29, jour 12 : p = 0,599 (un regard)Test 29, jour 13 : p = 0,643 (un regard)Test 29, jour 14 : p = 0,471 (un regard)Test 29, jour 15 : p = 0,474 (un regard)Test 29, jour 16 : p = 0,582 (un regard)Test 29, jour 17 : p = 0,352 (un regard)Test 29, jour 18 : p = 0,220 (un regard)Test 29, jour 19 : p = 0,307 (un regard)Test 29, jour 20 : p = 0,287 (un regard)Test 29, jour 21 : p = 0,319 (un regard)Test 29, jour 22 : p = 0,311 (un regard)Test 29, jour 23 : p = 0,243 (un regard)Test 29, jour 24 : p = 0,187 (un regard)Test 29, jour 25 : p = 0,373 (un regard)Test 29, jour 26 : p = 0,670 (un regard)Test 29, jour 27 : p = 0,720 (un regard)Test 29, jour 28 : p = 0,615 (un regard)Test 30, jour 1 : p = 0,970 (un regard)Test 30, jour 2 : p = 0,662 (un regard)Test 30, jour 3 : p = 0,436 (un regard)Test 30, jour 4 : p = 0,673 (un regard)Test 30, jour 5 : p = 0,471 (un regard)Test 30, jour 6 : p = 0,310 (un regard)Test 30, jour 7 : p = 0,136 (un regard)Test 30, jour 8 : p = 0,336 (un regard)Test 30, jour 9 : p = 0,674 (un regard)Test 30, jour 10 : p = 0,595 (un regard)Test 30, jour 11 : p = 0,612 (un regard)Test 30, jour 12 : p = 0,529 (un regard)Test 30, jour 13 : p = 0,582 (un regard)Test 30, jour 14 : p = 0,450 (un regard)Test 30, jour 15 : p = 0,636 (un regard)Test 30, jour 16 : p = 0,468 (un regard)Test 30, jour 17 : p = 0,321 (un regard)Test 30, jour 18 : p = 0,439 (un regard)Test 30, jour 19 : p = 0,318 (un regard)Test 30, jour 20 : p = 0,169 (un regard)Test 30, jour 21 : p = 0,278 (un regard)Test 30, jour 22 : p = 0,286 (un regard)Test 30, jour 23 : p = 0,194 (un regard)Test 30, jour 24 : p = 0,409 (un regard)Test 30, jour 25 : p = 0,497 (un regard)Test 30, jour 26 : p = 0,589 (un regard)Test 30, jour 27 : p = 0,566 (un regard)Test 30, jour 28 : p = 0,440 (un regard)Test 31, jour 1 : p = 0,970 (un regard)Test 31, jour 2 : p = 0,270 (un regard)Test 31, jour 3 : p = 0,895 (un regard)Test 31, jour 4 : p = 0,879 (un regard)Test 31, jour 5 : p = 0,747 (un regard)Test 31, jour 6 : p = 0,664 (un regard)Test 31, jour 7 : p = 0,275 (un regard)Test 31, jour 8 : p = 0,747 (un regard)Test 31, jour 9 : p = 0,909 (un regard)Test 31, jour 10 : p = 0,875 (un regard)Test 31, jour 11 : p = 0,670 (un regard)Test 31, jour 12 : p = 0,783 (un regard)Test 31, jour 13 : p = 0,874 (un regard)Test 31, jour 14 : p = 0,862 (un regard)Test 31, jour 15 : p = 0,976 (un regard)Test 31, jour 16 : p = 0,724 (un regard)Test 31, jour 17 : p = 0,465 (un regard)Test 31, jour 18 : p = 0,565 (un regard)Test 31, jour 19 : p = 0,581 (un regard)Test 31, jour 20 : p = 0,714 (un regard)Test 31, jour 21 : p = 0,565 (un regard)Test 31, jour 22 : p = 0,690 (un regard)Test 31, jour 23 : p = 0,917 (un regard)Test 31, jour 24 : p = 0,994 (un regard)Test 31, jour 25 : p = 0,976 (un regard)Test 31, jour 26 : p = 0,982 (un regard)Test 31, jour 27 : p = 0,854 (un regard)Test 31, jour 28 : p = 0,723 (un regard)Test 32, jour 1 : p = 0,078 (un regard)Test 32, jour 2 : p = 0,013 (un regard : p < 0,05, le test s’arrête sur un faux gagnant)Test 32, jour 3 : p = 0,019 (après l’arrêt)Test 32, jour 4 : p = 0,006 (après l’arrêt)Test 32, jour 5 : p = <0.001 (après l’arrêt)Test 32, jour 6 : p = 0,002 (après l’arrêt)Test 32, jour 7 : p = <0.001 (après l’arrêt)Test 32, jour 8 : p = 0,004 (après l’arrêt)Test 32, jour 9 : p = 0,009 (après l’arrêt)Test 32, jour 10 : p = 0,012 (après l’arrêt)Test 32, jour 11 : p = 0,021 (après l’arrêt)Test 32, jour 12 : p = 0,065 (après l’arrêt)Test 32, jour 13 : p = 0,195 (après l’arrêt)Test 32, jour 14 : p = 0,263 (après l’arrêt)Test 32, jour 15 : p = 0,504 (après l’arrêt)Test 32, jour 16 : p = 0,620 (après l’arrêt)Test 32, jour 17 : p = 0,618 (après l’arrêt)Test 32, jour 18 : p = 0,634 (après l’arrêt)Test 32, jour 19 : p = 0,707 (après l’arrêt)Test 32, jour 20 : p = 0,766 (après l’arrêt)Test 32, jour 21 : p = 0,709 (après l’arrêt)Test 32, jour 22 : p = 0,620 (après l’arrêt)Test 32, jour 23 : p = 0,793 (après l’arrêt)Test 32, jour 24 : p = 0,669 (après l’arrêt)Test 32, jour 25 : p = 0,698 (après l’arrêt)Test 32, jour 26 : p = 0,952 (après l’arrêt)Test 32, jour 27 : p = 0,971 (après l’arrêt)Test 32, jour 28 : p = 0,943 (après l’arrêt)Test 33, jour 1 : p = 0,339 (un regard)Test 33, jour 2 : p = 0,914 (un regard)Test 33, jour 3 : p = 0,947 (un regard)Test 33, jour 4 : p = 0,954 (un regard)Test 33, jour 5 : p = 0,473 (un regard)Test 33, jour 6 : p = 0,684 (un regard)Test 33, jour 7 : p = 0,707 (un regard)Test 33, jour 8 : p = 0,626 (un regard)Test 33, jour 9 : p = 0,838 (un regard)Test 33, jour 10 : p = 0,846 (un regard)Test 33, jour 11 : p = 0,853 (un regard)Test 33, jour 12 : p = 0,938 (un regard)Test 33, jour 13 : p = 0,734 (un regard)Test 33, jour 14 : p = 0,659 (un regard)Test 33, jour 15 : p = 0,766 (un regard)Test 33, jour 16 : p = 0,992 (un regard)Test 33, jour 17 : p = 0,724 (un regard)Test 33, jour 18 : p = 0,821 (un regard)Test 33, jour 19 : p = 0,888 (un regard)Test 33, jour 20 : p = 0,764 (un regard)Test 33, jour 21 : p = 0,713 (un regard)Test 33, jour 22 : p = 0,719 (un regard)Test 33, jour 23 : p = 0,892 (un regard)Test 33, jour 24 : p = 0,633 (un regard)Test 33, jour 25 : p = 0,908 (un regard)Test 33, jour 26 : p = 0,816 (un regard)Test 33, jour 27 : p = 0,819 (un regard)Test 33, jour 28 : p = 0,578 (un regard)Test 34, jour 1 : p = 0,757 (un regard)Test 34, jour 2 : p = 0,724 (un regard)Test 34, jour 3 : p = 0,519 (un regard)Test 34, jour 4 : p = 0,408 (un regard)Test 34, jour 5 : p = 0,295 (un regard)Test 34, jour 6 : p = 0,552 (un regard)Test 34, jour 7 : p = 0,562 (un regard)Test 34, jour 8 : p = 0,552 (un regard)Test 34, jour 9 : p = 0,750 (un regard)Test 34, jour 10 : p = 0,673 (un regard)Test 34, jour 11 : p = 0,721 (un regard)Test 34, jour 12 : p = 0,895 (un regard)Test 34, jour 13 : p = 0,849 (un regard)Test 34, jour 14 : p = 0,831 (un regard)Test 34, jour 15 : p = 0,760 (un regard)Test 34, jour 16 : p = 0,683 (un regard)Test 34, jour 17 : p = 0,904 (un regard)Test 34, jour 18 : p = 0,823 (un regard)Test 34, jour 19 : p = 0,787 (un regard)Test 34, jour 20 : p = 0,792 (un regard)Test 34, jour 21 : p = 0,561 (un regard)Test 34, jour 22 : p = 0,335 (un regard)Test 34, jour 23 : p = 0,634 (un regard)Test 34, jour 24 : p = 0,681 (un regard)Test 34, jour 25 : p = 0,533 (un regard)Test 34, jour 26 : p = 0,314 (un regard)Test 34, jour 27 : p = 0,341 (un regard)Test 34, jour 28 : p = 0,317 (un regard)Test 35, jour 1 : p = 0,259 (un regard)Test 35, jour 2 : p = 0,011 (un regard : p < 0,05, le test s’arrête sur un faux gagnant)Test 35, jour 3 : p = 0,052 (après l’arrêt)Test 35, jour 4 : p = 0,009 (après l’arrêt)Test 35, jour 5 : p = 0,009 (après l’arrêt)Test 35, jour 6 : p = 0,038 (après l’arrêt)Test 35, jour 7 : p = 0,081 (après l’arrêt)Test 35, jour 8 : p = 0,135 (après l’arrêt)Test 35, jour 9 : p = 0,152 (après l’arrêt)Test 35, jour 10 : p = 0,069 (après l’arrêt)Test 35, jour 11 : p = 0,165 (après l’arrêt)Test 35, jour 12 : p = 0,097 (après l’arrêt)Test 35, jour 13 : p = 0,118 (après l’arrêt)Test 35, jour 14 : p = 0,138 (après l’arrêt)Test 35, jour 15 : p = 0,082 (après l’arrêt)Test 35, jour 16 : p = 0,057 (après l’arrêt)Test 35, jour 17 : p = 0,076 (après l’arrêt)Test 35, jour 18 : p = 0,176 (après l’arrêt)Test 35, jour 19 : p = 0,119 (après l’arrêt)Test 35, jour 20 : p = 0,200 (après l’arrêt)Test 35, jour 21 : p = 0,260 (après l’arrêt)Test 35, jour 22 : p = 0,484 (après l’arrêt)Test 35, jour 23 : p = 0,696 (après l’arrêt)Test 35, jour 24 : p = 0,749 (après l’arrêt)Test 35, jour 25 : p = 0,765 (après l’arrêt)Test 35, jour 26 : p = 0,869 (après l’arrêt)Test 35, jour 27 : p = 0,959 (après l’arrêt)Test 35, jour 28 : p = 0,745 (après l’arrêt)Test 36, jour 1 : p = 0,672 (un regard)Test 36, jour 2 : p = 0,935 (un regard)Test 36, jour 3 : p = 0,824 (un regard)Test 36, jour 4 : p = 0,878 (un regard)Test 36, jour 5 : p = 0,732 (un regard)Test 36, jour 6 : p = 0,628 (un regard)Test 36, jour 7 : p = 0,624 (un regard)Test 36, jour 8 : p = 0,426 (un regard)Test 36, jour 9 : p = 0,268 (un regard)Test 36, jour 10 : p = 0,252 (un regard)Test 36, jour 11 : p = 0,528 (un regard)Test 36, jour 12 : p = 0,379 (un regard)Test 36, jour 13 : p = 0,472 (un regard)Test 36, jour 14 : p = 0,541 (un regard)Test 36, jour 15 : p = 0,426 (un regard)Test 36, jour 16 : p = 0,529 (un regard)Test 36, jour 17 : p = 0,657 (un regard)Test 36, jour 18 : p = 0,921 (un regard)Test 36, jour 19 : p = 0,806 (un regard)Test 36, jour 20 : p = 0,952 (un regard)Test 36, jour 21 : p = 0,887 (un regard)Test 36, jour 22 : p = 0,696 (un regard)Test 36, jour 23 : p = 0,524 (un regard)Test 36, jour 24 : p = 0,726 (un regard)Test 36, jour 25 : p = 0,588 (un regard)Test 36, jour 26 : p = 0,394 (un regard)Test 36, jour 27 : p = 0,378 (un regard)Test 36, jour 28 : p = 0,338 (un regard)Test 37, jour 1 : p = 0,276 (un regard)Test 37, jour 2 : p = 0,467 (un regard)Test 37, jour 3 : p = 0,808 (un regard)Test 37, jour 4 : p = 0,581 (un regard)Test 37, jour 5 : p = 0,528 (un regard)Test 37, jour 6 : p = 0,815 (un regard)Test 37, jour 7 : p = 0,565 (un regard)Test 37, jour 8 : p = 0,989 (un regard)Test 37, jour 9 : p = 0,849 (un regard)Test 37, jour 10 : p = 0,828 (un regard)Test 37, jour 11 : p = 0,982 (un regard)Test 37, jour 12 : p = 0,692 (un regard)Test 37, jour 13 : p = 0,992 (un regard)Test 37, jour 14 : p = 0,854 (un regard)Test 37, jour 15 : p = 0,671 (un regard)Test 37, jour 16 : p = 0,450 (un regard)Test 37, jour 17 : p = 0,623 (un regard)Test 37, jour 18 : p = 0,466 (un regard)Test 37, jour 19 : p = 0,792 (un regard)Test 37, jour 20 : p = 0,579 (un regard)Test 37, jour 21 : p = 0,537 (un regard)Test 37, jour 22 : p = 0,757 (un regard)Test 37, jour 23 : p = 0,762 (un regard)Test 37, jour 24 : p = 0,685 (un regard)Test 37, jour 25 : p = 0,355 (un regard)Test 37, jour 26 : p = 0,330 (un regard)Test 37, jour 27 : p = 0,346 (un regard)Test 37, jour 28 : p = 0,263 (un regard)Test 38, jour 1 : p = 0,970 (un regard)Test 38, jour 2 : p = 0,979 (un regard)Test 38, jour 3 : p = 0,599 (un regard)Test 38, jour 4 : p = 1,000 (un regard)Test 38, jour 5 : p = 0,932 (un regard)Test 38, jour 6 : p = 0,651 (un regard)Test 38, jour 7 : p = 0,896 (un regard)Test 38, jour 8 : p = 0,903 (un regard)Test 38, jour 9 : p = 0,970 (un regard)Test 38, jour 10 : p = 0,981 (un regard)Test 38, jour 11 : p = 0,572 (un regard)Test 38, jour 12 : p = 0,414 (un regard)Test 38, jour 13 : p = 0,266 (un regard)Test 38, jour 14 : p = 0,136 (un regard)Test 38, jour 15 : p = 0,119 (un regard)Test 38, jour 16 : p = 0,272 (un regard)Test 38, jour 17 : p = 0,295 (un regard)Test 38, jour 18 : p = 0,245 (un regard)Test 38, jour 19 : p = 0,285 (un regard)Test 38, jour 20 : p = 0,278 (un regard)Test 38, jour 21 : p = 0,214 (un regard)Test 38, jour 22 : p = 0,225 (un regard)Test 38, jour 23 : p = 0,327 (un regard)Test 38, jour 24 : p = 0,314 (un regard)Test 38, jour 25 : p = 0,317 (un regard)Test 38, jour 26 : p = 0,485 (un regard)Test 38, jour 27 : p = 0,335 (un regard)Test 38, jour 28 : p = 0,315 (un regard)Test 39, jour 1 : p = 0,848 (un regard)Test 39, jour 2 : p = 0,727 (un regard)Test 39, jour 3 : p = 0,861 (un regard)Test 39, jour 4 : p = 0,529 (un regard)Test 39, jour 5 : p = 0,246 (un regard)Test 39, jour 6 : p = 0,139 (un regard)Test 39, jour 7 : p = 0,364 (un regard)Test 39, jour 8 : p = 0,359 (un regard)Test 39, jour 9 : p = 0,858 (un regard)Test 39, jour 10 : p = 0,735 (un regard)Test 39, jour 11 : p = 1,000 (un regard)Test 39, jour 12 : p = 0,774 (un regard)Test 39, jour 13 : p = 0,687 (un regard)Test 39, jour 14 : p = 0,587 (un regard)Test 39, jour 15 : p = 0,729 (un regard)Test 39, jour 16 : p = 0,553 (un regard)Test 39, jour 17 : p = 0,498 (un regard)Test 39, jour 18 : p = 0,322 (un regard)Test 39, jour 19 : p = 0,197 (un regard)Test 39, jour 20 : p = 0,200 (un regard)Test 39, jour 21 : p = 0,174 (un regard)Test 39, jour 22 : p = 0,290 (un regard)Test 39, jour 23 : p = 0,390 (un regard)Test 39, jour 24 : p = 0,353 (un regard)Test 39, jour 25 : p = 0,359 (un regard)Test 39, jour 26 : p = 0,246 (un regard)Test 39, jour 27 : p = 0,296 (un regard)Test 39, jour 28 : p = 0,406 (un regard)Test 40, jour 1 : p = 0,494 (un regard)Test 40, jour 2 : p = 0,830 (un regard)Test 40, jour 3 : p = 0,843 (un regard)Test 40, jour 4 : p = 0,213 (un regard)Test 40, jour 5 : p = 0,539 (un regard)Test 40, jour 6 : p = 0,342 (un regard)Test 40, jour 7 : p = 0,280 (un regard)Test 40, jour 8 : p = 0,325 (un regard)Test 40, jour 9 : p = 0,182 (un regard)Test 40, jour 10 : p = 0,360 (un regard)Test 40, jour 11 : p = 0,550 (un regard)Test 40, jour 12 : p = 0,692 (un regard)Test 40, jour 13 : p = 0,916 (un regard)Test 40, jour 14 : p = 0,737 (un regard)Test 40, jour 15 : p = 0,805 (un regard)Test 40, jour 16 : p = 0,819 (un regard)Test 40, jour 17 : p = 0,817 (un regard)Test 40, jour 18 : p = 0,935 (un regard)Test 40, jour 19 : p = 0,847 (un regard)Test 40, jour 20 : p = 0,804 (un regard)Test 40, jour 21 : p = 0,940 (un regard)Test 40, jour 22 : p = 0,948 (un regard)Test 40, jour 23 : p = 0,874 (un regard)Test 40, jour 24 : p = 0,925 (un regard)Test 40, jour 25 : p = 0,994 (un regard)Test 40, jour 26 : p = 0,916 (un regard)Test 40, jour 27 : p = 0,965 (un regard)Test 40, jour 28 : p = 0,931 (un regard)17142128Jour du test
  • Regard chaque jour
  • Test séquentiel
05102030Part de 10 000 tests A/A avec un faux gagnant17142128Jour du test5 % (la promesse)Regard chaque jourTest séquentielRegard chaque jour : 27,6 %Test séquentiel : 1,8 %Regard chaque jourTest séquentiel27,6 %
05102030Faux gagnants (%)17142128Jour du test5 % (la promesse)Regard chaque jourTest séquentielRegard chaque jour : 27,6 %Test séquentiel : 1,8 %27,6 %
Quarante tests A/A simulés, examinés jour après jour. Avec un seul regard au jour 28, 2 tests sur 40 montrent un faux gagnant. Avec un regard chaque jour, 10 tests sur 40 s'arrêtent sur un faux gagnant. Le test séquentiel n'en arrête qu'un.
Description textuelle de l’explorateur

Commandes : un choix de quatre règles (un regard au jour 28, une fois par semaine, chaque jour, chaque jour avec le test séquentiel). Un curseur avec des boutons − et + règle le jour du test, de 1 à 28. Le graphique du haut compte 40 lignes, une par test A/A, et 28 carrés par ligne, un par jour. Un carré bleu foncé représente un regard avec p ≥ 0,05. Un carré orange représente le premier regard avec p < 0,05. Le test s’arrête là avec un faux gagnant, et les carrés suivants deviennent orange pâle. Au jour 28, avec un regard chaque jour, 10 lignes ont un carré orange. Ils apparaissent au jour 1 (1 test), au jour 2 (3 tests), puis aux jours 3, 4, 5, 7, 12 et 18. Une fois par semaine, 5 tests s’arrêtent; avec un seul regard, 2; avec le test séquentiel, 1. Le graphique du bas montre la proportion de 10 000 tests de ce type ayant un faux gagnant à chaque jour. Avec un regard chaque jour, elle passe de 5,1 % au jour 1 à 10,9 % au jour 3, puis à 27,6 % au jour 28. Avec le test séquentiel, elle passe de 0,0 % à 1,8 %. Une ligne pointillée marque 5 %.

Avancez lentement le jour avec un regard chaque jour. Les faux gagnants s’accumulent : 1 au jour 1, 5 au jour 3, 10 au jour 28. Choisissez ensuite un seul regard au jour 28 : seulement 2 tests franchissent le seuil. Les données n’ont pas changé. Seule la règle pour regarder a changé.

Le cours a mesuré les mêmes règles sur 10 000 tests A/A simulés :

Faux gagnants dans 10 000 tests A/A simulés de 28 jours, selon la règle pour regarder : une fois au jour 28, chaque semaine, tous les 2 jours, chaque jour, ou chaque jour avec un test séquentiel. Un seul regard maintient les 5 %. Les regards répétés chaque jour trouvent un faux gagnant dans plus du quart des tests. Un test séquentiel, avec un regard chaque jour, reste sous 5 %.
Description textuelle du graphique

Cinq barres. Un regard au jour 28 : 5,2 %. Une fois par semaine : 13,1 %. Tous les 2 jours : 22,3 %. Chaque jour : 27,6 %. Test séquentiel, avec un regard chaque jour : 1,8 %.

Les regards répétés chaque jour transforment une règle de 5 % en une règle de 27,6 %. Plus d’un test sur quatre « gagnerait » avec un changement qui ne fait rien.

Tests séquentiels : regarder chaque jour, garder les 5 %

Section intitulée « Tests séquentiels : regarder chaque jour, garder les 5 % »

Les équipes veulent regarder les résultats pendant le test. Il faut arrêter rapidement un changement défectueux. Un excellent changement ne devrait pas attendre un mois. Il nous faut donc un test qui permet de regarder chaque jour.

Pensez à une médecin qui vérifie la fièvre d’un patient chaque heure. Elle ne lance pas d’alerte à la première lecture de 37,6 °C, parce que les lectures varient. Elle utilise un seuil d’alerte plus élevé pour les lectures fréquentes. Elle peut alors vérifier chaque heure sans fausses alertes.

Un test séquentiel fait la même chose. À chaque regard, il utilise un intervalle plus large que l’intervalle habituel. Il l’élargit juste assez pour garder sous 5 % le risque d’un faux gagnant sur l’ensemble des regards. Cet intervalle plus large est appelé intervalle toujours valide, car il est valide à chaque regard, pas seulement à la fin. Sa valeur p est une valeur p toujours valide.

Le projet du cours utilise un test séquentiel : le test séquentiel du rapport de vraisemblance par mélange (mSPRT), de Johari, Pekelis et Walsh (2015). Son code compte 40 lignes dans larkfield_experiments/sequential.py. Vous n’avez pas besoin de sa formule. Vous devez connaître trois faits :

  1. Il a un seul paramètre, tau : une estimation de la taille d’un effet réel. Le projet utilise 5 % de la moyenne du groupe témoin.
  2. Chaque jour, il calcule un intervalle toujours valide et conserve le chevauchement de tous les intervalles calculés jusque-là. Une fois qu’une valeur est exclue, elle le reste.
  3. Il décide que « B est différent » seulement quand zéro sort de cet intervalle.

Regardez de nouveau le graphique du test du bouton de paiement. Au jour 3, l’intervalle habituel allait de +0,28 à +3,24 dollars : au-dessus de zéro, une « victoire ». L’intervalle séquentiel allait de −0,63 à +3,72 : il contient zéro. Le test séquentiel n’a jamais pris de décision, et c’était la bonne chose à faire. Pour le calcul de l’intervalle habituel, consultez Comparer des options dans Mathématiques et statistiques essentielles pour l’IA.

Le projet peut simuler de nombreux tests A/A et leur appliquer chaque règle.

Fenêtre de terminal
xp peek --aa-tests 1000
1,000 simulated A/A tests (no real effect), 28 days, 2,000 new customers per group a day:
fixed length, one look at day 28: 6.0% false winners
peeking once a week, stop at p < 0.05: 14.0% false winners
peeking every day, stop at p < 0.05: 28.6% false winners
sequential test, look every day: 2.0% false winners

Avec 1 000 tests, les taux sont proches de ceux des 10 000 tests : 6,0 % contre 5,2 %, 28,6 % contre 27,6 %. Le test séquentiel reste sous 5 %.

L’intervalle plus large a un coût. Supposons que le changement a un effet réel. Un test séquentiel exige généralement plus de clients pour le détecter qu’un test fixe, regardé seulement à la fin prévue. Vous payez en temps le droit de regarder chaque jour.

Vous voulez Utilisez Coût
Lire le résultat une fois, à la fin prévue Un test à durée fixe, un seul regard Vous ne devez pas arrêter tôt, même pour un excellent résultat
Surveiller le test et arrêter tôt pour une victoire claire ou un effet nuisible clair Un test séquentiel Plus de clients pour détecter le même effet
Regarder chaque jour et arrêter à la première valeur p < 0,05 Jamais Environ 28 % de faux gagnants au lieu de 5 %

Vous pouvez toujours regarder un test en cours pour trouver des bogues : une page défectueuse, un SRM, un journal vide. C’est une vérification du test, présentée dans Vérifier le test avant le résultat. La règle concerne la décision. Ne décidez pas que « B gagne » à partir d’un regard que le plan n’autorisait pas.

  1. Ouvrez le carnet (notebook) Jupyter dans l’encadré Faire cette leçon dans un carnet Jupyter en haut de cette page.
  2. Exécutez les cellules de préparation et la cellule auxiliaire. Le carnet crée ses propres données. La cellule de données se termine donc par Ready: 0 files in data/. (prêt : 0 fichiers dans data/).
  3. Dans la section 1, prédisez combien des 28 regards quotidiens montrent p < 0,05 dans un seul test A/A. Puis exécutez la cellule. Vous voyez days with p < 0.05: 12 (jours avec une valeur p inférieure à 0,05 : 12) : ce test est malchanceux.
  4. Dans la section 2, exécutez 2 000 tests A/A. Vous voyez environ 4,5 % de faux gagnants avec un seul regard, et 27,2 % avec un regard chaque jour.
  5. Dans la section 3, exécutez le test séquentiel sur les mêmes tests. Vous voyez 1,5 %.
  6. Dans la section 4, calculez weekly_rate : la proportion de tests avec p < 0,05 au jour 7, 14, 21 ou 28.
  7. Exécutez la cellule de vérification. Elle affiche Check passed (vérification réussie).
Afficher la réponse à l’étape 6
weekly_rate = round(float((p[:, [6, 13, 20, 27]] < 0.05).any(axis=1).mean()), 3)
print(weekly_rate)

Elle affiche 0.12 : 12,0 % des tests « gagnent » lors d’un des quatre regards hebdomadaires. Moins de regards donnent moins de faux gagnants, mais leur proportion dépasse encore 5 %.

Tomás dit : « Faisons le test pendant 56 jours plutôt que 28, pour avoir plus de clients. Regardons quand même chaque jour. » Faites d’abord une prédiction : avec deux fois plus de jours, les regards répétés quotidiens trouveront-ils plus ou moins de faux gagnants? Lancez ensuite la simulation pour 56 jours.

Afficher la réponse
Fenêtre de terminal
xp peek --aa-tests 1000 --days 56
1,000 simulated A/A tests (no real effect), 56 days, 2,000 new customers per group a day:
fixed length, one look at day 56: 4.2% false winners
peeking once a week, stop at p < 0.05: 17.8% false winners
peeking every day, stop at p < 0.05: 33.7% false winners
sequential test, look every day: 1.9% false winners

Plus. Avec des regards répétés quotidiens, un test plus long offre plus d’occasions de franchir le seuil : 33,7 % contre 28,6 % pour 28 jours. Un seul regard reste près de 5 %, et le test séquentiel reste sous ce seuil. Plus de clients ne règlent pas le problème des regards répétés. Seule la règle qui encadre les regards le fait.

Erreur courante

« C'est significatif au jour 3, donc c'est réel »

Symptôme : Tomás voit p = 0,02 au jour 3 et arrête le test. Le rapport indique « +1,76 $ par client, significatif ». L’équipe met le bouton en production. Le mois suivant, le revenu ne bouge pas.

Cause : la valeur p de 0,02 est valide pour un seul regard à la fin prévue. Tomás a regardé chaque jour et s’est arrêté au premier franchissement du seuil. Avec cette règle, environ 28 % des tests sans effet « gagnent ». L’effet réel était nul, et le résultat du jour 28 le confirme : +0,85, p = 0,31.

Solution : écrivez la durée dans le plan et regardez une seule fois, à la fin. Si l’équipe doit surveiller le test, utilisez un test séquentiel : xp peek affiche son intervalle chaque jour. Notez tout arrêt anticipé dans le journal des tests, avec la règle qui l’a permis.

Vérifiez votre compréhension

Une équipe regarde chaque test une fois par jour et l'arrête dès que p < 0,05. En un an, elle mène 40 tests de changements qui, en réalité, ne font rien. Environ combien de changements mettra-t-elle en production comme gagnants? Utilisez la simulation du cours.

Afficher la réponse

Avec des regards quotidiens pendant 28 jours, environ 27,6 % des tests sans effet donnent un faux gagnant. 27,6 % de 40, c’est environ 11 tests. Avec un seul regard à la fin prévue, ce serait environ 5 % de 40 : 2 tests. La règle quotidienne met donc en production environ 9 changements supplémentaires qui ne font rien.

Vérifiez votre compréhension

Vérification de fin de leçon. Expliquez à Omar, le gestionnaire de produit, en cinq phrases, pourquoi le test du bouton de paiement ne peut pas s'arrêter au jour 3, où B était en tête avec p = 0,02.

Afficher la réponse
  1. La valeur p de 0,02 n’est valide que pour un seul regard, à la fin fixée par le plan : le jour 28.
  2. Nous avons regardé chaque jour, et chaque regard donne au hasard une nouvelle occasion de franchir le seuil.
  3. Avec des regards quotidiens, environ 28 % des tests sans effet réel montrent une « victoire » un jour donné, pas 5 %.
  4. Au jour 28, le même test montre +0,85 $ avec p = 0,31, et le simulateur indique un effet réel nul.
  5. Si nous devons arrêter tôt, nous utilisons un test séquentiel, qui permet un regard quotidien; ici, il n’a jamais trouvé de gagnant.

Vérifiez votre compréhension

Au jour 10 d'un test, l'intervalle habituel à 95 % va de +0,40 à +2,10 $. L'intervalle séquentiel va de −0,20 à +2,70 $. L'équipe veut arrêter et mettre le changement en production. Que dites-vous?

Afficher la réponse

Ne mettez pas encore le changement en production. L’intervalle habituel n’est valide que pour un seul regard à la fin prévue. Il ne peut donc pas servir à décider au jour 10. L’intervalle séquentiel est valide à chaque regard et contient encore zéro : les données n’excluent pas encore l’« absence d’effet ». Attendez la fin prévue et lisez l’intervalle habituel une seule fois, ou surveillez l’intervalle séquentiel jusqu’à ce qu’il exclue zéro.

Récapitulatif

  • Les regards répétés (peeking) consistent à regarder un test en cours plusieurs fois et à l’arrêter dès que p < 0,05. Chaque regard offre une nouvelle chance au hasard. Dans 10 000 tests A/A simulés de 28 jours : un seul regard donne 5,2 % de faux gagnants, un regard hebdomadaire 13,1 %, un regard quotidien 27,6 %.
  • Le test du bouton de paiement (un exercice créé exprès) a « gagné » au jour 3 avec p = 0,020. Au jour 28, il montrait +0,85 $, avec p = 0,31. L’effet réel était nul.
  • Un test séquentiel utilise un intervalle toujours valide : plus large à chaque regard, il limite les faux gagnants. Leur probabilité sur l’ensemble des regards reste sous 5 %. Le mSPRT du cours a donné 1,8 % avec un regard quotidien.
  • Cela prend du temps : avec un effet réel, un test séquentiel a généralement besoin de plus de clients pour décider.
  • Vous pouvez regarder un test en cours pour trouver des bogues. Décidez que « B gagne » seulement lors d’un regard permis par le plan.

Vous pouvez maintenant décider quand regarder. Ensuite, le même piège prend une autre forme : un seul regard, mais sur 20 mesures.

Leçon suivante : Beaucoup de mesures et beaucoup de tests