Aller au contenu
English

Écrire le plan d'abord

  • Leçon 8
  • 30 min
  • Module 2 : Concevoir un test A/B

Où nous en sommes

Nous connaissons maintenant l'unité, les mesures et la taille d'échantillon. Il est facile de changer ces décisions après avoir vu les données, et c'est un piège. Dans cette leçon, nous les écrivons dans un plan de test d'une page avant le début du test. Nous y précisons la décision à prendre pour chaque résultat.

Leçon 8 sur 30 · Expériences et impact causal : notre changement a-t-il fonctionné?Écrire le plan d'abord

Ce que vous saurez faire

Écrivez les choix du test sur une page avant son début. Cette page fixe l’hypothèse, l’unité, les mesures, la taille et la durée. Elle fixe aussi la règle d’arrêt et la décision pour chaque résultat. Les choix faits après avoir regardé les données peuvent faire passer presque n’importe quel changement pour une réussite.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 30 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

  • Le dossier du projet larkfield-experiments avec les fichiers de Taille d’échantillon et puissance, et son environnement virtuel actif. Vous copiez la commande de cette leçon depuis l’instantané end-of-m02 dans ../nextia-learning-labs/C40/snapshots/.

Testé sur macOS avec Python 3.12 et l’instantané end-of-m02. Windows n’a pas été testé.

Avant un match de soccer, tout le monde connaît les règles. Le match dure 90 minutes. Un but compte quand le ballon entier franchit la ligne. L’équipe qui marque le plus de buts gagne. Personne ne peut changer ces règles pendant le match.

Imaginez maintenant une équipe qui peut les changer pendant qu’elle joue. Elle mène d’un but après 60 minutes, alors elle termine le match. Elle est en retard? Elle continue à jouer. Elle perd au nombre de buts, alors elle déclare que les coups de coin comptent aussi. Une telle équipe gagne presque tous les matchs, et ses victoires ne veulent rien dire. Des personnes qui ne connaissent pas encore le score doivent fixer les règles avant le premier coup de pied.

Un test a besoin de la même chose. Ses règles précisent l’unité, les mesures, la taille, la durée, les arrêts permis et la décision associée à chaque résultat. Le plan de test les consigne avant que le premier client entre dans le test.

Chaque test comporte beaucoup de petits choix. Quelle mesure décide? Quand le test se termine-t-il? Quels clients comptent? Il est facile de faire ces choix après avoir vu les chiffres, souvent sans s’en rendre compte. Chaque choix donne au hasard une façon de plus de produire une « réussite ». Le module 4 en mesure deux dans le simulateur, avec des tests d’un changement qui n’a aucun effet :

Tests d'un changement sans effet (simulés). Avec des règles fixes, 5,2 % trouvent une fausse réussite. Arrêter au premier jour où p < 0,05 donne 27,6 %. Rapporter une réussite parmi 20 mesures donne 56 %.
Description textuelle du graphique

Un graphique à colonnes montre la part des tests sans effet qui déclarent une réussite. Avec des règles fixes (un seul regard au jour 28, une mesure principale) : 5,2 % des 10 000 tests simulés. En arrêtant au premier jour où p est inférieur à 0,05, avec un regard quotidien pendant 28 jours : 27,6 %. En rapportant une réussite dès qu’une des 20 mesures réussit : 56 % des 300 tests simulés.

Un test aux règles fixes trouve une fausse réussite à peu près aussi souvent que le prévoit alpha : 5,2 %. Une équipe regarde chaque jour et s’arrête à la première « réussite ». Elle en trouve dans 27,6 % des tests où rien n’a changé. Une équipe rapporte la mesure gagnante parmi 20 mesures. Elle trouve une réussite dans 56 % des tests. Combinez quelques-unes de ces libertés, et un test sans effet trouve une « réussite » la plupart du temps. Le module 4 explique les deux pièges en détail : Regards répétés et Beaucoup de mesures et beaucoup de tests.

Il existe une version plus discrète du même problème. Après le résultat, les gens discutent de sa signification. Le test de livraison gratuite a augmenté les revenus, mais aussi les retours. Est-ce une réussite? Si personne ne l’a précisé avant le test, la réponse dépend de la personne qui argumente le mieux.

Un plan de test est une page qui fixe les choix du test avant son début. L’écrire d’abord s’appelle le préenregistrement : vous consignez ce que vous ferez avant de voir les données. Les scientifiques le font pour les essais médicaux, pour la même raison.

Le plan de TermeLarkfieldUne boutique en ligne canadienne inventée, qui vend des articles pour la maison et le jardin. Ce n’est pas une vraie entreprise. Tous les cours Nextia utilisent son service d’assistance et ses données comme exemple.En savoir plus Découvrez Larkfield comporte onze champs :

Champ Ce qu’il indique Pourquoi le fixer d’avance
Hypothèse ce que fait le changement, et pourquoi elle indique le but du test
Unité pour quoi on lance la pièce une autre unité donne un autre test
Mesure principale le seul nombre qui décide, défini précisément la choisir après coup sélectionne la chance
Mesures garde-fous ce qui ne doit pas clairement empirer elles décident quand arrêter un lancement
Effet minimal détectable le plus petit effet qui compte il détermine la taille
Taille d’échantillon le nombre de clients par groupe et son calcul un test qui se termine quand il « réussit » n’a pas cette taille
Durée le nombre de jours, en semaines complètes arrêter un bon jour sélectionne la chance
Règle d’arrêt quand le test peut se terminer plus tôt regarder chaque jour trouve de fausses réussites
Décision si B est meilleur ce que vous ferez on ne débat pas du résultat après coup
Décision si B est moins bon ce que vous ferez même raison
Décision si aucun effet clair ce que vous ferez le résultat le plus courant demande aussi une décision

La vie du plan suit une ligne droite. Vous l’écrivez, le test se déroule, et personne ne regarde le résultat avant la fin :

Une rangée de six encadrés reliés par des flèches : écrire le plan, avant le jour 1; début du test, lundi 8 septembre; déroulement du test, aucun regard sur le résultat, vérifications de fonctionnement seulement; fin du test, jour 28, 4 semaines complètes; vérifier le test, proportions des groupes, semaines complètes; lire le résultat, appliquer la décision écrite dans le plan. Une flèche part de « écrire le plan » vers un encadré pointillé au-dessus : fixé au début du test. Une ligne rouge en dessous : modifié après avoir regardé les données? Le test peut alors montrer tout ce que vous espériez.
Le plan est écrit avant le jour 1. Pendant le test, seules les vérifications de fonctionnement sont permises. Après, vérifiez d'abord le test, puis appliquez la décision déjà prévue dans le plan.
Description textuelle du diagramme

Le diagramme est une rangée de six encadrés reliés par des flèches (une colonne sur un téléphone). Premièrement, écrire le plan, avant le jour 1. Deuxièmement, le test commence, le lundi 8 septembre. Troisièmement, le test se déroule : personne ne regarde le résultat, on vérifie seulement le fonctionnement, notamment les erreurs. Quatrièmement, le test se termine au jour 28, après 4 semaines complètes. Cinquièmement, vérifier le test : les proportions des groupes et les semaines complètes. Sixièmement, lire le résultat et appliquer la décision écrite dans le plan. Une flèche relie le premier encadré à un encadré pointillé qui liste ce qui est fixé au début du test : l’hypothèse, l’unité, la mesure principale, les garde-fous, l’effet minimal détectable, la taille d’échantillon, la durée, la règle d’arrêt et une décision pour chaque résultat. Une ligne rouge sous la rangée avertit : modifié après avoir regardé les données? Le test peut alors montrer tout ce que vous espériez.

« Ne pas regarder le résultat » ne veut pas dire « ne rien regarder ». Pendant le test, quelqu’un vérifie le fonctionnement du site et la répartition des clients dans les proportions prévues. Si B empêche de passer une commande, vous arrêtez immédiatement. Vous ne regardez simplement pas les revenus, et vous n’arrêtez pas parce que B est en tête.

Les champs de décision sont au cœur du plan. Écrivez chacun en fonction de l’TermeIntervalle de confianceUne plage autour d’une valeur mesurée, obtenue par une méthode qui contient la vraie valeur 95 fois sur 100. Si l’intervalle d’une différence ne contient pas zéro, la différence n’est probablement pas due au hasard.En savoir plus Estimer l'incertitudeMathématiques et statistiques essentielles pour l'IA à 95 % de la mesure principale. Ainsi, personne n’aura à interpréter le résultat après coup. Voici quatre cas typiques, sous forme d’exemples construits :

Quatre résultats construits et la décision pour chacun. Au-dessus de 0 : B est meilleur. L'intervalle traverse 0 : aucun effet clair. Sous 0 : B est moins bon. Un garde-fou dont l'intervalle est au-dessus de 0 (moins bon) transforme « mettre en production » en « discuter ».
Description textuelle du graphique

Quatre résultats construits sur un axe de −2,5 à +2,5 dollars, avec une ligne à 0. « B meilleur, garde-fous respectés » : +1,10, intervalle de +0,30 à +1,90, entièrement au-dessus de 0 : mettre B en production. « B meilleur, un garde-fou moins bon » : le même intervalle, mais l’intervalle d’un garde-fou est entièrement du côté moins bon : discuter avant la mise en production. « Aucun effet clair » : +0,20, intervalle de −0,70 à +1,10, qui traverse 0 : garder A et consigner la plage que le test exclut. « B moins bon » : −1,20, intervalle de −2,00 à −0,40, entièrement sous 0 : garder A.

Le résultat La décision dans les plans de Larkfield
L’intervalle de la mesure principale est au-dessus de 0, et aucun garde-fou n’est clairement moins bon Mettre B en production
L’intervalle de la mesure principale est au-dessus de 0, mais l’intervalle d’un garde-fou montre une dégradation claire Discuter avant la mise en production, avec les personnes nommées dans le plan
L’intervalle de la mesure principale est sous 0 Garder A
L’intervalle traverse 0 Aucun effet clair : garder A. Consigner la plage que le test exclut

« Aucun effet clair » est le résultat le plus courant des vrais tests. Il enseigne quand même quelque chose : le test exclut les effets hors de son intervalle. Si l’intervalle va de −0,70 à +1,10 dollar, un gain de 2 dollars par client est très improbable.

Larkfield : le plan de Hana pour la livraison gratuite

Section intitulée « Larkfield : le plan de Hana pour la livraison gratuite »

TermePriyaLa scientifique des données de Larkfield. Elle mesure la qualité de l’assistant sur des jeux de test, pas à l’intuition. et Hana écrivent le plan du test de livraison gratuite avant le lundi 8 septembre. Hana fournit un nombre que les statistiques ne peuvent pas donner : un gain inférieur à environ 1,25 dollar par client ne couvre pas le coût supplémentaire de livraison. (Ce seuil de rentabilité est une hypothèse du cours, pas un coût mesuré.) L’EMD est donc de 1,25 dollar. xp power --from-run delivery --mde 1.25 --per-day 3956 donne 53 866 clients par groupe. Cela représente 28 jours, exactement 4 semaines complètes.

Voici le plan, créé avec xp plan new free-delivery et rempli :

# Test plan: free-delivery
Written on YYYY-MM-DD, before the test starts. Change it only with a dated note that says why.
- **Hypothesis:** Free delivery from 50 dollars instead of 75 raises revenue per customer, because more visits end with an order.
- **Unit:** the customer. A coin flip on the first visit puts each customer in A (75 dollars) or B (50 dollars), 50/50, for the whole test.
- **Primary metric:** revenue per customer in the test (every customer in the test, also those with no order).
- **Guardrail metrics:** return rate (returns per order) must not be clearly worse. Watched, not decided on: orders per customer, order value.
- **Minimum detectable effect:** +1.25 dollars per customer (+5%). Hana: a smaller gain does not pay for the extra delivery cost.
- **Sample size:** 53,866 customers per group (xp power, standard deviation 73.22 dollars, 80% power, alpha 0.05).
- **Duration:** 28 days (4 full weeks), from Monday 8 September 2025; about 3,956 new customers a day.
- **Stopping rule:** no early stop and no look at the result before day 28. Stop early only for a broken site or a sample ratio mismatch.
- **Decision if B is better:** the interval of revenue is above 0 and the return rate is not clearly worse: ship B. If the return rate is clearly worse: Hana and Priya discuss the cost before shipping.
- **Decision if B is worse:** the interval of revenue is below 0: keep A.
- **Decision if no clear effect:** keep A. Write down the range that the test rules out.
## Checks before reading the result
- Sample ratio: the share of customers in B is 50% (chi-square test, p > 0.001).
- The test ran for the planned number of full weeks.

Deux lignes du plan nomment une vérification que vous apprendrez au module 3. Un déséquilibre de répartition signifie que les tailles des groupes sont loin de la répartition 50/50 prévue. Il indique un problème de répartition, donc le résultat n’est pas fiable. Vérifier le test avant le résultat montre comment le détecter.

Le test a duré 28 jours (simulés). Priya lit ensuite le résultat, et le plan lui dit ce qu’il signifie :

  • Mesure principale : revenu par client +1,03 dollars, intervalle de +0,16 à +1,90 : au-dessus de 0. B est meilleur.
  • Garde-fou : taux de retour +1,29 points, intervalle de +0,68 à +1,90 : au-dessus de 0, donc clairement moins bon.
  • La ligne du plan : « B est meilleur, mais le taux de retour est clairement moins bon » : Hana et Priya discutent du coût avant la mise en production.

Personne ne peut maintenant dire « les commandes ont augmenté de 5,8 %, mettons-le en production ». Ni « les retours ont augmenté de 15,5 %, abandonnons-le ». Les deux nombres occupent la place prévue dans le plan : une mesure de diagnostic et un garde-fou avec une règle. Au module 8, xp report delivery écrit un rapport de résultat à partir des mêmes règles. Sa première ligne est Decision: Discuss before shipping. (décision : discuter avant la mise en production).

Le plan montre aussi une limite de ce test. Son EMD, 1,25 dollar, dépasse l’effet réel, environ 0,70 dollar. Le test a trouvé un résultat significatif en partie parce que la graine (seed) 40 est chanceuse. Sur 200 graines, il trouve l’effet réel dans seulement 41,5 % des exécutions. Selon le seuil de rentabilité de Hana, c’est acceptable : un effet de 0,70 dollar ne couvrirait pas la livraison. Mais l’estimation de +1,03 est trop élevée. La discussion prévue dans le plan devrait utiliser l’intervalle, pas l’estimation ponctuelle.

Écrivez-en un pour chaque test dont dépend une décision. Cette page prend une heure. Les débats qu’elle évite prennent plus de temps.

Gardez-le court. Une page, les onze champs, des nombres plutôt que des adjectifs. Un plan que personne ne lit avant le début du test n’est pas un plan.

Modifiez-le seulement avec une note datée. Parfois, un plan doit changer : un bogue arrête le test pendant une journée, ou une mesure est mal consignée. Ajoutez une note datée qui explique le changement et sa raison, avant de regarder le résultat. Gardez les plans sous gestion de versions (git), pour que l’historique montre quand chaque ligne a été écrite. Mateo tient le journal des tests de Larkfield au module 8, Les expériences comme habitude d’équipe.

Ce qu’il coûte : une heure de réflexion avant le test, et la discipline de ne pas changer d’avis à l’arrivée des chiffres. Il ne coûte ni clients ni jours.

Exercice guidé : écrire et vérifier le plan de livraison gratuite

Section intitulée « Exercice guidé : écrire et vérifier le plan de livraison gratuite »
  1. Dans larkfield-experiments, avec l’TermeEnvironnement virtuelUn dossier avec son propre Python et ses propres paquets, pour un seul projet. Les paquets installés là ne changent pas les autres projets.En savoir plus Isoler les dépendancesPython pour l'ingénierie de l'IA en pratique actif, copiez la commande et le nouveau README du projet depuis l’instantané end-of-m02 :

    Fenêtre de terminal
    S=../nextia-learning-labs/C40/snapshots/end-of-m02
    cp "$S/larkfield_experiments/commands/plan.py" larkfield_experiments/commands/plan.py
    cp "$S/README.md" README.md

    Votre projet est maintenant identique à l’instantané end-of-m02.

  2. Exécutez tous les tests :

    Fenêtre de terminal
    python -m pytest -q
    14 passed in 1.29s
  3. Créez un nouveau plan :

    Fenêtre de terminal
    xp plan new free-delivery
    Wrote plans/free-delivery.md. Fill in every TODO before the test starts, then: xp plan check plans/free-delivery.md

    Ouvrez plans/free-delivery.md. Il contient les onze champs, chacun avec TODO (à faire), et les vérifications avant la lecture du résultat. Sa deuxième ligne montre la date d’aujourd’hui à la place de YYYY-MM-DD (année-mois-jour).

  4. Vérifiez le plan vide :

    Fenêtre de terminal
    xp plan check plans/free-delivery.md
    Not ready: 11 of 11 fields are missing or TODO: Hypothesis, Unit, Primary metric, Guardrail metrics, Minimum detectable effect, Sample size, Duration, Stopping rule, Decision if B is better, Decision if B is worse, Decision if no clear effect.

    La commande se termine avec un code d’erreur. Un script ou une étape de révision peut donc s’arrêter sur cette erreur.

  5. Remplacez chaque TODO par les valeurs de Hana, tirées du plan ci-dessus. Enregistrez le fichier.

  6. Vérifiez-le de nouveau :

    Fenêtre de terminal
    xp plan check plans/free-delivery.md
    Ready: all 11 fields are filled in.

    xp plan check vérifie que chaque champ contient une réponse. Il ne peut pas vérifier la qualité des réponses : c’est le rôle de la révision avant le test.

  7. Essayez de créer le plan une deuxième fois :

    Fenêtre de terminal
    xp plan new free-delivery
    plans/free-delivery.md exists. A plan is written once: add a dated note instead of a new plan.

Écrivez le plan de Rafael pour le test du courriel de rappel, avec xp plan new reminder-email. Utilisez vos calculs de ce module : l’unité, la mesure principale, le garde-fou de Choisir les mesures. Ajoutez la taille et la durée de Taille d’échantillon et puissance. Avant d’écrire la taille d’échantillon, vérifiez-la par simulation avec xp power --baseline 0.09 --mde 0.01 --per-day 4000 --simulate 200. Exécutez ensuite xp plan check. Réfléchissez d’abord à un détail : le résultat est « a commandé dans les 14 jours après le courriel ». Quand pouvez-vous lire le résultat?

Afficher la réponse

Les dernières lignes de la simulation :

At 4,000 new customers a day: 7 days; run full weeks: 1 week (7 days).
Simulated: 200 fake tests with 13,488 customers per group and a true effect of +0.01: 80% found it (p < 0.05).

Un plan possible, après xp plan new reminder-email :

- **Hypothesis:** a reminder email to customers with no order for 30 days makes more of them order in the next 14 days.
- **Unit:** the customer; a coin flip, 50/50: A no email, B the email.
- **Primary metric:** the share of customers who order in the 14 days after the email (ordered).
- **Guardrail metrics:** unsubscribes (unsubscribed) must not be clearly worse.
- **Minimum detectable effect:** +1 percentage point (9% to 10%).
- **Sample size:** 13,488 customers per group (xp power; 200 fake tests: 80% found it).
- **Duration:** 1 full week of sending (7 days at 4,000 customers a day), then 14 days to count the orders.
- **Stopping rule:** no early stop; no look at the orders before the 14 days are over.
- **Decision if B is better:** if unsubscribes are not clearly worse, send the email to everyone; if they are, Rafael decides who gets it.
- **Decision if B is worse:** stop the email.
- **Decision if no clear effect:** stop the email; write down the range that the test rules out.
Fenêtre de terminal
xp plan check plans/reminder-email.md
Ready: all 11 fields are filled in.

Le détail : les derniers clients reçoivent le courriel au jour 7, et leurs 14 jours se terminent au jour 21. Vous pouvez lire le résultat seulement à ce moment-là. Dans le simulateur, les désabonnements du test du courriel étaient clairement moins bons (0,24 % contre 0,84 %). La ligne « Rafael décide » du plan s’applique donc. Le module 7 montre comment décider qui reçoit le courriel.

Erreur courante

Le plan a changé après le résultat

Symptôme : après le test de livraison gratuite, TermeTomásL’ingénieur en IA de Larkfield. Il propose souvent un raccourci rapide, et la leçon montre pourquoi il échoue. ouvre plans/free-delivery.md et remplace la mesure principale par « commandes par client ». Le plan dit maintenant « B est meilleur », avec p = 0,00003. xp plan check affiche Ready (prêt).

Cause : le plan a changé après un regard sur les données, donc ce n’est plus un plan. C’est une description du résultat que Tomás aimait. xp plan check vérifie que les champs sont remplis, pas quand ils ont été écrits.

Solution : consignez le plan dans la gestion de versions avec un commit (enregistrement) avant le début du test. Faites-le réviser par quelqu’un. Tout changement ultérieur prend la forme d’une note datée sous le plan, écrite avant que quelqu’un lise le résultat. Cette note en explique la raison. Un réviseur peut alors comparer le plan du début avec celui de la fin.

Conséquence pour le travail en IA : une évaluation peut présenter n’importe quel modèle comme le meilleur si sa mesure ou ses TermeJeu de testUn ensemble fixe d’exemples dont on connaît les bonnes réponses. Chaque version d’un prompt ou d’un modèle passe sur le même ensemble, pour comparer les résultats équitablement.En savoir plus Créer un jeu de test représentatifLes LLM : comment ils fonctionnent et comment en choisir un changent après les premiers scores. Figez le plan d’un test en ligne d’un modèle ou d’une requête (prompt) comme vous figez les données de test : avant le premier regard.

Vérifiez votre compréhension

Nommez cinq champs d'un plan de test. Pour deux d'entre eux, expliquez le problème s'ils sont choisis après le test.

Afficher la réponse

Cinq champs parmi les suivants : hypothèse, unité, mesure principale, garde-fous, effet minimal détectable, taille d’échantillon, durée, règle d’arrêt et décisions selon les résultats. Ces décisions couvrent un groupe B meilleur, pire ou sans différence claire. Exemples de problèmes : choisir la mesure principale après le test revient à choisir celle qui a eu le plus de chance. Avec 20 mesures et aucun effet, une mesure « gagne » dans 56 % des tests simulés. Choisir la durée après le test, en arrêtant au premier bon jour, produit un faux gagnant dans 27,6 % des tests sans effet. Avec une durée fixe, ce taux est de 5,2 %. Choisir les décisions après le test transforme le résultat en débat.

Vérifiez votre compréhension

Le test de livraison gratuite donne un revenu de +1,03 $ (intervalle de +0,16 à +1,90). Le taux de retour augmente de +1,29 point (intervalle de +0,68 à +1,90). Quelle ligne du plan de Hana s'applique? Pourquoi est-il utile de l'avoir écrite avant?

Afficher la réponse

« B est meilleur, mais un garde-fou est clairement pire » : l’intervalle du revenu est au-dessus de 0. L’intervalle du taux de retour est entièrement du côté défavorable. Le plan prévoit que Hana et Priya discutent du coût avant la mise en production. Puisqu’il a été écrit avant, personne ne peut choisir le chiffre qui l’arrange après le test. Ni « commandes +5,8 %, lançons-le », ni « retours +15,5 %, abandonnons-le ». La discussion part des règles convenues et des intervalles.

Vérifiez votre compréhension

Faites une prédiction : la mesure principale d'un test a un intervalle de −0,70 à +1,10 $. Omar dit : « Donc, le changement ne fait rien. » Que dit le plan? Que vous apprend vraiment le résultat?

Afficher la réponse

L’intervalle traverse 0. La ligne du plan est donc « aucun effet clair : garder A ». Mais cela ne montre pas que le changement ne fait rien. Le test ne peut pas distinguer un petit gain d’une petite perte. Il permet toutefois d’écarter les effets hors de l’intervalle. Un gain de 2 $ par client ou une perte de 1 $ est très peu probable. Si l’effet minimal détectable a été bien choisi, un effet justifiant une action est aussi peu probable. Notez l’intervalle dans le résultat.

Récapitulatif

  • Les choix faits après avoir regardé les données transforment le hasard en gagnants. Dans les tests simulés sans effet : 5,2 % de faux gagnants avec des règles fixes. Ce taux atteint 27,6 % en arrêtant à la première victoire quotidienne. Il atteint 56 % si n’importe laquelle des 20 mesures peut gagner.
  • Un plan de test fixe onze champs avant le début du test : hypothèse, unité, mesure principale, garde-fous, EMD, taille d’échantillon, durée, règle d’arrêt et une décision pour chaque résultat. L’écrire d’abord constitue le préenregistrement.
  • Écrivez les décisions selon les intervalles : au-dessus de 0, lancer si les garde-fous sont respectés. Au-dessus de 0 avec un garde-fou dégradé, discuter. Sous 0, garder A. Si l’intervalle traverse 0, aucun effet clair.
  • Le plan de Hana correspondait au résultat : revenu en hausse, taux de retour clairement dégradé, donc « discuter avant la mise en production ». Personne ne pouvait choisir le chiffre qui l’arrangeait.
  • xp plan new crée le modèle de plan; xp plan check vérifie que chaque champ est rempli. Modifiez un plan seulement avec une note datée, avant le résultat.

Vous pouvez maintenant concevoir un test, du tirage à pile ou face jusqu’à la décision. Ensuite, au module 3, vous analyserez correctement le test de livraison gratuite : la différence et son intervalle. Vous verrez aussi pourquoi l’intervalle compte plus que la valeur p.

Leçon suivante : Le résultat et son incertitude