Découvrir le simulateur
- Leçon 4
- 35 min
- Module 1 : Pourquoi « ça a monté » n'est pas une réponse
Où nous en sommes
Nous avons des graphes et des contrefactuels sur papier. Nous n'avons encore rien exécuté. Dans cette leçon, nous préparons le projet du cours et exécutons le simulateur. Il connaît l'effet réel de chaque changement. Nous comparons la réponse naïve et celle du test à la vérité. Pensez d'abord à la piste d'entraînement d'une école de conduite.
Leçon 4 sur 30 · Expériences et impact causal : notre changement a-t-il fonctionné?Découvrir le simulateur
1. Pourquoi « ça a monté » n'est pas une réponse
2. Concevoir un test A/B
3. Analyser le test
4. Les pièges des vrais tests
5. Quand la répartition aléatoire est impossible : les expériences naturelles
6. Ajuster pour les facteurs de confusion dans des données d'observation
7. Le gain incrémental : à qui appliquer le traitement?
8. Les expériences pour les fonctions d'IA et en production
Ce que vous saurez faire
Préparez le projet du cours et comparez vos premières réponses à la vérité. Le simulateur connaît l’effet réel de chaque changement. Vous pouvez donc désormais tester chaque méthode avant de lui faire confiance.
Carnet JupyterFaites l'analyse dans un carnet Jupyter
Le carnet (notebook) Jupyter lit le même test du courriel et les mêmes journaux du bloc que le projet. Il calcule la différence et son TermeIntervalle de confianceUne plage autour d’une valeur mesurée, obtenue par une méthode qui contient la vraie valeur 95 fois sur 100. Si l’intervalle d’une différence ne contient pas zéro, la différence n’est probablement pas due au hasard.En savoir plus Estimer l'incertitudeMathématiques et statistiques essentielles pour l'IA à 95 % étape par étape avec pandas. Il les compare ensuite à l’effet réel. Puis il vous demande de calculer les +32,9 % des utilisateurs. Sa première cellule installe pandas, SciPy, statsmodels et matplotlib. La suivante télécharge les données, donc aucune installation locale n’est nécessaire. Environ 20 minutes. Les étapes du projet de cette leçon nécessitent toujours votre ordinateur.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Les réponses naïves de ce module, présentées dans La fonctionnalité qui a « fait monter les ventes » et Causes et comparaisons.
- Une différence entre deux groupes, son intervalle de confiance à 95 % et une valeur p. Ces notions viennent de Comparer des options dans Mathématiques et statistiques essentielles pour l’IA.
- Comment utiliser un terminal : changer de dossier, exécuter une commande et activer un environnement virtuel.
Ce qu’il vous faut sur votre ordinateur
- Python 3.12 et un terminal. VS Code est utile, mais pas obligatoire.
- Environ 300 Mo d’espace disque libre pour les paquets. Une connexion Internet pour l’installation.
- Aucun compte, aucune clé et aucun paiement.
Testé sur macOS (Apple silicon) avec Python 3.12.13. Les commandes Windows et Linux sont fournies, mais n’ont pas été exécutées.
Une piste d’entraînement
Section intitulée « Une piste d’entraînement »Une école de conduite possède une piste d’entraînement. Elle ressemble à une vraie route : virages, intersections, côte et voiture stationnée dont la portière s’ouvre soudainement. Mais l’instructeur l’a construite, donc il sait exactement où se trouve chaque danger. Quand un apprenti freine trop tard, l’instructeur peut mesurer son retard, car la piste possède un corrigé.
Une vraie route n’a pas de corrigé. C’est pourquoi on apprend d’abord sur la piste.
Le simulateur du cours est la piste d’entraînement de TermeLarkfieldUne boutique en ligne canadienne inventée, qui vend des articles pour la maison et le jardin. Ce n’est pas une vraie entreprise. Tous les cours Nextia utilisent son service d’assistance et ses données comme exemple.En savoir plus Découvrez Larkfield. Il crée les données du magasin à partir de règles que nous avons écrites. Il connaît donc l’effet réel de chaque changement. Vous pouvez essayer une méthode et mesurer son écart par rapport à la vérité. Ensuite seulement, vous l’utilisez là où personne ne connaît la vérité.
Comment le simulateur connaît la vérité
Section intitulée « Comment le simulateur connaît la vérité »Dans la première leçon, le simulateur a exécuté deux fois les semaines suivant le lancement du bloc : avec et sans lui. Il fait la même chose pour chaque client de chaque scénario.
Prenons le courriel de rappel. Pour chaque client, le simulateur tire les nombres aléatoires qui déterminent son comportement : fréquence des visites et probabilité de commander. Il utilise ensuite les mêmes nombres aléatoires deux fois : dans le monde sans courriel, puis dans celui avec courriel. Seul le courriel change. Toute différence entre les deux mondes représente donc l’effet du courriel pour ce client.
Description textuelle du diagramme
Chaque client est simulé deux fois, avec les mêmes nombres aléatoires : sans courriel, puis avec courriel. La moyenne des différences pour tous les clients est l’effet réel, enregistré dans truth.json. Un tirage à pile ou face place chaque client dans le groupe A ou B. Le journal conserve uniquement le monde de ce groupe, comme le ferait un vrai journal. xp analyse lit uniquement le journal. Il estime l’effet avec un intervalle à 95 %. xp check compare ensuite cette estimation à truth.json.
L’effet réel d’une exécution est la moyenne de (avec − sans) pour ses clients. Il est exact pour cette exécution, avec ces clients. Le journal contient ce qu’une vraie équipe aurait. Pour chaque client, il conserve uniquement le monde du groupe choisi par le tirage à pile ou face. L’analyse voit donc exactement ce qu’une vraie analyse verrait, sans rien de plus. Seule la commande xp check ouvre le corrigé.
Le projet : deux commandes
Section intitulée « Le projet : deux commandes »Le projet du cours s’appelle larkfield-experiments. Il comprend deux commandes :
simest le simulateur.sim run --scenario emailcrée les données d’un scénario et les écrit dans un dossier sousruns/.xpest l’outil d’analyse.xp analyseestime un effet, etxp naivecalcule une réponse naïve.xp checkcompare votre dernière réponse à la vérité, etxp resetsupprime toutes les exécutions.
Le projet s’enrichit à chaque module. Le module 2 ajoute les tailles d’échantillon, le module 3 ajoute les vérifications d’un test, et ainsi de suite. Au départ, il comporte quatre scénarios : email, delivery, launch et logs. Toutes ses données sont synthétiques.
Préparer le projet
Section intitulée « Préparer le projet »Vous copiez l’instantané start du dépôt d’exercices du cours, installez ses paquets et exécutez ses tests. Un instantané est le projet tel qu’il existe à un moment du cours. Si votre copie cesse de fonctionner, vous pouvez repartir de l’instantané du module où vous êtes.
-
Récupérez les fichiers du cours. Ouvrez un terminal. Si vous avez Git, clonez le dépôt d’exercices une fois dans un dossier pour vos projets, comme
~/projects. Si vous l’avez déjà cloné, exécutez plutôtgit -C nextia-learning-labs pull.Fenêtre de terminal cd ~/projectsgit clone https://github.com/Nextia-Intelligence/nextia-learning-labs.gitSans Git, téléchargez le fichier ZIP du dépôt et décompressez-le dans
~/projects. Son dossier s’appelle alorsnextia-learning-labs-main. Utilisez ce nom à l’étape suivante. -
Copiez l’instantané
startdans un nouveau dossier,larkfield-experiments, à côté du dossier d’exercices. Ouvrez ensuite ce dossier.Fenêtre de terminal cp -R nextia-learning-labs/C40/snapshots/start larkfield-experimentscd larkfield-experimentsFenêtre de terminal Copy-Item -Recurse nextia-learning-labs\C40\snapshots\start larkfield-experimentscd larkfield-experiments -
Créez un TermeEnvironnement virtuelUn dossier avec son propre Python et ses propres paquets, pour un seul projet. Les paquets installés là ne changent pas les autres projets.En savoir plus Isoler les dépendancesPython pour l'ingénierie de l'IA en pratique et activez-le. Si PowerShell refuse d’exécuter
Activate.ps1, exécutezSet-ExecutionPolicy -Scope CurrentUser RemoteSignedune fois, puis réessayez.Fenêtre de terminal python3.12 -m venv .venvsource .venv/bin/activateFenêtre de terminal py -3.12 -m venv .venv.venv\Scripts\Activate.ps1 -
Installez les paquets aux versions fixées, puis le projet lui-même. La première commande prend environ une minute.
Fenêtre de terminal python -m pip install -r requirements.txtpython -m pip install -e . --no-depsLe projet utilise NumPy 2.4.6, pandas 3.1.1, SciPy 1.15.3, statsmodels 0.15.0 et pytest 9.2.0. La deuxième commande installe les commandes
simetxpdans votre environnement. -
Exécutez les tests.
Fenêtre de terminal python -m pytest -q......... [100%]11 passed in 1.38sLa durée sera différente pour vous. Onze tests réussissent : le projet fonctionne sur votre ordinateur.
-
Affichez la liste des scénarios.
Fenêtre de terminal sim listdelivery Free delivery from 50 dollars instead of 75: an A/B test by customer, 28 daysemail A reminder email to customers who have not ordered for 30 days: an A/B test by customer, 14 dayslaunch Daily orders and sales around the recommendation block's launch (6 October 2025): no test, one serieslogs 28 days of logs after the recommendation block's launch: who used it and what they spent (no test)
Deux scénarios sont des tests avec répartition aléatoire : email et delivery. Les deux autres n’ont aucun test. launch contient les ventes quotidiennes de la première leçon. logs contient les utilisateurs et les non-utilisateurs de la deuxième leçon. sim about email affiche ce qu’un scénario simule.
Exécuter un test et le vérifier
Section intitulée « Exécuter un test et le vérifier »Le courriel de rappel de Rafael visait les clients qui n’avaient pas commandé depuis 30 jours. Un tirage à pile ou face a choisi les destinataires : le groupe B a reçu le courriel, le groupe A, non. Le résultat mesuré est une commande dans les 14 jours suivant le courriel.
Faites d’abord une prédiction. Sans courriel, environ 9 % de ces clients commandent en deux semaines. Combien de points de pourcentage supplémentaires attendez-vous avec le courriel? Notez un nombre.
-
Exécutez le scénario.
Fenêtre de terminal sim run --scenario emailScenario email (seed 40): A reminder email to customers who have not ordered for 30 days: an A/B test by customer, 14 days.Wrote runs/email-s40: customers (60,000 rows), targets (50,000 rows), truth_targets (50,000 rows). Synthetic data. 1.0 sLe simulateur a écrit le dossier
runs/email-s40. s40 est la graine (seed) : le nombre qui initialise les nombres aléatoires. La même graine donne toujours les mêmes données. Vos nombres correspondent donc à ceux de cette page. -
Analysez-le.
Fenêtre de terminal xp analyseRun email-s40 (synthetic): A reminder email to customers who have not ordered for 30 days: an A/B test by customer, 14 days.Metric: ordered. A: 30,208 customers, mean 0.0896. B: 29,792 customers, mean 0.1043.difference +0.0147 (+16.4%), 95% interval +0.0100 to +0.0194, p = 1.14e-09 (Welch t-test)Saved to runs/email-s40/analysis.json. Compare with the true effect: xp check -
Comparez-le à la vérité.
Fenêtre de terminal xp checkRun email-s40: the last analysis was `xp analyse`.True effect (from the simulator): +0.0119 share of customers with an order.Your estimate: +0.0147, 95% interval +0.0100 to +0.0194: the interval contains the true effect.
Lire le résultat
Section intitulée « Lire le résultat »Lisez l’analyse ligne par ligne :
- A : 30 208 clients, moyenne de 0,0896. Sans courriel, 8,96 % des clients ont commandé en deux semaines.
- B : 29 792 clients, moyenne de 0,1043. Avec le courriel, 10,43 % ont commandé.
- différence de +0,0147 (+16,4 %). Le courriel a augmenté la proportion de 1,47 point de pourcentage : de 8,96 % à 10,43 %. En termes relatifs, 16,4 % de clients supplémentaires ont commandé.
- intervalle à 95 % de +0,0100 à +0,0194. Le courriel a ajouté entre 1,00 et 1,94 point. L’intervalle vient de l’erreur type, comme dans le cours de mathématiques. Le test t de Welch fournit cet intervalle. Il permet aux deux groupes d’avoir des dispersions différentes.
- p = 1,14 × 10⁻⁹. Si le courriel n’avait aucun effet, une différence aussi grande apparaîtrait très rarement par hasard.
Passons à la vérification. L’effet réel est +0,0119 : 1,19 point. Votre estimation, 1,47, n’est pas la vérité. C’est un résultat du hasard, obtenu avec un seul ensemble de clients. Mais l’intervalle, de 1,00 à 1,94, contient la vérité. C’est ce que promet un intervalle à 95 % : pas la réponse exacte, mais un intervalle contenant la vérité dans environ 95 tests sur 100.
Description textuelle du graphique
Une estimation sur un axe en points de pourcentage. Le test du courriel avec la graine 40 estime +1,47 point. Son intervalle à 95 % va de +1,00 à +1,94. Une ligne à 0 indique l’absence d’effet. Une ligne à +1,19 indique l’effet réel du simulateur. L’intervalle est loin de 0 et contient +1,19.
Comparez ce résultat aux réponses naïves des deux dernières leçons. Le nombre avant-après était quatre fois trop grand, et celui des utilisateurs, 3,6 fois trop grand. La réponse du tirage à pile ou face s’écarte de 0,28 point. Son intervalle indique l’écart qu’elle pourrait avoir. C’est la différence entre un test et une comparaison naïve.
Vérifier aussi les réponses naïves
Section intitulée « Vérifier aussi les réponses naïves »Le même projet calcule les réponses naïves de ce module. Vous pouvez donc les vérifier de la même façon.
-
Le lancement du bloc, avant et après :
Fenêtre de terminal sim run --scenario launchxp naivexp checkScenario launch (seed 40): Daily orders and sales around the recommendation block's launch (6 October 2025): no test, one series.Wrote runs/launch-s40: daily (427 rows), counterfactual (427 rows). Synthetic data. 0.0 sSales in the 4 weeks before the launch (2025-09-08 to 2025-10-05): 3,877,532 dollarsSales in the 4 weeks after the launch (2025-10-06 to 2025-11-02): 4,199,656 dollarsChange: +8.3%. The same weeks had: Thanksgiving, an autumn sale.Saved to runs/launch-s40/analysis.json. Compare with the true effect: xp checkRun launch-s40: the last analysis was `xp naive`.Naive answer: sales +8.3% after the launch.True effect of the block (from the simulator): +2.0% of sales (82,562 dollars in the 4 weeks after the launch).The naive answer is 6.3 percentage points too high: the holiday, the sale and the trend are in it too. -
Les utilisateurs et les non-utilisateurs du bloc :
Fenêtre de terminal sim run --scenario logsxp naivexp checkScenario logs (seed 40): 28 days of logs after the recommendation block's launch: who used it and what they spent (no test).Wrote runs/logs-s40: customers (40,000 rows). Synthetic data. 0.2 sCustomers who used the block: 13,338, mean revenue 39.19 dollarsCustomers who did not: 26,662, mean revenue 29.48 dollarsDifference: +9.70 dollars (+32.9%).Saved to runs/logs-s40/analysis.json. Compare with the true effect: xp checkRun logs-s40: the last analysis was `xp naive`.Naive answer: users spent +9.70 dollars more (+32.9%).True effect of the block on its users (from the simulator): +2.73 dollars per customer.The naive answer is 3.6 times the true effect: the users were different customers before they used the block.
Ce sont les nombres des deux premières leçons, maintenant obtenus sur votre ordinateur. Les deux nombres naïfs sont des exercices que nous avons créés volontairement. xp naive --weeks 2 change les fenêtres du lancement, comme le faisait l’explorateur de la première leçon : il affiche +12,6 %.
À vous : une autre graine
Section intitulée « À vous : une autre graine »Changez une seule chose : la graine. Une nouvelle graine produit une nouvelle copie du même test avec d’autres clients. C’est comme si Rafael le répétait le mois prochain.
Faites d’abord une prédiction. La nouvelle estimation sera-t-elle la même qu’avant? L’effet réel sera-t-il le même?
sim run --scenario email --seed 41xp analysexp checkScenario email (seed 41): A reminder email to customers who have not ordered for 30 days: an A/B test by customer, 14 days.Wrote runs/email-s41: customers (60,000 rows), targets (50,000 rows), truth_targets (50,000 rows). Synthetic data. 1.0 sRun email-s41 (synthetic): A reminder email to customers who have not ordered for 30 days: an A/B test by customer, 14 days.Metric: ordered. A: 30,006 customers, mean 0.0896. B: 29,994 customers, mean 0.1048. difference +0.0152 (+17.0%), 95% interval +0.0105 to +0.0199, p = 3.22e-10 (Welch t-test)Saved to runs/email-s41/analysis.json. Compare with the true effect: xp checkRun email-s41: the last analysis was `xp analyse`.True effect (from the simulator): +0.0145 share of customers with an order.Your estimate: +0.0152, 95% interval +0.0105 to +0.0199: the interval contains the true effect.Les deux ont changé. L’estimation est maintenant de +1,52 point, et l’effet réel, de +1,45 point. La vérité est la moyenne pour les clients de cette exécution, et ce sont d’autres clients. L’intervalle contient encore la vérité.
Le cours a exécuté le test du courriel avec 20 graines, de 40 à 59. Le graphique montre les 10 premières. Chaque ligne représente un intervalle décalé pour placer son propre effet réel à zéro. Un intervalle qui traverse la ligne zéro contient sa vérité.
Description textuelle du graphique
Dix lignes, graines 40 à 49. Chaque ligne montre l’estimation moins l’effet réel de cette graine, en points de pourcentage. Son intervalle à 95 % est décalé de la même façon. Une ligne à 0 indique l’effet réel. Les estimations se dispersent entre environ −0,4 et +0,3 point. Chaque intervalle traverse la ligne zéro, donc chacun contient son propre effet réel. La graine 40 correspond à l’exécution de cette leçon : à +0,28 point de sa vérité.
Les 20 intervalles contenaient leur vérité. Sur 200 graines, le cours a mesuré 97 %. Un intervalle à 95 % devrait être juste environ 95 fois sur 100. Un résultat de 97 % correspond donc à nos attentes. Avec 200 graines, quelques points de plus ou de moins sont normaux.
C’est la vérification que les vraies équipes ne peuvent jamais effectuer. Ici, vous pouvez l’effectuer pour chaque méthode du cours.
Recommencer : réinitialiser
Section intitulée « Recommencer : réinitialiser »xp reset supprime le dossier runs/ et toutes ses exécutions. Votre code ne change pas. La commande demande d’abord une confirmation :
xp resetDelete runs with 4 runs? [y/N] yDeleted runs (4 runs). Start again with: sim run --scenario emailTapez y (oui) et appuyez sur Entrée. Toute autre réponse ne supprime rien. xp reset --yes supprime sans demander. Vous pouvez toujours recréer les exécutions : les graines donnent les mêmes données chaque fois.
Quand utiliser le simulateur
Section intitulée « Quand utiliser le simulateur »Utilisez-le pour apprendre et tester une méthode. Il montre l’écart entre une réponse et la vérité, et la fréquence à laquelle un intervalle la contient. Utilisez-le avant de faire confiance à une méthode sur des données réelles. Utilisez-le aussi pour montrer à un collègue pourquoi un nombre naïf induit en erreur.
Ne l’utilisez pas pour en apprendre sur les clients de Larkfield. Les clients du simulateur suivent nos règles, et nous avons choisi les effets. Une méthode qui fonctionne ici peut échouer sur des données réelles qui ne respectent pas ses hypothèses. Le simulateur montre comment une méthode se comporte quand vous connaissez ses hypothèses. Les données réelles ne vous disent pas quelles hypothèses sont respectées.
Le coût est de quelques minutes d’installation et d’un peu de discipline. Écrivez « simulé » à côté de chaque nombre obtenu, comme le fait sim dans sa propre sortie.
Erreur courante
command not found : sim (commande introuvable : sim)
Symptôme : vous tapez sim run --scenario email, et le terminal répond zsh: command not found: sim (commande sim introuvable), ou un message semblable dans bash ou PowerShell.
Cause : l’environnement virtuel n’est pas actif. Cela arrive dans chaque nouvelle fenêtre de terminal. Les commandes sim et xp se trouvent dans .venv.
Solution : ouvrez le dossier du projet et activez de nouveau l’environnement : source .venv/bin/activate sur macOS et Linux, .venv\Scripts\Activate.ps1 sur Windows. Si la commande manque toujours, exécutez de nouveau python -m pip install -e . --no-deps.
Erreur courante
Aucune exécution, ou le mauvais type d'exécution
Symptôme : xp analyse s’arrête avec l’un de ces messages :
No run yet. Create one with: sim run --scenario emailThe run launch-s40 has no table 'customers'. It has: daily, counterfactual.Cause : dans le premier cas, le dossier runs/ ne contient aucune exécution. Vous n’avez pas encore exécuté de scénario, vous avez réinitialisé, ou votre terminal se trouve dans un autre dossier. Dans le deuxième cas, la dernière exécution est launch, qui n’a aucun test. Elle contient des ventes quotidiennes, pas deux groupes de clients.
Diagnostic : exécutez ls runs pour voir vos exécutions. Le fichier runs/LATEST indique le nom de la dernière.
Solution : ouvrez le dossier larkfield-experiments et exécutez d’abord un scénario. Utilisez xp analyse pour les tests (email, delivery) et xp naive pour les exécutions sans test (launch, logs). Vous pouvez aussi nommer une exécution : xp analyse email.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Dans vos mots : comment le simulateur connaît-il l'effet réel du courriel si le journal place chaque client dans un seul groupe?
Afficher la réponse
Le simulateur fait passer chaque client deux fois, avec les mêmes nombres aléatoires. Une fois dans le monde sans courriel, puis une fois dans le monde avec courriel. Seul le courriel diffère. La différence entre les deux mondes est donc l’effet du courriel sur ce client. L’effet réel est la moyenne de ces différences pour tous les clients, enregistrée dans truth.json. Le journal conserve seulement le monde du groupe choisi à pile ou face, comme un vrai journal. Ainsi, xp analyse voit ce qu’une vraie analyse voit, et seul xp check utilise l’effet réel.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Prédisez et expliquez : vous exécutez le scénario de courriel avec la graine 42. L'estimation sera-t-elle encore de +0,0147? L'effet réel sera-t-il de +0,0119? À quoi vous attendez-vous pour l'intervalle?
Afficher la réponse
Non dans les deux cas. Une nouvelle graine (seed) donne d’autres clients, donc l’estimation change. L’effet réel change aussi, car c’est la moyenne pour les clients de cette exécution. (Avec la graine 41, l’estimation était de +0,0152 et l’effet réel de +0,0145.) L’intervalle contiendra très probablement le nouvel effet réel : sur 200 graines, 97 % des intervalles le contenaient. Mais pas toujours : environ 1 intervalle sur 20 peut ne pas le contenir.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Vérification pratique : montrez que votre projet fonctionne. Qu'affichent les tests, xp analyse et xp check pour le scénario de courriel avec sa graine par défaut?
Afficher la réponse
python -m pytest -q affiche 11 passed (11 tests réussis). Après sim run --scenario email, xp analyse affiche difference +0.0147 (+16.4%), 95% interval +0.0100 to +0.0194, p = 1.14e-09 (Welch t-test) (différence de +0,0147, soit +16,4 %; intervalle à 95 % de +0,0100 à +0,0194; valeur p de 1,14 × 10⁻⁹, test t de Welch), avec 30 208 clients dans A et 29 792 dans B. xp check affiche l’effet réel +0.0119 et indique que l’intervalle contient l’effet réel.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Le projet du cours
larkfield-experimentsa deux commandes :simcrée les données d’un scénario, etxples analyse.xp checkcompare votre dernière réponse à l’effet réel, etxp resetsupprime toutes les exécutions. - Le simulateur fait passer chaque client deux fois avec les mêmes nombres aléatoires, avec et sans le changement. La différence moyenne est l’effet réel dans truth.json. Le journal conserve un monde par client, comme un vrai journal.
- Le test de courriel estime +1,47 point (intervalle à 95 % de +1,00 à +1,94). L’effet réel est de +1,19 : l’estimation le manque, mais l’intervalle le contient. Sur 200 graines, 97 % des intervalles contiennent leur effet réel.
- Les réponses naïves sont très éloignées : +8,3 % contre +2,0 % pour le lancement, +9,70 contre +2,73 dollars pour les utilisateurs.
- Une nouvelle graine donne une nouvelle copie du test : une nouvelle estimation et un nouvel effet réel.
Vous pouvez maintenant exécuter un scénario et comparer n’importe quelle réponse à l’effet réel. Le test de courriel était proche, car un tirage à pile ou face choisissait qui recevait le courriel. Mais pourquoi ce tirage élimine-t-il les facteurs de confusion qui faussaient les réponses naïves? Et que doit-il choisir : un client, une visite ou une commande? Ensuite, vous répartirez au hasard.
Leçon suivante : Répartir au hasard