Aller au contenu
English

Découvrir le simulateur

  • Leçon 4
  • 35 min
  • Module 1 : Pourquoi « ça a monté » n'est pas une réponse

Où nous en sommes

Nous avons des graphes et des contrefactuels sur papier. Nous n'avons encore rien exécuté. Dans cette leçon, nous préparons le projet du cours et exécutons le simulateur. Il connaît l'effet réel de chaque changement. Nous comparons la réponse naïve et celle du test à la vérité. Pensez d'abord à la piste d'entraînement d'une école de conduite.

Leçon 4 sur 30 · Expériences et impact causal : notre changement a-t-il fonctionné?Découvrir le simulateur

Ce que vous saurez faire

Préparez le projet du cours et comparez vos premières réponses à la vérité. Le simulateur connaît l’effet réel de chaque changement. Vous pouvez donc désormais tester chaque méthode avant de lui faire confiance.

Carnet JupyterFaites l'analyse dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter lit le même test du courriel et les mêmes journaux du bloc que le projet. Il calcule la différence et son TermeIntervalle de confianceUne plage autour d’une valeur mesurée, obtenue par une méthode qui contient la vraie valeur 95 fois sur 100. Si l’intervalle d’une différence ne contient pas zéro, la différence n’est probablement pas due au hasard.En savoir plus Estimer l'incertitudeMathématiques et statistiques essentielles pour l'IA à 95 % étape par étape avec pandas. Il les compare ensuite à l’effet réel. Puis il vous demande de calculer les +32,9 % des utilisateurs. Sa première cellule installe pandas, SciPy, statsmodels et matplotlib. La suivante télécharge les données, donc aucune installation locale n’est nécessaire. Environ 20 minutes. Les étapes du projet de cette leçon nécessitent toujours votre ordinateur.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 35 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

  • Python 3.12 et un terminal. VS Code est utile, mais pas obligatoire.
  • Environ 300 Mo d’espace disque libre pour les paquets. Une connexion Internet pour l’installation.
  • Aucun compte, aucune clé et aucun paiement.

Testé sur macOS (Apple silicon) avec Python 3.12.13. Les commandes Windows et Linux sont fournies, mais n’ont pas été exécutées.

Une école de conduite possède une piste d’entraînement. Elle ressemble à une vraie route : virages, intersections, côte et voiture stationnée dont la portière s’ouvre soudainement. Mais l’instructeur l’a construite, donc il sait exactement où se trouve chaque danger. Quand un apprenti freine trop tard, l’instructeur peut mesurer son retard, car la piste possède un corrigé.

Une vraie route n’a pas de corrigé. C’est pourquoi on apprend d’abord sur la piste.

Le simulateur du cours est la piste d’entraînement de TermeLarkfieldUne boutique en ligne canadienne inventée, qui vend des articles pour la maison et le jardin. Ce n’est pas une vraie entreprise. Tous les cours Nextia utilisent son service d’assistance et ses données comme exemple.En savoir plus Découvrez Larkfield. Il crée les données du magasin à partir de règles que nous avons écrites. Il connaît donc l’effet réel de chaque changement. Vous pouvez essayer une méthode et mesurer son écart par rapport à la vérité. Ensuite seulement, vous l’utilisez là où personne ne connaît la vérité.

Dans la première leçon, le simulateur a exécuté deux fois les semaines suivant le lancement du bloc : avec et sans lui. Il fait la même chose pour chaque client de chaque scénario.

Prenons le courriel de rappel. Pour chaque client, le simulateur tire les nombres aléatoires qui déterminent son comportement : fréquence des visites et probabilité de commander. Il utilise ensuite les mêmes nombres aléatoires deux fois : dans le monde sans courriel, puis dans celui avec courriel. Seul le courriel change. Toute différence entre les deux mondes représente donc l’effet du courriel pour ce client.

Un flux de gauche à droite. Un client, avec les mêmes nombres aléatoires pour les deux mondes, mène à deux encadrés. Monde sans courriel : aucune commande. Monde avec courriel : commande passée. Les deux mondes alimentent truth.json : la moyenne de avec moins sans pour tous les clients. Un tirage à pile ou face place ce client dans B. Le journal, customers.csv.gz, conserve donc uniquement le monde avec courriel. Le journal alimente xp analyse, qui donne une estimation et un intervalle à 95 %. xp check compare cette estimation à truth.json.
Le simulateur exécute les deux mondes et écrit la vérité. Le journal, comme un vrai journal, conserve un seul monde par client.
Description textuelle du diagramme

Chaque client est simulé deux fois, avec les mêmes nombres aléatoires : sans courriel, puis avec courriel. La moyenne des différences pour tous les clients est l’effet réel, enregistré dans truth.json. Un tirage à pile ou face place chaque client dans le groupe A ou B. Le journal conserve uniquement le monde de ce groupe, comme le ferait un vrai journal. xp analyse lit uniquement le journal. Il estime l’effet avec un intervalle à 95 %. xp check compare ensuite cette estimation à truth.json.

L’effet réel d’une exécution est la moyenne de (avec − sans) pour ses clients. Il est exact pour cette exécution, avec ces clients. Le journal contient ce qu’une vraie équipe aurait. Pour chaque client, il conserve uniquement le monde du groupe choisi par le tirage à pile ou face. L’analyse voit donc exactement ce qu’une vraie analyse verrait, sans rien de plus. Seule la commande xp check ouvre le corrigé.

Le projet du cours s’appelle larkfield-experiments. Il comprend deux commandes :

  • sim est le simulateur. sim run --scenario email crée les données d’un scénario et les écrit dans un dossier sous runs/.
  • xp est l’outil d’analyse. xp analyse estime un effet, et xp naive calcule une réponse naïve. xp check compare votre dernière réponse à la vérité, et xp reset supprime toutes les exécutions.

Le projet s’enrichit à chaque module. Le module 2 ajoute les tailles d’échantillon, le module 3 ajoute les vérifications d’un test, et ainsi de suite. Au départ, il comporte quatre scénarios : email, delivery, launch et logs. Toutes ses données sont synthétiques.

Vous copiez l’instantané start du dépôt d’exercices du cours, installez ses paquets et exécutez ses tests. Un instantané est le projet tel qu’il existe à un moment du cours. Si votre copie cesse de fonctionner, vous pouvez repartir de l’instantané du module où vous êtes.

  1. Récupérez les fichiers du cours. Ouvrez un terminal. Si vous avez Git, clonez le dépôt d’exercices une fois dans un dossier pour vos projets, comme ~/projects. Si vous l’avez déjà cloné, exécutez plutôt git -C nextia-learning-labs pull.

    Fenêtre de terminal
    cd ~/projects
    git clone https://github.com/Nextia-Intelligence/nextia-learning-labs.git

    Sans Git, téléchargez le fichier ZIP du dépôt et décompressez-le dans ~/projects. Son dossier s’appelle alors nextia-learning-labs-main. Utilisez ce nom à l’étape suivante.

  2. Copiez l’instantané start dans un nouveau dossier, larkfield-experiments, à côté du dossier d’exercices. Ouvrez ensuite ce dossier.

    Fenêtre de terminal
    cp -R nextia-learning-labs/C40/snapshots/start larkfield-experiments
    cd larkfield-experiments
  3. Créez un TermeEnvironnement virtuelUn dossier avec son propre Python et ses propres paquets, pour un seul projet. Les paquets installés là ne changent pas les autres projets.En savoir plus Isoler les dépendancesPython pour l'ingénierie de l'IA en pratique et activez-le. Si PowerShell refuse d’exécuter Activate.ps1, exécutez Set-ExecutionPolicy -Scope CurrentUser RemoteSigned une fois, puis réessayez.

    Fenêtre de terminal
    python3.12 -m venv .venv
    source .venv/bin/activate
  4. Installez les paquets aux versions fixées, puis le projet lui-même. La première commande prend environ une minute.

    Fenêtre de terminal
    python -m pip install -r requirements.txt
    python -m pip install -e . --no-deps

    Le projet utilise NumPy 2.4.6, pandas 3.1.1, SciPy 1.15.3, statsmodels 0.15.0 et pytest 9.2.0. La deuxième commande installe les commandes sim et xp dans votre environnement.

  5. Exécutez les tests.

    Fenêtre de terminal
    python -m pytest -q
    ......... [100%]
    11 passed in 1.38s

    La durée sera différente pour vous. Onze tests réussissent : le projet fonctionne sur votre ordinateur.

  6. Affichez la liste des scénarios.

    Fenêtre de terminal
    sim list
    delivery Free delivery from 50 dollars instead of 75: an A/B test by customer, 28 days
    email A reminder email to customers who have not ordered for 30 days: an A/B test by customer, 14 days
    launch Daily orders and sales around the recommendation block's launch (6 October 2025): no test, one series
    logs 28 days of logs after the recommendation block's launch: who used it and what they spent (no test)

Deux scénarios sont des tests avec répartition aléatoire : email et delivery. Les deux autres n’ont aucun test. launch contient les ventes quotidiennes de la première leçon. logs contient les utilisateurs et les non-utilisateurs de la deuxième leçon. sim about email affiche ce qu’un scénario simule.

Le courriel de rappel de Rafael visait les clients qui n’avaient pas commandé depuis 30 jours. Un tirage à pile ou face a choisi les destinataires : le groupe B a reçu le courriel, le groupe A, non. Le résultat mesuré est une commande dans les 14 jours suivant le courriel.

Faites d’abord une prédiction. Sans courriel, environ 9 % de ces clients commandent en deux semaines. Combien de points de pourcentage supplémentaires attendez-vous avec le courriel? Notez un nombre.

  1. Exécutez le scénario.

    Fenêtre de terminal
    sim run --scenario email
    Scenario email (seed 40): A reminder email to customers who have not ordered for 30 days: an A/B test by customer, 14 days.
    Wrote runs/email-s40: customers (60,000 rows), targets (50,000 rows), truth_targets (50,000 rows). Synthetic data. 1.0 s

    Le simulateur a écrit le dossier runs/email-s40. s40 est la graine (seed) : le nombre qui initialise les nombres aléatoires. La même graine donne toujours les mêmes données. Vos nombres correspondent donc à ceux de cette page.

  2. Analysez-le.

    Fenêtre de terminal
    xp analyse
    Run email-s40 (synthetic): A reminder email to customers who have not ordered for 30 days: an A/B test by customer, 14 days.
    Metric: ordered. A: 30,208 customers, mean 0.0896. B: 29,792 customers, mean 0.1043.
    difference +0.0147 (+16.4%), 95% interval +0.0100 to +0.0194, p = 1.14e-09 (Welch t-test)
    Saved to runs/email-s40/analysis.json. Compare with the true effect: xp check
  3. Comparez-le à la vérité.

    Fenêtre de terminal
    xp check
    Run email-s40: the last analysis was `xp analyse`.
    True effect (from the simulator): +0.0119 share of customers with an order.
    Your estimate: +0.0147, 95% interval +0.0100 to +0.0194: the interval contains the true effect.

Lisez l’analyse ligne par ligne :

  • A : 30 208 clients, moyenne de 0,0896. Sans courriel, 8,96 % des clients ont commandé en deux semaines.
  • B : 29 792 clients, moyenne de 0,1043. Avec le courriel, 10,43 % ont commandé.
  • différence de +0,0147 (+16,4 %). Le courriel a augmenté la proportion de 1,47 point de pourcentage : de 8,96 % à 10,43 %. En termes relatifs, 16,4 % de clients supplémentaires ont commandé.
  • intervalle à 95 % de +0,0100 à +0,0194. Le courriel a ajouté entre 1,00 et 1,94 point. L’intervalle vient de l’erreur type, comme dans le cours de mathématiques. Le test t de Welch fournit cet intervalle. Il permet aux deux groupes d’avoir des dispersions différentes.
  • p = 1,14 × 10⁻⁹. Si le courriel n’avait aucun effet, une différence aussi grande apparaîtrait très rarement par hasard.

Passons à la vérification. L’effet réel est +0,0119 : 1,19 point. Votre estimation, 1,47, n’est pas la vérité. C’est un résultat du hasard, obtenu avec un seul ensemble de clients. Mais l’intervalle, de 1,00 à 1,94, contient la vérité. C’est ce que promet un intervalle à 95 % : pas la réponse exacte, mais un intervalle contenant la vérité dans environ 95 tests sur 100.

L'estimation s'écarte de la vérité de 0,28 point; l'intervalle la contient. Données synthétiques, graine 40.
Description textuelle du graphique

Une estimation sur un axe en points de pourcentage. Le test du courriel avec la graine 40 estime +1,47 point. Son intervalle à 95 % va de +1,00 à +1,94. Une ligne à 0 indique l’absence d’effet. Une ligne à +1,19 indique l’effet réel du simulateur. L’intervalle est loin de 0 et contient +1,19.

Comparez ce résultat aux réponses naïves des deux dernières leçons. Le nombre avant-après était quatre fois trop grand, et celui des utilisateurs, 3,6 fois trop grand. La réponse du tirage à pile ou face s’écarte de 0,28 point. Son intervalle indique l’écart qu’elle pourrait avoir. C’est la différence entre un test et une comparaison naïve.

Le même projet calcule les réponses naïves de ce module. Vous pouvez donc les vérifier de la même façon.

  1. Le lancement du bloc, avant et après :

    Fenêtre de terminal
    sim run --scenario launch
    xp naive
    xp check
    Scenario launch (seed 40): Daily orders and sales around the recommendation block's launch (6 October 2025): no test, one series.
    Wrote runs/launch-s40: daily (427 rows), counterfactual (427 rows). Synthetic data. 0.0 s
    Sales in the 4 weeks before the launch (2025-09-08 to 2025-10-05): 3,877,532 dollars
    Sales in the 4 weeks after the launch (2025-10-06 to 2025-11-02): 4,199,656 dollars
    Change: +8.3%. The same weeks had: Thanksgiving, an autumn sale.
    Saved to runs/launch-s40/analysis.json. Compare with the true effect: xp check
    Run launch-s40: the last analysis was `xp naive`.
    Naive answer: sales +8.3% after the launch.
    True effect of the block (from the simulator): +2.0% of sales (82,562 dollars in the 4 weeks after the launch).
    The naive answer is 6.3 percentage points too high: the holiday, the sale and the trend are in it too.
  2. Les utilisateurs et les non-utilisateurs du bloc :

    Fenêtre de terminal
    sim run --scenario logs
    xp naive
    xp check
    Scenario logs (seed 40): 28 days of logs after the recommendation block's launch: who used it and what they spent (no test).
    Wrote runs/logs-s40: customers (40,000 rows). Synthetic data. 0.2 s
    Customers who used the block: 13,338, mean revenue 39.19 dollars
    Customers who did not: 26,662, mean revenue 29.48 dollars
    Difference: +9.70 dollars (+32.9%).
    Saved to runs/logs-s40/analysis.json. Compare with the true effect: xp check
    Run logs-s40: the last analysis was `xp naive`.
    Naive answer: users spent +9.70 dollars more (+32.9%).
    True effect of the block on its users (from the simulator): +2.73 dollars per customer.
    The naive answer is 3.6 times the true effect: the users were different customers before they used the block.

Ce sont les nombres des deux premières leçons, maintenant obtenus sur votre ordinateur. Les deux nombres naïfs sont des exercices que nous avons créés volontairement. xp naive --weeks 2 change les fenêtres du lancement, comme le faisait l’explorateur de la première leçon : il affiche +12,6 %.

Changez une seule chose : la graine. Une nouvelle graine produit une nouvelle copie du même test avec d’autres clients. C’est comme si Rafael le répétait le mois prochain.

Faites d’abord une prédiction. La nouvelle estimation sera-t-elle la même qu’avant? L’effet réel sera-t-il le même?

Fenêtre de terminal
sim run --scenario email --seed 41
xp analyse
xp check
Scenario email (seed 41): A reminder email to customers who have not ordered for 30 days: an A/B test by customer, 14 days.
Wrote runs/email-s41: customers (60,000 rows), targets (50,000 rows), truth_targets (50,000 rows). Synthetic data. 1.0 s
Run email-s41 (synthetic): A reminder email to customers who have not ordered for 30 days: an A/B test by customer, 14 days.
Metric: ordered. A: 30,006 customers, mean 0.0896. B: 29,994 customers, mean 0.1048.
difference +0.0152 (+17.0%), 95% interval +0.0105 to +0.0199, p = 3.22e-10 (Welch t-test)
Saved to runs/email-s41/analysis.json. Compare with the true effect: xp check
Run email-s41: the last analysis was `xp analyse`.
True effect (from the simulator): +0.0145 share of customers with an order.
Your estimate: +0.0152, 95% interval +0.0105 to +0.0199: the interval contains the true effect.

Les deux ont changé. L’estimation est maintenant de +1,52 point, et l’effet réel, de +1,45 point. La vérité est la moyenne pour les clients de cette exécution, et ce sont d’autres clients. L’intervalle contient encore la vérité.

Le cours a exécuté le test du courriel avec 20 graines, de 40 à 59. Le graphique montre les 10 premières. Chaque ligne représente un intervalle décalé pour placer son propre effet réel à zéro. Un intervalle qui traverse la ligne zéro contient sa vérité.

Dix copies du même test : les estimations se dispersent autour de leurs vérités, et chaque intervalle traverse zéro. Données synthétiques, graines 40 à 49.
Description textuelle du graphique

Dix lignes, graines 40 à 49. Chaque ligne montre l’estimation moins l’effet réel de cette graine, en points de pourcentage. Son intervalle à 95 % est décalé de la même façon. Une ligne à 0 indique l’effet réel. Les estimations se dispersent entre environ −0,4 et +0,3 point. Chaque intervalle traverse la ligne zéro, donc chacun contient son propre effet réel. La graine 40 correspond à l’exécution de cette leçon : à +0,28 point de sa vérité.

Les 20 intervalles contenaient leur vérité. Sur 200 graines, le cours a mesuré 97 %. Un intervalle à 95 % devrait être juste environ 95 fois sur 100. Un résultat de 97 % correspond donc à nos attentes. Avec 200 graines, quelques points de plus ou de moins sont normaux.

C’est la vérification que les vraies équipes ne peuvent jamais effectuer. Ici, vous pouvez l’effectuer pour chaque méthode du cours.

xp reset supprime le dossier runs/ et toutes ses exécutions. Votre code ne change pas. La commande demande d’abord une confirmation :

Fenêtre de terminal
xp reset
Delete runs with 4 runs? [y/N] y
Deleted runs (4 runs). Start again with: sim run --scenario email

Tapez y (oui) et appuyez sur Entrée. Toute autre réponse ne supprime rien. xp reset --yes supprime sans demander. Vous pouvez toujours recréer les exécutions : les graines donnent les mêmes données chaque fois.

Utilisez-le pour apprendre et tester une méthode. Il montre l’écart entre une réponse et la vérité, et la fréquence à laquelle un intervalle la contient. Utilisez-le avant de faire confiance à une méthode sur des données réelles. Utilisez-le aussi pour montrer à un collègue pourquoi un nombre naïf induit en erreur.

Ne l’utilisez pas pour en apprendre sur les clients de Larkfield. Les clients du simulateur suivent nos règles, et nous avons choisi les effets. Une méthode qui fonctionne ici peut échouer sur des données réelles qui ne respectent pas ses hypothèses. Le simulateur montre comment une méthode se comporte quand vous connaissez ses hypothèses. Les données réelles ne vous disent pas quelles hypothèses sont respectées.

Le coût est de quelques minutes d’installation et d’un peu de discipline. Écrivez « simulé » à côté de chaque nombre obtenu, comme le fait sim dans sa propre sortie.

Erreur courante

command not found : sim (commande introuvable : sim)

Symptôme : vous tapez sim run --scenario email, et le terminal répond zsh: command not found: sim (commande sim introuvable), ou un message semblable dans bash ou PowerShell.

Cause : l’environnement virtuel n’est pas actif. Cela arrive dans chaque nouvelle fenêtre de terminal. Les commandes sim et xp se trouvent dans .venv.

Solution : ouvrez le dossier du projet et activez de nouveau l’environnement : source .venv/bin/activate sur macOS et Linux, .venv\Scripts\Activate.ps1 sur Windows. Si la commande manque toujours, exécutez de nouveau python -m pip install -e . --no-deps.

Erreur courante

Aucune exécution, ou le mauvais type d'exécution

Symptôme : xp analyse s’arrête avec l’un de ces messages :

No run yet. Create one with: sim run --scenario email
The run launch-s40 has no table 'customers'. It has: daily, counterfactual.

Cause : dans le premier cas, le dossier runs/ ne contient aucune exécution. Vous n’avez pas encore exécuté de scénario, vous avez réinitialisé, ou votre terminal se trouve dans un autre dossier. Dans le deuxième cas, la dernière exécution est launch, qui n’a aucun test. Elle contient des ventes quotidiennes, pas deux groupes de clients.

Diagnostic : exécutez ls runs pour voir vos exécutions. Le fichier runs/LATEST indique le nom de la dernière.

Solution : ouvrez le dossier larkfield-experiments et exécutez d’abord un scénario. Utilisez xp analyse pour les tests (email, delivery) et xp naive pour les exécutions sans test (launch, logs). Vous pouvez aussi nommer une exécution : xp analyse email.

Vérifiez votre compréhension

Dans vos mots : comment le simulateur connaît-il l'effet réel du courriel si le journal place chaque client dans un seul groupe?

Afficher la réponse

Le simulateur fait passer chaque client deux fois, avec les mêmes nombres aléatoires. Une fois dans le monde sans courriel, puis une fois dans le monde avec courriel. Seul le courriel diffère. La différence entre les deux mondes est donc l’effet du courriel sur ce client. L’effet réel est la moyenne de ces différences pour tous les clients, enregistrée dans truth.json. Le journal conserve seulement le monde du groupe choisi à pile ou face, comme un vrai journal. Ainsi, xp analyse voit ce qu’une vraie analyse voit, et seul xp check utilise l’effet réel.

Vérifiez votre compréhension

Prédisez et expliquez : vous exécutez le scénario de courriel avec la graine 42. L'estimation sera-t-elle encore de +0,0147? L'effet réel sera-t-il de +0,0119? À quoi vous attendez-vous pour l'intervalle?

Afficher la réponse

Non dans les deux cas. Une nouvelle graine (seed) donne d’autres clients, donc l’estimation change. L’effet réel change aussi, car c’est la moyenne pour les clients de cette exécution. (Avec la graine 41, l’estimation était de +0,0152 et l’effet réel de +0,0145.) L’intervalle contiendra très probablement le nouvel effet réel : sur 200 graines, 97 % des intervalles le contenaient. Mais pas toujours : environ 1 intervalle sur 20 peut ne pas le contenir.

Vérifiez votre compréhension

Vérification pratique : montrez que votre projet fonctionne. Qu'affichent les tests, xp analyse et xp check pour le scénario de courriel avec sa graine par défaut?

Afficher la réponse

python -m pytest -q affiche 11 passed (11 tests réussis). Après sim run --scenario email, xp analyse affiche difference +0.0147 (+16.4%), 95% interval +0.0100 to +0.0194, p = 1.14e-09 (Welch t-test) (différence de +0,0147, soit +16,4 %; intervalle à 95 % de +0,0100 à +0,0194; valeur p de 1,14 × 10⁻⁹, test t de Welch), avec 30 208 clients dans A et 29 792 dans B. xp check affiche l’effet réel +0.0119 et indique que l’intervalle contient l’effet réel.

Récapitulatif

  • Le projet du cours larkfield-experiments a deux commandes : sim crée les données d’un scénario, et xp les analyse. xp check compare votre dernière réponse à l’effet réel, et xp reset supprime toutes les exécutions.
  • Le simulateur fait passer chaque client deux fois avec les mêmes nombres aléatoires, avec et sans le changement. La différence moyenne est l’effet réel dans truth.json. Le journal conserve un monde par client, comme un vrai journal.
  • Le test de courriel estime +1,47 point (intervalle à 95 % de +1,00 à +1,94). L’effet réel est de +1,19 : l’estimation le manque, mais l’intervalle le contient. Sur 200 graines, 97 % des intervalles contiennent leur effet réel.
  • Les réponses naïves sont très éloignées : +8,3 % contre +2,0 % pour le lancement, +9,70 contre +2,73 dollars pour les utilisateurs.
  • Une nouvelle graine donne une nouvelle copie du test : une nouvelle estimation et un nouvel effet réel.

Vous pouvez maintenant exécuter un scénario et comparer n’importe quelle réponse à l’effet réel. Le test de courriel était proche, car un tirage à pile ou face choisissait qui recevait le courriel. Mais pourquoi ce tirage élimine-t-il les facteurs de confusion qui faussaient les réponses naïves? Et que doit-il choisir : un client, une visite ou une commande? Ensuite, vous répartirez au hasard.

Leçon suivante : Répartir au hasard