Différence des différences
- Leçon 17
- 40 min
- Module 5 : Quand la répartition aléatoire est impossible : les expériences naturelles
Où nous en sommes
Nos tests fonctionnaient parce que nous choisissions qui recevait le changement. Parfois, personne ne choisissait au hasard : la livraison gratuite a commencé au Québec pour des raisons d'affaires. Dans cette leçon, nous comparons les variations du Québec et de l'Ontario avec la différence des différences. Nous vérifions aussi son hypothèse principale.
Leçon 17 sur 30 · Expériences et impact causal : notre changement a-t-il fonctionné?Différence des différences
1. Pourquoi « ça a monté » n'est pas une réponse
2. Concevoir un test A/B
3. Analyser le test
4. Les pièges des vrais tests
5. Quand la répartition aléatoire est impossible : les expériences naturelles
6. Ajuster pour les facteurs de confusion dans des données d'observation
7. Le gain incrémental : à qui appliquer le traitement?
8. Les expériences pour les fonctions d'IA et en production
Ce que vous saurez faire
Estimez l’effet d’un changement qui a commencé dans une région, sans test. Comparez la variation de cette région à celle d’une région qui n’a pas reçu le changement. Vérifiez ensuite l’hypothèse derrière cette comparaison et dites jusqu’où vous lui faites confiance.
Carnet JupyterFaites cette leçon dans un carnet Jupyter
Dans le carnet (notebook) Jupyter, vous tracez les ventes hebdomadaires du Québec et de l’Ontario. Vous calculez le tableau 2 × 2 à la main. Puis vous exécutez la régression avec des erreurs regroupées par zone, ainsi qu’un test placebo. Les cellules de préparation installent les paquets. Aucune préparation locale n’est nécessaire. Environ 40 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Le contrefactuel : ce qui se serait passé sans le changement, dans La fonctionnalité qui a « fait monter les ventes ».
- Un intervalle à 95 %, dans Le résultat et son incertitude. Pour un rappel, consultez Estimer l’incertitude dans le cours de mathématiques.
- Une régression avec une variable supplémentaire, dans Gagner en précision avec CUPED.
Ce qu’il vous faut sur votre ordinateur (seulement pour les étapes du projet)
- Le projet
larkfield-experimentsà l’instantanéend-of-m04, dans Regards répétés, avec.venvactif.
Testé sur macOS avec Python 3.12 et l’instantané end-of-m05 du projet. Windows n’a pas été testé.
Deux villes et une nouvelle vitrine
Section intitulée « Deux villes et une nouvelle vitrine »Une jardinerie a deux magasins : un dans la ville A et un dans la ville B. En mai, le propriétaire installe une nouvelle vitrine seulement au magasin A. Les ventes du magasin A passent de 200 à 236 plantes par semaine. C’est 36 de plus.
Est-ce grâce à la vitrine? Mai marque aussi le début de la saison de plantation. Toutes les jardineries vendent davantage en mai.
Le magasin B donne la réponse. Il n’a pas eu la nouvelle vitrine, mais il a connu la même saison. Ses ventes sont passées de 150 à 165 : 15 de plus. La saison seule a donc ajouté environ 15 plantes. Le magasin A en a vendu 36 de plus. La vitrine a probablement ajouté le reste : 36 − 15 = 21 plantes par semaine.
Le propriétaire n’a pas fait de test. Il a utilisé un magasin sans le changement pour voir l’effet de la saison.
Le problème : la livraison gratuite a commencé au Québec
Section intitulée « Le problème : la livraison gratuite a commencé au Québec »Hana, la responsable du marchandisage, voulait offrir la livraison gratuite à partir de 50 dollars plutôt que de 75. TermeLarkfieldUne boutique en ligne canadienne inventée, qui vend des articles pour la maison et le jardin. Ce n’est pas une vraie entreprise. Tous les cours Nextia utilisent son service d’assistance et ses données comme exemple.En savoir plus Découvrez Larkfield n’a pas testé ce changement à pile ou face. L’entreprise a lancé la nouvelle règle au Québec le lundi 2 juin 2025, pour des raisons d’affaires. Les autres provinces ont gardé l’ancienne règle.
Hana demande : « La livraison gratuite a-t-elle augmenté les ventes du Québec, et de combien? »
Les données sont synthétiques : le simulateur du cours les produit, donc il connaît l’effet réel. Chaque province a ses propres zones de livraison, 60 au total. Le graphique montre les ventes hebdomadaires du Québec et de l’Ontario. Pour chaque courbe, 100 représente la moyenne de cette province pendant les 26 semaines avant le changement.
- Québec
- Ontario
Description textuelle du graphique
Un graphique en courbes sur 78 semaines, de 52 semaines avant à 25 semaines après le 2 juin 2025. Pour chaque courbe, 100 représente la moyenne de la province pendant les 26 semaines avant le changement. Les deux provinces suivent la même saison. Les ventes sont élevées à la fin du printemps 2025 : environ 125 au Québec et 119 en Ontario. Elles sont faibles en automne et en hiver, autour de 87 à 89. Avant la semaine 0, les deux courbes évoluent presque ensemble. Après la semaine 0, la courbe du Québec dépasse de quelques points celle de l’Ontario la plupart des semaines.
La saison fait varier les ventes bien plus que la livraison gratuite. Les ventes du Québec ont augmenté de 7,1 % entre les 26 semaines avant et les 26 semaines après le changement. Mais le printemps et l’été sont meilleurs que l’hiver, avec ou sans livraison gratuite. Avec 52 semaines avant plutôt que 26, la même comparaison donne +9,3 %. La réponse change selon la fenêtre. Aucun des deux nombres ne représente donc l’effet.
L’idée : comparer les variations
Section intitulée « L’idée : comparer les variations »La réponse de la jardinerie porte un nom : différence des différences, souvent abrégée DiD. Vous calculez deux différences, puis la différence entre elles :
- La variation dans la région qui a reçu le changement (Québec) : après moins avant.
- La variation dans une région de comparaison qui ne l’a pas reçu (Ontario) : après moins avant.
- L’effet : la première variation moins la deuxième.
La deuxième variation montre l’effet de la saison et de tout le reste. Soustrayez-la, et ce qui reste est l’effet.
Un petit exemple où chaque valeur est visible
Section intitulée « Un petit exemple où chaque valeur est visible »Voici de nouveau la jardinerie, sous forme de tableau et de graphique. Nous avons inventé les nombres pour cet exemple.
| Avant (avril) | Après (mai) | Variation | |
|---|---|---|---|
| Magasin A (nouvelle vitrine) | 200 | 236 | +36 |
| Magasin B (sans vitrine) | 150 | 165 | +15 |
| Différence des différences | 36 − 15 = +21 |
- Magasin A (nouvelle vitrine)
- Magasin B (sans vitrine)
- Magasin A sans vitrine (hypothèse)
Description textuelle du graphique
Deux périodes, avant et après. Le magasin A passe de 200 à 236 plantes par semaine. Le magasin B passe de 150 à 165. Une courbe en tirets montre le magasin A sans vitrine, s’il avait évolué comme le magasin B : de 200 à 215. L’écart entre 236 et 215 est de 21 plantes : l’effet de la vitrine.
La courbe en tirets est le contrefactuel : les ventes du magasin A sans la vitrine. Personne ne les a observées. Nous avons supposé que le magasin A aurait évolué comme le magasin B. Tout dépend de cette hypothèse.
L’hypothèse : des tendances parallèles
Section intitulée « L’hypothèse : des tendances parallèles »La différence des différences suppose des tendances parallèles. Sans le changement, les deux régions auraient évolué du même montant. Leurs niveaux peuvent différer : le Québec vend moins que l’Ontario. Leurs trajectoires doivent évoluer ensemble.
Les ventes de Larkfield augmentent et diminuent en pourcentage de leur taille. Nous comparons donc sur une échelle logarithmique. Un logarithme transforme « fois 1,06 » en « plus 0,058 ». Sur cette échelle, des lignes parallèles signifient la même variation en pourcentage. Le résultat est ensuite exprimé en pourcentage.
Vous ne pouvez pas vérifier l’hypothèse après le changement : le Québec sans livraison gratuite n’existe pas. Vous pouvez la vérifier avant le changement. Si les deux régions ont évolué ensemble pendant un an, elles auraient probablement continué. Ce n’est pas une preuve.
Larkfield : comparer le Québec à l’Ontario
Section intitulée « Larkfield : comparer le Québec à l’Ontario »D’abord, mettez le projet à jour vers l’instantané end-of-m05. Il ajoute les outils de ce module : xp did, xp synth, xp rdd, xp its, et les scénarios regions et loyalty. Vous copiez ses fichiers dans le dossier de votre projet. Vos propres exécutions et plans restent.
-
Ouvrez un terminal dans le dossier qui contient
larkfield-experimentsetnextia-learning-labs. Si vous avez cloné le dépôt des laboratoires avec Git, mettez-le d’abord à jour.Fenêtre de terminal git -C nextia-learning-labs pull -
Copiez l’instantané dans votre projet.
Fenêtre de terminal cp -R nextia-learning-labs/C40/snapshots/end-of-m05/. larkfield-experiments/cd larkfield-experimentssource .venv/bin/activateFenêtre de terminal Copy-Item -Recurse -Force nextia-learning-labs\C40\snapshots\end-of-m05\* larkfield-experimentscd larkfield-experiments.venv\Scripts\Activate.ps1Les paquets sont les mêmes que dans le module 4. Vous n’installez donc rien de nouveau.
-
Exécutez les tests.
Fenêtre de terminal python -m pytest -q....................... [100%]26 passed in 3.53sVingt-six tests réussissent. Votre durée sera différente.
-
Simulez le déploiement.
Fenêtre de terminal sim run --scenario regionsScenario regions (seed 40): Free delivery in Quebec first (from 2 June 2025): weekly sales of 60 areas in 10 provinces (no test).Wrote runs/regions-s40: areas_weekly (4,680 rows), provinces_weekly (780 rows), counterfactual (4,680 rows). Synthetic data. 0.2 scounterfactual(contrefactuel) contient les zones du Québec sans le changement. Seul le simulateur les connaît, etxp checkles lit. -
Exécutez la différence des différences, puis comparez avec l’effet réel.
Fenêtre de terminal xp didxp checkDifference-in-differences: QC against ON (24 areas), change on 2025-06-02.Effect on weekly sales: +5.3% (95% interval +4.6% to +6.0%, p = 3.27e-56; errors clustered by area).Parallel trends before the change: weekly growth +0.157% (treated) against +0.174% (control).Run regions-s40: the last analysis was `xp did`.True effect (from the simulator): +6.0% on Quebec's weekly sales.Your estimate: +5.3% (+4.6% to +6.0%), -0.7 percentage points from the truth; the interval does NOT contain it.
Lire la sortie
Section intitulée « Lire la sortie »xp did indique que la livraison gratuite a augmenté les ventes hebdomadaires du Québec de 5,3 %. L’effet réel est de 6,0 %. L’estimation est proche, et bien meilleure que les valeurs naïves de +7,1 % ou +9,3 %. Mais son TermeIntervalle de confianceUne plage autour d’une valeur mesurée, obtenue par une méthode qui contient la vraie valeur 95 fois sur 100. Si l’intervalle d’une différence ne contient pas zéro, la différence n’est probablement pas due au hasard.En savoir plus Estimer l'incertitudeMathématiques et statistiques essentielles pour l'IA se termine à +5,96 %, juste sous l’effet réel.
La troisième ligne compare les tendances avant le changement. Les ventes du Québec augmentaient de 0,157 % par semaine et celles de l’Ontario de 0,174 %. Elles semblent parallèles.
La régression derrière le calcul
Section intitulée « La régression derrière le calcul »xp did n’utilise pas un seul nombre par province. Il utilise les 24 zones de livraison des deux provinces, semaine par semaine, dans une seule régression :
- un terme pour chaque zone : il absorbe le niveau propre à chaque zone;
- un terme pour chaque semaine : il absorbe la saison et tout ce qui a touché toutes les zones cette semaine-là;
- un terme oui ou non, « au Québec, après le changement » : son coefficient est l’effet.
Les termes des semaines jouent le rôle de l’Ontario, et la régression utilise les 78 semaines.
Les semaines d’une même zone ne sont pas indépendantes : une bonne zone reste bonne pendant des mois. xp did utilise donc des erreurs regroupées par zone. Une grappe est un groupe de lignes qui évoluent ensemble. L’intervalle compte alors 24 zones, et non 1 872 zones-semaines. Sans regroupement par grappes, l’intervalle serait beaucoup trop étroit.
La même réponse à la main
Section intitulée « La même réponse à la main »Le carnet calcule le tableau 2 × 2 avec 26 semaines de chaque côté. Voici ses nombres : les ventes hebdomadaires moyennes et la variation sur l’échelle logarithmique.
| Avant (26 semaines) | Après (26 semaines) | Variation (log × 100) | |
|---|---|---|---|
| Québec | 254 237 dollars | 272 277 dollars | +6,89 |
| Ontario | 390 509 dollars | 395 530 dollars | +1,33 |
| Différence des différences | 6,89 − 1,33 = +5,56, donc +5,7 % |
Le tableau donne +5,7 %, la régression +5,3 % : ils utilisent des semaines différentes. Les deux sont proches de l’effet réel pour cette exécution.
Déplacez les fenêtres vous-même
Section intitulée « Déplacez les fenêtres vous-même »L’explorateur montre les ventes hebdomadaires du Québec et celles de l’Ontario ramenées au niveau du Québec dans la fenêtre avant. Son affichage ajoute une estimation simple : la variation du Québec divisée par celle de l’Ontario. C’est l’idée du tableau, pas la régression du projet.
Explorer
Le Québec comparé à l'Ontario, et le Québec sans livraison gratuite
Prédisez d’abord : Les ventes du Québec ont augmenté de 7,1 % entre les 26 semaines avant et les 26 semaines après. Quelle part attribuez-vous à la livraison gratuite? Écrivez un nombre, puis affichez le Québec sans livraison gratuite.
- Moyenne par semaine avant
- 254 237
- Moyenne par semaine après
- 272 277
- Variation naïve (après contre avant)
- +7,1 %
- Contre l’Ontario (différence des différences)
- +5,7 %
- Effet réel (simulateur)
- +6,0 %
- Réponse naïve moins effet réel
- +1,1 points
Ventes moyennes par semaine : 254 237 dollars avant, 272 277 dollars après. La variation naïve est de +7,1 %. La comparaison avec l’Ontario (différence des différences) donne +5,7 %. Sans ce changement (la livraison gratuite), les mêmes 26 semaines après le changement auraient vendu 6 678 494 dollars. Il a ajouté +6,0 % (+400 708 dollars). La réponse naïve est trop haute de 1,1 points.
- Québec (avec la livraison gratuite)
- Québec sans la livraison gratuite (simulateur)
- Ontario, mis à l’échelle du Québec avant le déploiement
En couleur claire : les deux fenêtres; les lignes noires sont leurs moyennes
Description textuelle de l’explorateur
Le graphique montre les ventes hebdomadaires du Québec de juin 2024 à novembre 2025, en milliers de dollars par semaine. Une ligne verticale marque le 2 juin 2025. Des zones ombrées indiquent les fenêtres avant et après. Avec 26 semaines de chaque côté, la moyenne est de 254 237 dollars par semaine avant et de 272 277 après. C’est une variation naïve de +7,1 %. Une deuxième courbe montre l’Ontario, ramené au niveau du Québec dans la fenêtre avant. La variation de l’Ontario est beaucoup plus petite, et la différence des différences de l’explorateur est de +5,7 %. Le bouton affiche une courbe en tirets : le Québec sans livraison gratuite, provenant du simulateur. L’effet réel est de +6,0 %. Avec 4 semaines de chaque côté, la variation naïve et l’estimation de l’explorateur sont toutes deux de +6,8 %. Avec 52 semaines avant et 26 après, la variation naïve est de +9,3 % et l’estimation de +5,4 %.
Essayez deux choses. Réglez la fenêtre avant à 52 semaines : la variation naïve passe à +9,3 %. Mais l’estimation comparée à l’Ontario reste près de +5,4 %. Affichez ensuite le Québec sans livraison gratuite. L’écart entre les deux courbes du Québec est l’effet réel, environ 6 %.
L’explorateur calcule un simple rapport des moyennes des fenêtres, comme dans le tableau 2 × 2. Ses nombres diffèrent donc un peu de xp did, qui ajuste une régression sur chaque semaine et zone (+5,3 %).
Vérifiez l’hypothèse avant de lui faire confiance
Section intitulée « Vérifiez l’hypothèse avant de lui faire confiance »Il existe deux vérifications courantes. Les deux examinent seulement les semaines avant le changement.
Comparez les tendances. xp did les a déjà affichées : +0,157 % et +0,174 % par semaine. Un grand écart serait un avertissement.
Exécutez un test placebo. Un placebo est un faux traitement. Faites comme si le changement avait commencé 26 semaines plus tôt, le 2 décembre 2024. Utilisez seulement les semaines avant le vrai changement. Rien n’a changé à cette date, donc l’« effet » devrait être proche de zéro.
xp did --placeboDifference-in-differences: QC against ON (24 areas), change on 2025-06-02. Effect on weekly sales: +5.3% (95% interval +4.6% to +6.0%, p = 3.27e-56; errors clustered by area). Parallel trends before the change: weekly growth +0.157% (treated) against +0.174% (control). Placebo (a fake change on 2024-12-02, weeks before the real one only): -0.7% (-1.5% to +0.1%, p = 0.0718). A clear placebo effect means the trends were not parallel.L’effet placebo est de −0,7 %, et son intervalle contient zéro (p = 0,07). La vérification réussit. La plupart des équipes annonceraient maintenant +5,3 % avec confiance.
Une surprise à reconnaître : les vérifications ont réussi, mais la méthode s’est trompée
Section intitulée « Une surprise à reconnaître : les vérifications ont réussi, mais la méthode s’est trompée »Le simulateur permet de faire ce qu’aucune vraie équipe ne peut faire. Nous exécutons le même déploiement avec 50 graines (seeds) et comparons chaque estimation à son effet réel.
- Comparée à l’Ontario, l’estimation moyenne était de +3,0 %, contre un effet réel de +6,0 %. L’intervalle contenait l’effet réel dans seulement 2 % des exécutions : 1 sur 50.
- Comparée aux neuf autres provinces, la moyenne était de +4,3 %. L’intervalle contenait l’effet réel dans 10 % des exécutions.
Description textuelle du graphique
Deux panneaux avec une ligne verticale à l’effet réel, +6,0 %. Panneau du haut, cette exécution : comparaison avec l’Ontario, +5,3 % (+4,6 % à +6,0 %); avec toutes les provinces, +5,5 % (+4,9 % à +6,1 %). Panneau du bas, moyenne sur 50 graines : comparaison avec l’Ontario, +3,0 %; avec toutes les provinces, +4,3 %. Les deux moyennes sont loin à gauche de l’effet réel.
Notre exécution, avec la graine 40, nous a donc été favorable. Pourquoi la méthode se trompe-t-elle? sim about regions le dit : le Québec partage une lente tendance de l’Est avec les provinces de l’Atlantique, mais pas l’Ontario. Cette tendance de l’Est dérive vers le bas en moyenne. Sans livraison gratuite, le Québec aurait pris un peu de retard sur l’Ontario. La différence des différences suppose le contraire. Elle attribue donc cette perte à la livraison gratuite.
Le graphique suivant montre l’écart entre le Québec et l’Ontario, par blocs de 4 semaines. L’écart avant le changement est ramené à zéro. La courbe pleine est l’écart réel. La courbe en tirets est l’écart sans livraison gratuite, provenant du simulateur. La différence des différences suppose que la courbe en tirets reste à zéro après le changement.
- Écart réel
- Écart sans livraison gratuite (simulateur)
Description textuelle du graphique
Un graphique en courbes de 20 blocs de 4 semaines, de 52 semaines avant à 26 semaines après le changement. Avant le changement, les deux courbes sont identiques et évoluent entre −2,6 et +1,4 autour de zéro. Après le changement, l’écart réel se situe entre +3,3 et +7,3 points. L’écart sans livraison gratuite, provenant du simulateur, se situe entre −2,6 et +1,5. Il est surtout sous zéro : −1,5, −1,3, −2,6, −0,6 et −0,7 dans les cinq derniers blocs.
Avant le changement, la dérive était trop petite pour être visible. Elle se cachait dans le bruit d’une semaine à l’autre, et les vérifications ont réussi. C’est la principale limite de la méthode. Les vérifications des tendances avant le changement ne peuvent détecter qu’un écart plus grand que le bruit.
TermeTomásL’ingénieur en IA de Larkfield. Il propose souvent un raccourci rapide, et la leçon montre pourquoi il échoue., l’ingénieur en IA, demande : « Donc, la différence des différences ne sert à rien? » Non. Elle a ramené les valeurs naïves de +7,1 % ou +9,3 % à +5,3 %, avec un argument clair. Mais l’intervalle couvre seulement le bruit. Il ne couvre pas une mauvaise région de comparaison.
Quand l’utiliser, quand l’éviter et ce qu’elle coûte
Section intitulée « Quand l’utiliser, quand l’éviter et ce qu’elle coûte »Utilisez la différence des différences quand :
- un changement a commencé dans certaines unités (régions, magasins, équipes), mais pas dans les autres, à une date connue;
- vous avez des données datant de bien avant le changement, pour vérifier les tendances;
- les unités de comparaison n’ont connu aucun autre changement au même moment.
Ne vous y fiez pas quand :
- les tendances avant le changement diffèrent clairement, ou le test placebo trouve un effet;
- quelqu’un a choisi les unités parce qu’elles avaient de bons ou de mauvais résultats. Larkfield a choisi le Québec « pour des raisons d’affaires ». Si la raison était un recul au Québec, la méthode donne une mauvaise réponse;
- autre chose a changé dans un groupe au même moment, comme un jour férié local ou les soldes d’un concurrent.
Le coût est du temps et de l’attention : un an d’historique, un bon groupe de comparaison et une hypothèse clairement énoncée.
Exercice guidé : le tableau 2 × 2 et la régression
Section intitulée « Exercice guidé : le tableau 2 × 2 et la régression »- Ouvrez le carnet dans l’encadré Faire cette leçon dans un carnet en haut de cette page.
- Exécutez les cellules de configuration et la cellule utilitaire.
- Dans la section 1, prédisez si vous verrez un saut au Québec le 2 juin. Tracez ensuite les deux provinces. La saison fait bouger les deux courbes bien plus que le changement.
- Dans la section 2, calculez le tableau 2 × 2. Vous voyez
difference-in-differences: +5.7%(différence des différences : +5,7 %). - Dans la section 3, exécutez la régression avec les erreurs regroupées par zone. Vous voyez
effect +5.28%(effet : +5,28 %) et l’effet réel+6.0%. - Dans la section 4, exécutez le test placebo. Vous voyez
placebo effect -0.7%, p = 0.072(effet placebo : −0,7 %, p = 0,072). - Dans la section 5, exécutez la régression avec les 60 zones et placez l’effet dans
did_all. Exécutez la cellule de vérification. Elle afficheCheck passed(vérification réussie).
Afficher la réponse à l’étape 7
da = areas.copy()da["treated"] = (da.province == "QC").astype(int)da["log_revenue"] = np.log(da.revenue)ma = smf.ols("log_revenue ~ treated:post + C(area) + C(week)", data=da).fit( cov_type="cluster", cov_kwds={"groups": da["area"].astype("category").cat.codes})did_all = round(float(np.expm1(ma.params["treated:post"])), 4)print(did_all)La valeur est 0,0551 : +5,5 %. Le même nombre qu’avec xp did --control all.
À vous de jouer : toutes les provinces comme comparaison
Section intitulée « À vous de jouer : toutes les provinces comme comparaison »L’Ontario seul peut mal correspondre au Québec. Exécutez la différence des différences avec les neuf autres provinces comme comparaison, puis comparez le résultat à l’effet réel. Avant de l’exécuter, prédisez : l’estimation se rapprochera-t-elle de l’effet réel ou s’en éloignera-t-elle?
Afficher la réponse
xp did --control allxp checkDifference-in-differences: QC against AB, BC, MB, NB, NL, NS, ON, PE, SK (60 areas), change on 2025-06-02. Effect on weekly sales: +5.5% (95% interval +4.9% to +6.1%, p = 6.25e-69; errors clustered by area). Parallel trends before the change: weekly growth +0.157% (treated) against +0.160% (control).Run regions-s40: the last analysis was `xp did`.True effect (from the simulator): +6.0% on Quebec's weekly sales.Your estimate: +5.5% (+4.9% to +6.1%), -0.5 percentage points from the truth; the interval contains it.L’estimation se rapproche de l’effet réel : +5,5 %, et l’intervalle contient maintenant +6,0 %. Le groupe de comparaison comprend maintenant les provinces de l’Atlantique, qui partagent une partie de la tendance de l’est du Québec. L’écart entre les tendances avant le changement est aussi plus petit (0,157 % contre 0,160 % par semaine). Mais sur 50 graines, cette comparaison ne trouve encore que +4,3 % en moyenne. Un mélange de toutes les provinces est meilleur que l’Ontario, mais pas assez bon.
Erreur courante
« Le test placebo a réussi, donc l'estimation est juste »
Symptôme : une équipe compare le Québec à l’Ontario et obtient +5,3 % (+4,6 % à +6,0 %). Les tendances avant le changement semblent parallèles, et le test placebo réussit (p = 0,07). L’équipe rapporte +5,3 %. Un test ultérieur avec un tirage à pile ou face trouve environ +6 %.
Cause : les deux régions avaient des tendances légèrement différentes. L’écart était trop petit pour être visible dans l’année précédant le changement, mais il s’est accumulé ensuite. Le test placebo ne peut trouver qu’un écart plus grand que le bruit. L’intervalle couvre seulement le bruit, pas une mauvaise région de comparaison.
Solution : traitez une vérification réussie comme une « absence d’avertissement », pas comme une preuve. Essayez d’autres groupes de comparaison (xp did --control all) et un contrôle synthétique. Si les réponses diffèrent, rapportez l’intervalle des résultats et précisez l’hypothèse nécessaire à chacune. Si la décision est importante, menez un vrai test dans d’autres provinces.
Vérifiez votre compréhension
Les ventes du magasin A sont passées de 400 à 460 après l'installation d'un nouveau présentoir. Le magasin B, sans présentoir, est passé de 300 à 330 durant les mêmes semaines. Quelle est l'estimation de l'effet du présentoir par différence des différences, et quelle hypothèse fait-elle?
Afficher la réponse
Le magasin A a progressé de +60 et le magasin B de +30. L’estimation est 60 − 30 = +30 par semaine. Elle suppose des tendances parallèles : sans le présentoir, le magasin A aurait aussi gagné 30. Sur l’échelle logarithmique, le magasin A a progressé de 15 % et le magasin B de 10 %. Si les magasins progressent en pourcentages, l’estimation est plutôt 1,15 ÷ 1,10 − 1, soit environ +4,5 %. L’échelle choisie fait partie de l’hypothèse.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Pourquoi xp did regroupe-t-il ses erreurs par zone? Que deviendrait l'intervalle sans regroupement?
Afficher la réponse
Les semaines d’une même zone ne sont pas indépendantes : une zone qui vend bien cette semaine vend généralement bien la semaine suivante. Sans regroupement, la régression traite 1 872 paires zone-semaine comme des éléments de preuve indépendants. L’intervalle serait alors beaucoup trop étroit. Le regroupement par zone compte les 24 zones comme unités, ce qui rend l’intervalle plus large et plus honnête.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
La différence des différences avec l'Ontario a trouvé +5,3 % avec la graine 40, et le test placebo a réussi. Sur 50 graines, sa moyenne était de +3,0 %, contre un effet réel de +6,0 %. Nommez l'hypothèse non respectée et un signe dans les données qui pourrait le montrer.
Afficher la réponse
L’hypothèse des tendances parallèles n’était pas respectée : le Québec partage une tendance de l’est avec les provinces de l’Atlantique, contrairement à l’Ontario. Sans livraison gratuite, le Québec aurait pris un léger retard sur l’Ontario. Un signe serait un écart entre les tendances avant le changement, ou un effet placebo. Ici, les deux étaient trop petits pour être visibles. Un autre signe est que l’estimation bouge quand vous changez le groupe de comparaison : +5,3 % avec l’Ontario, +5,5 % avec toutes les provinces.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Quand un changement commence d’abord dans une région, une comparaison avant-après mélange le changement et la saison. Le Québec affichait +7,1 % ou +9,3 %, selon la fenêtre.
- La différence des différences soustrait la variation d’une région de comparaison : (Québec après − avant) − (Ontario après − avant). À la main : +5,7 %. La régression avec des termes de zone et de semaine : +5,3 % (+4,6 % à +6,0 %). L’effet réel : +6,0 %.
- Elle suppose des tendances parallèles : sans le changement, les deux régions auraient évolué de la même façon. Vérifiez les tendances avant le changement et exécutez un test placebo.
- Regroupez les erreurs par unité (ici, par zone), sinon l’intervalle est beaucoup trop étroit.
- Sur 50 graines, le Québec comparé à l’Ontario a donné +3,0 % en moyenne. L’intervalle contenait l’effet réel dans 2 % des exécutions. Les vérifications ont réussi, mais la méthode s’est trompée : la tendance de l’est était trop petite pour être visible avant le changement.
Ensuite, au lieu de choisir une région de comparaison, nous en construisons une : un mélange pondéré de provinces ayant évolué comme le Québec.
Leçon suivante : Contrôle synthétique