Contrôle synthétique
- Leçon 18
- 35 min
- Module 5 : Quand la répartition aléatoire est impossible : les expériences naturelles
Où nous en sommes
La différence des différences exige une région de comparaison qui évolue comme le Québec. L'Ontario s'en approche, sans être identique. Dans cette leçon, nous construisons un Québec synthétique avec un mélange pondéré d'autres provinces. Nous le testons ensuite avec des régions placebo.
Leçon 18 sur 30 · Expériences et impact causal : notre changement a-t-il fonctionné?Contrôle synthétique
1. Pourquoi « ça a monté » n'est pas une réponse
2. Concevoir un test A/B
3. Analyser le test
4. Les pièges des vrais tests
5. Quand la répartition aléatoire est impossible : les expériences naturelles
6. Ajuster pour les facteurs de confusion dans des données d'observation
7. Le gain incrémental : à qui appliquer le traitement?
8. Les expériences pour les fonctions d'IA et en production
Ce que vous saurez faire
Construisez délibérément la région de comparaison. Trouvez un mélange pondéré d’autres régions qui évoluait comme la région traitée avant le changement. Utilisez ce mélange comme contrefactuel après le changement. Testez ensuite le résultat avec des régions placebo.
Carnet JupyterFaites cette leçon dans un carnet Jupyter
Dans le carnet (notebook) Jupyter, vous trouvez les poids d’un Québec synthétique avec SciPy et tracez sa courbe avec celle du vrai Québec. Vous calculez ensuite l’effet et exécutez le test placebo pour chaque autre province. Les cellules de préparation installent les paquets. Aucune préparation locale n’est donc nécessaire. Environ 35 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- La différence des différences et les tendances parallèles, présentées dans Différence des différences.
- Une moyenne pondérée : chaque valeur multipliée par son poids, puis les résultats additionnés. Pour un rappel, consultez Décrire un jeu de données dans le cours de mathématiques.
Ce qu’il vous faut sur votre ordinateur (seulement pour les étapes du projet)
- Le projet
larkfield-experimentsà l’instantanéend-of-m05, avec l’exécutionregions, provenant de Différence des différences. Activez.venv.
Testé sur macOS avec Python 3.12 et l’instantané end-of-m05 du projet. Windows n’a pas été testé.
Une recette pour une ville qui n’existe pas
Section intitulée « Une recette pour une ville qui n’existe pas »Une chaîne de boulangeries ouvre un nouveau café dans sa boulangerie de la ville A. Elle veut savoir quelles auraient été les ventes de la ville A sans le café. Aucune autre ville ne correspond bien. La ville B est plus petite et croît lentement. La ville C est plus grande et croît vite.
L’analyste de la chaîne a une idée. « La ville A se situe quelque part entre B et C. Je vais les mélanger. » Elle essaie 60 % de la ville B et 40 % de la ville C. Avant le café, ce mélange suit presque exactement la ville A, semaine après semaine. Après l’ouverture du café, le mélange devient donc sa meilleure estimation de la ville A sans café.
Elle n’a pas trouvé de jumelle pour la ville A. Elle en a construit une.
Le problème : l’Ontario n’est pas le jumeau du Québec
Section intitulée « Le problème : l’Ontario n’est pas le jumeau du Québec »Dans la dernière leçon, la différence des différences comparait le Québec à l’Ontario. Pour notre exécution, elle donnait +5,3 %, contre un effet réel de +6,0 %. Sur 50 graines (seeds), elle donnait seulement +3,0 % en moyenne. Le Québec partage une tendance de l’Est avec les provinces de l’Atlantique, mais pas l’Ontario.
Les neuf autres provinces ensemble faisaient mieux, mais encore assez mal : +4,3 % en moyenne. Leur simple somme suit surtout les plus grandes provinces, pas celles qui évoluent comme le Québec.
Il nous faut une comparaison conçue pour évoluer comme le Québec.
L’idée : un mélange pondéré d’autres régions
Section intitulée « L’idée : un mélange pondéré d’autres régions »Un contrôle synthétique est un mélange pondéré de régions qui n’ont pas reçu le changement. Nous choisissons les poids pour que le mélange suive la région traitée le plus fidèlement possible avant le changement. Après le changement, le mélange est le contrefactuel. L’écart entre la vraie région et le mélange est l’effet.
Les poids suivent deux règles. Chaque poids est supérieur ou égal à zéro, et leur somme vaut 1. Le mélange est donc une vraie moyenne de vraies régions, pas une formule étrange. Nous appelons donneuses les régions qui n’ont pas reçu le changement : elles fournissent leurs données au mélange.
Alberto Abadie et ses coauteurs ont fait connaître la méthode en 2003 et en 2010. Ils ont construit une « Californie sans sa loi sur le tabac » à partir d’autres États américains.
Un petit exemple où toutes les valeurs sont visibles
Section intitulée « Un petit exemple où toutes les valeurs sont visibles »Voici le mélange de la boulangerie, avec des nombres inventés. Les semaines 1 à 4 précèdent le café; la semaine 5 suit son ouverture.
| Semaine | Ville A | Ville B | Ville C | Mélange : 0,6 × B + 0,4 × C |
|---|---|---|---|---|
| 1 | 100 | 90 | 115 | 54 + 46 = 100 |
| 2 | 104 | 92 | 122 | 55,2 + 48,8 = 104 |
| 3 | 108 | 94 | 129 | 56,4 + 51,6 = 108 |
| 4 | 112 | 96 | 136 | 57,6 + 54,4 = 112 |
| 5 (café ouvert) | 126 | 98 | 143 | 58,8 + 57,2 = 116 |
Le mélange correspond à la ville A pendant les quatre semaines précédentes. À la semaine 5, la ville A vend 126 et le mélange 116. L’effet estimé du café est de 126 − 116 = +10 par semaine.
- Ville A
- Ville B
- Ville C
- Le mélange (ville A synthétique)
Description textuelle du graphique
Un graphique en courbes sur les semaines 1 à 5. Ville A : 100, 104, 108, 112, puis 126 à la semaine 5 avec le café. Ville B : 90, 92, 94, 96, 98. Ville C : 115, 122, 129, 136, 143. Le mélange, 0,6 fois B plus 0,4 fois C : 100, 104, 108, 112, puis 116 à la semaine 5. Le mélange se superpose à la ville A des semaines 1 à 4. À la semaine 5, la ville A dépasse le mélange de 10.
Dans les données réelles, aucun mélange ne correspond exactement chaque semaine. L’ordinateur essaie de nombreux poids et garde ceux qui donnent les plus petits écarts avant le changement. C’est une petite optimisation : trouver les nombres qui réduisent le plus possible une erreur. Le cours Mathématiques et statistiques essentielles pour l’IA explique comment les ordinateurs cherchent ces nombres.
Ses hypothèses
Section intitulée « Ses hypothèses »Un contrôle synthétique suppose que le mélange aurait continué à évoluer comme la région traitée après le changement, sans ce changement. Cette hypothèse est moins forte que « l’Ontario évolue comme le Québec ». Nous avons choisi le mélange pour suivre les hausses et les baisses du Québec pendant une année entière. Si le Québec partage une tendance avec certaines régions donneuses, le mélange peut aussi la partager.
Cela reste une hypothèse. Elle ne tient plus si un nouvel événement touche la région traitée, ou les régions donneuses, après le changement. Elle ne tient pas non plus si aucun mélange ne peut suivre la région traitée avant le changement. La méthode n’a alors aucune base sur laquelle s’appuyer.
Larkfield : un Québec synthétique
Section intitulée « Larkfield : un Québec synthétique »-
Assurez-vous que votre projet est à
end-of-m05et que l’exécutionregionsexiste. Si vous avez fait la dernière leçon, tout est prêt. Sinon, exécutezsim run --scenario regions. -
Construisez le Québec synthétique et comparez-le à la réalité.
Fenêtre de terminal xp synthxp checkSynthetic QC: BC 0.38, NL 0.13, SK 0.13, AB 0.12, NB 0.07, MB 0.06, ON 0.06, PE 0.05Fit before the change: RMSPE 0.0128 (log sales). Effect after: +5.5%.Placebo test: post/pre gap ratio 4.4 for QC; rank 1 of 10 (p = 0.10). Placebo effects: AB +0.4%, BC +0.9%, MB -0.2%, NB -0.2%, NL -0.2%, NS -0.6%, ON +0.3%, PE -0.4%, SK -0.4%Run regions-s40: the last analysis was `xp synth`.True effect (from the simulator): +6.0% on Quebec's weekly sales.Your synthetic control: +5.5%, -0.5 percentage points from the truth (placebo p = 0.10).
La recette
Section intitulée « La recette »La première ligne est la recette du Québec synthétique. La Nouvelle-Écosse reçoit un poids de 0 et est exclue.
Description textuelle du graphique
Un graphique en colonnes des huit provinces dont le poids dépasse zéro. Colombie-Britannique 0,38, Terre-Neuve-et-Labrador 0,13, Saskatchewan 0,13 et Alberta 0,12. Nouveau-Brunswick 0,07, Manitoba 0,06, Ontario 0,06 et Île-du-Prince-Édouard 0,05. Le poids de la Nouvelle-Écosse est de 0. La somme des poids vaut 1.
Les poids ne décrivent pas la culture ou l’économie des provinces. Ce sont les nombres qui permettaient au mélange de suivre le mieux les ventes hebdomadaires du Québec. Les trois provinces de l’Atlantique du mélange apportent une partie de la tendance de l’Est que l’Ontario ne partage pas.
xp synth fait correspondre la forme des ventes sur l’échelle logarithmique, pas leur taille. Il compare chaque série à sa propre moyenne avant le changement. Les petites provinces peuvent donc avoir des poids élevés.
L’ajustement avant et l’écart après
Section intitulée « L’ajustement avant et l’écart après »La deuxième ligne indique à quel point le mélange suivait bien le Québec avant le changement. RMSPE signifie root mean squared prediction error, soit la racine de l’erreur quadratique moyenne de prédiction. C’est, approximativement, l’écart typique entre le Québec et le mélange sur une semaine. Sur l’échelle logarithmique, 0,0128 signifie environ 1,3 %. Vient ensuite l’effet : l’écart moyen après le changement, +5,5 %.
- Québec
- Québec synthétique
- Québec sans livraison gratuite (simulateur)
Description textuelle du graphique
Un graphique en courbes des ventes du Québec sur 78 semaines, de juin 2024 à novembre 2025. Les ventes vont d’environ 226 à 317 milliers de dollars par semaine. Avant la semaine 0, le vrai Québec et le Québec synthétique en pointillés se superposent presque pendant toute la saison. Après la semaine 0, le vrai Québec dépasse le Québec synthétique chaque semaine, de 2 à 8 %. Une courbe grise à partir de la semaine 0 montre le Québec sans livraison gratuite, selon le simulateur. Elle reste proche du Québec synthétique.
L’écart est-il réel? Un test placebo pour chaque province
Section intitulée « L’écart est-il réel? Un test placebo pour chaque province »Un écart après le changement pourrait être du bruit. Quelle est la taille d’un écart quand rien ne s’est passé? L’écart d’une semaine peut être grand par hasard. Examinez donc l’écart sur plusieurs semaines. La méthode répond avec des tests placebo. Faites comme si chaque province donneuse avait reçu la livraison gratuite le 2 juin. Construisez-en une version synthétique avec les autres régions donneuses, puis mesurez son « effet ». Ces provinces n’ont rien reçu. Leurs écarts montrent donc quelle taille le bruit peut atteindre.
xp synth a exécuté neuf tests placebo. Leurs effets allaient de −0,6 % (Nouvelle-Écosse) à +0,9 % (Colombie-Britannique). Celui du Québec est de +5,5 %.
- Québec
- Chacune des 9 autres provinces (placebos)
Description textuelle du graphique
Un graphique de 10 courbes sur 78 semaines. Neuf courbes grises, une par province placebo, oscillent entre environ −8 % et +7 %, autour de zéro. Aucun changement ne survient à la semaine 0. La courbe orange du Québec varie entre −2,5 % et +3,1 % avant la semaine 0. Après la semaine 0, elle reste au-dessus de zéro chaque semaine, entre +2,4 % et +8,4 %. Sa moyenne est d’environ +5,5 %.
Pour résumer le graphique en un nombre, xp synth divise l’écart après le changement par l’écart avant, pour chaque province. Les deux écarts sont mesurés par la RMSPE. Le rapport du Québec est de 4,4 : son écart après vaut 4,4 fois son écart avant. Aucun placebo ne s’en approche. Le Québec se classe donc 1er sur 10.
La valeur p est le rang divisé par le nombre de provinces. Ici, elle vaut 1 ÷ 10 = 0,10. Avec 10 provinces, 0,10 est la plus petite valeur p possible. C’est une valeur p différente de celles du module 3. Elle indique à quel point le Québec est inhabituel parmi les 10 provinces. Un contrôle synthétique sur peu de régions ne peut donc jamais donner « p < 0,05 ». Présentez le rang et le graphique des placebos. Ce sont les preuves.
À quel point est-il proche? Cinquante graines
Section intitulée « À quel point est-il proche? Cinquante graines »Pour notre exécution, le contrôle synthétique donnait +5,5 %. La différence des différences donnait +5,3 % avec l’Ontario et +5,5 % avec toutes les provinces. Sur cette seule exécution, les trois résultats sont presque identiques.
Sur 50 graines, ce n’est plus le cas :
| Méthode | Estimation moyenne sur 50 graines | Effet réel |
|---|---|---|
| Différence des différences, avec l’Ontario | +3,0 % | +6,0 % |
| Différence des différences, avec toutes les provinces | +4,3 % | +6,0 % |
| Contrôle synthétique | +5,6 % (écart-type de 0,7 point) | +6,0 % |
Le contrôle synthétique s’approche le plus. Il manque encore un peu la cible : une partie de la tendance de l’Est est propre au Québec. Aucun mélange ne peut la reproduire. Notre version n’a pas d’TermeIntervalle de confianceUne plage autour d’une valeur mesurée, obtenue par une méthode qui contient la vraie valeur 95 fois sur 100. Si l’intervalle d’une différence ne contient pas zéro, la différence n’est probablement pas due au hasard.En savoir plus Estimer l'incertitudeMathématiques et statistiques essentielles pour l'IA : le rang parmi les placebos mesure son incertitude. La dispersion entre les graines, 0,7 point, montre à quel point une exécution peut varier.
Quand l’utiliser, quand l’éviter et ce qu’il coûte
Section intitulée « Quand l’utiliser, quand l’éviter et ce qu’il coûte »Utilisez un contrôle synthétique quand :
- une unité, ou quelques-unes, ont reçu le changement : une province, un pays, un grand magasin, un marché;
- vous avez beaucoup de régions donneuses sans changement et un long historique avant le changement;
- un mélange de régions donneuses peut suivre fidèlement l’unité traitée avant le changement.
Ne l’utilisez pas quand :
- l’ajustement avant le changement est mauvais : une RMSPE élevée signifie que le mélange n’est pas un bon contrefactuel;
- l’unité traitée est extrême, par exemple la plus grande ou celle qui croît le plus vite. Aucune moyenne d’unités plus petites ne peut l’atteindre;
- le changement a aussi touché les régions donneuses. Si des clients ontariens commencent à commander avec des adresses québécoises, l’Ontario n’est plus une région donneuse non touchée.
Le coût : plus de données et de vérifications que pour la différence des différences. Il vous faut des dizaines de points temporels avant le changement. Le test placebo exige une exécution pour chaque région donneuse. Cela prend quelques secondes pour nos 10 provinces, mais peut prendre beaucoup plus longtemps pour des centaines de magasins.
Exercice guidé : construisez les poids vous-même
Section intitulée « Exercice guidé : construisez les poids vous-même »- Ouvrez le carnet Jupyter depuis l’encadré Faites cette leçon dans un carnet Jupyter en haut de cette page.
- Exécutez les cellules de préparation et la cellule utilitaire.
- Dans la section 1, vérifiez le mélange de la boulangerie à la main. Vous voyez le mélange
100, 104, 108, 112et l’effet+10. - Dans la section 2, trouvez les poids avec
scipy.optimize.minimize. Vous voyezBC 0.38en premier etNS 0.00en dernier. - Dans la section 3, tracez le Québec et le Québec synthétique. Calculez ensuite l’effet. Vous voyez
effect +5.5%(effet de +5,5 %). - Dans la section 4, exécutez le test placebo pour chaque province et trouvez le rang du Québec. Exécutez la cellule de vérification. Elle affiche
Check passed(vérification réussie).
Afficher la réponse à l’étape 6
def ratio(series, unit): """RMSPE after the change / RMSPE before, for one unit and its synthetic version.""" _, g = synth(series, unit, pre) return np.sqrt((g[~pre] ** 2).mean()) / np.sqrt((g[pre] ** 2).mean())
donors = [p for p in series if p != "QC"]ratios = {"QC": ratio(series, "QC")}for p in donors: others = {u: s for u, s in series.items() if u != "QC"} ratios[p] = ratio(others, p)order = sorted(ratios, key=ratios.get, reverse=True)rank = order.index("QC") + 1print(rank, round(ratios["QC"], 1))Le Québec se classe premier, avec un rapport de 4,4 : 1 4.4. La valeur p est de 1 ÷ 10 = 0,10.
À vous de jouer : trois méthodes, un effet réel
Section intitulée « À vous de jouer : trois méthodes, un effet réel »Hana veut une phrase pour le rapport sur la livraison gratuite. Placez les trois estimations de ce module à côté de l’effet réel, pour cette exécution et sur 50 graines (seeds). Utilisez les sorties de xp did, xp did --control all et xp synth. Puis écrivez la phrase.
Afficher la réponse
| Méthode | Cette exécution | Moyenne sur 50 graines | Effet réel |
|---|---|---|---|
| Différence des différences, Ontario | +5,3 % (+4,6 % à +6,0 %) | +3,0 % | +6,0 % |
| Différence des différences, toutes les provinces | +5,5 % (+4,9 % à +6,1 %) | +4,3 % | +6,0 % |
| Contrôle synthétique | +5,5 % (rang placebo : 1 sur 10) | +5,6 % | +6,0 % |
Une phrase que Hana peut utiliser : « La livraison gratuite à partir de 50 $ a augmenté les ventes hebdomadaires du Québec d’environ 5 à 6 %. Les trois méthodes concordent pour cette exécution. L’écart du Québec dépasse celui de toutes les provinces sans changement. Les méthodes supposent que le Québec aurait évolué comme les provinces auxquelles nous l’avons comparé. Le contrôle synthétique est la plus fiable des trois. »
Dans la réalité, vous n’auriez pas les deux dernières colonnes. Elles viennent du simulateur. C’est pourquoi nous faisons davantage confiance au contrôle synthétique qu’à la comparaison avec l’Ontario.
Erreur courante
« Le contrôle synthétique indique +20 % »
Symptôme : une équipe construit une version synthétique de son plus grand marché après un changement de prix. L’estimation est de +20 %, bien plus que prévu. Le graphique montre le marché réel au-dessus du mélange après le changement, mais aussi avant.
Cause : l’ajustement avant le changement est mauvais. Le plus grand marché a connu une croissance plus rapide que chaque marché donneur. Aucune moyenne de marchés plus lents ne peut suivre un marché plus rapide. L’écart après le changement correspond surtout à l’ancien écart, pas à l’effet. La RMSPE avant le changement était élevée, et personne ne l’a examinée.
Solution : examinez toujours l’ajustement avant le changement, dans le graphique et dans la RMSPE. Si le mélange ne peut pas suivre l’unité traitée, n’utilisez pas la méthode. Essayez un appariement selon les taux de croissance plutôt que les niveaux, un historique plus court ou une différence des différences avec une tendance explicite.
Vérifiez votre compréhension
La ville A a vendu 50, 60 et 70 unités pendant les trois semaines avant un changement. La ville B en a vendu 40, 40 et 40. La ville C en a vendu 60, 80 et 100. Quels poids pour B et C donnent un mélange qui correspond exactement à la ville A? À la semaine 4, après le changement, A vend 90 unités, B 40 et C 120. Quel est l'effet?
Afficher la réponse
Utilisez un poids de 0,5 pour B et de 0,5 pour C. Le mélange donne alors 50, 60 et 70, comme la ville A pendant les trois semaines. À la semaine 4, le mélange donne 0,5 × 40 + 0,5 × 120 = 80. La ville A vend 90 unités, donc l’effet estimé est de 90 − 80 = +10.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Le Québec synthétique donne une valeur p placebo de 0,10. Tomás dit : « C'est au-dessus de 0,05, donc l'effet n'est pas significatif. » Que répondriez-vous?
Afficher la réponse
La valeur p correspond au rang du Québec parmi les 10 provinces : 1 ÷ 10. Avec 10 provinces, 0,10 est la plus petite valeur possible. La règle de 0,05 ne s’applique donc pas. L’écart du Québec est le plus grand des 10 provinces. Son écart après le changement est 4,4 fois celui d’avant, et aucun placebo ne s’en approche. Présentez le rang et le graphique des placebos, plutôt que « significatif » ou « non significatif ».
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Énoncez l'hypothèse nécessaire au contrôle synthétique et un signe dans les données qui montre qu'elle est fausse.
Afficher la réponse
La méthode suppose que, sans changement, le mélange pondéré des régions donneuses aurait continué d’évoluer comme la région traitée. Un mauvais ajustement avant le changement indique que cette hypothèse est fausse. Vous le voyez dans une RMSPE élevée ou dans un écart entre la région et le mélange sur le graphique. Autre signe : de grands écarts placebo. Le bruit seul produit alors des écarts aussi grands que celui de la région traitée.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Un contrôle synthétique est un mélange pondéré de régions donneuses qui suit la région traitée avant le changement. Après le changement, le mélange est le contrefactuel.
- Les poids sont supérieurs ou égaux à zéro et leur somme vaut 1. Ils viennent d’une optimisation qui réduit autant que possible l’écart avant le changement.
- Le Québec synthétique : Colombie-Britannique 0,38, Terre-Neuve-et-Labrador 0,13, Saskatchewan 0,13, Alberta 0,12, et quatre poids plus petits. L’Ontario reçoit seulement 0,06. L’ajustement avant le changement reste à environ 1,3 % près par semaine. L’effet : +5,5 %, contre un effet réel de +6,0 %.
- Les tests placebo appliquent la méthode à chaque région donneuse. L’écart du Québec se classe au rang 1 sur 10 (p = 0,10, le minimum possible avec 10 provinces).
- Sur 50 graines, le contrôle synthétique a trouvé +5,6 % en moyenne : le résultat le plus proche parmi les méthodes du module. Vérifiez l’ajustement avant le changement, sinon la méthode peut se tromper beaucoup.
Ensuite, un changement qui commence à un seuil plutôt qu’à une date : le palier de fidélité.
Leçon suivante : Régression sur discontinuité