Aller au contenu
English

Un salaire minimum sans test

  • Étude de cas 3
  • 150 min
  • Facultative · 1 étude de cas requise pour le certificat

Où nous en sommes

Dans le module 5, nous avons estimé des effets sans test sur des données simulées. Cette étude de cas utilise des statistiques publiques réelles sur les emplois en restauration au New Jersey et en Pennsylvanie. Elles couvrent la période autour d'une hausse du salaire minimum. Nous estimons l'effet par différence des différences et testons nos hypothèses.

Étude de cas 3 sur 3 · Expériences et impact causal : notre changement a-t-il fonctionné?Un salaire minimum sans test

Ce que vous saurez faire

Estimez l’effet d’une politique réelle que personne n’a attribuée au hasard. Dites honnêtement ce que les données permettent de savoir. Vous construirez une comparaison à partir de statistiques publiques et appliquerez sept méthodes. Vous testerez chacune sur de fausses dates où l’effet réel est nul. Choisissez ensuite la méthode à laquelle vous faites confiance. Formulez une recommandation et précisez ce qu’une étude équitable exigerait.

Étude de casPièce de portfolio

Durée
Environ 2,5 heures
S’exécute dans
Colab, Kaggle ou VS Code
Compétences utilisées
  • Une expérience naturelle
  • Le plan avant les estimations
  • Saisons et croissance d'une année à l'autre
  • Différence des différences avec erreurs regroupées
  • Tendances antérieures et dates placebo
  • Contrôle synthétique et unités placebo
  • Une seule mesure pour plusieurs méthodes
  • Une décision aux limites clairement reconnues

Les carnets sont en anglais. Colab et Kaggle ouvrent votre propre copie. Pour utiliser VS Code, téléchargez le carnet depuis GitHub. Vous êtes bloqué ? Consultez le carnet de solution.

Le carnet (notebook) Jupyter exécute chaque étape de cette page, avec le même code et les mêmes résultats. Il comprend aussi trois tâches avec vérifications. Ses cellules de préparation installent les paquets et récupèrent le fichier de données (0,5 Mo). Aucune préparation locale n’est donc nécessaire. Après l’installation, il s’exécute en moins d’une minute.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 150 minutes

Ce que vous devez savoir

Cette étude de cas utilise surtout les modules 5 et 6 :

Ce qu’il vous faut sur votre ordinateur

Rien : le carnet installe ses propres paquets et peut donc aussi s’exécuter dans Colab ou Kaggle. Pour l’exécuter localement, utilisez un environnement virtuel avec Python 3.12, pandas 3.1.1, SciPy 1.15.3, statsmodels 0.15.0 et matplotlib 3.11.2. C’est l’environnement du projet larkfield-experiments. Cette étude de cas ne modifie pas le projet. La cellule de préparation crée un dossier minimum-wage. Pour recommencer, supprimez ce dossier.

Testé sur macOS avec Python 3.12, dans Jupyter après un nouveau démarrage. Colab, Kaggle, Windows et Linux n’ont pas été testés.

TermeLarkfieldUne boutique en ligne canadienne inventée, qui vend des articles pour la maison et le jardin. Ce n’est pas une vraie entreprise. Tous les cours Nextia utilisent son service d’assistance et ses données comme exemple.En savoir plus Découvrez Larkfield expédie ses colis depuis un seul entrepôt. Un partenaire de livraison les emballe et les transporte. La plupart de ses employés à l’emballage gagnent près du salaire minimum. La province a annoncé une hausse du salaire minimum.

Hana est responsable du budget de livraison. Elle demande à TermePriyaLa scientifique des données de Larkfield. Elle mesure la qualité de l’assistant sur des jeux de test, pas à l’intuition. : « Le partenaire va-t-il supprimer des emplois? Devrait-on prévoir moins de personnel à l’emballage et des livraisons plus lentes? » Hana a lu deux articles. L’un affirme qu’une hausse du salaire minimum détruit des emplois. L’autre affirme le contraire.

Priya ne peut pas tester cela. Personne ne peut attribuer un salaire minimum à des entrepôts choisis au hasard. Elle cherche donc une expérience naturelle : un changement qui touche un endroit, mais pas un endroit semblable juste à côté. L’exemple le plus célèbre est celui du New Jersey en 1992. Elle s’y exerce avec des données publiques officielles pour comprendre ce qu’elles permettent de dire, et leurs limites.

Hana et Priya sont inventées. Les États, les dates et les nombres d’emplois sont réels.

Vous estimerez l’effet de la hausse du salaire minimum de 1992 au New Jersey sur les emplois dans les restaurants-minute. La Pennsylvanie servira de comparaison. Vous rédigerez le plan, appliquerez sept méthodes et testerez chacune sur de fausses dates. Vous en choisirez une avec une seule mesure et l’appliquerez à de nouvelles données d’entrée. Vous terminerez par une recommandation et les éléments qui restent inconnus.

Le 1er avril 1992, le New Jersey a augmenté son salaire minimum de 4,25 à 5,05 $ l’heure : 19 % de plus. La Pennsylvanie voisine l’a maintenu à 4,25 $. Avant cela, les deux États suivaient le salaire minimum fédéral. Ils avaient donc connu les mêmes hausses en 1990 et 1991.

Une chronologie de 1990 à 1993 avec deux bandes. New Jersey : 3,35 $ l'heure au T1 de 1990, 3,80 $ dès avril 1990, 4,25 $ dès avril 1991. Puis 5,05 $ dès le 1er avril 1992, en bleu. Pennsylvanie : les mêmes 3,35, 3,80 et 4,25 $, puis 4,25 $ sans changement. En dessous, un encadré orange indique les fausses dates du test placebo : les T1 et T2 de 1991. Un encadré vert indique la vraie date : le T2 de 1992, premier trimestre avec le nouveau salaire. Avant : 9 trimestres, du T1 de 1990 au T1 de 1992. Après : 7 trimestres, jusqu'au T4 de 1993. Unités : 21 comtés du New Jersey et 46 comtés de Pennsylvanie. Résultat : emplois dans les restaurants à service restreint chaque trimestre.
Le dispositif. Les deux États avaient le même salaire minimum jusqu'en avril 1992. Ensuite, seul celui du New Jersey a augmenté. Nous avons 9 trimestres avant et 7 après.

C’est comme les deux villes dans Différence des différences. Mais personne n’a choisi le New Jersey au hasard. Tout autre événement touchant le New Jersey, mais pas la Pennsylvanie, au même moment semblera être un effet. En 1994, David Card et Alan Krueger ont publié une étude célèbre sur cette hausse. Nous y revenons vers la fin.

Les données viennent du Recensement trimestriel de l’emploi et des salaires du US Bureau of Labor Statistics (BLS). Presque tous les employeurs déclarent leur nombre d’emplois à l’État chaque trimestre, pour l’assurance-chômage. Le BLS publie les totaux par secteur d’activité et par comté.

Pourquoi pas les données de Card et Krueger? Les données de leur enquête sont sur la page Web de David Card, mais aucune licence n’y figure. Nous pouvons donc les citer et fournir un lien, mais pas les partager. Les données du BLS appartiennent au domaine public.

Les fichiers officiels sont volumineux : environ 190 Mo par année, pour chaque comté et secteur d’activité du pays. Les apprenants ne devraient pas télécharger 760 Mo. Nous avons donc créé un petit extrait avec un court script, extract_qcew.py. Il conserve le New Jersey et la Pennsylvanie, les employeurs privés et quatre secteurs d’activité. Il ne modifie aucune valeur. Le carnet récupère l’extrait de 0,5 Mo et vérifie sa somme de contrôle. Une cellule facultative reconstruit l’extrait à partir des fichiers officiels avec le même script.

Une ligne représente une zone (un État ou un comté), un secteur d’activité et un trimestre. Elle donne les emplois pour chacun des trois mois du trimestre. Nous utilisons leur moyenne et l’appelons jobs.

Code de secteur Secteur d’activité Utilisation
722211 restaurants à service restreint : vous commandez au comptoir et payez d’abord le résultat : ce qui se rapproche le plus de la restauration rapide
7221 restaurants à service complet nouvelles données d’entrée, à la fin
722 tous les services de restauration et débits de boissons nouvelles données d’entrée, à la fin
10 tous les emplois privés l’ensemble de l’économie, comme vérification

Les codes de secteur sont des codes NAICS, le système de classification des industries de l’Amérique du Nord. En 1992, les États-Unis utilisaient un ancien système. En 2004, le BLS a reconstruit les années antérieures avec les nouveaux codes, à partir des déclarations des employeurs de l’époque. C’est pourquoi nous pouvons séparer les restaurants à service restreint des autres.

Le BLS ne publie pas un nombre qui pourrait révéler les données d’un employeur. Pour un petit comté avec une ou deux entreprises de restauration, le BLS omet la ligne. C’est ce qu’on appelle la suppression.

counties in the file: {'NJ': 21, 'PA': 47} | with all 16 quarters: {'NJ': 21, 'PA': 46}
share of the state's restaurant jobs in them before the rise: NJ 98.5%, PA 95.8%

Ce que cela nous apprend. Les 21 comtés du New Jersey sont présents. Seuls 47 des 67 comtés de Pennsylvanie figurent dans le fichier. L’un d’eux a un trimestre avec 0 emploi. Nous conservons les 46 comtés ayant les 16 trimestres. Ils regroupent 95,8 % des emplois en restauration de Pennsylvanie; les comtés masqués sont donc petits. Les totaux des États incluent les comtés masqués. À titre de vérification, la comparaison principale 2 × 2 sur les totaux des États donne −1,1 %. Elle donne −0,2 % sur nos comtés. Les comtés masqués ne changent pas la conclusion.

Deux autres limites. Les données comptent les emplois, pas les heures. Si un restaurant réduit les heures, mais garde son personnel, nous ne pouvons pas le voir. Un emploi compte si la personne a été payée pendant la période de paie qui comprend le 12 du mois.

Priya rédige le plan avant de faire la moindre estimation. Hana l’approuve.

  • La question : la hausse a-t-elle changé le nombre d’emplois dans les restaurants à service restreint du New Jersey?
  • La comparaison : la Pennsylvanie, par comté. 21 comtés du New Jersey et 46 comtés de Pennsylvanie.
  • Le résultat : les emplois par comté et par trimestre, sur une échelle logarithmique pour lire les différences comme des pourcentages.
  • Les méthodes : la comparaison naïve avant-après; un 2 × 2 sur des années complètes; quatre régressions; un contrôle synthétique.
  • Une seule mesure pour toutes les méthodes : l’erreur de chaque méthode sur de fausses dates, où l’effet réel est nul (explication ci-dessous).
  • La décision : ce que Hana devrait prévoir et notre degré de certitude.

Ce que nous ne pouvons pas vérifier. Dans le cours, le simulateur connaissait chaque effet réel. Ici, personne ne le connaît. Nous vérifions donc les méthodes sur des dates et des lieux où nous savons que l’effet est nul.

D’abord, les emplois en restauration des deux États. Chaque État est ramené à 100 pour l’année précédant la hausse (du T2 de 1991 au T1 de 1992). Nous pouvons ainsi comparer un petit État à un grand.

  • New Jersey
  • Pennsylvanie
  • Hausse au New Jersey
Emplois dans les restaurants à service restreint, un point par trimestre, de 1990 à 1993. L'année précédant la hausse vaut 100 pour chaque État. Le New Jersey a de forts sommets estivaux. En 1990, le New Jersey était environ 10 points au-dessus de son niveau ultérieur; la Pennsylvanie était sous le sien.
Description textuelle du graphique

Un graphique linéaire avec 16 trimestres, du T1 de 1990 au T4 de 1993. Une ligne verticale pointillée marque le 1er avril 1992. New Jersey : 111,9, 108,7, 113,3 et 101,0 en 1990; 96,9, 99,2, 107,5 et 99,1 en 1991; 94,2, 102,3, 107,3 et 100,5 en 1992; 99,6, 109,8, 113,3 et 106,4 en 1993. Pennsylvanie : 93,8, 96,6, 98,8 et 98,0 en 1990; 96,6, 102,0, 100,2 et 98,7 en 1991; 99,0, 102,9, 104,5 et 105,3 en 1992; 98,0, 104,8, 104,2 et 101,6 en 1993.

Deux choses ressortent. D’abord, les saisons : le New Jersey a ses plages, et ses emplois en restauration atteignent un sommet chaque été. Ensuite, avant la hausse, les emplois diminuaient au New Jersey et augmentaient en Pennsylvanie. En 1990 et 1991, les États-Unis étaient en récession. L’économie du New Jersey a reculé plus vite que celle de Pennsylvanie.

Comparez chaque trimestre au même trimestre un an plus tôt

Section intitulée « Comparez chaque trimestre au même trimestre un an plus tôt »

Les saisons masquent les tendances. Un moyen simple de les contourner : comparez chaque trimestre au même trimestre un an plus tôt. L’été avec l’été, l’hiver avec l’hiver. C’est la croissance d’une année à l’autre. Le graphique montre la croissance du New Jersey moins celle de Pennsylvanie. Si les deux États évoluaient de la même façon, la courbe resterait près de zéro.

  • Emplois en restauration
  • Tous les emplois privés
Croissance d'une année à l'autre du New Jersey moins celle de Pennsylvanie, chaque trimestre. Avant la hausse, la croissance des emplois en restauration du New Jersey était jusqu'à 17 points inférieure à celle de Pennsylvanie. Tous les emplois privés suivent la même direction, mais avec un écart plus petit : environ 2 à 3,5 points.
Description textuelle du graphique

Un graphique linéaire du T1 de 1991 au T4 de 1993, avec une ligne verticale pointillée au 1er avril 1992. Emplois en restauration, en points : −17,3, −14,6, −6,7 et −2,6 en 1991; −5,4 au T1 de 1992; puis +2,3, −4,4 et −5,1 en 1992; +6,6, +5,2, +5,7 et +9,4 en 1993. Tous les emplois privés : −3,4, −3,5, −2,9, −2,1, −2,0, puis −1,0, −1,0, −0,4, −0,1, +0,7, +0,6 et +0,7.

Ce que cela nous apprend. Les deux États n’évoluaient pas de la même façon avant la hausse. Début 1991, la croissance des emplois en restauration du New Jersey était de 17 points inférieure à celle de Pennsylvanie. L’écart a diminué pendant 1991, bien avant toute hausse. L’hypothèse des tendances parallèles échoue ici de façon évidente. Tous les emplois privés suivent la même direction. Une partie vient donc de l’ensemble de l’économie du New Jersey. Mais l’écart en restauration est environ cinq fois plus grand. Autre chose fait aussi évoluer les emplois en restauration, et nous ne savons pas quoi.

Après la hausse, la courbe de la restauration monte. Mais elle montait déjà. Toute méthode doit séparer la hausse de cette reprise.

Les deux premières méthodes du plan utilisent des années complètes. Elles comparent l’année après la hausse (T2 de 1992 à T1 de 1993) à l’année avant (T2 de 1991 à T1 de 1992). Les années complètes contiennent chaque saison une fois; les saisons s’annulent donc.

naive, New Jersey before and after: +2.5%
2 x 2: New Jersey +2.5%, Pennsylvania +2.7%, difference -0.2%
Année avant Année après Variation
New Jersey 100 102,5 +2,5 %
Pennsylvanie 100 102,7 +2,7 %
Différence des différences 2,5 − 2,7 ≈ −0,2 %

Ce que cela nous apprend. La lecture naïve est « le salaire minimum a créé des emplois » : +2,5 %. Mais les emplois de Pennsylvanie ont augmenté de 2,7 % sans aucune hausse. La différence est presque nulle, et le 2 × 2 n’a pas d’TermeIntervalle de confianceUne plage autour d’une valeur mesurée, obtenue par une méthode qui contient la vraie valeur 95 fois sur 100. Si l’intervalle d’une différence ne contient pas zéro, la différence n’est probablement pas due au hasard.En savoir plus Estimer l'incertitudeMathématiques et statistiques essentielles pour l'IA.

La régression utilise chaque comté et chaque trimestre, comme dans Différence des différences. D’abord, nous retirons les saisons propres à chaque comté. Pour chaque trimestre, nous soustrayons la moyenne de ce comté pour la même saison. Le modèle a ensuite un effet par trimestre, pour ce qui touche les deux États. Il a aussi l’effet qui nous intéresse, nj:post. Les erreurs sont regroupées par comté.

def did_reg(p, start, end=16, trend=False):
q = p[p["t"] < end].copy()
q["post"] = (q["t"] >= start).astype(int)
q["y"] = q["y"] - q.groupby(["area_fips", "season"])["y"].transform("mean")
f = "y ~ nj:post + C(t)" + (" + nj:t" if trend else "")
m = smf.ols(f, q).fit(cov_type="cluster", cov_kwds={"groups": q["area_fips"].astype("category").cat.codes})
...
regression DiD, all PA (67 counties): -3.3% (95% -6.2% to -0.3%, p = 0.031)

Les 67 comtés sont tous les comtés de la régression : 21 au New Jersey et 46 en Pennsylvanie.

Ce que cela nous apprend. La régression indique que le New Jersey a perdu 3,3 % de ses emplois en restauration. L’intervalle ne contient pas zéro. Hana lirait : « la hausse a coûté des emplois, p = 0,031 ». Avant que quelqu’un affirme cela, Priya teste la méthode.

Un test placebo : une hausse qui n’a jamais eu lieu

Section intitulée « Un test placebo : une hausse qui n’a jamais eu lieu »

Au marché, vous doutez de la balance d’un vendeur. Vous y posez un panier vide. Si la balance affiche 2 kg pour rien, vous ne croyez pas ses 5 kg pour vos pommes. Vous lui faites confiance quand le panier vide pèse environ zéro.

Une date placebo est le panier vide. Nous faisons comme si la hausse avait eu lieu un an plus tôt, en 1991. À ce moment, rien n’a changé au New Jersey seulement. Nous gardons uniquement les trimestres avant la vraie hausse pour éviter toute fuite de données liée à celle-ci. Nous appliquons la méthode sans la modifier. L’effet réel est nul. Toute estimation représente donc l’erreur de la méthode.

Quatre étapes de gauche à droite. Garder uniquement les trimestres avant la vraie hausse, du T1 de 1990 au T1 de 1992. Faire comme si la hausse avait eu lieu au T1 de 1991, puis au T2 de 1991, en orange. Appliquer la méthode sans la modifier. Rien n'a changé à ces dates : l'effet réel est de 0, donc toute estimation est une erreur, en vert. Une flèche mène à un encadré bleu : l'erreur placebo est la taille moyenne des deux fausses estimations. C'est la même mesure pour chaque méthode. Plus elle est petite, plus nous faisons confiance à la méthode.
L'erreur placebo : une mesure pour chaque méthode. Nous utilisons deux fausses dates, un an avant la vraie hausse.

Un petit exemple où toutes les valeurs sont visibles. Supposons qu’une méthode donne −6 % à la première fausse date et −4 % à la deuxième. Son erreur placebo est de (6 + 4) ÷ 2 = 5 points. Si cette méthode indique ensuite −3 % à la vraie date, sa réponse est inférieure à son erreur habituelle sans changement. Nous ne pouvons pas distinguer −3 % de zéro.

Vous avez découvert le test placebo dans Tester votre propre réponse. Dans cette leçon, réussir le test ne prouvait pas la réponse. Ici, nous utilisons la taille de l’échec comme unique mesure.

placebo, a fake rise in 1991 Q1: -7.2% (95% -9.8% to -4.5%)
placebo, a fake rise in 1991 Q2: -7.0% (95% -9.9% to -4.0%)

Ce que cela nous dit. La méthode trouve une « perte » de 7 % en 1991, alors que le salaire minimum du New Jersey n’a pas changé. Son intervalle est loin de zéro. Le panier vide pèse donc 7 kg. L’estimation à la vraie date (−3,3 %) est inférieure à l’erreur de la méthode sans changement.

Un autre fait concernant le T2 de 1991. Le salaire minimum fédéral a augmenté le 1er avril 1991, du même montant dans les deux États. La rémunération en restauration était plus basse en Pennsylvanie : 138 $ par semaine contre 188 $ au New Jersey, au T1 de 1992. Cette hausse a donc probablement eu plus d’importance en Pennsylvanie. Cela ferait paraître le New Jersey meilleur, et non pire. Cela ne peut pas expliquer une fausse perte de 7 %.

Erreur courante

Un intervalle calculé par grappes de comtés, avec un seul État traité

Ce que vous voyez : un intervalle étroit et p = 0,031 à la vraie date. Les dates placebo donnent aussi des effets « significatifs ».

Pourquoi : les 21 comtés du New Jersey partagent l’économie d’un même État. Quand le New Jersey connaît une mauvaise année, ils la subissent tous ensemble. Le calcul par grappes de comtés les traite comme 21 éléments de preuve indépendants. Pour la question « New Jersey contre Pennsylvanie », il n’y a réellement qu’une unité traitée et une comparaison.

Solution : ne vous fiez pas uniquement à l’intervalle. Testez la méthode sur des dates et des lieux placebo, puis comparez l’estimation réelle à ces erreurs. Plus d’États traités, ou de nombreuses paires de comtés voisins, donneraient des intervalles honnêtes.

Peut-être que l’ensemble de la Pennsylvanie est la mauvaise comparaison. Le plan prévoit trois autres régressions :

  • L’est de la Pennsylvanie seulement : 7 comtés autour de Philadelphie et de la vallée de Lehigh, voisins du New Jersey (Bucks, Chester, Delaware, Montgomery, Philadelphia, Lehigh et Northampton). Les voisins peuvent partager davantage l’économie du New Jersey.
  • La part des emplois privés : les emplois en restauration divisés par tous les emplois privés du même comté. Cela retire l’effet de l’ensemble de l’économie de chaque comté, comme la récession.
  • La tendance propre au New Jersey : une droite qui suit l’écart du New Jersey avant la hausse, prolongée après celle-ci.
regression DiD, eastern PA -2.5% (95% -5.7% to +0.8%)
regression DiD, share of private jobs -2.7% (95% -5.8% to +0.6%)
regression DiD, NJ's own trend +2.0% (95% -5.4% to +10.1%)

Le graphique montre l’estimation de chaque méthode à la vraie date et à la fausse date du T2 de 1991. Les deux ont leur intervalle à 95 %.

Les quatre régressions à la vraie date (bleu) et à la fausse date du T2 de 1991 (orange), avec des intervalles à 95 % calculés par grappes de comtés. Chaque intervalle à la fausse date est sous zéro : chaque méthode trouve une perte là où rien n'a changé.
Description textuelle du graphique

Huit lignes sur un axe de −22 % à +12 %, avec une ligne d’effet nul à 0. Toute la Pennsylvanie : vraie date −3,3 % (−6,2 à −0,3); fausse date −7,0 % (−9,9 à −4,0). Est de la Pennsylvanie : vraie date −2,5 % (−5,7 à +0,8); fausse date −5,1 % (−8,0 à −2,1). Part des emplois privés : vraie date −2,7 % (−5,8 à +0,6); fausse date −5,5 % (−8,5 à −2,4). Tendance propre au New Jersey : vraie date +2,0 % (−5,4 à +10,1); fausse date −7,0 % (−12,8 à −0,8).

Ce que cela nous dit. Les comparaisons font varier l’estimation réelle entre −3,3 % et +2,0 %. Chacune « trouve » une perte de 5 % à 7 % à la fausse date. L’est de la Pennsylvanie et la part des emplois privés aident un peu. La tendance propre au New Jersey inverse le signe, mais ses fausses estimations sont les pires. Une droite ne peut pas suivre une baisse qui ralentit.

Un contrôle synthétique construit un jumeau du New Jersey à partir d’un mélange pondéré de comtés de Pennsylvanie. C’est la méthode présentée dans Contrôle synthétique. Les poids permettent au mélange de suivre le New Jersey avant la hausse. Après la hausse, le mélange représente le « New Jersey sans la hausse ».

Le plan utilise uniquement les comtés ayant au moins 300 emplois en restauration. Les petits comtés fluctuent fortement quand un restaurant ouvre ou ferme. Nous l’avons vu lors de notre premier essai avec les 46 comtés. La méthode a donné au comté d’Union un poids de 0,42. Ce comté comptait 134 emplois en restauration au T1 de 1993 et 246 au T2 de 1993. C’était probablement à cause d’un nouvel employeur. Avec ce donneur, l’« effet » était de −11,6 %.

synthetic New Jersey from 39 donor counties: Monroe County 0.52, Northampton County 0.31, Butler County 0.17
fit before: RMSPE 0.0265; effect after: -5.1%

Ce que cela nous dit. Trois comtés composent le jumeau. Le comté de Monroe se trouve dans les monts Pocono, une région de vacances avec ses propres saisons, comme le Jersey Shore. Avant la hausse, le jumeau suit le New Jersey à environ 2,7 % près par trimestre. C’est la RMSPE, l’écart habituel présenté au module 5. Après la hausse, le New Jersey est en moyenne 5,1 % sous son jumeau.

L’écart est-il inhabituel? Chaque comté joue le rôle du New Jersey

Section intitulée « L’écart est-il inhabituel? Chaque comté joue le rôle du New Jersey »

Comme au module 5, nous donnons à chaque comté donneur le même traitement. Chacun reçoit son propre jumeau formé des autres donneurs. Nous mesurons ensuite son écart après la « hausse ». Le graphique montre les 32 donneurs dont le jumeau s’ajustait à peu près aussi bien que celui du New Jersey. Leur erreur d’ajustement était au plus deux fois celle du New Jersey.

  • New Jersey
  • Un comté de Pennsylvanie comme faux New Jersey
L'écart entre chaque unité et son jumeau synthétique. Orange : le New Jersey, en moyenne 5,1 % sous son jumeau après la hausse. Gris : 32 comtés de Pennsylvanie, chacun traité comme un faux New Jersey. Après avril 1992, de nombreuses lignes grises s'éloignent davantage que celle du New Jersey.
Description textuelle du graphique

Un graphique linéaire de 1990 à 1993 avec une ligne verticale pointillée au 1er avril 1992. L’écart du New Jersey reste entre −3,6 et +5,5 avant la hausse. Après celle-ci : −1,2, +3,6 et −3,5 en 1992; −11,8, −7,0, −7,3 et −9,6 en 1993. Les 32 lignes grises s’étalent entre environ −31 et +28.

New Jersey's post/pre gap ratio 2.7: rank 26 of 40 (p = 0.65)
placebo effects: -18.6% to +32.1%; 18 of 39 at least as large as New Jersey's

Ce que cela nous dit. Le ratio compare l’écart de chaque unité après la hausse à son écart avant celle-ci. Le New Jersey se classe 26e sur 40. Par rapport à leur ajustement, 25 faux New Jersey ont bougé davantage. Sa valeur p placebo est de 0,65. Les emplois en restauration d’un comté varient souvent de 5 % en un an pour des raisons que nous ignorons. Le −5,1 % du New Jersey est ordinaire.

Une comparaison équitable : une mesure pour sept méthodes

Section intitulée « Une comparaison équitable : une mesure pour sept méthodes »

Chaque méthode passe maintenant le même test : son estimation à la vraie date et son erreur aux deux fausses dates.

Méthode Vraie date Fausse date, T1 de 1991 Fausse date, T2 de 1991 Erreur placebo (points)
New Jersey avant et après +2,5 % −7,4 % −4,7 % 6,0
2 × 2, années entières, toute la Pennsylvanie −0,2 % −9,8 % −7,1 % 8,4
Régression, toute la Pennsylvanie −3,3 % −7,2 % −7,0 % 7,1
Régression, est de la Pennsylvanie −2,5 % −4,9 % −5,1 % 5,0
Régression, part des emplois privés −2,7 % −5,9 % −5,5 % 5,7
Régression, tendance propre au New Jersey +2,0 % −14,8 % −7,0 % 10,9
Contrôle synthétique −5,1 % −18,1 % +0,7 % 9,4
L'erreur placebo de chaque méthode : la taille moyenne de ses deux fausses estimations, là où l'effet réel est nul. La régression avec l'est de la Pennsylvanie (bleu) a la plus petite erreur, soit 5,0 points. Aucune méthode ne s'approche de zéro.
Description textuelle du graphique

Sept lignes sur un axe de 0 à 12 points. New Jersey avant et après 6,0. 2 × 2, années entières, toute la Pennsylvanie 8,4. Régression, toute la Pennsylvanie 7,1. Régression, est de la Pennsylvanie 5,0. Régression, part des emplois privés 5,7. Régression, tendance propre au New Jersey 10,9. Contrôle synthétique 9,4.

Ce que cela nous dit. Selon notre unique mesure, la régression avec l’est de la Pennsylvanie est la méthode la plus fiable ici. Son erreur aux fausses dates est de 5,0 points. Son estimation réelle est de −2,5 % (−5,7 % à +0,8 %). C’est la moitié de sa propre erreur placebo. Même la meilleure méthode ne peut pas distinguer sa réponse de son erreur sans changement.

Le contrôle synthétique a bien réussi à une fausse date (+0,7 %) et mal réussi à l’autre (−18,1 %). Avec seulement quatre trimestres avant le T1 de 1991, le jumeau avait trop peu de données pour apprendre. Au module 5, c’était la meilleure méthode. Ici, avec des données courtes et bruitées, ce n’est pas le cas. Le rang d’une méthode dépend des données.

Card et Krueger (1994) ont interrogé 410 restaurants-minute au New Jersey et dans l’est de la Pennsylvanie. Ils l’ont fait en février–mars, puis en novembre–décembre 1992. Ils ont constaté une hausse de l’emploi au New Jersey par rapport à la Pennsylvanie : +2,76 travailleurs en équivalent temps plein par restaurant (erreur type de 1,36). C’était une surprise, car la théorie habituelle prédit moins d’emplois.

L’étude a lancé un long débat. Neumark et Wascher (2000) ont utilisé les registres de paie d’un échantillon de restaurants et ont trouvé l’inverse. Card et Krueger ont répondu (2000) avec des données du BLS provenant du même programme que les nôtres, sous son ancien nom. Ils ont constaté que l’emploi en restauration rapide au New Jersey augmentait à un rythme « similar or slightly faster » (semblable ou légèrement supérieur) à celui de l’est de la Pennsylvanie.

Nous ne pouvons pas utiliser leurs données, mais nous pouvons utiliser leur fenêtre : du T1 au T4 de 1992. Nous comparons le New Jersey à l’est de la Pennsylvanie.

1992 Q1 to 1992 Q4: New Jersey +6.7%, eastern Pennsylvania +3.2%, difference +3.4%

Ce que cela nous dit. Avec leur fenêtre, nos données publiques montrent aussi une croissance un peu plus rapide au New Jersey : +3,4 %. Avec des années entières et une régression, elles montrent −2,5 %. Une erreur placebo de 5 points couvre les deux. Le résumé honnête rejoint donc la réponse de 2000 : aucune perte claire d’emplois, mais aucune réponse précise non plus.

Sources (citées et liées seulement) :

  • Card, D., et Krueger, A. B. (1994). « Minimum Wages and Employment: A Case Study of the Fast-Food Industry in New Jersey and Pennsylvania. » American Economic Review 84(4), 772–793. Données : Page de données de David Card (aucune licence indiquée).
  • Neumark, D., et Wascher, W. (2000). « … Comment. » American Economic Review 90(5), 1362–1396. doi:10.1257/aer.90.5.1362.
  • Card, D., et Krueger, A. B. (2000). « … Reply. » American Economic Review 90(5), 1397–1420. doi:10.1257/aer.90.5.1397. Document de travail : NBER w6386.

Priya écrit à Hana avec ses propres mots.

  • Ces données ne peuvent pas mesurer un petit effet. La meilleure méthode indique −2,5 %, avec une erreur de 5 points aux dates où rien ne s’est passé. Une perte d’environ 2 200 emplois en restauration et un gain d’environ 300 se trouvent tous deux dans son intervalle.
  • Elles montrent qu’une grande perte est peu probable. Une perte de 15 % serait trois fois l’erreur placebo de la meilleure méthode. Aucune méthode prévue ne s’en est approchée : la réponse la plus négative était de −5,1 %.
  • Ne prévoyez donc pas une forte réduction. Planifiez la capacité du partenaire pour à peu près le même effectif. Surveillez ses heures, pas seulement son nombre d’employés : les données comptent les emplois, et un salaire minimum peut modifier les heures.
  • N’acceptez pas un chiffre unique tiré de l’un ou l’autre article. Demandez aux auteurs leurs tests placebo.

Le coût de la hausse pour un employeur est certain. L’effet sur l’emploi ne l’est pas. Un travailleur à 25 heures par semaine (notre hypothèse) coûte 0,80 × 25 × 52 = 1 040 $ de plus par année. C’est le chiffre que Hana peut utiliser pour planifier aujourd’hui.

La valeur de l’étude se mesure en emplois. Le New Jersey comptait environ 38 300 emplois dans les restaurants à service restreint durant l’année avant la hausse. Une erreur placebo de 5,0 points représente environ 1 900 emplois. Tout effet plus petit que cela se trouve dans le bruit de ces données.

La méthode choisie sur de nouvelles données d’entrée

Section intitulée « La méthode choisie sur de nouvelles données d’entrée »

Une méthode est utile seulement si elle fonctionne sur des données qui n’ont pas servi à la choisir. Priya applique la régression avec l’est de la Pennsylvanie, sans la modifier, à deux autres secteurs, avec le même test placebo.

full-service restaurants: +1.3% (95% -1.2% to +3.7%); placebo -2.0%, -1.7%
all food services and drinking places: -0.8% (95% -2.2% to +0.6%); placebo -3.1%, -2.8%

Ce que cela nous dit. Les deux estimations sont près de zéro. Les erreurs aux fausses dates (2 à 3 points) sont aussi grandes que les estimations. La méthode se comporte de la même façon sur de nouvelles données d’entrée. Elle exclut les grands effets et ne peut pas trouver un petit effet.

  • Les vérifications comptent plus que l’estimation. Sans les dates placebo, le −3,3 % de la régression (p = 0,031) ressemble à un résultat. Avec elles, c’est du bruit.
  • Un État traité est une unité traitée. Le calcul par grappes de comtés a donné des intervalles trop étroits. Les dates et les comtés placebo l’ont montré.
  • Il n’y a aucune vérité à laquelle comparer. Les tests placebo montrent comment les méthodes échouent quand rien ne change. Ils ne montrent pas l’effet réel.
  • Nous avons seulement deux fausses dates. Les données commencent en 1990, la première année de ces fichiers. Un historique plus long donnerait plus de fausses dates et une meilleure mesure.
  • Des emplois, pas des heures, et un seul code de secteur. Les données ne montrent pas les heures. Les restaurants à service restreint ressemblent à la restauration rapide, mais ce n’est pas la même chose.
  • Ce qu’exigerait une étude équitable. De nombreux lieux traités et non traités, comme des paires de comtés voisins de part et d’autre des frontières d’États. Ainsi, la chance d’un seul État ne décide pas de la réponse. Des historiques plus longs avant le changement. Les heures et les salaires, pas seulement les emplois. Pour ses propres décisions, Larkfield peut faire mieux. Elle peut modifier sa rémunération dans ses sites dans un ordre aléatoire : cela devient alors un test.
  • Les données ne contiennent aucune personne. Elles comptent les emplois par comté et par secteur. Le BLS masque les comtés où un employeur pourrait être reconnu. N’essayez pas de découvrir quelle entreprise se cache derrière un chiffre.
  • Les salaires minimums sont un sujet politique. Cette page répond à une question étroite de méthode : ce que ces données peuvent montrer. Elle ne donne aucune opinion sur la politique du salaire minimum. Un petit effet sur l’emploi ne dit rien sur la rémunération, les prix ou les profits, que nous n’avons pas étudiés.
  • Dites ce que vous n’avez pas pu vérifier. Un résultat comme « −3,3 %, p = 0,031 » circule vite. Présentez-le toujours avec ses tests placebo, ou ne le présentez pas.
  • Citez les sources. Le domaine public n’exige rien, mais le BLS demande d’être cité. Citez Card et Krueger pour leur étude, et ne copiez pas leurs données.

Cette étude de cas montre que vous pouvez étudier un changement sans répartition aléatoire. Elle montre aussi que vous testez votre réponse avant de lui faire confiance. Personnalisez-la avec un changement, comme une autre industrie. Puis rendez-la publique et facile à lire en cinq minutes.

Quoi mettre dans le dépôt :

  • README.md, la page que les gens lisent en premier (modèle ci-dessous).
  • Le carnet (notebook) Jupyter, exécuté du début à la fin, avec ses sorties.
  • PLAN.md : le plan de « Le plan avant les estimations », écrit avant les estimations.
  • results.csv : l’estimation de chaque méthode, ses estimations aux fausses dates et son erreur placebo.
  • extract_qcew.py et le SHA-256 de l’extrait, pour que chacun puisse reconstruire les données à partir de BLS.
  • La source et la licence, avec la référence ci-dessus.

Un modèle de README :

# A minimum wage without a test: New Jersey 1992, with public data
## Problem
New Jersey raised its minimum wage on 1 April 1992; Pennsylvania did not.
Did restaurant jobs change? No randomisation: a natural experiment.
## Data and licence
US Bureau of Labor Statistics, Quarterly Census of Employment and Wages,
1990-1993 (public domain). Extract: limited-service restaurants (NAICS 722211),
21 NJ and 46 PA counties with all 16 quarters (95.8% of PA's jobs).
## Approach
Plan written first. Seven methods: before/after, 2 x 2, four regressions
(clustered by county), synthetic control. One measure: the error at two
fake dates a year early, where the true effect is zero.
## Results
Best method (eastern PA): -2.5% (95% -5.7% to +0.8%), placebo error 5.0
points. All PA: -3.3% (p = 0.031), but -7.0% at a fake date. Synthetic
control -5.1%, placebo rank 26 of 40. Card-Krueger window: +3.4%.
## Limits
One treated state; jobs not hours; two fake dates; effects smaller than
about 5% (1,900 jobs) cannot be told from noise.

Comment le décrire en entrevue, en trois phrases : « J’ai estimé l’effet d’une hausse réelle du salaire minimum sur les emplois en restauration avec des données publiques et sept méthodes. Une régression donnait une perte “significative” de 3 %, mais elle trouvait aussi une perte de 7 % à une fausse date, un an plus tôt. J’ai donc comparé toutes les méthodes selon leur erreur aux fausses dates; l’estimation de la meilleure méthode était inférieure à sa propre erreur placebo, alors j’ai conclu que les données excluent une forte perte, mais ne permettent pas de mesurer un petit effet. »

Pour aller plus loin :

  • Ajoutez les données de 1994 et 1995 de BLS avec extract_qcew.py. Arrêtez-vous avant le 1er octobre 1996, quand le salaire minimum fédéral a aussi augmenté en Pennsylvanie. L’estimation se stabilise-t-elle?
  • Ajoutez un troisième État voisin du New Jersey, comme le Delaware ou New York. Vérifiez d’abord son salaire minimum durant ces années. Les erreurs placebo diminuent-elles?
  • Comparez avec les autres études de cas, L’envoi postal a-t-il fonctionné, et pour qui? et Tests réels dans une boutique en ligne. Qu’est-ce que la répartition aléatoire facilitait dans ces cas, mais qui était difficile ici?

À vous de jouer : le 2 × 2 avec l’est de la Pennsylvanie

Section intitulée « À vous de jouer : le 2 × 2 avec l’est de la Pennsylvanie »

Avant de l’exécuter, faites une prédiction : le 2 × 2 sur des années complètes donnait −0,2 % avec toute la Pennsylvanie. Avec seulement l’est de la Pennsylvanie, sera-t-il plus élevé ou plus bas? Dans la section 8 du carnet, utilisez did_2x2 avec le panel east, puis placez l’estimation dans east_2x2.

Afficher la réponse
east_2x2 = round(did_2x2(east, START)["estimate"], 1)
print(east_2x2)
-0.9

Les emplois dans l’est de la Pennsylvanie ont augmenté de 3,4 % la même année. C’est un peu plus rapide que dans toute la Pennsylvanie (2,7 %). La différence est donc un peu plus basse : −0,9 %. Le choix de comparaison change la réponse de moins d’un point, bien moins que l’erreur placebo.

Vérifiez votre compréhension

La régression avec toute la Pennsylvanie donne −3,3 % (intervalle à 95 % : de −6,2 % à −0,3 %, p = 0,031). Hana dit : « Donc, la hausse a coûté des emplois. » Que répond Priya, et pourquoi?

Afficher la réponse

Ces résultats ne permettent pas de le conclure. Priya a appliqué la même méthode à de fausses dates en 1991, quand le salaire minimum du New Jersey n’a pas changé. Elle a trouvé des pertes de 7,2 % et de 7,0 %, avec des intervalles qui excluaient aussi zéro. La méthode trouve donc des pertes « significatives » là où il n’y en avait pas. Son erreur en l’absence de changement dépasse son estimation réelle. L’intervalle est trop étroit parce que les 21 comtés du New Jersey partagent la même économie d’État. Le regroupement par comté les traite comme indépendants. Une interprétation honnête est que les données ne permettent pas de distinguer un petit effet de zéro.

Vérifiez votre compréhension

Pourquoi Priya compare-t-elle les méthodes selon leurs estimations aux fausses dates, plutôt que leurs valeurs p ou leur proximité avec Card et Krueger?

Afficher la réponse

Dans les données réelles, l’effet réel est inconnu. Aucune méthode ne peut donc être vérifiée par rapport à la vérité à la date réelle. À une fausse date avant la hausse réelle, la vérité est connue : zéro. L’estimation d’une méthode à cette date est une pure erreur. Sa taille est une mesure équitable qui fonctionne de la même façon pour toutes les méthodes. Les valeurs p indiquent seulement comment une méthode se juge elle-même. Elles étaient faibles même aux fausses dates. Card et Krueger ont utilisé d’autres données et une autre fenêtre. La proximité avec leurs résultats ne prouve donc pas qu’une méthode est juste.

Vérifiez votre compréhension

Dans le module 5, le contrôle synthétique était la méthode la plus exacte. Ici, son erreur placebo atteint 9,4 points, l'une des pires. Donnez deux raisons tirées de ce cas.

Afficher la réponse

D’abord, les données couvrent une courte période. Il n’y a que 9 trimestres avant la hausse, et seulement 4 avant la première fausse date. Le jumeau a trop peu d’historique pour apprendre les hausses et les baisses du New Jersey. Il échoue donc nettement à la fausse date du premier trimestre de 1991 (−18,1 %). Ensuite, les régions donneuses sont petites et bruitées. Les emplois en restauration d’un comté peuvent augmenter de plus de 80 % quand un seul employeur ouvre un établissement. C’est ce qui s’est produit dans le comté d’Union. Avec tous les comtés comme régions donneuses, ce comté a reçu un poids de 0,42. L’estimation est alors passée à −11,6 %. Dans le module 5, le simulateur fournissait 78 semaines de données régulières. La force d’une méthode dépend des données qu’elle reçoit.

Récapitulatif

  • La hausse de 1992 au New Jersey est une expérience naturelle : un État a changé, mais pas son voisin. Personne n’a fait de répartition aléatoire.
  • Les données de BLS sont publiques et appartiennent au domaine public. Un seul script réduit les 760 Mo à un extrait de 0,5 Mo. Pour les comtés masqués, nous avons utilisé les 46 comtés de Pennsylvanie ayant tous les trimestres (95,8 % des emplois). Nous avons aussi vérifié les totaux de l’État.
  • Avant la hausse, la croissance des emplois en restauration au New Jersey était jusqu’à 17 points inférieure à celle de la Pennsylvanie. L’absence de tendances parallèles était clairement visible.
  • Une régression donnait −3,3 % avec p = 0,031, mais elle trouvait aussi −7 % à une fausse date. Avec un seul État traité, les intervalles calculés par regroupement des comtés sont trop étroits.
  • Selon une mesure, l’erreur placebo, la meilleure méthode était la régression avec l’est de la Pennsylvanie : −2,5 %, avec une erreur de 5,0 points. Les données excluent une forte perte, mais ne permettent pas de mesurer un petit effet.

Ensuite, le travail final : un nouveau scénario Larkfield avec des problèmes insérés, où vous utilisez tous les outils du cours.

Leçon suivante : Travail final