Série chronologique interrompue
- Leçon 20
- 35 min
- Module 5 : Quand la répartition aléatoire est impossible : les expériences naturelles
Où nous en sommes
Parfois, il n'y a ni groupe de comparaison ni seuil : seulement une série et une date de changement. Dans cette leçon, nous revenons au lancement du bloc de recommandations. Nous utilisons la tendance, la saison et les jours fériés avant le changement pour estimer ce qui se serait passé.
Leçon 20 sur 30 · Expériences et impact causal : notre changement a-t-il fonctionné?Série chronologique interrompue
1. Pourquoi « ça a monté » n'est pas une réponse
2. Concevoir un test A/B
3. Analyser le test
4. Les pièges des vrais tests
5. Quand la répartition aléatoire est impossible : les expériences naturelles
6. Ajuster pour les facteurs de confusion dans des données d'observation
7. Le gain incrémental : à qui appliquer le traitement?
8. Les expériences pour les fonctions d'IA et en production
Ce que vous saurez faire
Estimez l’effet d’un changement quand vous n’avez qu’une série et la date du changement. Modélisez la série avant le changement, prolongez-la après comme contrefactuel, puis mesurez le saut. Sachez ce que le modèle doit contenir et pourquoi cette méthode est la plus faible du module.
Carnet JupyterFaites cette leçon dans un carnet Jupyter
Dans le carnet (notebook) Jupyter, vous ajustez une tendance et un saut sur une toute petite série. Ensuite, vous faites la même chose sur les commandes quotidiennes de TermeLarkfieldUne boutique en ligne canadienne inventée, qui vend des articles pour la maison et le jardin. Ce n’est pas une vraie entreprise. Tous les cours Nextia utilisent son service d’assistance et ses données comme exemple.En savoir plus Découvrez Larkfield autour du lancement du bloc. Vous ajoutez le jour de la semaine, les jours fériés et les soldes un à un et observez l’estimation changer. Les cellules de préparation installent les paquets, donc aucune préparation locale n’est nécessaire. Environ 35 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Le lancement du bloc et la hausse naïve de +8,3 %, dans La fonctionnalité qui a « fait monter les ventes ».
- La différence des différences, dans Différence des différences.
- La tendance et la saison dans une série. Pour un rappel, consultez Tendance, saison et bruit dans le cours de prévision.
Ce qu’il vous faut sur votre ordinateur (seulement pour les étapes du projet)
- Le projet
larkfield-experimentsà l’instantanéend-of-m05, dans Différence des différences, avec.venvactif.
Testé sur macOS avec Python 3.12 et l’instantané end-of-m05 du projet. Windows n’a pas été testé.
Les nouvelles heures d’ouverture d’un café
Section intitulée « Les nouvelles heures d’ouverture d’un café »Un café ouvre une heure plus tôt à partir du lundi 1er mars. Il n’y a qu’un café, donc aucun autre café auquel le comparer. Il n’y a pas de seuil non plus.
Mais la propriétaire a un cahier avec le nombre de clients pour chaque jour d’une année. En février, le café gagnait environ 2 clients par jour, chaque semaine. Les lundis sont toujours calmes, et les samedis sont achalandés. En mars, elle prolonge la droite de février, avec la même pente et le même rythme hebdomadaire. C’est son estimation de mars sans l’ouverture plus tôt. Ensuite, elle la compare au vrai mois de mars.
Elle a utilisé le passé du café comme comparaison.
Le problème : aucun groupe de comparaison pour le bloc
Section intitulée « Le problème : aucun groupe de comparaison pour le bloc »Dans le module 1, le tableau de bord d’TermeOmarLe gestionnaire de produit de Larkfield. Il pose les questions d’affaires : ce qu’un changement coûte et ce qu’il apporte à la boutique. indiquait une hausse des ventes de 8,3 % après le lancement du bloc de recommandations, le 6 octobre 2025. Ce nombre vient d’un problème d’exercice que nous avons créé exprès. Le simulateur sait que l’effet réel du bloc était de seulement +2,0 % sur les commandes.
Le bloc a été lancé pour tout le monde le même jour. Il n’y a ni Ontario ni Québec synthétique : tous les clients l’ont reçu. Il n’y a pas de seuil. Il y a une série de commandes quotidiennes et une date.
Ces mêmes semaines comprenaient aussi l’Action de grâce (13 octobre) et des soldes d’automne (du 9 au 19 octobre). La comparaison naïve attribue tout cela au bloc.
L’idée : le passé prolongé sert de contrefactuel
Section intitulée « L’idée : le passé prolongé sert de contrefactuel »Une série chronologique interrompue est une série avec un changement au milieu : le changement l’« interrompt ». La méthode comporte deux parties :
- Modélisez la série avant le changement : sa tendance, son rythme hebdomadaire et les événements connus, comme les jours fériés et les soldes.
- Prolongez le modèle après le changement. Il indique ce qu’auraient été les jours suivants sans le changement. L’écart entre les jours réels et le modèle prolongé est l’effet.
En pratique, les deux parties forment une seule régression sur tous les jours. Elle comprend la tendance, le jour de la semaine, les événements et un terme supplémentaire de type oui ou non : « après le changement ». Ce terme ajoute un saut à la date du changement. Sa taille est l’effet. On appelle souvent cette forme une régression segmentée.
Un petit exemple où toutes les valeurs sont visibles
Section intitulée « Un petit exemple où toutes les valeurs sont visibles »Voici une série inventée de neuf jours. La tendance ajoute 2 commandes par jour, et un changement au jour 6 ajoute un saut.
| Jour | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 |
|---|---|---|---|---|---|---|---|---|---|
| Commandes | 102 | 104 | 106 | 108 | 110 | 122 | 124 | 126 | 128 |
| Tendance des jours 1 à 5, prolongée | 102 | 104 | 106 | 108 | 110 | 112 | 114 | 116 | 118 |
| Écart | 0 | 0 | 0 | 0 | 0 | 10 | 10 | 10 | 10 |
Les jours 1 à 5 suivent une droite : 100 + 2 × jour. Prolongée, la droite indique 112 au jour 6. Le vrai jour 6 comptait 122 commandes. Le saut est de +10 commandes par jour, chaque jour après le changement.
- Commandes
- La tendance d'avant, prolongée
Description textuelle du graphique
Un graphique linéaire couvrant les jours 1 à 9. Les commandes augmentent de 2 par jour : 102, 104, 106, 108 et 110. Elles passent à 122 au jour 6 et continuent d’augmenter de 2 : 124, 126 et 128. Une ligne pointillée prolonge la tendance des jours 1 à 5 : 112, 114, 116 et 118 aux jours 6 à 9. Les commandes réelles restent 10 au-dessus de la ligne pointillée dès le jour 6.
Ses hypothèses
Section intitulée « Ses hypothèses »La méthode suppose que rien d’autre n’a changé à la même date sans que le modèle le sache. Elle suppose aussi que le modèle d’avant le changement, prolongé, reste juste après. Ce sont deux hypothèses fortes. Un groupe de comparaison vous protège des surprises qui touchent les deux groupes. Ici, rien ne vous protège. Si un concurrent fermait son magasin la même semaine, le saut inclurait cet effet.
Larkfield : le lancement du bloc
Section intitulée « Larkfield : le lancement du bloc »-
Assurez-vous que votre projet est à
end-of-m05, avec.venvactif. Simulez de nouveau le lancement.Fenêtre de terminal sim run --scenario launchScenario launch (seed 40): Daily orders and sales around the recommendation block's launch (6 October 2025): no test, one series.Wrote runs/launch-s40: daily (427 rows), counterfactual (427 rows). Synthetic data. 0.1 s -
Exécutez la série chronologique interrompue, puis comparez avec l’effet réel.
Fenêtre de terminal xp itsxp checkInterrupted time series (trend, weekday, holiday windows and the sale), 84 days (8 weeks before, 4 after), launch 2025-10-06:Effect of the launch on daily orders: +3.5% (95% interval +1.3% to +5.8%; errors robust to 7 days of autocorrelation).Run launch-s40: the last analysis was `xp its`.True effect (from the simulator): +2.0% on daily orders.Your estimate: +3.5% (+1.3% to +5.8%): the interval contains it.
On passe de la hausse naïve de +8,3 % à +3,5 %, contre un effet réel de +2,0 %. L’TermeIntervalle de confianceUne plage autour d’une valeur mesurée, obtenue par une méthode qui contient la vraie valeur 95 fois sur 100. Si l’intervalle d’une différence ne contient pas zéro, la différence n’est probablement pas due au hasard.En savoir plus Estimer l'incertitudeMathématiques et statistiques essentielles pour l'IA contient l’effet réel. Le modèle a utilisé les 8 semaines avant le lancement et les 4 semaines après.
Ce que le modèle sait
Section intitulée « Ce que le modèle sait »xp its ajuste le logarithme des commandes quotidiennes avec :
- une tendance : une droite sur les 84 jours;
- le jour de la semaine : les lundis et les samedis diffèrent;
- les fenêtres des jours fériés : les jours d’achats autour de la fête du Travail et de l’Action de grâce;
- les soldes : les jours du 9 au 19 octobre;
- le saut : 0 avant le 6 octobre, 1 à partir de ce jour. Son coefficient est l’effet.
Les jours fériés et les soldes figurent dans les données comme colonnes de type oui ou non. Larkfield connaît son propre calendrier. Le modèle apprend l’apport d’une fenêtre de jour férié à partir de la fête du Travail, qui précédait le lancement. Il l’applique ensuite à l’Action de grâce.
Les erreurs sont robustes à l’autocorrélation. L’autocorrélation signifie que les jours voisins se ressemblent : un mardi achalandé est souvent suivi d’un mercredi achalandé. Donc, 84 jours ne sont pas 84 éléments de preuve indépendants. xp its élargit l’intervalle pour en tenir compte, en examinant les jours espacés d’au plus 7 jours. C’est la même idée que le regroupement par zone dans la différence des différences.
- Commandes quotidiennes
- Modèle complet, sans le saut
- Tendance et jour de la semaine seulement
- Sans le bloc (simulateur)
Description textuelle du graphique
Un graphique linéaire sur 84 jours, de 56 jours avant à 27 jours après le 6 octobre 2025. Les commandes varient entre environ 1 350 et 2 370 par jour. Elles montent et descendent selon le jour de la semaine. Juste après le lancement, elles augmentent fortement pendant l’Action de grâce et les soldes, puis redescendent. Dans les 28 jours après le lancement, les commandes atteignent en moyenne 1 816,5 par jour. Le monde sans le bloc du simulateur affiche une moyenne de 1 780,8. Le modèle complet sans son saut affiche une moyenne de 1 751,7 et suit la hausse. Le modèle simple sans son saut affiche une moyenne de 1 624,2 : il ne montre aucune hausse.
Un modèle sans calendrier attribue le calendrier au changement
Section intitulée « Un modèle sans calendrier attribue le calendrier au changement »Et si le modèle ne connaissait ni le jour férié ni les soldes? xp its --simple conserve seulement la tendance et le jour de la semaine.
xp its --simplexp checkInterrupted time series (trend and weekday only), 84 days (8 weeks before, 4 after), launch 2025-10-06: Effect of the launch on daily orders: +11.3% (95% interval +4.1% to +19.1%; errors robust to 7 days of autocorrelation).Run launch-s40: the last analysis was `xp its`.True effect (from the simulator): +2.0% on daily orders.Your estimate: +11.3% (+4.1% to +19.1%): the interval does NOT contain it.+11,3 % : pire que la hausse naïve de +8,3 % des ventes. L’Action de grâce et les soldes tombent entièrement dans les 4 semaines après le lancement. Le modèle simple n’a aucun terme pour eux, donc le saut prend leurs commandes. Le saut répond à la question « qu’est-ce qui était différent après le 6 octobre? ». La réponse est : le bloc, un jour férié et des soldes.
Le cours a mesuré les deux modèles sur 50 graines (seeds) :
- tendance et jour de la semaine seulement : moyenne de +12,7 %, l’intervalle contenait l’effet réel dans 14 % des exécutions;
- tendance, jour de la semaine, jours fériés et soldes : moyenne de +3,3 %, l’intervalle contenait l’effet réel dans 84 % des exécutions.
Même le modèle complet est un peu trop élevé en moyenne, et 84 % reste sous les 95 % promis. La tendance droite et le terme de jour férié du modèle sont des estimations simples d’un calendrier complexe. La saison du simulateur n’est pas une droite.
Plus d’historique n’est pas toujours mieux
Section intitulée « Plus d’historique n’est pas toujours mieux »Un historique plus long semble plus sûr. xp its --before 52 utilise une année entière avant le lancement. Il donne −2,2 % (de −6,2 % à +2,1 %). L’intervalle contient l’effet réel, mais l’estimation indique maintenant que le bloc pourrait avoir réduit les commandes. Une année contient toute une saison de jardinage : un sommet printanier et un creux hivernal. Une tendance en ligne droite ne peut pas la suivre. La droite prolongée est donc fausse en octobre, et le saut absorbe l’erreur.
Un long historique exige un modèle de la saison. Le cours Prévision et séries chronologiques : prévoir la suite enseigne comment modéliser la tendance, la saison et les jours fériés. Consultez Tendance, saison et bruit et Calendriers, jours fériés et événements. Une prévision faite avant le changement, avec un modèle vérifié sur les données passées, constitue un contrefactuel solide.
Description textuelle du graphique
Un panneau avec une ligne verticale à l’effet réel, +2,0 %. Comparaison naïve avant-après, sur les ventes : +8,3 %, sans intervalle. Tendance et jour de la semaine seulement : +11,3 % (de +4,1 % à +19,1 %). Une année avant, sans saison : −2,2 % (de −6,2 % à +2,1 %). Tendance, jour de la semaine, jours fériés et soldes : +3,5 % (de +1,3 % à +5,8 %).
Quand ce sont vos seules données probantes
Section intitulée « Quand ce sont vos seules données probantes »La série chronologique interrompue est la plus faible des quatre méthodes de ce module. Chaque autre méthode a un groupe qui n’a pas reçu le changement : l’Ontario, un mélange de provinces, les clients juste sous 500. Ici, la comparaison est un modèle, dont la qualité dépend de votre connaissance du calendrier.
Utilisez-la quand :
- tout le monde a reçu le changement en même temps, et vous ne trouvez aucun groupe de comparaison;
- vous avez un historique long et régulier et connaissez ses événements : jours fériés, soldes, changements de prix, pannes;
- l’effet est rapide et grand par rapport au bruit quotidien.
Ne lui faites pas confiance quand :
- autre chose a changé près de la même date, sans figurer dans le modèle;
- l’estimation change beaucoup quand vous modifiez la longueur de l’historique ou le modèle;
- l’effet s’accumule lentement. Un effet lent ressemble à un changement de tendance, et le modèle peut l’attribuer à la tendance.
La méthode exige peu de données, mais beaucoup de jugement. Notez le modèle avant de voir le résultat : la longueur de l’historique, les termes, les événements. Sinon, vous pouvez trouver un modèle pour n’importe quelle réponse souhaitée. Ensuite, dites clairement qu’il s’agit du type de preuve le plus faible.
Quelle méthode et ce qu’elle exige
Section intitulée « Quelle méthode et ce qu’elle exige »Le diagramme rassemble les éléments du module. Il commence par la meilleure option : un test avec un tirage à pile ou face.
| Méthode | Son hypothèse | Un signe que l’hypothèse est fausse |
|---|---|---|
| Différence des différences | Sans le changement, les deux groupes auraient évolué de la même façon (tendances parallèles) | Des tendances différentes avant le changement; un effet placebo; une estimation qui change selon le groupe de comparaison |
| Contrôle synthétique | Le mélange pondéré aurait continué à suivre l’unité traitée | Un mauvais ajustement avant le changement (RMSPE élevée); des écarts placebo aussi grands que celui de l’unité traitée |
| Régression sur discontinuité | Personne n’a choisi son côté du seuil; rien d’autre n’y change | Une accumulation juste au-dessus du seuil (vérification de densité); une estimation qui change selon la largeur de fenêtre |
| Série chronologique interrompue | Rien d’autre n’a changé à cette date; le modèle d’avant, prolongé, reste valable après | Une estimation qui change selon le modèle ou la longueur de l’historique; un événement connu près de la date |
Exercice guidé : ajoutez le calendrier un terme à la fois
Section intitulée « Exercice guidé : ajoutez le calendrier un terme à la fois »- Ouvrez le carnet Jupyter dans l’encadré Faites cette leçon dans un carnet Jupyter en haut de cette page.
- Exécutez les cellules de préparation et la cellule auxiliaire.
- Dans la section 1, ajustez l’exemple de neuf jours. Vous voyez le saut
+10.0. - Dans la section 2, calculez la variation naïve des commandes sur 4 semaines de chaque côté. Vous voyez
+10.2%, contre un effet réel de+2.0%. - Dans la section 3, ajustez le modèle avec seulement la tendance et le jour de la semaine. Vous voyez
+11.3%. - Dans la section 4, ajoutez les fenêtres des jours fériés et les soldes. Placez l’effet dans
its_full. Exécutez la cellule de vérification. Elle afficheCheck passed(vérification réussie). - Dans la section 5, tracez les commandes réelles face au modèle sans son saut.
Afficher la réponse à l’étape 6
m = smf.ols("log_orders ~ post + t + C(weekday) + holiday_window + sale", data=w).fit( cov_type="HAC", cov_kwds={"maxlags": 7})its_full = round(float(np.expm1(m.params["post"])), 4)print(its_full)La valeur est 0,0349 : +3,5 %, comme avec xp its.
À vous de jouer : plus d’historique
Section intitulée « À vous de jouer : plus d’historique »Mateo dit : « Huit semaines, c’est trop court. Utilisez les 16 semaines avant le lancement. » Exécutez xp its --before 16 et xp check. Avant de les exécuter, regardez la saison de jardinage dans le premier graphique de Différence des différences. Prédisez si l’estimation va monter ou descendre.
Afficher la réponse
xp its --before 16xp checkInterrupted time series (trend, weekday, holiday windows and the sale), 140 days (16 weeks before, 4 after), launch 2025-10-06: Effect of the launch on daily orders: +10.5% (95% interval +5.7% to +15.5%; errors robust to 7 days of autocorrelation).Run launch-s40: the last analysis was `xp its`.True effect (from the simulator): +2.0% on daily orders.Your estimate: +10.5% (+5.7% to +15.5%): the interval does NOT contain it.L’estimation monte à +10,5 %, et l’intervalle ne contient pas l’effet réel. Les seize semaines avant le 6 octobre commencent à la mi-juin, près du sommet de la saison de jardinage. Les ventes baissent ensuite pendant l’été. La tendance linéaire apprend que « les ventes baissent » et prolonge cette baisse jusqu’en octobre. Elle prévoit donc trop peu de commandes après le lancement. Le saut semble alors plus grand. Huit semaines étaient un meilleur choix ici, mais seulement parce que leur droite convenait par hasard. La correction la plus sûre consiste à modéliser la saison, pas à changer de fenêtre.
Erreur courante
« La nouvelle page d'accueil a augmenté les commandes de 11 % »
Symptôme : une équipe lance une nouvelle page d’accueil pour tout le monde un lundi. Elle ajuste une tendance et un profil par jour de la semaine sur les 8 semaines précédentes. Elle trouve un saut de +11 %, avec un intervalle qui exclut zéro. Un mois plus tard, les commandes sont revenues à leur niveau précédent.
Cause : un jour férié et des soldes ont eu lieu dans les semaines suivant le lancement. Le modèle n’avait aucun terme pour les représenter. Le saut a absorbé leurs commandes. Un intervalle net n’aide pas : il mesure le bruit autour du mauvais modèle.
Correction : listez tous les événements proches de la date du changement avant l’ajustement, puis ajoutez chacun au modèle. Ajustez le modèle avec plusieurs longueurs d’historique et plusieurs formes de modèle, puis présentez l’intervalle des estimations. Si l’estimation varie beaucoup, dites que les preuves sont faibles. Quand c’est possible, gardez un petit groupe sans le changement, un groupe de contrôle permanent (holdout). Le prochain lancement aura ainsi un groupe de comparaison.
Vérifiez votre compréhension
Un magasin a vendu 50, 53, 56 et 59 articles sur quatre jours, puis un changement a commencé. Les deux jours suivants, il en a vendu 70 et 73. Avec une tendance linéaire, quel est l'effet estimé par jour?
Afficher la réponse
La tendance ajoute 3 articles par jour : 50, 53, 56, 59. Si on la prolonge, elle prévoit 62 et 65 articles pour les deux jours suivants. Le magasin en a vendu 70 et 73. Le saut est de 70 − 62 = 8 et de 73 − 65 = 8 : environ +8 articles par jour.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Pourquoi le modèle avec seulement une tendance et le jour de la semaine a-t-il trouvé +11,3 % pour le bloc, alors que l'effet réel est de +2,0 %?
Afficher la réponse
L’Action de grâce et les soldes d’automne ont eu lieu dans les 4 semaines suivant le lancement. Le modèle n’avait aucun terme pour les représenter. Le contrefactuel du modèle est resté bas pendant le jour férié et les soldes. Le saut, soit le terme « après le lancement », a donc absorbé leurs commandes supplémentaires comme si elles venaient du bloc. Le modèle avec les fenêtres des jours fériés et les soldes a trouvé +3,5 %.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Énoncez l'hypothèse nécessaire à une série chronologique interrompue, puis un signe dans les données qui montre qu'elle est fausse.
Afficher la réponse
Elle suppose qu’aucun autre changement inconnu du modèle n’a eu lieu à la même date. Elle suppose aussi que le modèle du passé, une fois prolongé, reste juste après le changement. Une estimation qui varie beaucoup selon la longueur de l’historique ou les termes du modèle signale une hypothèse fausse. Ici, elle était de +3,5 % avec 8 semaines, de +10,5 % avec 16 semaines et de −2,2 % avec 52. Autre signe : un événement connu, comme un jour férié ou des soldes, près de la date du changement.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Une série chronologique interrompue modélise une série avant un changement et prolonge le modèle au-delà. Le saut à la date du changement est l’effet (régression segmentée).
- Le modèle doit connaître la tendance, le jour de la semaine et chaque événement proche du changement. Avec ces termes, l’effet du bloc était de +3,5 % (+1,3 % à +5,8 %), contre un effet réel de +2,0 %. Couverture sur 50 graines (seeds) : 84 %.
- Sans le jour férié et les soldes, le saut les a absorbés : +11,3 %, pire que la variation naïve de +8,3 %. Avec un an d’historique et sans saison : −2,2 %. Avec 16 semaines : +10,5 %.
- Les erreurs robustes à l’autocorrélation considèrent les jours voisins comme semblables.
- C’est la méthode la plus faible de ce module. La comparaison repose sur un modèle, pas sur un groupe. Décrivez le modèle par écrit avant de voir le résultat.
- Chaque méthode de ce module nécessite une hypothèse que vous ne pouvez pas tester complètement. Nommez-la et cherchez son signe d’alerte.
Prochain module : aucune date de changement. Seulement des journaux indiquant qui a utilisé le bloc et combien ces personnes ont dépensé.
Leçon suivante : Ajustement par régression