Aller au contenu
English

Série chronologique interrompue

  • Leçon 20
  • 35 min
  • Module 5 : Quand la répartition aléatoire est impossible : les expériences naturelles

Où nous en sommes

Parfois, il n'y a ni groupe de comparaison ni seuil : seulement une série et une date de changement. Dans cette leçon, nous revenons au lancement du bloc de recommandations. Nous utilisons la tendance, la saison et les jours fériés avant le changement pour estimer ce qui se serait passé.

Leçon 20 sur 30 · Expériences et impact causal : notre changement a-t-il fonctionné?Série chronologique interrompue

Ce que vous saurez faire

Estimez l’effet d’un changement quand vous n’avez qu’une série et la date du changement. Modélisez la série avant le changement, prolongez-la après comme contrefactuel, puis mesurez le saut. Sachez ce que le modèle doit contenir et pourquoi cette méthode est la plus faible du module.

Carnet JupyterFaites cette leçon dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Dans le carnet (notebook) Jupyter, vous ajustez une tendance et un saut sur une toute petite série. Ensuite, vous faites la même chose sur les commandes quotidiennes de TermeLarkfieldUne boutique en ligne canadienne inventée, qui vend des articles pour la maison et le jardin. Ce n’est pas une vraie entreprise. Tous les cours Nextia utilisent son service d’assistance et ses données comme exemple.En savoir plus Découvrez Larkfield autour du lancement du bloc. Vous ajoutez le jour de la semaine, les jours fériés et les soldes un à un et observez l’estimation changer. Les cellules de préparation installent les paquets, donc aucune préparation locale n’est nécessaire. Environ 35 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 35 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur (seulement pour les étapes du projet)

Testé sur macOS avec Python 3.12 et l’instantané end-of-m05 du projet. Windows n’a pas été testé.

Un café ouvre une heure plus tôt à partir du lundi 1er mars. Il n’y a qu’un café, donc aucun autre café auquel le comparer. Il n’y a pas de seuil non plus.

Mais la propriétaire a un cahier avec le nombre de clients pour chaque jour d’une année. En février, le café gagnait environ 2 clients par jour, chaque semaine. Les lundis sont toujours calmes, et les samedis sont achalandés. En mars, elle prolonge la droite de février, avec la même pente et le même rythme hebdomadaire. C’est son estimation de mars sans l’ouverture plus tôt. Ensuite, elle la compare au vrai mois de mars.

Elle a utilisé le passé du café comme comparaison.

Le problème : aucun groupe de comparaison pour le bloc

Section intitulée « Le problème : aucun groupe de comparaison pour le bloc »

Dans le module 1, le tableau de bord d’TermeOmarLe gestionnaire de produit de Larkfield. Il pose les questions d’affaires : ce qu’un changement coûte et ce qu’il apporte à la boutique. indiquait une hausse des ventes de 8,3 % après le lancement du bloc de recommandations, le 6 octobre 2025. Ce nombre vient d’un problème d’exercice que nous avons créé exprès. Le simulateur sait que l’effet réel du bloc était de seulement +2,0 % sur les commandes.

Le bloc a été lancé pour tout le monde le même jour. Il n’y a ni Ontario ni Québec synthétique : tous les clients l’ont reçu. Il n’y a pas de seuil. Il y a une série de commandes quotidiennes et une date.

Ces mêmes semaines comprenaient aussi l’Action de grâce (13 octobre) et des soldes d’automne (du 9 au 19 octobre). La comparaison naïve attribue tout cela au bloc.

L’idée : le passé prolongé sert de contrefactuel

Section intitulée « L’idée : le passé prolongé sert de contrefactuel »

Une série chronologique interrompue est une série avec un changement au milieu : le changement l’« interrompt ». La méthode comporte deux parties :

  1. Modélisez la série avant le changement : sa tendance, son rythme hebdomadaire et les événements connus, comme les jours fériés et les soldes.
  2. Prolongez le modèle après le changement. Il indique ce qu’auraient été les jours suivants sans le changement. L’écart entre les jours réels et le modèle prolongé est l’effet.

En pratique, les deux parties forment une seule régression sur tous les jours. Elle comprend la tendance, le jour de la semaine, les événements et un terme supplémentaire de type oui ou non : « après le changement ». Ce terme ajoute un saut à la date du changement. Sa taille est l’effet. On appelle souvent cette forme une régression segmentée.

Voici une série inventée de neuf jours. La tendance ajoute 2 commandes par jour, et un changement au jour 6 ajoute un saut.

Jour 1 2 3 4 5 6 7 8 9
Commandes 102 104 106 108 110 122 124 126 128
Tendance des jours 1 à 5, prolongée 102 104 106 108 110 112 114 116 118
Écart 0 0 0 0 0 10 10 10 10

Les jours 1 à 5 suivent une droite : 100 + 2 × jour. Prolongée, la droite indique 112 au jour 6. Le vrai jour 6 comptait 122 commandes. Le saut est de +10 commandes par jour, chaque jour après le changement.

  • Commandes
  • La tendance d'avant, prolongée
Une série chronologique interrompue sur neuf jours. La ligne pointillée est la tendance des jours 1 à 5, prolongée. Dès le jour 6, les commandes restent 10 au-dessus : le saut est l'effet. Un exemple inventé.
Description textuelle du graphique

Un graphique linéaire couvrant les jours 1 à 9. Les commandes augmentent de 2 par jour : 102, 104, 106, 108 et 110. Elles passent à 122 au jour 6 et continuent d’augmenter de 2 : 124, 126 et 128. Une ligne pointillée prolonge la tendance des jours 1 à 5 : 112, 114, 116 et 118 aux jours 6 à 9. Les commandes réelles restent 10 au-dessus de la ligne pointillée dès le jour 6.

La méthode suppose que rien d’autre n’a changé à la même date sans que le modèle le sache. Elle suppose aussi que le modèle d’avant le changement, prolongé, reste juste après. Ce sont deux hypothèses fortes. Un groupe de comparaison vous protège des surprises qui touchent les deux groupes. Ici, rien ne vous protège. Si un concurrent fermait son magasin la même semaine, le saut inclurait cet effet.

  1. Assurez-vous que votre projet est à end-of-m05, avec .venv actif. Simulez de nouveau le lancement.

    Fenêtre de terminal
    sim run --scenario launch
    Scenario launch (seed 40): Daily orders and sales around the recommendation block's launch (6 October 2025): no test, one series.
    Wrote runs/launch-s40: daily (427 rows), counterfactual (427 rows). Synthetic data. 0.1 s
  2. Exécutez la série chronologique interrompue, puis comparez avec l’effet réel.

    Fenêtre de terminal
    xp its
    xp check
    Interrupted time series (trend, weekday, holiday windows and the sale), 84 days (8 weeks before, 4 after), launch 2025-10-06:
    Effect of the launch on daily orders: +3.5% (95% interval +1.3% to +5.8%; errors robust to 7 days of autocorrelation).
    Run launch-s40: the last analysis was `xp its`.
    True effect (from the simulator): +2.0% on daily orders.
    Your estimate: +3.5% (+1.3% to +5.8%): the interval contains it.

On passe de la hausse naïve de +8,3 % à +3,5 %, contre un effet réel de +2,0 %. L’TermeIntervalle de confianceUne plage autour d’une valeur mesurée, obtenue par une méthode qui contient la vraie valeur 95 fois sur 100. Si l’intervalle d’une différence ne contient pas zéro, la différence n’est probablement pas due au hasard.En savoir plus Estimer l'incertitudeMathématiques et statistiques essentielles pour l'IA contient l’effet réel. Le modèle a utilisé les 8 semaines avant le lancement et les 4 semaines après.

xp its ajuste le logarithme des commandes quotidiennes avec :

  • une tendance : une droite sur les 84 jours;
  • le jour de la semaine : les lundis et les samedis diffèrent;
  • les fenêtres des jours fériés : les jours d’achats autour de la fête du Travail et de l’Action de grâce;
  • les soldes : les jours du 9 au 19 octobre;
  • le saut : 0 avant le 6 octobre, 1 à partir de ce jour. Son coefficient est l’effet.

Les jours fériés et les soldes figurent dans les données comme colonnes de type oui ou non. Larkfield connaît son propre calendrier. Le modèle apprend l’apport d’une fenêtre de jour férié à partir de la fête du Travail, qui précédait le lancement. Il l’applique ensuite à l’Action de grâce.

Les erreurs sont robustes à l’autocorrélation. L’autocorrélation signifie que les jours voisins se ressemblent : un mardi achalandé est souvent suivi d’un mercredi achalandé. Donc, 84 jours ne sont pas 84 éléments de preuve indépendants. xp its élargit l’intervalle pour en tenir compte, en examinant les jours espacés d’au plus 7 jours. C’est la même idée que le regroupement par zone dans la différence des différences.

  • Commandes quotidiennes
  • Modèle complet, sans le saut
  • Tendance et jour de la semaine seulement
  • Sans le bloc (simulateur)
Commandes quotidiennes 8 semaines avant et 4 semaines après le lancement du bloc. Le modèle complet, tracé sans son saut, suit le jour férié et les soldes. Il reste près du monde sans le bloc du simulateur. Le modèle simple ne connaît ni le jour férié ni les soldes : il reste bas après le lancement. Toute la hausse semble donc être l'effet du bloc. Données synthétiques, graine 40.
Description textuelle du graphique

Un graphique linéaire sur 84 jours, de 56 jours avant à 27 jours après le 6 octobre 2025. Les commandes varient entre environ 1 350 et 2 370 par jour. Elles montent et descendent selon le jour de la semaine. Juste après le lancement, elles augmentent fortement pendant l’Action de grâce et les soldes, puis redescendent. Dans les 28 jours après le lancement, les commandes atteignent en moyenne 1 816,5 par jour. Le monde sans le bloc du simulateur affiche une moyenne de 1 780,8. Le modèle complet sans son saut affiche une moyenne de 1 751,7 et suit la hausse. Le modèle simple sans son saut affiche une moyenne de 1 624,2 : il ne montre aucune hausse.

Un modèle sans calendrier attribue le calendrier au changement

Section intitulée « Un modèle sans calendrier attribue le calendrier au changement »

Et si le modèle ne connaissait ni le jour férié ni les soldes? xp its --simple conserve seulement la tendance et le jour de la semaine.

Fenêtre de terminal
xp its --simple
xp check
Interrupted time series (trend and weekday only), 84 days (8 weeks before, 4 after), launch 2025-10-06:
Effect of the launch on daily orders: +11.3% (95% interval +4.1% to +19.1%; errors robust to 7 days of autocorrelation).
Run launch-s40: the last analysis was `xp its`.
True effect (from the simulator): +2.0% on daily orders.
Your estimate: +11.3% (+4.1% to +19.1%): the interval does NOT contain it.

+11,3 % : pire que la hausse naïve de +8,3 % des ventes. L’Action de grâce et les soldes tombent entièrement dans les 4 semaines après le lancement. Le modèle simple n’a aucun terme pour eux, donc le saut prend leurs commandes. Le saut répond à la question « qu’est-ce qui était différent après le 6 octobre? ». La réponse est : le bloc, un jour férié et des soldes.

Le cours a mesuré les deux modèles sur 50 graines (seeds) :

  • tendance et jour de la semaine seulement : moyenne de +12,7 %, l’intervalle contenait l’effet réel dans 14 % des exécutions;
  • tendance, jour de la semaine, jours fériés et soldes : moyenne de +3,3 %, l’intervalle contenait l’effet réel dans 84 % des exécutions.

Même le modèle complet est un peu trop élevé en moyenne, et 84 % reste sous les 95 % promis. La tendance droite et le terme de jour férié du modèle sont des estimations simples d’un calendrier complexe. La saison du simulateur n’est pas une droite.

Un historique plus long semble plus sûr. xp its --before 52 utilise une année entière avant le lancement. Il donne −2,2 % (de −6,2 % à +2,1 %). L’intervalle contient l’effet réel, mais l’estimation indique maintenant que le bloc pourrait avoir réduit les commandes. Une année contient toute une saison de jardinage : un sommet printanier et un creux hivernal. Une tendance en ligne droite ne peut pas la suivre. La droite prolongée est donc fausse en octobre, et le saut absorbe l’erreur.

Un long historique exige un modèle de la saison. Le cours Prévision et séries chronologiques : prévoir la suite enseigne comment modéliser la tendance, la saison et les jours fériés. Consultez Tendance, saison et bruit et Calendriers, jours fériés et événements. Une prévision faite avant le changement, avec un modèle vérifié sur les données passées, constitue un contrefactuel solide.

Quatre réponses à une question sur les mêmes données : qu'a fait le bloc aux commandes? Seul le modèle avec les jours fériés et les soldes, sur 8 semaines avant, approche l'effet réel (+2,0 %). Sans calendrier, le modèle est encore pire que la comparaison naïve. Données synthétiques, graine 40.
Description textuelle du graphique

Un panneau avec une ligne verticale à l’effet réel, +2,0 %. Comparaison naïve avant-après, sur les ventes : +8,3 %, sans intervalle. Tendance et jour de la semaine seulement : +11,3 % (de +4,1 % à +19,1 %). Une année avant, sans saison : −2,2 % (de −6,2 % à +2,1 %). Tendance, jour de la semaine, jours fériés et soldes : +3,5 % (de +1,3 % à +5,8 %).

La série chronologique interrompue est la plus faible des quatre méthodes de ce module. Chaque autre méthode a un groupe qui n’a pas reçu le changement : l’Ontario, un mélange de provinces, les clients juste sous 500. Ici, la comparaison est un modèle, dont la qualité dépend de votre connaissance du calendrier.

Utilisez-la quand :

  • tout le monde a reçu le changement en même temps, et vous ne trouvez aucun groupe de comparaison;
  • vous avez un historique long et régulier et connaissez ses événements : jours fériés, soldes, changements de prix, pannes;
  • l’effet est rapide et grand par rapport au bruit quotidien.

Ne lui faites pas confiance quand :

  • autre chose a changé près de la même date, sans figurer dans le modèle;
  • l’estimation change beaucoup quand vous modifiez la longueur de l’historique ou le modèle;
  • l’effet s’accumule lentement. Un effet lent ressemble à un changement de tendance, et le modèle peut l’attribuer à la tendance.

La méthode exige peu de données, mais beaucoup de jugement. Notez le modèle avant de voir le résultat : la longueur de l’historique, les termes, les événements. Sinon, vous pouvez trouver un modèle pour n’importe quelle réponse souhaitée. Ensuite, dites clairement qu’il s’agit du type de preuve le plus faible.

Le diagramme rassemble les éléments du module. Il commence par la meilleure option : un test avec un tirage à pile ou face.

Un diagramme de décision. Première question : pouvez-vous choisir au hasard qui reçoit le changement? Oui mène à un test A/B, modules 2 à 4. Non mène à la deuxième question : une règle a-t-elle décidé, avec un seuil? Oui mène à la régression sur discontinuité, juste sous le seuil contre juste au-dessus. Non mène à la troisième question : certaines régions, certains magasins ou groupes l'ont-ils reçu, et d'autres non? Oui mène à la différence des différences avec beaucoup d'unités semblables, ou au contrôle synthétique avec une unité et beaucoup d'autres. Non mène à la série chronologique interrompue : une seule série et une date. Une note indique que chaque méthode exige une hypothèse que vous ne pouvez pas tester complètement.
Choisissez une méthode pour un changement qui n'a pas été réparti au hasard. Chaque chemin aboutit à une hypothèse : notez-la et cherchez un signe qu'elle est fausse.
Méthode Son hypothèse Un signe que l’hypothèse est fausse
Différence des différences Sans le changement, les deux groupes auraient évolué de la même façon (tendances parallèles) Des tendances différentes avant le changement; un effet placebo; une estimation qui change selon le groupe de comparaison
Contrôle synthétique Le mélange pondéré aurait continué à suivre l’unité traitée Un mauvais ajustement avant le changement (RMSPE élevée); des écarts placebo aussi grands que celui de l’unité traitée
Régression sur discontinuité Personne n’a choisi son côté du seuil; rien d’autre n’y change Une accumulation juste au-dessus du seuil (vérification de densité); une estimation qui change selon la largeur de fenêtre
Série chronologique interrompue Rien d’autre n’a changé à cette date; le modèle d’avant, prolongé, reste valable après Une estimation qui change selon le modèle ou la longueur de l’historique; un événement connu près de la date

Exercice guidé : ajoutez le calendrier un terme à la fois

Section intitulée « Exercice guidé : ajoutez le calendrier un terme à la fois »
  1. Ouvrez le carnet Jupyter dans l’encadré Faites cette leçon dans un carnet Jupyter en haut de cette page.
  2. Exécutez les cellules de préparation et la cellule auxiliaire.
  3. Dans la section 1, ajustez l’exemple de neuf jours. Vous voyez le saut +10.0.
  4. Dans la section 2, calculez la variation naïve des commandes sur 4 semaines de chaque côté. Vous voyez +10.2%, contre un effet réel de +2.0%.
  5. Dans la section 3, ajustez le modèle avec seulement la tendance et le jour de la semaine. Vous voyez +11.3%.
  6. Dans la section 4, ajoutez les fenêtres des jours fériés et les soldes. Placez l’effet dans its_full. Exécutez la cellule de vérification. Elle affiche Check passed (vérification réussie).
  7. Dans la section 5, tracez les commandes réelles face au modèle sans son saut.
Afficher la réponse à l’étape 6
m = smf.ols("log_orders ~ post + t + C(weekday) + holiday_window + sale", data=w).fit(
cov_type="HAC", cov_kwds={"maxlags": 7})
its_full = round(float(np.expm1(m.params["post"])), 4)
print(its_full)

La valeur est 0,0349 : +3,5 %, comme avec xp its.

Mateo dit : « Huit semaines, c’est trop court. Utilisez les 16 semaines avant le lancement. » Exécutez xp its --before 16 et xp check. Avant de les exécuter, regardez la saison de jardinage dans le premier graphique de Différence des différences. Prédisez si l’estimation va monter ou descendre.

Afficher la réponse
Fenêtre de terminal
xp its --before 16
xp check
Interrupted time series (trend, weekday, holiday windows and the sale), 140 days (16 weeks before, 4 after), launch 2025-10-06:
Effect of the launch on daily orders: +10.5% (95% interval +5.7% to +15.5%; errors robust to 7 days of autocorrelation).
Run launch-s40: the last analysis was `xp its`.
True effect (from the simulator): +2.0% on daily orders.
Your estimate: +10.5% (+5.7% to +15.5%): the interval does NOT contain it.

L’estimation monte à +10,5 %, et l’intervalle ne contient pas l’effet réel. Les seize semaines avant le 6 octobre commencent à la mi-juin, près du sommet de la saison de jardinage. Les ventes baissent ensuite pendant l’été. La tendance linéaire apprend que « les ventes baissent » et prolonge cette baisse jusqu’en octobre. Elle prévoit donc trop peu de commandes après le lancement. Le saut semble alors plus grand. Huit semaines étaient un meilleur choix ici, mais seulement parce que leur droite convenait par hasard. La correction la plus sûre consiste à modéliser la saison, pas à changer de fenêtre.

Erreur courante

« La nouvelle page d'accueil a augmenté les commandes de 11 % »

Symptôme : une équipe lance une nouvelle page d’accueil pour tout le monde un lundi. Elle ajuste une tendance et un profil par jour de la semaine sur les 8 semaines précédentes. Elle trouve un saut de +11 %, avec un intervalle qui exclut zéro. Un mois plus tard, les commandes sont revenues à leur niveau précédent.

Cause : un jour férié et des soldes ont eu lieu dans les semaines suivant le lancement. Le modèle n’avait aucun terme pour les représenter. Le saut a absorbé leurs commandes. Un intervalle net n’aide pas : il mesure le bruit autour du mauvais modèle.

Correction : listez tous les événements proches de la date du changement avant l’ajustement, puis ajoutez chacun au modèle. Ajustez le modèle avec plusieurs longueurs d’historique et plusieurs formes de modèle, puis présentez l’intervalle des estimations. Si l’estimation varie beaucoup, dites que les preuves sont faibles. Quand c’est possible, gardez un petit groupe sans le changement, un groupe de contrôle permanent (holdout). Le prochain lancement aura ainsi un groupe de comparaison.

Vérifiez votre compréhension

Un magasin a vendu 50, 53, 56 et 59 articles sur quatre jours, puis un changement a commencé. Les deux jours suivants, il en a vendu 70 et 73. Avec une tendance linéaire, quel est l'effet estimé par jour?

Afficher la réponse

La tendance ajoute 3 articles par jour : 50, 53, 56, 59. Si on la prolonge, elle prévoit 62 et 65 articles pour les deux jours suivants. Le magasin en a vendu 70 et 73. Le saut est de 70 − 62 = 8 et de 73 − 65 = 8 : environ +8 articles par jour.

Vérifiez votre compréhension

Pourquoi le modèle avec seulement une tendance et le jour de la semaine a-t-il trouvé +11,3 % pour le bloc, alors que l'effet réel est de +2,0 %?

Afficher la réponse

L’Action de grâce et les soldes d’automne ont eu lieu dans les 4 semaines suivant le lancement. Le modèle n’avait aucun terme pour les représenter. Le contrefactuel du modèle est resté bas pendant le jour férié et les soldes. Le saut, soit le terme « après le lancement », a donc absorbé leurs commandes supplémentaires comme si elles venaient du bloc. Le modèle avec les fenêtres des jours fériés et les soldes a trouvé +3,5 %.

Vérifiez votre compréhension

Énoncez l'hypothèse nécessaire à une série chronologique interrompue, puis un signe dans les données qui montre qu'elle est fausse.

Afficher la réponse

Elle suppose qu’aucun autre changement inconnu du modèle n’a eu lieu à la même date. Elle suppose aussi que le modèle du passé, une fois prolongé, reste juste après le changement. Une estimation qui varie beaucoup selon la longueur de l’historique ou les termes du modèle signale une hypothèse fausse. Ici, elle était de +3,5 % avec 8 semaines, de +10,5 % avec 16 semaines et de −2,2 % avec 52. Autre signe : un événement connu, comme un jour férié ou des soldes, près de la date du changement.

Récapitulatif

  • Une série chronologique interrompue modélise une série avant un changement et prolonge le modèle au-delà. Le saut à la date du changement est l’effet (régression segmentée).
  • Le modèle doit connaître la tendance, le jour de la semaine et chaque événement proche du changement. Avec ces termes, l’effet du bloc était de +3,5 % (+1,3 % à +5,8 %), contre un effet réel de +2,0 %. Couverture sur 50 graines (seeds) : 84 %.
  • Sans le jour férié et les soldes, le saut les a absorbés : +11,3 %, pire que la variation naïve de +8,3 %. Avec un an d’historique et sans saison : −2,2 %. Avec 16 semaines : +10,5 %.
  • Les erreurs robustes à l’autocorrélation considèrent les jours voisins comme semblables.
  • C’est la méthode la plus faible de ce module. La comparaison repose sur un modèle, pas sur un groupe. Décrivez le modèle par écrit avant de voir le résultat.
  • Chaque méthode de ce module nécessite une hypothèse que vous ne pouvez pas tester complètement. Nommez-la et cherchez son signe d’alerte.

Prochain module : aucune date de changement. Seulement des journaux indiquant qui a utilisé le bloc et combien ces personnes ont dépensé.

Leçon suivante : Ajustement par régression