Aller au contenu
English

La fonctionnalité qui a « fait monter les ventes »

  • Leçon 1
  • 25 min
  • Module 1 : Pourquoi « ça a monté » n'est pas une réponse

Où nous en sommes

Dans le cours de mathématiques, nous avons appris à calculer un intervalle de confiance pour une différence. Larkfield pose maintenant une question plus difficile. Omar dit que le nouveau bloc de recommandations a augmenté les ventes de 8 %. Dans cette leçon, nous examinons ce chiffre, les autres événements des mêmes semaines et son écart avec l'effet réel. Pensez d'abord à une boutique qui change sa vitrine.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité
Leçon 1 sur 30 · Expériences et impact causal : notre changement a-t-il fonctionné?La fonctionnalité qui a « fait monter les ventes »

Ce que vous saurez faire

Apprenez à vous méfier d’un chiffre qui augmente après un changement. Une hausse après un lancement mélange le changement et tout ce qui s’est passé durant les mêmes semaines. Le tableau de bord ne peut pas les distinguer.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 25 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

Rien. Gardez un crayon et du papier à portée de main pour l’exercice.

Pensez à une petite boutique de cadeaux. Le lundi, la propriétaire installe une nouvelle présentation dans la vitrine. Cette semaine-là, 20 % plus de clients entrent. « La vitrine fonctionne », dit-elle.

Mais cette semaine précède aussi un jour férié. Les gens achètent des cadeaux. Et le café voisin organise une fête de rue le samedi. Chacun de ces événements pourrait attirer plus de clients.

La propriétaire veut savoir une chose : combien de clients supplémentaires sont venus à cause de la vitrine? Pour répondre, il lui faudrait la même semaine avec l’ancienne vitrine. Elle devrait comprendre le même jour férié et la même fête. Cette semaine n’existe pas. La propriétaire n’en a vécu qu’une seule version.

TermeLarkfieldUne boutique en ligne canadienne inventée, qui vend des articles pour la maison et le jardin. Ce n’est pas une vraie entreprise. Tous les cours Nextia utilisent son service d’assistance et ses données comme exemple.En savoir plus Découvrez Larkfield a le même problème, avec plus d’argent en jeu.

Larkfield est une boutique en ligne de produits pour la maison et le jardin. Elle vend au Canada, donc les prix sont en dollars canadiens. Tout ce qui concerne Larkfield dans ce cours est synthétique : notre simulateur a créé la boutique, ses clients et leurs commandes. Il n’y a aucune personne réelle.

Dans ce cours, Larkfield veut savoir si quatre changements ont fonctionné. Ce sont un seuil de livraison gratuite plus bas, un nouveau bloc de recommandations sur les pages de produits, un courriel de rappel et une nouvelle requête pour l’assistant de soutien. Voici les personnes responsables de ces changements :

  • TermePriyaLa scientifique des données de Larkfield. Elle mesure la qualité de l’assistant sur des jeux de test, pas à l’intuition., scientifique des données, vous guide. Elle conçoit et analyse les tests.
  • TermeOmarLe gestionnaire de produit de Larkfield. Il pose les questions d’affaires : ce qu’un changement coûte et ce qu’il apporte à la boutique., gestionnaire de produit, est responsable du bloc de recommandations et de la décision à prendre.
  • TermeAmiraLa développeuse de Larkfield. Elle écrit le code des outils du service d’assistance dans les cours., développeuse, est responsable du code qui répartit les clients et consigne ce qu’ils voient.
  • TermeTomásL’ingénieur en IA de Larkfield. Il propose souvent un raccourci rapide, et la leçon montre pourquoi il échoue., ingénieur en IA, pose les questions que beaucoup d’entre nous posent au début.
  • Hana est responsable du seuil de livraison gratuite, Rafael du courriel de rappel, et Mateo tient la liste des tests passés.

Le bloc de recommandations affiche, sous chaque produit, des produits que « les clients ont aussi achetés ». Il a été lancé pour tous les clients le lundi 6 octobre 2025. Quatre semaines plus tard, Omar ouvre le tableau de bord des ventes et compare deux chiffres :

Semaines Dates Ventes
4 semaines avant le lancement Du 8 septembre au 5 octobre 2025 3 877 532 dollars
4 semaines après le lancement Du 6 octobre au 2 novembre 2025 4 199 656 dollars

4 199 656 ÷ 3 877 532 = 1,083. Les ventes ont augmenté de 8,3 %. Omar écrit à l’équipe : « Le bloc a augmenté les ventes de 8 %. Ajoutons aussi des blocs à la page du panier. »

Cette comparaison porte un nom : une comparaison avant-après. Vous prenez un chiffre avant un changement et le même chiffre après. Vous appelez la différence l’effet du changement. C’est rapide, et tous les tableaux de bord peuvent le faire. Dans ce cours, nous appelons cela une réponse naïve : elle regarde les données et ignore les autres explications possibles.

Ce chiffre est aussi un problème d’exercice que nous avons créé exprès. Nous avons réglé l’ampleur des soldes dans le simulateur pour que la hausse avant-après approche les 8 % d’Omar. Tout le reste du scénario découle des règles du simulateur.

Priya ouvre le calendrier avant d’ouvrir une feuille de calcul. Les quatre semaines après le lancement n’étaient pas ordinaires :

  • L’Action de grâce était le lundi 13 octobre. Dans la boutique simulée, les cinq jours d’achats autour de cette date génèrent 12 % plus de commandes.
  • Les soldes d’automne ont eu lieu du 9 au 19 octobre : 15 % de rabais sur les meubles et la décoration de jardin. Durant les soldes, 11 % plus de visites aboutissent à une commande, et les paniers sont 4 % plus petits.
  • Une croissance lente. Larkfield gagne quelques clients chaque mois. Une période plus tardive tend donc à générer un peu plus de ventes.
  • Le hasard. Chaque jour, les ventes sont un peu plus élevées ou plus faibles que prévu, sans raison identifiable.
Cinq encadrés à gauche pointent vers un encadré à droite. Les encadrés représentent : le bloc de recommandations, lancé le 6 octobre, avec une flèche indiquant +2,0 %; l'Action de grâce du 13 octobre, avec plus de commandes sur 5 jours d'achats; les soldes d'automne du 9 au 19 octobre, avec plus de commandes et de plus petits paniers; la croissance lente, quelques clients de plus chaque mois; et le hasard, avec une flèche pointillée, car chaque jour est un peu plus haut ou plus bas. L'encadré à droite représente les ventes des 4 semaines après le lancement : +8,3 % par rapport aux 4 semaines avant.
Un chiffre sur le tableau de bord, cinq causes derrière lui. Une seule est le bloc.
Description textuelle du diagramme

Le tableau de bord affiche un chiffre : +8,3 %. Cinq éléments l’ont fait monter : le bloc, l’Action de grâce, les soldes d’automne, la croissance lente et le hasard. La flèche du bloc indique +2,0 %, l’effet réel que connaît le simulateur. Les autres flèches représentent le reste. Le tableau de bord additionne tout et n’affiche que le total.

Les 8,3 % sont donc la somme de plusieurs causes. Le bloc en fait partie. Le tableau de bord ne peut pas décomposer cette somme.

Si les 8,3 % étaient l’effet du bloc, le nombre de semaines comparées devrait peu influencer le résultat. Priya essaie d’autres fenêtres, avec le même nombre de semaines de chaque côté du lancement :

Semaines avant et après Variation avant-après
1 semaine +14,6 %
2 semaines +12,6 %
3 semaines +9,1 %
4 semaines +8,3 %

La réponse passe de +14,6 % à +8,3 %. Pourquoi? La première semaine après le lancement comprend l’Action de grâce et les premiers jours des soldes. Une courte fenêtre après le lancement contient surtout le jour férié et les soldes, donc elle montre une forte hausse. Une fenêtre plus longue ajoute des semaines normales, donc la hausse diminue.

C’est le premier signe d’une réponse naïve : modifiez un choix qui ne devrait pas compter, et la réponse change. Le bloc n’a pas perdu de son efficacité en quatre semaines. La comparaison a changé.

Tomás a une idée : « Pourquoi ne pas prendre une fenêtre plus longue? Huit semaines avant et quatre après. » Cela donne +8,7 %. C’est encore loin de la vérité, comme vous le verrez. Une fenêtre plus longue ne retire ni le jour férié ni les soldes. Elle ajoute seulement des semaines contenant d’autres événements.

L’idée : comparer avec le monde sans le changement

Section intitulée « L’idée : comparer avec le monde sans le changement »

La question « le bloc a-t-il augmenté les ventes? » pose en fait cette question : combien Larkfield aurait-elle vendu durant les mêmes quatre semaines sans le bloc? L’effet est la différence entre ce qui s’est passé et cet autre monde.

Une vraie boutique ne voit jamais cet autre monde, comme la propriétaire de la boutique de cadeaux. Mais notre Larkfield existe dans un simulateur : un programme qui crée les données de la boutique à partir de règles connues. Le simulateur a exécuté les mêmes quatre semaines deux fois : une fois avec le bloc, et une fois sans lui. Les deux exécutions avaient les mêmes clients, le même jour férié, les mêmes soldes et le même hasard. Seul le bloc différait.

Nous connaissons donc la réponse que les vraies équipes ne connaissent jamais :

Ventes Dollars
4 semaines avant le lancement 3 877 532
4 semaines après, sans le bloc (simulées) 4 117 094
4 semaines après, avec le bloc (ce qui s’est passé) 4 199 656

Lisez le tableau à partir du haut :

  1. Sans le bloc, les ventes auraient quand même augmenté : 4 117 094 ÷ 3 877 532 = 1,062, soit +6,2 %. C’est le jour férié, les soldes, la croissance et le hasard.
  2. Avec le bloc, les ventes étaient de 4 199 656. Par rapport au monde sans le bloc : 4 199 656 ÷ 4 117 094 = 1,020, soit +2,0 %. C’est le bloc : 82 562 dollars, ou environ 1 000 commandes supplémentaires en quatre semaines.
  3. Les +8,3 % d’Omar combinent les deux hausses : 1,062 × 1,020 = 1,083.
Le bloc est le petit écart entre les deux dernières barres. La majeure partie de la hausse aurait eu lieu de toute façon. Données synthétiques du simulateur.
Description textuelle du graphique

Trois barres, en millions de dollars, sur un axe qui commence à 3,6 pour rendre les différences visibles. Les 4 semaines avant le lancement : 3,88. Les 4 semaines après le lancement sans le bloc, que seul le simulateur connaît : 4,12. Les 4 semaines après avec le bloc, ce qui s’est vraiment passé : 4,20. L’écart entre la première barre et la deuxième, +6,2 %, représente le jour férié, les soldes, la croissance et le hasard. L’écart entre la deuxième barre et la troisième, +2,0 %, représente le bloc.

L’axe de ce graphique commence à 3,6 millions, pas à zéro. Cela rend les écarts visibles, mais les fait aussi paraître plus grands qu’ils ne le sont. Lisez les chiffres, pas seulement les hauteurs.

L’effet réel du bloc représente environ le quart de la hausse du tableau de bord. Le chiffre d’Omar est environ quatre fois trop grand. Le bloc est utile : 82 562 dollars en quatre semaines, c’est une vraie somme. Mais le plan d’ajouter des blocs partout reposait sur 8,3 %, pas sur 2,0 %.

L’explorateur ci-dessous montre les ventes quotidiennes autour du lancement. Les zones ombrées sont les deux fenêtres : avant le lancement et après. Les lignes noires montrent les ventes moyennes par jour dans chaque fenêtre. La variation naïve compare ces deux moyennes. De courtes barres au-dessus du graphique marquent les jours fériés et les jours de soldes.

Explorer

La réponse naïve change, l'effet réel reste le même

Moyenne par jour avant
138 483
Moyenne par jour après
149 988
Variation naïve (après contre avant)
+8,3 %
Effet réel (simulateur)
+2,0 %
Réponse naïve moins effet réel
+6,3 points

Ventes moyennes par jour : 138 483 dollars avant, 149 988 dollars après. La variation naïve est de +8,3 %. Sans ce changement (le bloc), les mêmes 4 semaines après le changement auraient vendu 4 117 094 dollars. Il a ajouté +2,0 % (+82 562 dollars). La réponse naïve est trop haute de 6,3 points.

  • Ventes (avec le bloc)
  • Ventes sans le bloc (simulateur)
  • fête
  • soldes

En couleur claire : les deux fenêtres; les lignes noires sont leurs moyennes

4 semaines (du 8 sept. au 5 oct. 2025)4 semaines (du 6 oct. au 2 nov. 2025)100120140160180200Ventes par jour (milliers de dollars)11 août25 août8 sept.22 sept.6 oct.20 oct.fête : 1 sept. 2025fête : 9 oct. 2025fête : 10 oct. 2025fête : 11 oct. 2025fête : 12 oct. 2025fête : 13 oct. 2025soldes : 9 oct. 2025soldes : 10 oct. 2025soldes : 11 oct. 2025soldes : 12 oct. 2025soldes : 13 oct. 2025soldes : 14 oct. 2025soldes : 15 oct. 2025soldes : 16 oct. 2025soldes : 17 oct. 2025soldes : 18 oct. 2025soldes : 19 oct. 2025lancement 6 oct.Ventes sans le bloc (simulateur)Ventes (avec le bloc)Moyenne par période avant : 138 483Moyenne par période après : 149 988
4 semaines (du 8 sept. au 5 oct. 2025)4 semaines (du 6 oct. au 2 nov. 2025)100120140160180200Milliers de $ par jour11 août8 sept.6 oct.fête : 1 sept. 2025fête : 9 oct. 2025fête : 10 oct. 2025fête : 11 oct. 2025fête : 12 oct. 2025fête : 13 oct. 2025soldes : 9 oct. 2025soldes : 10 oct. 2025soldes : 11 oct. 2025soldes : 12 oct. 2025soldes : 13 oct. 2025soldes : 14 oct. 2025soldes : 15 oct. 2025soldes : 16 oct. 2025soldes : 17 oct. 2025soldes : 18 oct. 2025soldes : 19 oct. 2025lancement 6 oct.Ventes sans le bloc (simulateur)Ventes (avec le bloc)Moyenne par période avant : 138 483Moyenne par période après : 149 988
Ventes quotidiennes de Larkfield simulée autour du lancement du bloc de recommandations. Données synthétiques, graine 40.
Description textuelle de l’explorateur

Le graphique montre les ventes quotidiennes du 11 août au 2 novembre 2025, en milliers de dollars par jour. Une ligne verticale marque le lancement du 6 octobre. Les fenêtres avant et après le lancement sont ombrées, et une ligne noire montre la moyenne de chaque fenêtre. Avec 4 semaines de chaque côté, la moyenne est de 138 483 dollars par jour avant et de 149 988 après : une variation naïve de +8,3 %. Les jours de l’Action de grâce (du 9 au 13 octobre) et des soldes d’automne (du 9 au 19 octobre) sont marqués au-dessus du graphique. Ils sont tous dans la fenêtre après le lancement. Un autre repère de jour férié, la fête du Travail du 1er septembre, entre dans la fenêtre avant le lancement seulement quand elle atteint 5 semaines ou plus. Le bouton affiche une ligne pointillée : les ventes des mêmes jours sans le bloc, fournies par le simulateur. Elle passe juste sous les ventes réelles, environ 2 % plus bas. L’effet réel est de +2,0 %, soit 82 562 dollars sur les 4 semaines. La réponse naïve est donc trop élevée de 6,3 points. Avec 1 semaine de chaque côté, la variation naïve est de +14,6 %; avec 2 semaines, +12,6 %; avec 3 semaines, +9,1 %. L’effet réel reste à +2,0 % pour chaque fenêtre après le lancement.

Essayez ces trois choses :

  1. Réglez les deux fenêtres à 1 semaine. La variation naïve monte à +14,6 %, car la semaine après le lancement comprend l’Action de grâce et le début des soldes.
  2. Affichez le monde sans le bloc. La ligne pointillée se superpose presque aux ventes réelles. L’écart entre les deux est l’effet du bloc.
  3. Déplacez encore les fenêtres en gardant la ligne pointillée affichée. La variation naïve change beaucoup. L’effet réel reste à +2,0 %.

L’effet réel ne dépend pas de vos fenêtres, car il compare les mêmes jours dans deux mondes. La réponse naïve compare des jours différents, et les jours diffèrent pour de nombreuses raisons.

Une vraie équipe de données ne voit jamais la ligne pointillée. C’est précisément pourquoi ce sujet est difficile à apprendre avec des données réelles : vous pouvez calculer une réponse, mais pas la vérifier.

Notre simulateur élimine ce problème. Pour chaque scénario du cours, il connaît l’effet réel, car il a exécuté les deux versions du monde. Chaque méthode que vous apprenez reçoit donc le même traitement : vous calculez une estimation, puis vous la comparez à la vérité. Certaines méthodes s’en approchent. D’autres, comme la comparaison avant-après, en sont loin. Quelques-unes semblent rigoureuses et se trompent quand même. Nous les montrons aussi.

Rappelez-vous ce que le simulateur vous donne et ce qu’il ne donne pas. Il vous donne une vérité pour vérifier votre réponse. Il ne rend pas Larkfield réelle : les vrais clients sont moins prévisibles, et les données réelles n’ont pas de corrigé. Les méthodes sont les mêmes; seule la vérification est plus facile.

Omar demande : « Alors, le tableau de bord a toujours tort? » Pas toujours.

Une comparaison avant-après fonctionne quand rien d’autre n’a changé dans les deux périodes. Le changement doit aussi être grand par rapport aux fluctuations normales. Supposons que la page de paiement soit en panne pendant une journée et que les commandes tombent presque à zéro. Après la correction, les commandes reviennent à la normale. Personne n’a besoin d’un test pour dire que la correction a fonctionné.

La comparaison échoue quand l’effet est petit par rapport aux autres causes. Les jours fériés, les soldes, les prix, la météo, les courriels promotionnels et la croissance lente font tous varier les ventes de plus de 2 %. La plupart des changements de produit ont de petits effets. La plupart de leurs chiffres avant-après mélangent donc le changement avec quelque chose de plus important.

Ce calcul coûte peu. Une erreur coûte cher. Une équipe qui croit aux +8,3 % peut créer les trois prochaines fonctionnalités à partir de la même idée. Une autre peut arrêter un changement efficace parce qu’un mois pluvieux en a masqué l’effet.

Regardez d’abord les notes de Priya sur l’affirmation d’Omar. Elles ont trois parties :

  1. La comparaison naïve : les ventes des 4 semaines après le lancement par rapport aux 4 semaines avant : +8,3 %.
  2. Ce qui a aussi changé durant ces semaines : l’Action de grâce, les soldes d’automne, la croissance lente.
  3. La question à poser : quelles auraient été les ventes durant les mêmes semaines sans le bloc?

Faites maintenant la même chose pour l’affirmation de Hana. La livraison gratuite à partir de 50 dollars au lieu de 75 a commencé au Québec le 2 juin 2025. Hana dit : « Les ventes du Québec ont augmenté de 7 % dans les 26 semaines après le début, par rapport aux 26 semaines avant. »

Écrivez les trois parties sur papier. Comparez ensuite avec une réponse possible :

  1. La comparaison naïve : les ventes du Québec dans les 26 semaines après le 2 juin par rapport aux 26 semaines avant : +7 %.
  2. Ce qui a aussi changé : les 26 semaines avant vont de décembre à mai, et les 26 semaines après de juin à novembre. La saison diffère : l’été et l’automne sont les mois occupés d’une boutique de jardinage. La croissance lente contribue aussi à la hausse.
  3. La question à poser : combien le Québec aurait-il vendu de juin à novembre sans la livraison gratuite? Les autres provinces, qui ont gardé l’ancien seuil, peuvent aider à répondre. Le module 5 fait exactement cela.

Erreur courante

La fenêtre décide de la réponse

Symptôme : vous rapportez « +8,3 % ». Une collègue calcule la même variation avant-après avec des fenêtres de 1 semaine et obtient « +14,6 % ». Vous avez utilisé les mêmes données.

Cause : les fenêtres contiennent des jours différents. La première semaine après le lancement est remplie de jours fériés et de soldes. Une courte fenêtre montre donc une plus forte hausse. Aucun des deux chiffres n’est l’effet du bloc.

Diagnostic : placez le calendrier à côté du graphique. Marquez chaque jour férié, période de soldes, changement de prix et courriel dans les deux fenêtres. Si la fenêtre après contient un événement absent de la fenêtre avant, la comparaison mélange cet événement avec le changement.

Correction : ne cherchez pas la « bonne » fenêtre. Aucune fenêtre ne retire le jour férié. Il faut comparer avec le monde sans le changement : un test, ou une méthode qui construit ce monde avec d’autres données. Les prochaines leçons commencent là.

Vérifiez votre compréhension

Dans vos mots : pourquoi la hausse des ventes de +8,3 % après le lancement n'est-elle pas l'effet du bloc de recommandations?

Afficher la réponse

Le +8,3 % compare quatre semaines après le lancement à quatre autres semaines avant celui-ci. Les semaines après le lancement comprenaient aussi l’Action de grâce, les soldes d’automne, un peu de croissance et le hasard. Tous ces facteurs ont aussi augmenté les ventes. Le tableau de bord montre la somme de toutes les causes et ne peut pas les séparer. Le simulateur a exécuté les mêmes semaines sans le bloc. Il montre que le bloc a causé une hausse de +2,0 % (82 562 $). Le reste, soit +6,2 %, se serait produit de toute façon.

Vérifiez votre compréhension

Prédisez et expliquez : Priya calcule la variation avant-après avec une semaine de chaque côté du lancement. Le résultat sera-t-il supérieur ou inférieur à +8,3 %, et pourquoi? Qu'arrive-t-il à l'effet réel?

Afficher la réponse

Supérieur : +14,6 %. La première semaine après le lancement comprend l’Action de grâce et les premiers jours des soldes d’automne. Les ventes y sont donc beaucoup plus élevées que pendant une semaine normale. Sur quatre semaines, les semaines normales atténuent l’effet du jour férié et des soldes. L’effet réel reste à +2,0 %. Il compare les mêmes jours avec et sans le bloc. Le jour férié et les soldes sont donc présents dans les deux mondes.

Vérifiez votre compréhension

Vérification pratique : utilisez le tableau de cette leçon. Calculez la hausse qui se serait produite sans le bloc et l'effet du bloc lui-même, tous deux en pourcentage. Montrez les divisions.

Afficher la réponse

Sans le bloc : 4 117 094 ÷ 3 877 532 = 1,062, soit une hausse de +6,2 %. L’effet du bloc : 4 199 656 ÷ 4 117 094 = 1,020, donc +2,0 %, ou 4 199 656 − 4 117 094 = 82 562 $. Ensemble, ils donnent le résultat du tableau de bord : 4 199 656 ÷ 3 877 532 = 1,083, donc +8,3 %. Les deux pourcentages se multiplient (1,062 × 1,020 = 1,083); ils ne s’additionnent pas exactement.

Récapitulatif

  • Une comparaison avant-après prend un nombre avant un changement et après celui-ci, puis appelle la différence l’effet. C’est une réponse naïve : elle ignore tout ce qui s’est passé d’autre.
  • Après le lancement du bloc de recommandations, les ventes ont augmenté de +8,3 %. Elles sont passées de 3 877 532 à 4 199 656 $, sur quatre semaines de chaque côté. C’est un exercice que nous avons créé exprès.
  • Les mêmes semaines comprenaient l’Action de grâce, les soldes d’automne, une croissance lente et le hasard. Le simulateur a exécuté les semaines sans le bloc et montre un effet réel de +2,0 % (82 562 $). Sans le bloc, les ventes auraient quand même augmenté de +6,2 %.
  • Un signe de réponse naïve : elle varie quand vous modifiez un choix qui ne devrait pas compter. La fenêtre en est un : +14,6 % avec une semaine, +8,3 % avec quatre.
  • La vraie question est toujours : que se serait-il passé pendant la même période sans le changement?

Vous voyez maintenant pourquoi une hausse sur un tableau de bord n’est pas une preuve. Mais « le monde sans le changement » semble encore vague, et le bloc n’est pas le seul cas. Les clients qui ont utilisé le bloc ont aussi dépensé un tiers de plus que les autres. Ensuite, vous donnez un nom au monde sans le changement. Vous découvrez aussi les facteurs de confusion qui font paraître deux groupes différents pour d’autres raisons.

Leçon suivante : Causes et comparaisons