Aller au contenu
English

Causes et comparaisons

  • Leçon 2
  • 30 min
  • Module 1 : Pourquoi « ça a monté » n'est pas une réponse

Où nous en sommes

Nous avons vu un chiffre avant-après qui semblait être une preuve, mais qui n'en était pas une. Pour faire mieux, nous devons préciser exactement ce que nous comparons. Dans cette leçon, nous découvrons le contrefactuel, le monde sans le changement. Nous découvrons aussi les facteurs de confusion, qui rendent deux groupes différents pour d'autres raisons. Pensez d'abord à un mal de tête et à un comprimé.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité
Leçon 2 sur 30 · Expériences et impact causal : notre changement a-t-il fonctionné?Causes et comparaisons

Ce que vous saurez faire

Précisez exactement à quoi comparer un changement : les mêmes clients, au même moment, sans le changement. Vous comprendrez alors pourquoi comparer les personnes qui ont choisi une fonctionnalité aux autres ne donne pas la réponse.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 30 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

Rien. Cette leçon ne contient pas de code. Gardez un crayon et du papier à portée de main pour l’exercice.

Vous avez mal à la tête. Vous prenez un comprimé. Deux heures plus tard, le mal de tête a disparu. Le comprimé a-t-il fonctionné?

Vous ne pouvez pas en être sûr. Beaucoup de maux de tête disparaissent d’eux-mêmes en deux heures. Pour connaître l’effet du comprimé, il faudrait une deuxième version du même après-midi. Le même mal de tête, le même jour, mais sans comprimé. Si le mal de tête persistait dans cette version, le comprimé a aidé. S’il disparaissait aussi, le comprimé n’a rien fait.

Vous ne pouvez jamais vivre les deux versions. Vous avez pris le comprimé, donc l’après-midi sans comprimé n’a jamais eu lieu. Ce n’est pas un manque de données. C’est la nature de la question.

La version qui n’a pas eu lieu porte un nom : le contrefactuel. Ce mot signifie « contraire aux faits ». C’est le monde qui aurait existé si une chose avait été différente.

Toute question sur un effet est une question sur un contrefactuel :

  • Le comprimé a-t-il guéri le mal de tête? Comparez avec le même après-midi sans comprimé.
  • Le bloc a-t-il augmenté les ventes? Comparez avec les mêmes quatre semaines sans le bloc.
  • Le courriel de rappel a-t-il généré des commandes? Comparez avec les mêmes clients, pendant les mêmes deux semaines, sans le courriel.

L’effet d’un changement est la différence entre les deux mondes. C’est le résultat avec le changement moins le résultat sans lui, pour les mêmes unités au même moment. Une unité est ce qui reçoit le changement : un client, un billet de soutien, un jour ou une province. Le résultat est ce que nous mesurons : une commande, un revenu, un billet résolu.

Dans la dernière leçon, le simulateur a exécuté les quatre semaines après le lancement dans les deux mondes. Le schéma les montre comme deux lignes qui partent du même point.

Un encadré de départ à gauche : lundi 6 octobre, le même magasin, les mêmes clients, le même jour férié et les mêmes soldes. Une flèche pleine mène au monde 1, où le bloc est mis en service : les ventes des 4 semaines suivantes sont de 4 199 656 $. C'est ce qui s'est passé et ce que nous voyons. Une flèche pointillée mène au monde 2, sans bloc : les ventes des mêmes 4 semaines sont de 4 117 094 $. Cela n'est jamais arrivé et seul le simulateur le sait. Les deux pointent vers un encadré à droite : l'effet du bloc est le monde 1 moins le monde 2, soit 82 562 $, ou +2,0 %.
Le contrefactuel : deux mondes qui partent du même point. Nous vivons dans l'un d'eux. L'effet est l'écart entre eux.
Description textuelle du diagramme

Les deux mondes commencent le lundi 6 octobre avec le même magasin, les mêmes clients, le même jour férié et les mêmes soldes. Dans le monde 1, le bloc est mis en service et le magasin vend pour 4 199 656 $ en quatre semaines. C’est le monde que nous voyons. Dans le monde 2, il n’y a pas de bloc et le magasin vend pour 4 117 094 $. Ce monde n’a jamais existé; seul le simulateur peut l’exécuter. L’effet du bloc est l’écart : 82 562 $, ou +2,0 %.

Voici un exemple inventé avec quatre clients. Imaginez que nous puissions voir les deux mondes pour chacun d’eux. Le résultat vaut 1 si le client a commandé en deux semaines, et 0 sinon.

Client Actif avant? Commandes sans le courriel Commandes avec le courriel Effet
Ana oui 0 1 +1
Ben oui 1 1 0
Chloé non 0 0 0
Dev non 0 0 0

Le courriel a changé seulement le choix d’Ana. Ben commande de toute façon, et Chloé et Dev ne commandent dans aucun des deux cas. L’effet moyen sur les quatre clients est donc (1 + 0 + 0 + 0) ÷ 4 = 0,25. Le courriel ajoute un quart de commande par client.

Passons maintenant à la situation réelle. Personne ne voit les deux colonnes. Chaque client a reçu le courriel ou non, donc nous voyons seulement un des deux résultats :

Client A reçu le courriel? Commandes sans le courriel Commandes avec le courriel
Ana oui ? 1
Ben oui ? 1
Chloé non 0 ?
Dev non 0 ?

Supposons que Rafael ait envoyé le courriel seulement aux clients actifs, Ana et Ben. Les clients qui l’ont reçu ont commandé 1 fois en moyenne : (1 + 1) ÷ 2. Les autres ont commandé 0 fois. La différence est 1,0, soit quatre fois l’effet moyen réel de 0,25.

Qu’est-ce qui a mal tourné? Ana et Ben étaient des clients actifs. Ben aurait commandé sans aucun courriel. La comparaison mélange l’effet du courriel et la différence entre les clients actifs et inactifs. Les points d’interrogation cachent exactement les chiffres dont nous avons besoin.

C’est le problème central de tout le cours. Chaque méthode du cours est une façon de remplacer honnêtement les points d’interrogation.

Facteurs de confusion : les gens avec un parapluie se mouillent

Section intitulée « Facteurs de confusion : les gens avec un parapluie se mouillent »

Voici un fait vrai dans beaucoup de villes : les gens qui portent un parapluie se mouillent plus souvent que les autres. Est-ce le parapluie qui les mouille?

Bien sûr que non. La pluie cause les deux. Les jours de pluie, les gens prennent un parapluie et se mouillent. Les jours secs, ils ne font ni l’un ni l’autre. Comparer les porteurs de parapluie aux autres revient à comparer les jours pluvieux aux jours secs.

La pluie est un facteur de confusion. Elle détermine à la fois qui reçoit le « traitement » (le parapluie) et le résultat (se mouiller). Un facteur de confusion fait évoluer deux choses ensemble, même quand l’une ne cause pas l’autre. Le nom vient du latin qui signifie « mélanger » : il mélange son propre effet à la comparaison.

Deux petits graphes côte à côte. À gauche, le titre est Les gens avec un parapluie se mouillent. La pluie, le facteur de confusion, pointe vers Porte un parapluie et vers Se mouille. Une ligne pointillée sans pointe relie le parapluie et le fait de se mouiller. Elle porte l'étiquette aucune flèche : un parapluie ne vous mouille pas. À droite, le titre est Les utilisateurs du bloc dépensent plus. Un client actif, qui dépensait plus avant, visite plus souvent et a un jardin, pointe vers Utilise le bloc et Dépense plus. Une petite flèche de Utilise le bloc vers Dépense plus porte l'étiquette faible : +2,73 $.
Un facteur de confusion cause à la fois le traitement et le résultat. À gauche, la pluie; à droite, le type de client.
Description textuelle du diagramme

À gauche, la pluie pousse les gens à porter un parapluie et les mouille aussi. Aucune flèche ne va du parapluie au fait de se mouiller. Les porteurs de parapluie se mouillent plus souvent seulement à cause de la pluie. À droite, le même schéma chez Larkfield. Un client actif dépensait plus avant, visite plus souvent et a peut-être un jardin. Il utilise plus probablement le bloc et dépense aussi davantage. Le bloc augmente aussi les dépenses, mais seulement un peu : +2,73 $ par utilisateur.

Le traitement est le changement dont nous voulons connaître l’effet : le parapluie, le courriel, le bloc. Le mot vient de la médecine, mais dans ce cours, un traitement peut être n’importe quel changement.

Retournons chez TermeLarkfieldUne boutique en ligne canadienne inventée, qui vend des articles pour la maison et le jardin. Ce n’est pas une vraie entreprise. Tous les cours Nextia utilisent son service d’assistance et ses données comme exemple.En savoir plus Découvrez Larkfield. TermeOmarLe gestionnaire de produit de Larkfield. Il pose les questions d’affaires : ce qu’un changement coûte et ce qu’il apporte à la boutique. a un deuxième chiffre. Le bloc a été mis en service pour tout le monde. Pendant les 28 jours après le lancement, certains clients ont cliqué sur un produit du bloc, et d’autres non. Les journaux (logs) d’TermeAmiraLa développeuse de Larkfield. Elle écrit le code des outils du service d’assistance dans les cours. montrent ceci :

Groupe Clients Revenu moyen en 28 jours
A utilisé le bloc 13 338 39,19 $
N’a pas utilisé le bloc 26 662 29,48 $

Les utilisateurs ont dépensé 9,70 $ de plus, soit +32,9 %. Omar : « Les clients qui utilisent le bloc dépensent un tiers de plus! »

C’est la deuxième réponse naïve du cours : utilisateurs contre non-utilisateurs. Comme la première, c’est un problème d’exercice que nous avons créé exprès. Nous avons réglé le simulateur pour que les utilisateurs dépensent environ un tiers de plus.

Personne n’a choisi qui utilisait le bloc. Les clients ont choisi eux-mêmes. Alors, qui sont les utilisateurs? TermePriyaLa scientifique des données de Larkfield. Elle mesure la qualité de l’assistant sur des jeux de test, pas à l’intuition. examine les 8 semaines avant le lancement, quand le bloc n’existait pas encore. Pendant ces semaines, les futurs utilisateurs avaient dépensé 51,77 $ en moyenne, et les futurs non-utilisateurs 41,28 $. Les utilisateurs dépensaient davantage avant même de voir le bloc. Ils visitent aussi plus souvent et utilisent plus souvent un ordinateur plutôt qu’un téléphone. Ils sont également clients depuis plus longtemps.

Et une cause n’apparaît pas du tout dans les journaux. Dans le simulateur, les clients qui ont un jardin utilisent plus probablement le bloc et dépensent aussi davantage. Larkfield ne consigne pas qui a un jardin. Le module 6 revient sur cette cause cachée.

Les utilisateurs auraient donc dépensé davantage même sans le bloc. Le simulateur sait combien de plus, car il a exécuté les 28 jours des deux façons :

Sur l'écart de 9,70 $, 2,73 $ viennent du bloc. Le reste vient du type de clients qui l'utilisent. Données synthétiques du simulateur.
Description textuelle du graphique

Trois barres. Les non-utilisateurs ont dépensé 29,48 $ en moyenne. Les utilisateurs, dans le monde où ils n’utilisaient pas le bloc, auraient dépensé 36,46 $. Seul le simulateur le sait. Les utilisateurs ont réellement dépensé 39,19 $. L’écart entre la première et la deuxième barre, 6,98 $, est la différence entre les types de clients. L’écart entre la deuxième et la troisième barre, 2,73 $, est l’effet du bloc sur ses utilisateurs.

Lisez les barres en pensant au contrefactuel :

  1. Les utilisateurs ont dépensé 39,19 $.
  2. Sans le bloc, les mêmes utilisateurs auraient dépensé 36,46 $ (39,19 − 2,73).
  3. L’effet du bloc sur ses utilisateurs est donc de +2,73 $ par utilisateur. Les 6,98 $ restants de l’écart viennent du type de clients qui l’utilisent.

L’écart naïf de 9,70 $ vaut environ 3,6 fois l’effet réel.

Le dernier chiffre demande une précision de plus. +2,73 $ est l’effet sur les clients qui ont utilisé le bloc. Le simulateur peut aussi dire ce que le bloc ferait si chaque client l’utilisait : +2,37 $ par client. Les deux chiffres diffèrent parce que les utilisateurs sont des personnes différentes : le bloc les aide un peu plus.

Les deux sont des réponses honnêtes à des questions différentes. « Qu’a fait le bloc pour les personnes qui l’ont utilisé? » est la première. « Que ferait-il pour tout le monde? » est la deuxième. Un bon rapport précise à laquelle il répond. Les modules suivants leur donnent un nom et estiment chacun de ces effets.

Le +32,9 % d’Omar est-il donc inutile? Non. Il répond à une vraie question, mais pas à la sienne.

« Les utilisateurs du bloc dépensent-ils plus que les non-utilisateurs? » Oui. Si Larkfield veut trouver ses meilleurs clients, l’utilisation du bloc est un bon signe. C’est une corrélation : les deux choses évoluent ensemble. Elle est utile pour la prédiction.

« Le bloc fait-il dépenser plus aux clients? » C’est une question sur le contrefactuel. Une corrélation ne peut pas y répondre quand un facteur de confusion cause les deux.

TermeTomásL’ingénieur en IA de Larkfield. Il propose souvent un raccourci rapide, et la leçon montre pourquoi il échoue. demande : « Et si on comparait des utilisateurs et des non-utilisateurs qui dépensaient autant avant le lancement? » C’est une bonne idée. Le module 6 le fait avec la régression et l’appariement. Mais cela fonctionne seulement si vous connaissez et mesurez chaque facteur de confusion. Le jardin n’apparaît pas dans les journaux, donc même une comparaison attentive de ce type reste un peu biaisée.

Une comparaison répond à une question causale quand les deux groupes sont semblables avant le changement. Le changement est alors la seule différence. Il existe trois façons d’obtenir de tels groupes, et ce cours enseigne les trois :

  1. Tirez à pile ou face. Laissez le hasard décider qui reçoit le changement. Les clients actifs et inactifs, les jardiniers et les autres se retrouvent alors en nombres semblables dans les deux groupes. C’est un test A/B, présenté au module 2.
  2. Trouvez une expérience naturelle. Parfois, le monde forme les groupes pour vous : un déploiement dans une province d’abord, ou une règle avec un seuil. Le module 5 les utilise.
  3. Ajustez selon les facteurs de confusion mesurés. Comparez des clients qui étaient semblables avant. Le module 6 montre comment faire et ce qui se passe quand un facteur de confusion est caché.

Le tirage à pile ou face est le plus solide. Le hasard équilibre aussi les facteurs de confusion que personne n’a mesurés, comme le jardin. Les deux autres méthodes exigent une hypothèse que vous ne pouvez pas vérifier entièrement.

Préoccupez-vous des facteurs de confusion chaque fois qu’un groupe a choisi le traitement, ou que quelqu’un a choisi pour lui :

  • les clients ont choisi d’utiliser une fonctionnalité, d’ouvrir un courriel ou d’adhérer à un programme;
  • un gestionnaire a choisi les régions, les magasins ou les clients qui ont reçu le changement en premier;
  • le changement a commencé quand autre chose changeait aussi, comme une saison ou des soldes.

Comparer les utilisateurs aux non-utilisateurs ne coûte rien, et les journaux contiennent déjà les données. Une mauvaise réponse coûte beaucoup plus cher. Si Larkfield croyait au +32,9 %, elle pourrait payer pour montrer le bloc à tout le monde, partout. Elle attendrait alors un tiers de revenu supplémentaire qui n’arriverait jamais.

Lisez d’abord les notes de Priya sur l’affirmation d’Omar. Elles ont trois parties :

  1. La comparaison naïve : les clients qui ont utilisé le bloc contre ceux qui ne l’ont pas utilisé : 39,19 contre 29,48 $, +32,9 %.
  2. Un facteur de confusion : les dépenses avant le lancement. Les gros acheteurs utilisent davantage le bloc et dépensent plus de toute façon (51,77 contre 41,28 $ pendant les 8 semaines avant).
  3. La comparaison qui donnerait la réponse : tirez à pile ou face pour chaque client afin de montrer le bloc ou non. Comparez ensuite les deux groupes, en gardant ensemble utilisateurs et non-utilisateurs.

Écrivez maintenant les mêmes trois parties pour chacune de ces affirmations :

  • Rafael : « Les clients qui ont ouvert le courriel de rappel ont commandé beaucoup plus souvent que ceux qui ne l’ont pas ouvert. »
  • Hana : « Depuis que la livraison gratuite à partir de 50 $ a commencé au Québec en juin, les ventes du Québec augmentent. »
  • Équipe de soutien : « Depuis la mise en service de la nouvelle requête de soutien, moins de billets sont transférés à une personne. »
Une réponse possible pour chaque affirmation
  • Rafael. Comparaison naïve : ceux qui ouvrent contre ceux qui n’ouvrent pas. Facteur de confusion : l’intérêt pour Larkfield. Les clients qui ouvrent souvent les courriels sont ceux qui achètent souvent, avec ou sans courriel. Comparaison qui donnerait la réponse : un tirage à pile ou face décide à qui le courriel est envoyé. Comparez ensuite toutes les personnes qui l’ont reçu à toutes celles qui ne l’ont pas reçu, ouvert ou non.
  • Hana. Comparaison naïve : le Québec après juin contre le Québec avant juin. Facteur de confusion : la saison. De juin à novembre, un magasin de jardinage est très occupé, et d’autres changements surviennent aussi. Comparaison qui donnerait la réponse : le Québec contre les provinces qui ont gardé l’ancien seuil, pendant les mêmes mois (module 5).
  • Équipe de soutien. Comparaison naïve : les billets avant le lancement contre les billets après. Facteur de confusion : le type de questions. Après des soldes, par exemple, davantage de billets concernent les retours, qui nécessitent plus souvent une personne. Comparaison qui donnerait la réponse : pendant les mêmes jours, un tirage à pile ou face choisit la requête qui répond aux billets de chaque client (module 8).

Erreur courante

Comparer selon ce que les clients ont fait après le changement

Symptôme : Rafael a envoyé son courriel à une moitié aléatoire des clients, selon un tirage équitable à pile ou face. Mais son rapport compare les clients qui l’ont ouvert à tous les autres. Ceux qui l’ont ouvert ont commandé beaucoup plus souvent, et le rapport appelle cela l’effet du courriel.

Cause : ouvrir le courriel est un choix que les clients ont fait après le tirage à pile ou face. Les clients qui aiment Larkfield ouvrent plus de courriels et commandent davantage de toute façon. La comparaison selon l’ouverture ramène le facteur de confusion que le tirage avait éliminé.

Diagnostic : demandez pour chaque groupe : « Qui a décidé que ce client appartient à ce groupe? » Si c’est le client, ou quelque chose survenu après le début du changement, les groupes ne sont pas comparables.

Correction : comparez les groupes formés par le tirage : tous ceux qui ont reçu le courriel contre tous ceux qui ne l’ont pas reçu. Peu importe ce qu’ils ont fait ensuite. C’est l’effet de l’envoi du courriel, qui est aussi la décision que Rafael doit prendre.

Vérifiez votre compréhension

Vérification du module : Omar dit : « Les clients qui ont utilisé le bloc ont dépensé 30 % de plus. Le bloc les a donc fait dépenser 30 % de plus. » Expliquez pourquoi cela ne montre pas que le bloc en est la cause.

Afficher la réponse

Les utilisateurs ont choisi d’utiliser le bloc. Ce sont donc des clients différents des non-utilisateurs. Ils dépensaient plus avant que le bloc existe : 51,77 contre 41,28 dollars dans les 8 semaines précédentes. Ils visitent aussi le site plus souvent, et une plus grande part d’entre eux jardinent. Ces différences sont des facteurs de confusion : elles causent à la fois l’utilisation du bloc et les dépenses. Les utilisateurs auraient donc dépensé plus même sans le bloc. La comparaison mélange l’effet du bloc et le profil des utilisateurs. Dans le simulateur, l’effet réel du bloc sur ses utilisateurs est de +2,73 dollars, et non de +9,70. Pour répondre à la question, les deux groupes doivent se ressembler avant le changement, par exemple grâce à un tirage à pile ou face.

Vérifiez votre compréhension

Prédisez : Priya compare les utilisateurs et les non-utilisateurs du bloc dans les 8 semaines avant le lancement. Le bloc n'existait pas encore. Que vous attendez-vous à voir, et qu'est-ce que cela vous indique?

Afficher la réponse

Les utilisateurs dépensaient déjà plus avant que le bloc existe : 51,77 dollars contre 41,28. Le bloc ne peut pas causer quelque chose qui s’est produit avant son existence. Cet écart doit donc venir du profil des utilisateurs. C’est un signe direct d’un facteur de confusion : les deux groupes ne se ressemblaient pas avant le changement. Un écart avant un changement est l’un des avertissements les plus simples qu’une comparaison est biaisée.

Vérifiez votre compréhension

Vérification pratique : utilisez les chiffres de cette leçon pour décomposer l'écart de 9,70 dollars entre utilisateurs et non-utilisateurs. Calculez la part qui vient du bloc et celle qui vient du type de client. Exprimez ensuite l'écart naïf comme un multiple de l'effet réel.

Afficher la réponse

Le bloc : 2,73 dollars, soit l’effet réel sur les utilisateurs. Le type de client : 9,70 − 2,73 = 6,97 dollars (les barres montrent 6,98, car les moyennes sont arrondies). Sans le bloc, les utilisateurs auraient dépensé 39,19 − 2,73 = 36,46 dollars, contre 29,48 pour les non-utilisateurs. L’écart naïf représente 9,70 ÷ 2,73 = 3,6 fois l’effet réel.

Récapitulatif

  • Le contrefactuel est le monde qui n’a pas eu lieu : les mêmes unités, au même moment, sans le changement. L’effet d’un changement est le résultat avec le changement moins le résultat sans le changement.
  • Nous ne voyons qu’un des deux mondes pour chaque unité. Chaque méthode de ce cours complète le monde manquant à l’aide d’une hypothèse.
  • Un facteur de confusion détermine à la fois qui reçoit le traitement et le résultat. C’est le cas de la pluie pour les parapluies et les vêtements mouillés. Il fait apparaître dans une comparaison un effet que le traitement n’a pas causé.
  • Chez Larkfield, les utilisateurs du bloc ont dépensé +9,70 dollars (+32,9 %) de plus que les non-utilisateurs. C’est un problème d’exercice que nous avons créé exprès. L’effet réel du bloc sur ses utilisateurs est de +2,73 dollars. Les utilisateurs dépensaient davantage avant que le bloc existe.
  • Une comparaison répond à une question causale quand les groupes se ressemblent avant le changement. Un tirage à pile ou face, une expérience naturelle ou un ajustement pour les facteurs de confusion mesurés peuvent les rendre semblables.

Vous pouvez maintenant nommer le contrefactuel et repérer un facteur de confusion. Mais les journaux de Larkfield ont de nombreuses colonnes : pages consultées, avis, visites, dépenses passées. Lesquelles sont des facteurs de confusion, et lesquelles rendraient la réponse moins juste si vous les utilisiez? Ensuite, vous dessinerez les causes sous forme de graphes simples et laisserez le graphe décider.

Leçon suivante : Dessiner les causes