Aller au contenu
English

Dessiner les causes

  • Leçon 3
  • 35 min
  • Module 1 : Pourquoi « ça a monté » n'est pas une réponse

Où nous en sommes

Nous savons qu'un facteur de confusion peut faire paraître un changement bon ou mauvais. Mais quelles variables sont des facteurs de confusion, et lesquelles devons-nous laisser de côté? Dans cette leçon, nous dessinons des graphes causaux simples pour les quatre changements de Larkfield. Nous les utilisons pour décider quelles variables inclure dans l'ajustement. D'abord, nous retournons à la boutique de cadeaux et à sa nouvelle vitrine.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité
Leçon 3 sur 30 · Expériences et impact causal : notre changement a-t-il fonctionné?Dessiner les causes

Ce que vous saurez faire

Dessinez d’abord les causes pour décider quelles variables inclure dans une comparaison et lesquelles laisser de côté. « Utiliser toutes les colonnes » peut rendre une estimation moins bonne, et même inverser son signe.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 35 minutes

Ce que vous devez savoir

  • Le contrefactuel, les facteurs de confusion, et les utilisateurs et non-utilisateurs du bloc, présentés dans Causes et comparaisons.

Ce qu’il vous faut sur votre ordinateur

Rien. Cette leçon ne contient pas de code. Gardez un crayon et du papier à portée de main : vous dessinerez des graphes.

La propriétaire de la boutique de cadeaux veut une réponse plus claire sur sa nouvelle vitrine. Elle prend une feuille et écrit ce qui cause quoi. Elle dessine une flèche de chaque cause vers son résultat.

  • Le jour férié attire plus de visiteurs. Il l’a aussi amenée à choisir cette semaine pour la nouvelle vitrine. Le jour férié a donc deux flèches : une vers « nouvelle vitrine » et une vers « visiteurs ».
  • La nouvelle vitrine amène les gens à s’arrêter devant la vitrine, et ceux qui s’arrêtent entrent. Donc : vitrine → arrêt devant la vitrine → visiteurs.
  • Un journal local parle des boutiques très fréquentées ou qui ont une belle vitrine. Deux flèches arrivent donc à l’article du journal : une depuis la vitrine et une depuis les visiteurs.

Elle distingue maintenant trois types de variables. Le jour férié est un facteur de confusion. L’arrêt devant la vitrine est une étape entre la vitrine et les visiteurs. L’article du journal est un résultat des deux. Comme vous le verrez, chaque type demande un traitement différent.

Les journaux (logs) de TermeLarkfieldUne boutique en ligne canadienne inventée, qui vend des articles pour la maison et le jardin. Ce n’est pas une vraie entreprise. Tous les cours Nextia utilisent son service d’assistance et ses données comme exemple.En savoir plus Découvrez Larkfield contiennent une colonne pour chaque information sur les clients que TermeAmiraLa développeuse de Larkfield. Elle écrit le code des outils du service d’assistance dans les cours. enregistre. Pour le bloc de recommandations, ils comprennent :

Colonne Ce qu’elle représente
pre_spend, pre_orders dépenses et commandes dans les 8 semaines avant le lancement
visits visites pendant les 28 jours
tenure_days jours depuis la première commande du client
new_customer, device nouveau client ou non; téléphone ou ordinateur
pages_viewed pages vues pendant les 28 jours
left_review rédaction d’un avis sur un produit pendant les 28 jours
used_block clic sur un produit dans le bloc (le traitement)
revenue dépenses pendant les 28 jours (le résultat)

Dans la dernière leçon, TermeTomásL’ingénieur en IA de Larkfield. Il propose souvent un raccourci rapide, et la leçon montre pourquoi il échoue. proposait de comparer des clients qui se ressemblaient avant le lancement. Une régression le fait pour plusieurs colonnes à la fois. Elle estime l’effet du bloc pour des clients semblables dans chaque colonne que vous lui donnez. Le module 6 l’enseigne. Ici, une seule question compte : quelles colonnes faut-il lui donner?

Tomás a une réponse simple : « Toutes. Plus on contrôle, mieux c’est. »

Le cours a mesuré ce qui se passe. Le simulateur connaît aussi la vérité : si tout le monde utilisait le bloc, le revenu augmenterait de 2,37 dollars par client.

Les mêmes journaux, quatre réponses. Ajouter la mauvaise colonne inverse le signe de l'estimation. Données synthétiques du simulateur; ajustement par régression comme au module 6.
Description textuelle du graphique

Quatre estimations de l’effet du bloc en dollars par client, avec leurs TermeIntervalle de confianceUne plage autour d’une valeur mesurée, obtenue par une méthode qui contient la vraie valeur 95 fois sur 100. Si l’intervalle d’une différence ne contient pas zéro, la différence n’est probablement pas due au hasard.En savoir plus Estimer l'incertitudeMathématiques et statistiques essentielles pour l'IA à 95 % lorsqu’ils existent. Une ligne à 0 indique l’absence d’effet. Une ligne à +2,37 indique l’effet réel si tout le monde utilisait le bloc. Utilisateurs contre non-utilisateurs : +9,70 (7,56 à 11,84). Ajustement pour les 6 facteurs de confusion (dépenses et commandes antérieures, visites, ancienneté, nouveau client, appareil) : +3,38 (1,74 à 5,03). Les mêmes variables et le médiateur, les pages vues : +2,79 (0,81 à 4,76). Les 6 facteurs de confusion et le collisionneur, la rédaction d’un avis, plutôt que le médiateur : −3,16, sous zéro.

Lisez les quatre lignes à partir du haut :

  1. Utilisateurs contre non-utilisateurs : +9,70. Aucun ajustement. Tous les facteurs de confusion interviennent.
  2. Ajustement pour 6 facteurs de confusion : +3,38. Beaucoup plus près de la vérité. L’estimation reste trop élevée, car un facteur de confusion, le jardin, n’apparaît pas dans les journaux.
  3. Et le médiateur pages_viewed (pages vues) : +2,79. Encore plus près, mais pour une mauvaise raison. Deux erreurs s’annulent par chance : le jardin caché augmente l’estimation, et le médiateur la diminue. Vous ne pouvez pas compter sur cette chance.
  4. Et plutôt le collisionneur left_review (rédaction d’un avis) : −3,16. Le bloc semble maintenant faire perdre de l’argent. Ce n’est pas une petite erreur. Le signe est inversé.

« Toutes » n’est donc pas une règle. Une colonne a corrigé la réponse, et une autre l’a faussée. Nous devons pouvoir les distinguer avant de regarder les résultats. Regarder d’abord les résultats et garder la réponse qui vous plaît, ce n’est pas de l’analyse.

Un graphe causal est un dessin de ce qui cause quoi. Chaque variable est un encadré. Une flèche de A vers B signifie « A est une des causes de B ». Le graphe n’indique pas la taille de chaque effet. Il indique seulement quelles causes existent et lesquelles n’existent pas.

Vous dessinez le graphe à partir de vos connaissances de l’entreprise, avant de regarder les résultats. TermePriyaLa scientifique des données de Larkfield. Elle mesure la qualité de l’assistant sur des jeux de test, pas à l’intuition. le dessine avec Amira, qui connaît les journaux, et avec TermeOmarLe gestionnaire de produit de Larkfield. Il pose les questions d’affaires : ce qu’un changement coûte et ce qu’il apporte à la boutique., qui connaît les clients.

Le nom technique est DAG, un graphe orienté acyclique. « Orienté » signifie que chaque flèche a une direction. « Acyclique » signifie que les flèches ne permettent jamais de revenir au point de départ : rien ne se cause soi-même.

Chaque variable d’un graphe peut jouer un rôle par rapport au traitement et au résultat. Trois rôles comptent surtout.

Un graphe avec cinq encadrés. Le facteur de confusion, les dépenses antérieures, pointe vers le traitement, l'utilisation du bloc, et vers le résultat, le revenu sur 28 jours. Le traitement pointe vers le médiateur, les pages vues, qui pointe vers le résultat. Le traitement pointe aussi directement vers le résultat. Le traitement et le résultat pointent tous deux vers le collisionneur, la rédaction d'un avis.
Trois rôles : un facteur de confusion cause les deux, un médiateur se trouve sur le chemin, et un collisionneur découle des deux.
Description textuelle du diagramme

Les dépenses antérieures sont un facteur de confusion : elles causent l’utilisation du bloc et le revenu. Les pages vues sont un médiateur : le bloc ajoute des pages, et les pages mènent à des achats. Une partie de l’effet du bloc passe donc par elles. La rédaction d’un avis est un collisionneur (collider) : l’utilisation du bloc et les dépenses causent toutes deux des avis. Deux flèches s’y rencontrent donc.

Un facteur de confusion cause à la fois le traitement et le résultat. Il ouvre un faux chemin entre eux. Incluez-le dans l’ajustement : comparez des cas semblables. Les dépenses antérieures et le jour férié sont des facteurs de confusion.

Un médiateur se trouve sur le chemin du traitement au résultat : traitement → médiateur → résultat. Il fait partie de la façon dont le traitement agit. Si vous l’incluez dans l’ajustement, vous comparez des clients qui ont vu le même nombre de pages. Cela retire la partie de l’effet qui passe par les pages. Laissez-le de côté quand vous voulez l’effet total. Dans la boutique de cadeaux, « s’arrêter devant la vitrine » est un médiateur. Comparez seulement les jours où le même nombre de personnes s’arrêtent, et la vitrine semble ne rien faire.

Un collisionneur découle à la fois du traitement et du résultat : deux flèches s’y rencontrent. Seul, il ne pose aucun problème. Mais si vous l’incluez dans l’ajustement, ou examinez une seule de ses valeurs, vous créez un lien qui n’existe pas. Laissez-le de côté.

Le collisionneur est le plus étrange des trois. Voici donc un exemple inventé où toutes les valeurs sont visibles. La boutique de cadeaux connaît quatre types de journées. Dans cet exemple, la vitrine n’a aucun effet sur la fréquentation de la boutique. Le journal parle de la boutique quand elle a une nouvelle vitrine ou quand elle est très fréquentée.

Jour Nouvelle vitrine Très fréquentée Article du journal
1 oui oui oui
2 oui non oui
3 non oui oui
4 non non non

Regardez les quatre jours. Avec la vitrine, la boutique était très fréquentée 1 jour sur 2. Sans elle, aussi 1 jour sur 2. Aucun lien, ce qui est juste.

Regardez maintenant seulement les jours avec un article du journal (jours 1, 2 et 3). Avec la vitrine, la boutique était très fréquentée 1 jour sur 2. Sans la vitrine, elle était très fréquentée 1 jour sur 1 : chaque fois. Parmi ces jours, la vitrine semble rendre la boutique moins fréquentée.

Pourquoi? Un article sans nouvelle vitrine exige une journée très fréquentée : c’est la seule autre raison pour laquelle le journal écrit. Choisir les jours avec un article a rempli le groupe « sans vitrine » de journées très fréquentées. Le collisionneur a créé le lien. La variable left_review de Larkfield fait la même chose. Parmi les clients ayant rédigé un avis, ceux qui n’ont pas utilisé le bloc sont surtout de gros acheteurs. Voilà comment l’estimation est passée à −3,16.

Pour l’effet total d’un traitement, une règle simple couvre la plupart des cas :

  • Incluez dans l’ajustement les causes du traitement et du résultat, mesurées avant le traitement.
  • N’incluez pas dans l’ajustement ce que le traitement peut changer : médiateurs, collisionneurs et autres résultats du traitement.

L’ordre temporel est donc un bon premier test. Une variable enregistrée avant le changement ne peut pas être un médiateur ou un collisionneur de ce changement. Une variable enregistrée après exige un examen attentif du graphe.

Priya dessine un graphe pour chacun des quatre changements. Deux types de graphes apparaissent. Quand un tirage à pile ou face attribue le changement, une seule flèche arrive au traitement : celle du tirage. Quand les clients ou les gestionnaires choisissent, d’autres flèches arrivent, et ce sont les facteurs de confusion.

Un graphe de haut en bas. Le tirage à pile ou face, A ou B, pointe vers la livraison gratuite dès 50 dollars. La livraison gratuite pointe vers les commandes et la taille du panier, qui pointent vers le revenu. La livraison gratuite pointe aussi vers les retours. Les dépenses antérieures et la saison pointent vers le revenu.
Le test de Hana : le tirage à pile ou face est la seule flèche qui arrive au traitement.
Description textuelle du diagramme

Un tirage à pile ou face place chaque client dans A ou B. Le groupe B obtient la livraison gratuite dès 50 dollars. La livraison gratuite change les commandes et la taille du panier, qui changent le revenu, et elle change aussi les retours. Les dépenses antérieures et la saison causent aussi le revenu, mais aucune flèche ne les relie à la livraison gratuite.

Les dépenses antérieures et la saison causent le revenu, mais ne déterminent pas qui obtient la livraison gratuite : le tirage décide. Il n’y a donc aucun facteur de confusion, et la simple différence entre A et B estime l’effet. Les commandes et la taille du panier sont des médiateurs : ne les incluez pas dans l’ajustement. Les retours sont un deuxième résultat : Hana doit vérifier qu’ils n’augmentent pas trop. Le module 2 appelle un tel résultat un garde-fou.

Un graphe de haut en bas. Les dépenses antérieures, les visites, l'ancienneté et l'appareil pointent vers l'utilisation du bloc et vers le revenu. La présence d'un jardin, absente du journal, pointe vers l'utilisation du bloc et vers le revenu. L'utilisation du bloc pointe vers les pages vues, qui pointent vers le revenu, et directement vers le revenu. L'utilisation du bloc et le revenu pointent tous deux vers la rédaction d'un avis.
Le bloc d'Omar : les clients ont choisi, donc des facteurs de confusion pointent vers le traitement. L'un d'eux est absent du journal.
Description textuelle du diagramme

Les dépenses antérieures, les visites, l’ancienneté et l’appareil causent l’utilisation du bloc et le revenu : ce sont des facteurs de confusion enregistrés. Avoir un jardin est un facteur de confusion que le journal n’enregistre pas. Les pages vues sont un médiateur entre le bloc et le revenu. La rédaction d’un avis est un collisionneur, causé par le bloc et le revenu.

Ce graphe explique tout le graphique des intervalles ci-dessus. Les six facteurs de confusion du journal ont leur place dans la comparaison. Le médiateur et le collisionneur ne l’ont pas. Et le jardin ne peut pas y entrer, car Larkfield ne l’a jamais enregistré. Même la meilleure comparaison de ces journaux reste donc un peu trop élevée. Le module 6 mesure de combien, et montre comment tester ce qu’un facteur de confusion caché pourrait faire.

Un graphe de haut en bas. Le tirage à pile ou face, courriel ou non, pointe vers le courriel de rappel. Le courriel pointe vers une commande dans les 14 jours et vers le désabonnement. Le type de client, nouveau, gros acheteur, jours depuis la dernière commande, pointe vers une commande dans les 14 jours.
Le test de Rafael : encore un tirage à pile ou face. Le type de client change le résultat, pas qui reçoit le courriel.
Description textuelle du diagramme

Un tirage à pile ou face décide qui reçoit le courriel de rappel. Le courriel cause des commandes et aussi des désabonnements. Le type de client cause aussi des commandes : nouveau client, gros acheteur ou nombre de jours depuis la dernière commande. Mais il ne décide pas qui reçoit le courriel.

Le type de client n’est pas un facteur de confusion ici : il ne détermine pas qui reçoit le courriel. Mais il compte d’une autre façon. Le courriel peut aider certains types de clients et en déranger d’autres. Le module 7 traite précisément de cela.

Un graphe de haut en bas. Le tirage à pile ou face, requête A ou B, pointe vers la requête de soutien. La requête pointe vers la réponse, correcte et courte, qui pointe vers la résolution du billet. La requête pointe vers le transfert à une personne, qui pointe vers le coût par billet et la résolution du billet. Le type de question pointe vers la réponse et vers le transfert.
Le test de l'assistant de soutien : la réponse et le transfert sont des médiateurs.
Description textuelle du diagramme

Un tirage à pile ou face décide quelle requête (prompt) répond aux billets de soutien d’un client. La requête change la réponse, qui change la résolution du billet. La requête change aussi la fréquence à laquelle l’assistant transfère le billet à une personne. Le transfert change le coût par billet et la résolution du billet. Le type de question change à la fois la réponse et le transfert.

La réponse et le transfert sont tous deux des médiateurs. C’est par eux que la requête agit. Pour mesurer l’effet total de la requête sur les billets résolus et le coût, comparez A et B sans ces ajustements. Vous pouvez quand même les examiner pour comprendre pourquoi une requête gagne. Les examiner ne pose aucun problème; les inclure dans l’ajustement est l’erreur.

Dessinez un graphe chaque fois que vous estimez un effet sans tirage à pile ou face. Dessinez-en un même avec un tirage : il montre les médiateurs et les autres résultats, comme les retours, désabonnements ou coûts.

Un graphe coûte peu : une feuille et dix minutes avec les personnes qui connaissent l’entreprise. Le désaccord est utile. Si Amira et Omar dessinent des flèches différentes, l’équipe a trouvé une hypothèse qu’elle doit vérifier.

Un graphe a aussi des limites. Il montre des hypothèses, pas des faits. Les données ne peuvent pas prouver qu’une flèche manque. Un graphe ne peut pas non plus ajouter une variable que personne n’a enregistrée, comme le jardin. Et pour un grand graphe, la règle ci-dessus demande plus de précautions. Des bibliothèques comme DoWhy peuvent lire un graphe et trouver les variables à inclure dans l’ajustement. Le projet du cours utilise DoWhy au module 6.

D’abord, suivez Priya pour une colonne. Est-ce que visits est un facteur de confusion, un médiateur ou un collisionneur?

  1. Quand mesure-t-on cette variable? Dans les 28 jours après le lancement. Le moment de la mesure ne suffit donc pas à trancher.
  2. Le bloc peut-il la modifier? Dans le simulateur de Larkfield, non. Les clients visitent le site pour leurs propres raisons. Le bloc s’affiche seulement pendant une visite.
  3. Cause-t-elle le traitement et le résultat? Oui. Plus de visites donnent plus d’occasions de voir le bloc et de commander.

Donc, visits est un facteur de confusion et doit faire partie de la comparaison. Si le bloc faisait revenir les gens plus souvent, visits serait aussi un médiateur, et la réponse changerait. Le graphe vous oblige à préciser ce que vous croyez.

À votre tour. Supposons que Rafael n’ait pas utilisé un tirage à pile ou face. Il a envoyé le courriel de rappel aux clients qu’il jugeait les plus susceptibles d’acheter. Dessinez le graphe avec ces variables : courriel, commande dans les 14 jours, jours depuis la dernière commande, ouverture du courriel, désabonnement. Ensuite, indiquez si chaque variable est un facteur de confusion, un médiateur, un collisionneur ou un deuxième résultat.

Une réponse possible
  • Jours depuis la dernière commande est un facteur de confusion. Rafael s’en est servi pour choisir les destinataires. Les acheteurs récents commandent aussi plus souvent, même sans courriel. Tenez-en compte dans l’ajustement.
  • Ouverture du courriel est un médiateur : le client doit ouvrir le courriel avant que celui-ci puisse mener à une commande. L’intérêt du client pour Larkfield cause aussi l’ouverture du courriel et les commandes. Cette variable est donc un médiateur et ouvre un faux chemin. Ne faites pas d’ajustement pour cette variable. Ne comparez pas les clients qui ouvrent le courriel avec ceux qui ne l’ouvrent pas.
  • Désabonnement est un deuxième résultat, causé par le courriel. Vérifiez-le, mais ne faites pas d’ajustement pour cette variable.
  • Avec le tirage à pile ou face, la flèche de « jours depuis la dernière commande » vers le courriel disparaît. Aucun ajustement n’est nécessaire.

Erreur courante

Toutes les colonnes dans la régression

Symptôme : vous ajoutez une colonne à la comparaison, et l’estimation change beaucoup. Chez Larkfield, l’ajout de left_review fait passer l’effet du bloc de +3,38 à −3,16 dollars.

Cause : la colonne est un résultat du traitement. Ici, c’est un collisionneur : le bloc et les dépenses causent tous deux les avis. L’ajustement pour cette variable crée un lien entre le bloc et les dépenses que le bloc n’a pas causé.

Diagnostic : pour chaque colonne, posez deux questions. A-t-on mesuré cette variable avant le début du traitement? Le traitement pourrait-il la modifier? Une colonne que le traitement peut modifier est un médiateur, un collisionneur ou un autre résultat.

Solution : dessinez d’abord le graphe, puis faites un ajustement seulement pour les facteurs de confusion. Retirez toutes les colonnes que le traitement peut modifier. Décidez de la liste avant de voir une estimation, et notez-la.

Vérifiez votre compréhension

Dans vos mots : qu'est-ce qu'un facteur de confusion, un médiateur et un collisionneur? Pour chacun, dites si vous faites un ajustement pour obtenir l'effet total d'un changement.

Afficher la réponse

Un facteur de confusion cause à la fois le traitement et le résultat. Les dépenses passées en sont un exemple pour le bloc et le revenu. Faites un ajustement pour comparer des clients semblables. Un médiateur se trouve sur le chemin entre le traitement et le résultat, comme les pages consultées. Ne faites pas d’ajustement pour cette variable : cela retire la partie de l’effet qui passe par elle. Un collisionneur est causé à la fois par le traitement et le résultat, comme le fait de laisser un avis. Ne faites pas d’ajustement pour cette variable : cela crée un lien inexistant entre le traitement et le résultat.

Vérifiez votre compréhension

Prédisez et expliquez : un analyste étudie le bloc en utilisant seulement les clients qui ont écrit un avis. Que devrait-il arriver à l'effet estimé, et pourquoi?

Afficher la réponse

L’estimation sera biaisée, probablement vers un effet négatif. Écrire un avis est un collisionneur : le bloc et des dépenses élevées le causent tous deux. Parmi les auteurs d’avis, un client qui n’a pas utilisé le bloc a probablement écrit son avis à cause de dépenses élevées. Dans ce groupe, les non-utilisateurs sont donc surtout de gros acheteurs. Le bloc semble alors moins efficace qu’il ne l’est. Sur l’ensemble des journaux, l’ajustement pour left_review donnait −3,16 dollars, contre un effet réel de +2,37.

Vérifiez votre compréhension

Vérification pratique : classez chaque colonne des journaux du bloc comme facteur de confusion, médiateur, collisionneur, traitement ou résultat : pre_spend, tenure_days, device, pages_viewed, left_review, used_block, revenue. Quelle cause importante manque dans les journaux?

Afficher la réponse

Facteurs de confusion : pre_spend, tenure_days et device (aussi pre_orders, visits et new_customer). Médiateur : pages_viewed. Collisionneur : left_review. Traitement : used_block. Résultat : revenue. La cause manquante est le fait que le client ait un jardin ou non. Un jardin rend les clients plus susceptibles d’utiliser le bloc et de dépenser davantage. Larkfield ne consigne pas cette information. Même la bonne comparaison de ces journaux reste donc un peu trop élevée (+3,38 contre +2,37).

Récapitulatif

  • Un graphe causal (un DAG) représente chaque variable par un encadré et chaque cause par une flèche. Vous le dessinez à partir de votre connaissance de l’entreprise, avant de regarder les résultats.
  • Un facteur de confusion cause à la fois le traitement et le résultat : faites un ajustement pour cette variable. Un médiateur est sur le chemin : n’y touchez pas pour obtenir l’effet total. Un collisionneur est causé par les deux : n’y touchez pas.
  • Un premier test : faites un ajustement pour les causes mesurées avant le traitement, jamais pour ce que le traitement peut modifier.
  • Dans les journaux de Larkfield, les 6 facteurs de confusion donnent +3,38 dollars, encore trop élevé parce que le jardin reste caché. Ajouter le médiateur donne +2,79 seulement parce que deux erreurs s’annulent. Ajouter le collisionneur donne −3,16, le mauvais signe. L’effet réel pour tout le monde est de +2,37.
  • Avec un tirage à pile ou face, la seule flèche vers le traitement vient de la pièce. Aucun facteur de confusion ne reste donc. Le test de livraison gratuite, le courriel de rappel et le test de requêtes utilisent tous ce tirage.

Vous pouvez maintenant dessiner les causes de chaque changement et dire quoi comparer. Mais jusqu’ici, tous les nombres venaient de nous. Ensuite, vous préparez le projet du cours et exécutez vous-même le simulateur. Vous comparez alors une réponse naïve et la réponse d’un test à l’effet réel.

Leçon suivante : Découvrir le simulateur