Aller au contenu
English

Expériences et impact causal : notre changement a-t-il fonctionné?

Découvrez si un changement a vraiment fonctionné. Concevez et analysez des tests A/B, évitez les pièges des regards répétés et des nombreuses mesures, estimez des effets quand vous ne pouvez pas faire de test, trouvez à qui le changement profite avec des modèles de gain incrémental, et vérifiez chaque réponse avec un simulateur qui connaît la vérité.

Lisez toutes les leçons sans compte, ou connectez-vous pour vous inscrire et suivre vos progrès.

Ce cours est-il le bon pour vous?Ce que ce cours couvre et ne couvre pas, et 3 autres cours pour d'autres besoins.

Ce cours enseigne comment obtenir une réponse fiable à une question causale dans une entreprise : les tests A/B avec répartition aléatoire, du plan jusqu'au rapport, les pièges des vrais tests, les expériences naturelles et l'ajustement pour les facteurs de confusion quand la répartition aléatoire est impossible, les modèles de gain incrémental qui décident à qui appliquer le traitement, les bandits manchots, et les tests en ligne de fonctions d'IA. Il n'enseigne pas la statistique depuis le début, la construction d'une plateforme d'expériences, ni l'évaluation hors ligne des systèmes d'IA.

Suivez un autre cours si vous voulez :

Ce que vous apprendrez

À la fin de ce cours, vous pourrez :

  • Transformer une question d'affaires en question causale, avec une unité, un traitement, un résultat et une décision, et expliquer pourquoi une corrélation dans les journaux n'y répond pas.
  • Concevoir un test A/B : l'unité de répartition, la mesure principale et les garde-fous, l'effet minimal détectable, la taille d'échantillon et la durée, et une règle d'arrêt.
  • Analyser un test correctement : les intervalles de confiance, la vérification d'un déséquilibre de répartition, la réduction de la variance avec CUPED, les nombreuses mesures, les regards répétés et les tests séquentiels, et les effets de nouveauté.
  • Estimer un effet quand la répartition aléatoire est impossible, avec la différence des différences, le contrôle synthétique, la régression sur discontinuité, la série chronologique interrompue ou les méthodes de score de propension, et dire l'hypothèse dont chacune a besoin.
  • Trouver à qui un traitement profite avec des modèles de gain incrémental, et choisir à qui l'appliquer avec un budget.
  • Tester des fonctions d'IA (modèles, requêtes, recommandations) en ligne, choisir entre un test A/B et un bandit manchot, et présenter un résultat auquel une personne qui décide peut faire confiance.

À propos de ce cours

Après que Larkfield a lancé un nouveau bloc de recommandations sur ses pages de produits, les ventes ont monté de 8 %. Omar, le gestionnaire de produit, veut dire que le bloc a fait monter les ventes de 8 %. Mais la même semaine, il y avait un jour férié et une baisse de prix. Quelle part de ces 8 % vient du bloc, s’il y en a une?

Dans ce cours, vous suivez Priya, la scientifique des données de Larkfield, pendant qu’elle répond à des questions comme celle-ci pour quatre changements : un seuil de livraison gratuite plus bas, le bloc de recommandations, un courriel de rappel et une nouvelle requête pour l’assistant de soutien. Vous concevez des tests A/B, vous les analysez, et vous apprenez les pièges qui font mentir un test : l’arrêter quand il gagne, vérifier vingt mesures, une répartition qui n’est pas vraiment 50/50, et un effet qui s’efface après deux semaines.

Parfois, un test est impossible. La livraison gratuite a commencé d’abord au Québec, et le palier de fidélité commence à 500 dollars d’achats. Pour ces cas, vous utilisez les méthodes des économistes et des équipes de données : la différence des différences, le contrôle synthétique, la régression sur discontinuité et la série chronologique interrompue, ainsi que l’ajustement pour les facteurs de confusion dans les journaux. Ensuite, vous trouvez à qui le changement profite : le courriel de rappel aide certains clients et en agace d’autres, et vous choisissez à qui l’envoyer avec un budget.

Vous faites tout cela avec un petit projet de cours. Son simulateur crée le trafic de Larkfield et connaît l’effet réel de chaque changement. Vous pouvez donc vérifier chacune de vos réponses avec la vérité, et voir à quel point la réponse naïve se trompait. Toutes les données de Larkfield sont synthétiques : nous les avons créées pour ce cours, et elles ne contiennent aucune vraie personne. Les études de cas utilisent de vraies données ouvertes.

Avant de commencer

Vous avez terminé le cours Mathématiques et statistiques essentielles pour l'IA, ou vous avez les mêmes compétences. Vous savez calculer une différence entre deux groupes, un intervalle de confiance et une valeur p, et vous savez ce qu'ils veulent dire. Vous savez lire et modifier du code Python et pandas, et exécuter un carnet (notebook). Le cours d'apprentissage automatique aide dans le module sur le gain incrémental, mais il n'est pas obligatoire. Il vous faut Python 3.12 sur votre ordinateur, ou un compte Google ou Kaggle gratuit pour les carnets. Vous n'avez besoin ni de clé, ni d'argent.

Cours à suivre avant : Mathématiques et statistiques essentielles pour l'IA.

À qui s'adresse ce cours

Les scientifiques des données, les ingénieurs en IA, les analystes et les gens de produit qui doivent dire si un changement, par exemple une nouvelle fonction, un modèle, un prix, un courriel ou une requête, a causé un résultat.

Comment nous avons créé ce cours

Des spécialistes de l'IA expérimentés ont conçu ce cours. L'IA nous a aidés à rédiger le contenu; des personnes ont choisi l'approche pédagogique et les exemples, et ont révisé chaque leçon. Les résultats que vous voyez sont les vrais résultats de l'exécution du code. Comment nous créons les cours

Dans ce cours

Module 1Pourquoi « ça a monté » n'est pas une réponse

4 leçons

Pourquoi « ça a monté » n'est pas une réponse. Un lancement qui a « fait monter les ventes de 8 % » pendant une semaine avec un jour férié et une baisse de prix, les contrefactuels et les facteurs de confusion, des graphes causaux simples, et une première exécution du simulateur qui connaît l'effet réel.

  1. La fonctionnalité qui a « fait monter les ventes »25 min
  2. Causes et comparaisons30 min
  3. Dessiner les causes35 min
  4. Découvrir le simulateur35 min

Dernier module · choisissez-en au moins uneÉtudes de cas

3 études de cas

Trois études de cas complètes sur de vraies données ouvertes. Un envoi postal avec répartition aléatoire et son gain incrémental, de vraies expériences en ligne dans une boutique de mode, et une hausse du salaire minimum étudiée sans test. Terminez-en au moins une pour obtenir le certificat. Chacune peut entrer dans votre portfolio.

Terminez au moins une étude de cas pour obtenir le certificat. Les autres sont facultatives. Ce que couvre chacune

  1. L'envoi postal a-t-il fonctionné, et pour qui?150 min
  2. Tests réels dans une boutique en ligne150 min
  3. Un salaire minimum sans test150 min

Après les études de casTravail final

Utilisez tous les modules dans un projet pratique. Vous recueillez des preuves, puis vous les comparez aux objectifs du cours.

  1. Travail final180 min

Études de cas

Des projets réalistes du début à la fin, sur de vraies données, avec chaque résultat expliqué. Chacun devient une pièce de votre portfolio. Terminez-en au moins une pour obtenir le certificat; les autres sont facultatives.

  1. L'envoi postal a-t-il fonctionné, et pour qui?2 h 30 min

    Un vrai envoi postal avec répartition aléatoire à 344 000 personnes, avec quatre lettres et un groupe témoin (CC0) : analysez le test avec des intervalles, puis construisez un modèle de gain incrémental et choisissez à qui envoyer la lettre avec un budget.

  2. Tests réels dans une boutique en ligne2 h 30 min

    Les résultats quotidiens de 78 vraies expériences en ligne d'une boutique de mode (CC BY 4.0) : les intervalles, la vérification de la répartition, les regards répétés contre un test séquentiel, et une décision pour chaque test.

  3. Un salaire minimum sans test2 h 30 min

    Les emplois dans la restauration des comtés du New Jersey et de la Pennsylvanie, autour de la hausse du salaire minimum du New Jersey en 1992, à partir de statistiques officielles du domaine public : la différence des différences, les tendances parallèles et les tests placebo.

Avis

Chargement des avis…

    Vous avez suivi ce cours? Connectez-vous pour donner votre avis. Vous pouvez donner un avis après avoir terminé 25 % des leçons.

    Partager ce cours