Expériences et impact causal : notre changement a-t-il fonctionné?
Découvrez si un changement a vraiment fonctionné. Concevez et analysez des tests A/B, évitez les pièges des regards répétés et des nombreuses mesures, estimez des effets quand vous ne pouvez pas faire de test, trouvez à qui le changement profite avec des modèles de gain incrémental, et vérifiez chaque réponse avec un simulateur qui connaît la vérité.
Lisez toutes les leçons sans compte, ou connectez-vous pour vous inscrire et suivre vos progrès.
Inscrivez-vous pour enregistrer les leçons que vous terminez. C'est gratuit.
Vous êtes inscrit. Dès maintenant, les leçons que vous terminez sont enregistrées.
Pour obtenir votre certificat, marquez chaque vérification des connaissances comme concordante. Ces leçons ont des vérifications à terminer :
Ce cours est-il le bon pour vous?Ce que ce cours couvre et ne couvre pas, et 3 autres cours pour d'autres besoins.
Ce cours enseigne comment obtenir une réponse fiable à une question causale dans une entreprise : les tests A/B avec répartition aléatoire, du plan jusqu'au rapport, les pièges des vrais tests, les expériences naturelles et l'ajustement pour les facteurs de confusion quand la répartition aléatoire est impossible, les modèles de gain incrémental qui décident à qui appliquer le traitement, les bandits manchots, et les tests en ligne de fonctions d'IA. Il n'enseigne pas la statistique depuis le début, la construction d'une plateforme d'expériences, ni l'évaluation hors ligne des systèmes d'IA.
Transformer une question d'affaires en question causale, avec une unité, un traitement, un résultat et une décision, et expliquer pourquoi une corrélation dans les journaux n'y répond pas.
Concevoir un test A/B : l'unité de répartition, la mesure principale et les garde-fous, l'effet minimal détectable, la taille d'échantillon et la durée, et une règle d'arrêt.
Analyser un test correctement : les intervalles de confiance, la vérification d'un déséquilibre de répartition, la réduction de la variance avec CUPED, les nombreuses mesures, les regards répétés et les tests séquentiels, et les effets de nouveauté.
Estimer un effet quand la répartition aléatoire est impossible, avec la différence des différences, le contrôle synthétique, la régression sur discontinuité, la série chronologique interrompue ou les méthodes de score de propension, et dire l'hypothèse dont chacune a besoin.
Trouver à qui un traitement profite avec des modèles de gain incrémental, et choisir à qui l'appliquer avec un budget.
Tester des fonctions d'IA (modèles, requêtes, recommandations) en ligne, choisir entre un test A/B et un bandit manchot, et présenter un résultat auquel une personne qui décide peut faire confiance.
À propos de ce cours
Après que Larkfield a lancé un nouveau bloc de recommandations sur ses pages de produits, les ventes ont monté de 8 %. Omar, le gestionnaire de produit, veut dire que le bloc a fait monter les ventes de 8 %. Mais la même semaine, il y avait un jour férié et une baisse de prix. Quelle part de ces 8 % vient du bloc, s’il y en a une?
Dans ce cours, vous suivez Priya, la scientifique des données de Larkfield, pendant qu’elle répond à des questions comme celle-ci pour quatre changements : un seuil de livraison gratuite plus bas, le bloc de recommandations, un courriel de rappel et une nouvelle requête pour l’assistant de soutien. Vous concevez des tests A/B, vous les analysez, et vous apprenez les pièges qui font mentir un test : l’arrêter quand il gagne, vérifier vingt mesures, une répartition qui n’est pas vraiment 50/50, et un effet qui s’efface après deux semaines.
Parfois, un test est impossible. La livraison gratuite a commencé d’abord au Québec, et le palier de fidélité commence à 500 dollars d’achats. Pour ces cas, vous utilisez les méthodes des économistes et des équipes de données : la différence des différences, le contrôle synthétique, la régression sur discontinuité et la série chronologique interrompue, ainsi que l’ajustement pour les facteurs de confusion dans les journaux. Ensuite, vous trouvez à qui le changement profite : le courriel de rappel aide certains clients et en agace d’autres, et vous choisissez à qui l’envoyer avec un budget.
Vous faites tout cela avec un petit projet de cours. Son simulateur crée le trafic de Larkfield et connaît l’effet réel de chaque changement. Vous pouvez donc vérifier chacune de vos réponses avec la vérité, et voir à quel point la réponse naïve se trompait. Toutes les données de Larkfield sont synthétiques : nous les avons créées pour ce cours, et elles ne contiennent aucune vraie personne. Les études de cas utilisent de vraies données ouvertes.
Avant de commencer
Vous avez terminé le cours Mathématiques et statistiques essentielles pour l'IA, ou vous avez les mêmes compétences. Vous savez calculer une différence entre deux groupes, un intervalle de confiance et une valeur p, et vous savez ce qu'ils veulent dire. Vous savez lire et modifier du code Python et pandas, et exécuter un carnet (notebook). Le cours d'apprentissage automatique aide dans le module sur le gain incrémental, mais il n'est pas obligatoire. Il vous faut Python 3.12 sur votre ordinateur, ou un compte Google ou Kaggle gratuit pour les carnets. Vous n'avez besoin ni de clé, ni d'argent.
Les scientifiques des données, les ingénieurs en IA, les analystes et les gens de produit qui doivent dire si un changement, par exemple une nouvelle fonction, un modèle, un prix, un courriel ou une requête, a causé un résultat.
Comment nous avons créé ce cours
Des spécialistes de l'IA expérimentés ont conçu ce cours. L'IA nous a aidés à rédiger le contenu; des personnes ont choisi l'approche pédagogique et les exemples, et ont révisé chaque leçon. Les résultats que vous voyez sont les vrais résultats de l'exécution du code. Comment nous créons les cours
Dans ce cours
Module 1Pourquoi « ça a monté » n'est pas une réponse
4 leçons
Pourquoi « ça a monté » n'est pas une réponse. Un lancement qui a « fait monter les ventes de 8 % » pendant une semaine avec un jour férié et une baisse de prix, les contrefactuels et les facteurs de confusion, des graphes causaux simples, et une première exécution du simulateur qui connaît l'effet réel.
Concevoir un test A/B. Répartir au hasard avec la bonne unité, choisir une mesure principale et des garde-fous, calculer la taille d'échantillon et la puissance, et écrire le plan de test avant le début du test.
Analyser le test. L'effet et son intervalle de confiance, le bootstrap, la vérification d'un déséquilibre de répartition et les tests A/A, plus de précision avec CUPED, et des segments prévus d'avance.
Les pièges des vrais tests. Les regards répétés et les tests séquentiels, les nombreuses mesures et les fausses découvertes, les effets de nouveauté qui s'effacent, et les clients qui s'influencent par un stock partagé.
Module 5Quand la répartition aléatoire est impossible : les expériences naturelles
4 leçons
Quand la répartition aléatoire est impossible. La différence des différences et le contrôle synthétique pour un déploiement d'abord au Québec, la régression sur discontinuité à un seuil de fidélité, et la série chronologique interrompue.
Module 6Ajuster pour les facteurs de confusion dans des données d'observation
3 leçons
Ajuster pour les facteurs de confusion dans des données d'observation. L'ajustement par régression, les scores de propension, l'appariement et la pondération, et des tests de réfutation qui essaient de casser votre propre réponse.
Module 7Le gain incrémental : à qui appliquer le traitement?
3 leçons
Le gain incrémental. Trouver les clients qu'un courriel persuade et ceux qu'il agace, entraîner des T-learners et des X-learners, et choisir à qui envoyer le courriel avec un budget, à l'aide des courbes de gain incrémental et Qini.
Module 8Les expériences pour les fonctions d'IA et en production
4 leçons
Les expériences pour les fonctions d'IA et en production. Un test en ligne de la requête d'un assistant de soutien, les bandits manchots, un rapport de résultat auquel les gens font confiance, et les expériences comme habitude d'équipe.
Dernier module · choisissez-en au moins uneÉtudes de cas
3 études de cas
Trois études de cas complètes sur de vraies données ouvertes. Un envoi postal avec répartition aléatoire et son gain incrémental, de vraies expériences en ligne dans une boutique de mode, et une hausse du salaire minimum étudiée sans test. Terminez-en au moins une pour obtenir le certificat. Chacune peut entrer dans votre portfolio.
Terminez au moins une étude de cas pour obtenir le certificat. Les autres sont facultatives. Ce que couvre chacune
Des projets réalistes du début à la fin, sur de vraies données, avec chaque résultat expliqué. Chacun devient une pièce de votre portfolio. Terminez-en au moins une pour obtenir le certificat; les autres sont facultatives.
Un vrai envoi postal avec répartition aléatoire à 344 000 personnes, avec quatre lettres et un groupe témoin (CC0) : analysez le test avec des intervalles, puis construisez un modèle de gain incrémental et choisissez à qui envoyer la lettre avec un budget.
Les résultats quotidiens de 78 vraies expériences en ligne d'une boutique de mode (CC BY 4.0) : les intervalles, la vérification de la répartition, les regards répétés contre un test séquentiel, et une décision pour chaque test.
Les emplois dans la restauration des comtés du New Jersey et de la Pennsylvanie, autour de la hausse du salaire minimum du New Jersey en 1992, à partir de statistiques officielles du domaine public : la différence des différences, les tendances parallèles et les tests placebo.
Avis
Chargement des avis…
Vous avez suivi ce cours? Connectez-vous pour donner votre avis. Vous pouvez donner un avis après avoir terminé 25 % des leçons.