Aller au contenu
English

Présenter un résultat qui inspire confiance

  • Leçon 29
  • 30 min
  • Module 8 : Les expériences pour les fonctions d'IA et en production

Où nous en sommes

Nous pouvons maintenant mener et analyser plusieurs types de tests. Un résultat aide seulement si les gens lui font confiance et agissent en conséquence. Dans cette leçon, nous rédigeons un rapport de résultat d'une page avec la décision, l'effet et son intervalle, les vérifications effectuées et les limites.

Leçon 29 sur 30 · Expériences et impact causal : notre changement a-t-il fonctionné?Présenter un résultat qui inspire confiance

Ce que vous saurez faire

Rédigez le résultat d’un test sur une page qui permet à une personne occupée d’agir. Placez la décision en premier. Donnez ensuite l’effet et son intervalle, les vérifications effectuées et les limites. Apprenez à dire « aucun effet clair » de façon utile.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 30 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur (seulement pour les étapes du projet)

  • Le projet larkfield-experiments à l’instantané end-of-m08, dans Tester un modèle ou une requête en ligne, avec .venv actif.
  • Le plan rempli de Hana, plans/free-delivery.md, dans Écrire le plan d’abord. Les instantanés ne contiennent pas vos plans. Si vous ne l’avez pas, exécutez xp plan new free-delivery et remplissez ses champs à partir de cette leçon.

Testé sur macOS avec Python 3.12 et l’instantané end-of-m08. Windows n’a pas été testé.

Vous laissez votre voiture au garage. Le soir, le mécanicien vous remet une note. Une bonne note ressemble à ceci :

  • Quoi faire : « Changez les freins avant ce mois-ci. »
  • Degré de certitude : « Il reste de 2 à 3 mm sur les plaquettes. Les plaquettes neuves ont 10 mm. »
  • Ce que j’ai vérifié : « Les freins, les pneus et les feux. »
  • Ce que je n’ai pas vérifié : « Le moteur. Il faut un test plus long. »

Cette note vous permet d’agir en une minute. Vous connaissez le degré d’urgence. Vous savez ce qui a été vérifié. Et vous savez ce qui ne l’a pas été, donc personne ne peut vous surprendre plus tard.

Une mauvaise note dit « Freins : usés à 72 %, significatif ». Cela semble précis, mais vous ne savez pas quoi faire.

Le résultat d’un test exige le même genre de note. Cette leçon l’appelle un rapport de résultat.

Après le test de livraison gratuite de Hana, TermeOmarLe gestionnaire de produit de Larkfield. Il pose les questions d’affaires : ce qu’un changement coûte et ce qu’il apporte à la boutique. met une ligne sur sa diapositive : « Livraison gratuite dès 50 dollars : +4,1 % de revenu (p = 0,02) ». Le conseil d’administration l’approuve en cinq minutes.

La ligne est vraie, mais elle ne suffit pas. Elle omet trois éléments qui changent la décision :

  • L’intervalle. Le gain pourrait être de 0,16 dollar par client ou de 1,90 dollar. Hana a besoin de 1,25 dollar pour payer les livraisons supplémentaires.
  • Le garde-fou. Le taux de retour a augmenté de 1,29 point, et c’est clair.
  • La chance. Ce test manque de puissance. Avec le même effet réel, la plupart des exécutions indiqueraient « aucun effet clair ».

Le simulateur peut refaire le test de Hana avec de nouveaux clients choisis au hasard. L’effet réel reste à peu près le même : environ +0,70 dollar par client. Voici ce que le rapport dirait pour trois graines (seeds).

Le test de livraison gratuite exécuté avec trois graines (simulation). L'effet réel est d'environ +0,70 dollar dans chaque cas. La graine 40, utilisée par défaut dans le cours, donne une exécution chanceuse : son intervalle reste au-dessus de zéro. Les graines 41 et 42 donnent « aucun effet clair ».
Description textuelle du graphique

Un panneau avec une ligne à 0 et une ligne à l’effet réel, environ +0,70 dollar. Graine 40, discuter avant la mise en production : +1,03 (+0,16 à +1,90). Graine 41, aucun effet clair : garder A : −0,05 (−0,94 à +0,84). Graine 42, aucun effet clair : garder A : +0,36 (−0,49 à +1,22). Chaque TermeIntervalle de confianceUne plage autour d’une valeur mesurée, obtenue par une méthode qui contient la vraie valeur 95 fois sur 100. Si l’intervalle d’une différence ne contient pas zéro, la différence n’est probablement pas due au hasard.En savoir plus Estimer l'incertitudeMathématiques et statistiques essentielles pour l'IA contient l’effet réel de sa graine (+0,70, +0,76, +0,74).

Le cours a aussi appliqué la règle de décision du rapport à 200 graines du même test.

La décision du rapport de résultat sur 200 exécutions simulées du même test de livraison gratuite. Le changement fonctionne réellement (environ +0,75 dollar en moyenne), mais le test indique « aucun effet clair » dans 117 exécutions.
Description textuelle du graphique

Un graphique à colonnes. Mettre B en production : 4 exécutions. Discuter avant la mise en production : 79 exécutions. Aucun effet clair, garder A : 117 exécutions. Au total, 83 exécutions (41,5 %) trouvent un gain clair de revenu.

Un rapport qui donne seulement « +4,1 % » cache tout cela. Un rapport qui inspire confiance le montre.

Un rapport d'une page sur la livraison gratuite dès 50 dollars plutôt que 75, en quatre blocs, chacun avec une note. Décision : discuter avant la mise en production; B améliore la mesure principale, mais un garde-fou se dégrade clairement. Note : que faisons-nous? La première ligne le dit; une personne occupée s'arrête ici. L'effet : revenu par client +1,03 dollar (+4,1 %), intervalle à 95 % de +0,16 à +1,90; taux de retour +1,29 point, de +0,68 à +1,90. Note : quelle est l'ampleur de l'effet et notre degré de certitude? L'intervalle, pas seulement le chiffre; le garde-fou figure sur la même page. Vérifications : répartition A 55 430, B 55 329, p = 0,762; 28 jours comme prévu; les mesures figuraient au plan avant le test. Note : pouvons-nous faire confiance au test? Limites : l'effet concerne ces clients et ces semaines; ce test manque de puissance, la graine par défaut est chanceuse. Note : que ne nous dit-il pas? Dites-le avant qu'on vous le demande.
Les quatre parties d'un rapport de résultat d'une page, avec le test de livraison gratuite. Chaque partie répond à une question que le lecteur posera.

Un rapport de résultat contient quatre parties, dans cet ordre :

  1. La décision, en une ligne. Une personne occupée lit seulement cette ligne. Utilisez les mots du plan : mettre B en production, garder A, discuter, ne pas utiliser.
  2. L’effet et son intervalle : la mesure principale et chaque garde-fou, avec l’intervalle à 95 %. Donnez les unités : dollars par client, points.
  3. Les vérifications : la répartition, la durée et la confirmation que les mesures provenaient du plan.
  4. Les limites : ce que le test ne dit pas. Qui y participait, quelles semaines, quelle puissance, quels coûts reposent sur des hypothèses.

La décision n’est pas une nouvelle opinion. Le plan de Écrire le plan d’abord l’a consignée avant le test. Voici les règles :

Un arbre de décision. La répartition correspond-elle au plan (test de répartition)? Non : ne pas utiliser ce résultat, trouver la cause, puis refaire le test. Oui : où se trouve l'intervalle de la mesure principale? Sous 0 : garder A. Il traverse 0 : aucun effet clair, garder A, dire quels effets il exclut. Au-dessus de 0 : un garde-fou se dégrade-t-il clairement? Non : mettre B en production. Oui : discuter avant la mise en production.
Les règles de décision du rapport de résultat : les mêmes que celles du plan de test. La vérification de la répartition vient en premier, car une répartition incorrecte fausse tous les autres chiffres.

« Aucun effet clair » est le résultat le plus courant, et celui qu’on formule le plus souvent mal. « Le test a échoué » et « cela n’a aucun effet » sont tous deux faux. L’intervalle vous en dit plus.

Voici deux tests avec la même estimation. Les chiffres sont inventés pour cet exemple. Les deux intervalles traversent zéro.

Deux tests sans « effet clair » et avec la même estimation, −0,05 dollar. Les chiffres sont inventés. Le test X est précis : il exclut tout gain qui couvrirait les coûts, donc la réponse est « non ». Le test Y est trop petit pour conclure : le gain pourrait dépasser le seuil de rentabilité, ou représenter une grande perte.
Description textuelle du graphique

Un panneau avec une ligne à 0 et une ligne au seuil de rentabilité, +1,25 dollar. Test X : −0,05 (−0,30 à +0,20), un intervalle étroit bien sous le seuil de rentabilité. Test Y : −0,05 (−2,00 à +1,90), un intervalle large qui dépasse le seuil de rentabilité.

  • Test X : « Aucun effet clair. La variation se situe entre −0,30 et +0,20 dollar par client. Un gain de 1,25 dollar, nécessaire pour couvrir les coûts, est exclu. Gardez A et cessez de tester cette idée. »
  • Test Y : « Aucun effet clair. La variation se situe entre −2,00 et +1,90 dollars par client : le test était trop petit pour conclure. Gardez A pour l’instant. Si l’idée reste importante, testez-la avec environ quatre fois plus de clients. »

Une bonne formulation d’« aucun effet clair » donne donc trois éléments : l’intervalle, ce qu’il exclut et la prochaine étape.

xp report rédige la première version d’un rapport à partir d’une exécution. Il utilise la mesure principale et les garde-fous du scénario, le test de répartition et les règles ci-dessus. Avec --plan, il compare aussi l’exécution au plan de test que vous avez rédigé dans Écrire le plan d’abord.

  1. Simulez de nouveau le test de livraison gratuite, puis rédigez son rapport avec son plan.

    Fenêtre de terminal
    sim run --scenario delivery
    xp report delivery --plan plans/free-delivery.md
    Scenario delivery (seed 40): Free delivery from 50 dollars instead of 75: an A/B test by customer, 28 days.
    Wrote runs/delivery-s40: customers (110,759 rows), visits (358,302 rows). Synthetic data. 2.9 s
    Decision: Discuss before shipping. Wrote reports/delivery-s40.md.
  2. Ouvrez reports/delivery-s40.md.

    # Result: Free delivery from 50 dollars instead of 75: an A/B test by customer, 28 days
    **Decision: Discuss before shipping.** B is better on the primary metric, but a guardrail is clearly worse.
    ## The effect
    - revenue (primary): A 25.0504, B 26.0770; difference +1.0266 (+4.1%), 95% interval +0.1583 to +1.8950 (Welch t-test).
    - return_rate (guardrail): difference +0.0129, 95% interval +0.0068 to +0.0190.
    ## Checks
    - Split: A 55,430, B 55,329 customers; sample ratio test p = 0.762.
    - Duration: 28 days, 2025-09-08 to 2025-10-05, as in the plan.
    - Primary metric: revenue, as in the plan.
    - Guardrail: return_rate, as in the plan.
    - Plan: plans/free-delivery.md. The tool compares names and days only: check that the plan was written before the test.
    ## Limits
    - The effect is for the customers and the weeks of the test. A season or a new customer mix can change it.
    - Synthetic data from the course simulator.
  3. Rédigez le rapport du test avec le bogue de redirection.

    Fenêtre de terminal
    sim run --scenario srm
    xp report srm
    Scenario srm (seed 40): The free-delivery test with a redirect bug that loses some B customers (planted): a 52/48 split.
    Wrote runs/srm-s40: customers (106,651 rows), visits (353,064 rows). Synthetic data. 2.8 s
    Decision: Do not use this result. Wrote reports/srm-s40.md.

    Ses premières lignes expliquent pourquoi : Sample ratio mismatch (p = 2e-35): find the cause, then test again. (Déséquilibre de répartition : trouvez la cause, puis refaites le test.) Le gain de revenu de +2,90 dollars figure encore dans le rapport, mais personne ne devrait dépasser la première ligne.

Le rapport de l’outil est un bon début. Lisez-le comme un réviseur, et vous trouverez trois problèmes.

Les vérifications du plan sont superficielles. L’outil compare les noms des mesures et le nombre de jours au plan. Il ne peut pas savoir quand le plan a été rédigé, ni si quelqu’un l’a modifié après le résultat. Sans --plan, le rapport indique qu’il n’a fait aucune comparaison. TermePriyaLa scientifique des données de Larkfield. Elle mesure la qualité de l’assistant sur des jeux de test, pas à l’intuition. ouvre plans/free-delivery.md et vérifie sa date avant de conserver les lignes.

Les limites sont générales. Elles s’appliquent à n’importe quel test. La vraie limite de ce test est sa puissance, et elle manque.

Les mots s’adressent aux analystes. « return_rate +0.0129 » signifie « les retours sont passés de 8,3 % à 9,6 % des commandes ». Hana ne devrait pas avoir à traduire.

Voici le rapport final de Priya. Les chiffres viennent de l’outil. Les mots viennent d’elle.

# Result: free delivery from 50 dollars instead of 75
**Decision: Discuss before shipping.** Revenue rose, but returns rose too. Hana and Priya meet before any change.
## The effect (28 days, 110,759 customers)
- Revenue per customer: +1.03 dollars (+4.1%), probably between +0.16 and +1.90. We need +1.25 to pay for the extra deliveries: the test cannot say whether we reach it.
- Returns: from 8.3% to 9.6% of orders, +1.29 points (+0.68 to +1.90). Clearly worse.
## Checks
- Split: A 55,430, B 55,329 customers; sample ratio test p = 0.76: healthy.
- 28 days, 8 September to 5 October 2025, as in the plan of 1 September. Metrics and guardrail from the plan; I checked.
## Limits
- The test is under-powered: it finds a gain of 1.23 dollars with 80% power. Our +1.03 is smaller, so a test this size finds such a gain in fewer than half of runs. This result is partly luck. Expect the true gain to be smaller than +1.03.
- The cost of returns per order is an estimate from finance.
- Only September and early October customers. The holiday season can differ.

La date du plan, l’estimation financière et la réunion sont des ajouts de Priya pour cet exemple. Le simulateur connaît l’effet réel, environ +0,70 dollar. Ici, nous savons donc que la limite concernant la puissance était juste. Un vrai magasin ne le sait jamais.

Rédigez-en un pour chaque test dont dépend une décision, même si le résultat est « aucun effet clair » ou « ne pas utiliser ». Le rapport d’un test non gagnant apprend autant à l’équipe que celui d’un test gagnant.

Ne rédigez pas de rapport :

  • avant la fin prévue du test, sauf pour l’arrêter à cause d’une répartition incorrecte ou d’un site défectueux;
  • avec de nouvelles mesures qui ne figuraient pas au plan. Si vous trouvez quelque chose d’intéressant, ajoutez-le sous « Non prévu : explorer plus tard », jamais dans la décision.

Ce que cela coûte : l’outil rédige l’ébauche en une seconde. Réviser les vérifications et formuler des limites honnêtes prend environ une heure à Priya. La prochaine leçon conserve tous les rapports dans un seul journal des tests.

Exercice guidé : créer les règles du rapport dans un carnet Jupyter

Section intitulée « Exercice guidé : créer les règles du rapport dans un carnet Jupyter »
Carnet JupyterFaites cette leçon dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Dans le carnet (notebook) Jupyter, vous calculez l’effet et le garde-fou du test de livraison gratuite. Ensuite, vous écrivez les règles de décision dans une petite fonction et transformez les chiffres en un court rapport. Ses cellules de préparation téléchargent les données. Environ 25 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

  1. Ouvrez le carnet Jupyter depuis l’encadré ci-dessus et exécutez les cellules de préparation.
  2. Dans la section 1, calculez le revenu par client et le taux de retour, avec leurs intervalles. Vous voyez un revenu de +1,0266 (+0,1583 à +1,8950).
  3. Dans la section 2, écrivez decide(primary, guardrail) avec les règles de l’arbre de décision. Exécutez-la sur les chiffres de livraison gratuite. Vous voyez Discuss before shipping (discuter avant la mise en production).
  4. Dans la section 3, exécutez decide sur les deux tests inventés X et Y. Les deux donnent No clear effect: keep A (aucun effet clair : garder A).
  5. Dans la section 4, écrivez la phrase « aucun effet clair » pour le test Y dans sentence_y, avec son intervalle. Exécutez la cellule de vérification. Elle affiche Check passed (vérification réussie).
Afficher la réponse à l’étape 5
sentence_y = ("No clear effect. The change is between -2.00 and +1.90 dollars per customer: "
"the test was too small to tell. Keep A for now.")

La vérification cherche les deux bornes de l’intervalle dans votre phrase. Vous choisissez les mots.

À vous de jouer : rapporter « aucun effet clair »

Section intitulée « À vous de jouer : rapporter « aucun effet clair » »

Exécutez le test de livraison gratuite avec la graine 41 et rédigez son rapport. Puis rédigez les deux premières lignes du rapport pour Hana, comme le ferait Priya. Utilisez l’intervalle, ce qu’il exclut (le seuil de rentabilité de Hana est de +1,25 dollar) et la prochaine étape.

Fenêtre de terminal
sim run --scenario delivery --seed 41
xp report delivery-s41
Afficher la réponse
Scenario delivery (seed 41): Free delivery from 50 dollars instead of 75: an A/B test by customer, 28 days.
Wrote runs/delivery-s41: customers (111,078 rows), visits (361,090 rows). Synthetic data. 3.4 s
Decision: No clear effect: keep A. Wrote reports/delivery-s41.md.

Le rapport dit : The effect is between -0.935 and +0.837: the test cannot tell a small gain from a small loss. It does rule out effects outside this range. (L’effet se situe entre −0,935 et +0,837 : le test ne distingue pas un petit gain d’une petite perte. Il exclut toutefois les effets hors de cet intervalle.)

Une bonne version pour Hana :

Décision : garder le seuil à 75 dollars. La variation se situait entre −0,94 et +0,84 dollar par client. Le test ne distingue pas un petit gain d’une petite perte. Mais un gain de 1,25 dollar, nécessaire pour couvrir les coûts de livraison gratuite, est peu probable. Les retours ont augmenté de 0,67 point (+0,07 à +1,27).

« Exclut » est un peu fort : un intervalle à 95 % manque l’effet réel dans environ 1 exécution sur 20. « Peu probable » est plus honnête.

Le simulateur sait que le changement fonctionne réellement ici : environ +0,76 dollar par client. Donc « aucun effet clair » était correct, et « aucun effet » aurait été faux.

Rédigez le rapport d’une page pour le test de requête de soutien de Tester un modèle ou une requête en ligne. Partez du brouillon de xp report prompt : il compte les clients, pas les billets, comme le test. Terminez ensuite le rapport à la main, à partir des sorties de xp prompt et de xp prompt --offline. Utilisez les quatre parties : décision, effet avec intervalle, vérifications, limites.

Voir un rapport possible
# Result: the support assistant's new prompt (B) against today's (A)
**Decision: Ship prompt B.** It resolves more tickets and costs less, and no guardrail is worse.
## The effect (14 days, 21,357 tickets from 9,000 customers)
- Resolved by the assistant: 70.1% → 79.8% of tickets, +9.8 points (+8.6 to +10.9).
- Handed to a person: 27.0% → 17.2%, −9.9 points (−11.0 to −8.8).
- Cost per ticket: 1.76 → 1.12 dollars, −0.64 (−0.71 to −0.57), at 6.50 dollars per hand-off (an assumption).
- Complaints (guardrail): −0.33 points (−0.77 to +0.10): no clear change.
- Unsafe answers (guardrail, offline): 0 of 120 for both prompts; both handed over all 20 questions that need a person.
## Checks
- Unit: the customer, so all tickets of a customer got the same prompt. Ratio metrics with the delta method.
- Offline evaluation before the test: correct 90.8% (A) and 99.2% (B).
- Split: A 4,426, B 4,574 customers; sample ratio test p = 0.12 (from xp report prompt): healthy.
## Limits
- Zero unsafe answers in 120 means the true rate could be up to about 2.5%. The unsafe check misses some wordings. Keep grading a weekly sample of real answers.
- The cost saving depends on the price of a hand-off.
- One recorded answer per question: the model's answer can vary, and model versions change.

Le brouillon de xp report prompt donne la décision (Ship B, mettre B en production), la mesure principale (resolved, résolution, +0,0976) et le garde-fou (complaint, plainte). Il vérifie aussi la répartition : 4 426 contre 4 574 clients, soit 50,8 % dans B, avec p = 0,119. À vous d’ajouter les notes hors ligne, le coût et les limites.

Erreur courante

« +4,1 %, p = 0,02, mettez en production »

Symptôme : une diapositive montre un seul nombre et une valeur p. Le conseil d’administration met le changement en production. Six mois plus tard, le gain est bien moindre et les retours coûtent plus cher que prévu.

Cause : la diapositive omettait l’intervalle, le garde-fou et le hasard. Un test qui gagne de justesse donne généralement une estimation trop élevée. On oublie aussi un garde-fou présenté sur une autre diapositive.

Solution : rédigez un rapport d’une page, en commençant par la décision selon le plan. Montrez la mesure principale et chaque garde-fou avec son intervalle. Listez les vérifications que vous avez vraiment faites. Écrivez les limites de ce test, pas des limites générales. Pour « aucun effet clair », indiquez l’intervalle, ce qu’il exclut et la prochaine étape.

Vérifiez votre compréhension

Placez les quatre parties d'un rapport de résultats d'une page dans l'ordre. Dites brièvement à quelle question chacune répond.

Afficher la réponse
  1. La décision : que fait-on? 2. L’effet avec son intervalle : quelle est son ampleur et quel est notre degré de certitude? Cette partie inclut chaque garde-fou. 3. Les vérifications : peut-on faire confiance au test? (répartition de l’échantillon, durée, mesures du plan). 4. Les limites : que ne nous dit pas le test? (qui et quand, puissance, hypothèses).

Vérifiez votre compréhension

Le test d'une nouvelle page de paiement donne −0,10 $ par client, avec un intervalle à 95 % de −0,25 à +0,05. La page doit rapporter +0,50 $ pour couvrir ses coûts. Écrivez la décision et une phrase sur l'effet.

Afficher la réponse

Décision : aucun effet clair, garder la page actuelle. Le changement se situe entre −0,25 et +0,05 $ par client. Le gain de 0,50 $ nécessaire est donc très improbable : arrêtez de tester cette idée. C’est un résultat « aucun effet clair » précis, comme le test X : il répond à la question.

Vérifiez votre compréhension

Avec --plan, le rapport de xp report indique « Duration: 28 days, as in the plan » (durée : 28 jours, comme dans le plan) et « Primary metric: revenue, as in the plan. » (mesure principale : revenu, comme dans le plan). Pourquoi Priya doit-elle encore vérifier le plan avant d'envoyer le rapport?

Afficher la réponse

L’outil compare seulement les noms des mesures et le nombre de jours. Il ne peut pas savoir quand Priya a écrit le plan. Si quelqu’un modifiait le plan après le résultat pour qu’il corresponde, le rapport indiquerait encore « comme dans le plan ». Priya vérifie donc la date du plan et ses notes datées, puis corrige les lignes si elles sont fausses.

Récapitulatif

  • Un rapport de résultats tient sur une page : décision, effet avec intervalle (et garde-fous), vérifications, limites.
  • La décision découle des règles du plan : d’abord la répartition de l’échantillon, puis la position de l’intervalle, puis les garde-fous.
  • Le même changement de livraison gratuite donne « Discuss » (discuter) avec la graine 40. Il donne « No clear effect » (aucun effet clair) avec les graines 41 et 42. Sur 200 exécutions : 79 à discuter, 4 à mettre en production, 117 sans effet clair. La graine par défaut est chanceuse.
  • Dites « aucun effet clair » en précisant l’intervalle, ce qu’il exclut et la prochaine étape.
  • xp report rédige un brouillon. Avec --plan, il compare les mesures et les jours au plan. Vérifiez vous-même la date du plan et écrivez les limites de ce test.

Ensuite, Mateo fait des rapports individuels une habitude pour toute l’équipe.

Leçon suivante : Les expériences comme habitude d'équipe