Comparer des options

Ce que vous saurez faire

Déterminez ce qu’une petite différence entre deux modèles permet de conclure : sa taille, le rôle possible du hasard, son importance et sa cause.

Carnet JupyterFacultatif : vérifier les nombres dans un carnetColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter est facultatif : une calculatrice suffit pour cette leçon. Il contient les résultats des modèles A et B sur les mêmes 300 billets de soutien. Vous lancez les pièces de l’outil interactif de cette page 10 000 fois. Vous calculez ensuite la valeur p exacte et l’intervalle pour la différence. Puis vous faites l’exercice du module avec le modèle C, avec des vérifications. Le carnet utilise seulement la bibliothèque standard de Python. Il ne nécessite donc aucune installation.

Ouvrir dans ColabOuvrir dans KaggleVoir sur GitHub

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 50 minutes

Ce que vous devez savoir

• Calculer un intervalle de confiance à 95 % pour une exactitude, avec Estimer l’incertitude : exemple détaillé 2. Les intervalles du modèle A (87,8 % à 94,2 %) et du modèle B (88,9 % à 95,1 %) viennent de Estimer l’incertitude : exercice guidé.
• Les lancers de pièce et la distribution binomiale, dans Les distributions en pratique : distribution binomiale. La valeur p de cette leçon compte des lancers de pièce.
• Ce qui rend les données de test équitables, dans Échantillons et populations : exemple détaillé. L’exercice du module commence par cette vérification.

Ce que vous devez préparer (le carnet n’en a pas besoin)

• Une calculatrice avec une touche de racine carrée. Celle d’un téléphone suffit.
• Votre fichier c03-notes.md, avec le titre ## Sampling and statistical evidence (échantillonnage et preuves statistiques) de l’encadré « Avant de commencer » d’Échantillons et populations. Si vous ne trouvez pas le fichier, créez un fichier vide avec ce nom : cette leçon n’utilise pas les réponses précédentes.
• Environ 15 minutes à la fin pour l’exercice et la vérification du module.

Le carnet a été testé dans Jupyter avec Python 3.14.6 (bibliothèque standard seulement).

Où vous rencontrez cela en IA

• Une nouvelle version d’un modèle. Une équipe teste un nouveau modèle sur les mêmes données de test que l’ancien. Le nouveau fait mieux de 1 point. Est-il temps de changer?
• Un changement de requête. Une nouvelle requête (prompt) pour un assistant donne une bonne réponse à 47 des 50 questions de test; l’ancienne, à 45. La nouvelle requête est-elle meilleure, ou est-ce le hasard?
• Un test A/B. La moitié des utilisateurs reçoit la version A et l’autre moitié, la version B, pendant deux semaines. La version B obtient 3 % plus de clics. Est-ce B qui a causé cela?
• Un rapport avant-après. « Depuis que nous utilisons le nouveau modèle, les plaintes ont diminué de 20 %. » Quoi d’autre a changé en même temps?

L’affirmation de Tomás

Le modèle B répond correctement à 276 des 300 billets de test (92,0 %), contre 273 pour le modèle A (91,0 %). Les billets sont les mêmes pour les deux modèles. « B est meilleur, utilisons-le », dit Tomás.

Priya distingue trois questions. Les confondre est l’erreur la plus courante dans les comparaisons :

1. Effet observé : quelle est la taille de la différence mesurée?
2. Incertitude : le hasard seul pourrait-il produire une différence aussi grande?
3. Cause : qu’est-ce qui a produit la différence, et se produira-t-elle aussi dans le travail quotidien?

Effet observé : quelle est la taille de la différence?

Une taille d’effet mesure une différence dans une unité que les gens comprennent. Une même différence peut s’écrire dans plusieurs unités :

Unité	Modèle A	Modèle B	Différence
Exactitude	91,0 %	92,0 %	+1,0 point de pourcentage
Billets corrects sur 300	273	276	3 billets
Billets incorrects sur 300	27	24	3 erreurs de moins, soit 11 % moins d’erreurs (3 ÷ 27)
Billets envoyés à la mauvaise équipe par semaine, pour 1 200 billets	environ 108	environ 96	environ 12 de moins par semaine

Les quatre lignes décrivent le même résultat. « 11 % moins d’erreurs » semble plus grand que « 1 point », mais il s’agit des mêmes 3 billets. Un bon rapport donne d’abord les nombres absolus : 1 point, 3 billets sur 300.

Incertitude : examiner les billets où les modèles ne sont pas d’accord

Les deux modèles ont trié les mêmes 300 billets. Priya place les résultats dans un tableau avec une ligne et une colonne par modèle :

	B correct	B incorrect	Total
A correct	261	12	273
A incorrect	15	12	27
Total	276	24	300

Sur 261 billets, les deux modèles ont raison. Sur 12, les deux ont tort. Ces 273 billets ne disent rien sur le modèle qui est meilleur.

Les preuves se trouvent dans les 27 billets où les modèles ne sont pas d’accord. B a raison et A a tort sur 15 billets. A a raison et B a tort sur 12 billets. La différence, 15 − 12 = 3, correspond aux 3 billets du tableau des effets.

Imaginez maintenant que les deux modèles sont aussi bons l’un que l’autre. Chacun des 27 désaccords pourrait alors favoriser A ou B avec la même probabilité, comme une pièce. Une pièce donnerait-elle 15 contre 12, ou un résultat plus inégal? Essayez.

Explorer

Si A et B étaient aussi bons : lancez une pièce pour chaque désaccord

Mélanges

300

Dernière différence

+3

Mélanges au moins aussi extrêmes que le vrai résultat

220 sur 300 (73,3 %)

Valeur p exacte

0,70 (3 ou plus)

73 % des mélanges donnent une différence de 3 ou plus, dans un sens ou dans l’autre, par le seul hasard. Une différence comme la vraie est courante sans aucune vraie différence.

• Modèle A juste, Modèle B faux
• Modèle B juste, Modèle A faux

Chaque simulation lance une pièce pour chacun des 27 désaccords et note les victoires de B moins celles de A. Les barres orange représentent des différences au moins aussi grandes que la différence réelle (3 ou plus, dans les deux sens).

Description textuelle de l’explorateur

L’image du haut montre les 27 billets où les modèles ne sont pas d’accord. Dans le résultat réel, B a raison sur 15 billets (orange, marqués B) et A sur 12 (bleus, marqués A). Après une simulation, chaque carré montre qui gagne après un lancer de pièce.

L’histogramme montre la différence « victoires de B moins victoires de A » pour chaque simulation. Les différences sont des nombres impairs, presque tous entre −13 et +13, et surtout entre −7 et +7. Le sommet se situe autour de −1 et +1. Le résultat réel, +3, se trouve au milieu de l’histogramme. Des différences de 3 ou plus dans les deux sens (barres orange) surviennent dans environ 70 % des simulations.

L’affichage montre le nombre de simulations et la dernière différence. Il indique aussi combien ont donné une différence au moins aussi grande que la différence réelle. Il montre enfin la valeur p exacte, 0,70.

Environ 70 simulations sur 100 donnent une différence de 3 ou plus, dans un sens ou dans l’autre. Un résultat comme 15 contre 12 est donc normal quand les deux modèles sont aussi bons. Le résultat du test ne montre pas que B est meilleur.

Les noms de ce que vous venez de faire

• L’hypothèse nulle suppose qu’il n’existe aucune différence réelle. Ici : A et B sont aussi bons, donc chaque désaccord est un lancer de pièce.
• Un test d’hypothèse vérifie si les données sont surprenantes sous l’hypothèse nulle.
• La valeur p est la proportion des résultats dus au hasard seul qui sont au moins aussi extrêmes que le résultat réel. Ici, elle vaut 0,70 : 70 % des résultats dus au hasard seul sont au moins aussi inégaux que 15 contre 12. Vous pouvez la calculer exactement avec les probabilités des lancers de pièce (Les distributions en pratique). L’outil interactif s’en approche en comptant.

Beaucoup d’équipes disent qu’un résultat est statistiquement significatif quand p est inférieur à 0,05. Le hasard seul donne alors un tel résultat moins de 1 fois sur 20. Le seuil de 0,05 est une habitude, pas une loi de la nature.

Trois choses qu’une valeur p n’est pas :

1. Ce n’est pas la probabilité que B soit meilleur. p = 0,70 ne veut pas dire « 30 % de chances que B soit meilleur ».
2. Ce n’est pas la taille de l’effet. Avec de très grandes données de test, une différence minuscule et inutile obtient une très petite valeur p.
3. Une grande valeur p ne prouve pas que les modèles sont égaux. Elle indique que ce test ne peut pas les distinguer. B pourrait quand même être un peu meilleur, ou un peu moins bon.

En Python, ce test apparié sur les désaccords s’appelle le test de McNemar, par exemple dans la bibliothèque statsmodels.

Un intervalle pour la différence

Une valeur p répond seulement à « est-ce que cela pourrait être le hasard? ». Un intervalle pour la différence montre aussi quelle taille la différence pourrait avoir. Pour deux modèles sur les mêmes billets, il utilise les deux nombres de désaccords. Ici, b = 15 (B a raison, A a tort) et c = 12 (A a raison, B a tort).

$$\text{SE of the difference} = \frac{\sqrt{\,b + c - (b-c)^2 / n\,}}{n}$$

Lisez ainsi : « la racine carrée des désaccords moins le carré de la différence divisé par n, puis divisée par n ». Vous n’avez pas besoin de retenir la formule; les étapes sont ci-dessous.

Étape	Valeur
Différence, (b − c) ÷ n	3 ÷ 300 = 0,010 = +1,0 point
b + c	27
(b − c)² ÷ n	9 ÷ 300 = 0,03
√(27 − 0,03)	√26,97 = 5,19
SE = 5,19 ÷ 300	0,0173 = 1,73 point
Demi-largeur = 1,96 × SE	3,4 points
Intervalle à 95 %	1,0 − 3,4 à 1,0 + 3,4 = −2,4 à +4,4 points

Estimations ponctuelles avec intervalles à 95 % : modèles A et B sur les mêmes 300 billets, et différence B − A. L'intervalle pour la différence contient zéro.

Description textuelle du graphique

Le graphique comporte deux panneaux. Dans le premier, le modèle A obtient 91,0 % (87,8 % à 94,2 %) et le modèle B, 92,0 % (88,9 % à 95,1 %). Les deux intervalles se chevauchent presque complètement.

Dans le deuxième panneau, la différence B − A est de +1,0 point. Sur les mêmes 300 billets, son intervalle à 95 % va de −2,4 à +4,4 points. Une ligne pointillée à zéro indique « aucune différence », et l’intervalle la traverse. Une ligne grise montre l’intervalle plus large d’un test des deux modèles sur des billets différents : −3,5 à +5,5 points.

Lisez le deuxième panneau. L’intervalle va de −2,4 à +4,4 points et contient zéro. Les données sont compatibles avec « B fait mieux de 4 points », « aucune différence » et « B fait moins bien de 2 points ». Sur 1 200 billets par semaine, cela va d’environ 29 billets de plus envoyés à la mauvaise équipe à environ 53 de moins.

La ligne grise montre pourquoi tester les deux modèles sur les mêmes billets aide. Si A et B avaient des billets de test différents, une partie de la différence viendrait de billets plus faciles ou plus difficiles. Cet intervalle serait plus large : ±4,5 points plutôt que ±3,4. Une comparaison appariée élimine cette partie.

Importance pratique : est-ce que cela compte?

Supposons que B fasse vraiment mieux de 1 point. Cela vaut-il la peine de changer? C’est l’importance pratique : une différence est-elle assez grande pour compter dans la décision? Les statistiques ne peuvent pas y répondre seules. Omar demande les coûts à Grace et Tomás :

Élément	Valeur
Gain si B fait mieux de 1 point	environ 12 billets de moins envoyés à la mauvaise équipe par semaine
Travail économisé par billet envoyé à la mauvaise équipe	environ 5 minutes de travail d’un agent pour le déplacer (et le client attend moins)
Travail économisé par semaine	12 × 5 = environ 60 minutes
Coût du changement	environ 30 heures : déployer, tester, surveiller les premières semaines
Semaines avant de rentabiliser le changement	environ 30 semaines, si le gain est réel

Décision d’Omar : « Un gain de 1 point est utile, mais seulement s’il est réel. Le test ne peut pas le montrer. Ne changez pas sur la base de ces preuves. Testez d’abord B sur des billets réels de manière équitable. »

Une différence peut être statistiquement significative sans avoir d’importance pratique. Avec 100 000 billets de test, un gain de 0,1 point obtient une minuscule valeur p sans faire gagner de temps. L’inverse est aussi possible : un grand gain qu’un petit test ne peut pas encore confirmer. Présentez les deux aspects.

Cause : la corrélation n’est pas la causalité

Tomás a un deuxième argument. À la semaine 41, il a remplacé le modèle du système en service par B pour un essai. Le rapport hebdomadaire de Grace montre la proportion de billets réacheminés, qu’un agent a dû déplacer vers une autre équipe :

• Modèle A en service
• Modèle B en service

Proportion hebdomadaire de billets réacheminés, semaines 35 à 44. Le modèle B a remplacé A à la semaine 41, quand une interruption des livraisons a pris fin. Données fictives.

Description textuelle du graphique

Un graphique en courbe de la proportion hebdomadaire de billets réacheminés. Avec le modèle A, les semaines 35 à 37 sont à environ 9,2 % (9,1, 9,4, 9,2). Pendant une interruption des livraisons aux semaines 38 à 40, la proportion monte à 11,8 %, 12,4 % et 11,6 %. Le modèle B entre en service à la semaine 41, quand l’interruption prend aussi fin. Les semaines 41 à 44 sont à environ 8,2 % (8,1, 8,0, 8,4, 8,2).

« Les réacheminements sont passés de 11,6 % à 8,1 % quand B a commencé : 30 % de moins », dit Tomás. Les deux événements se sont produits ensemble : ils sont corrélés. Cela ne montre pas que B a causé la baisse. La causalité signifie que changer une chose en change une autre.

Grace sait ce qui s’est aussi produit à la semaine 41 : l’interruption des livraisons a pris fin. Pendant l’interruption, beaucoup de billets difficiles à classer sont arrivés (« où est ma commande, et je veux un remboursement »). Comparez plutôt avec les semaines avant l’interruption : 9,2 % avant, 8,2 % après. C’est une baisse d’environ 1 point. Même cette baisse pourrait venir d’autres changements, comme un nouvel agent ou la saison.

Une différence entre deux périodes peut avoir plusieurs causes : le mélange de billets, la saison, le personnel, un changement sur le site Web. Pour isoler l’effet du modèle, les deux modèles doivent fonctionner en même temps, sur le même type de billets. C’est un test A/B. Chaque nouveau billet va au modèle A ou B au hasard, par exemple grâce à un lancer de pièce dans le logiciel. L’attribution aléatoire rend les deux groupes semblables en tout, sauf le modèle. Le modèle cause donc toute différence de réacheminement, à part le hasard, que l’intervalle mesure.

Omar décide de mener un test A/B : pendant quatre semaines, chaque nouveau billet va au hasard à A ou B. Cela donne environ 2 400 billets par modèle.

Erreur courante

Une comparaison avant-après attribuée au modèle

Symptôme : un rapport dit « après le déploiement du nouveau modèle, les billets réacheminés ont diminué de 30 % ». Quelques mois plus tard, le taux est revenu à son niveau précédent, avec le même modèle.

Cause : le rapport comparait deux périodes. Quelque chose d’autre a changé en même temps : ici, une interruption a pris fin. La baisse était corrélée avec le nouveau modèle, mais venait surtout du mélange de billets. Une comparaison avant-après ne peut pas séparer le modèle de tous les autres changements.

Solution : faites fonctionner les deux versions pendant la même période et envoyez chaque billet (ou utilisateur) à l’une d’elles au hasard. C’est un test A/B. Si un test A/B est impossible, comparez avec une période sans événements particuliers. Notez tous les autres changements survenus pendant les mêmes semaines. Dites que le résultat est « corrélé avec le changement », pas « causé par le changement ».

Vérifiez votre compréhension

Deux modèles sont testés sur les mêmes 300 billets. Le modèle A a raison sur 280 billets, le modèle B sur 283. Quels billets donnent des preuves sur le meilleur modèle, et pourquoi les autres n'en donnent-ils pas?

Afficher la réponse

Seulement les billets où les deux modèles ne sont pas d’accord : l’un a raison et l’autre a tort. Quand les deux ont raison ou les deux ont tort, ils se comportent de la même manière. Ces billets ne peuvent donc pas montrer une différence. La différence de 3 billets est le nombre de victoires de B seul moins celles de A seul. Pour savoir si 3 est surprenant, il faut connaître le nombre de désaccords. Une différence de 3 sur 9 désaccords est plus inégale que 3 sur 27.

Vérifiez votre compréhension

Tomás fait la même comparaison sur 100 000 billets. B fait mieux de 0,2 point, avec p = 0,001. Tomás dit : « Très significatif, donc B est bien meilleur. » Qu'est-ce qui est juste et qu'est-ce qui est faux?

Afficher la réponse

Juste : avec p = 0,001, le hasard seul est une explication peu probable. B est donc probablement meilleur sur des billets comme ceux-ci. Faux : « bien meilleur ». La valeur p est petite parce que les données de test sont très nombreuses, pas parce que l’effet est grand. La taille d’effet est de 0,2 point : environ 2 ou 3 billets par semaine, pour 1 200 billets. Cela ne vaut probablement pas le coût d’un changement. Un résultat statistiquement significatif n’a pas nécessairement d’importance pratique.

Exercices du module

La tâche de ce module : décider si une petite différence de performance justifie une affirmation forte. D’abord, un court exemple détaillé qui montre chaque étape. Ensuite, un nouveau cas pour vous.

Exemple détaillé : « B est meilleur, utilisons-le »

Priya répond à l’affirmation de Tomás avec cinq vérifications. Chaque vérification utilise une idée de ce module.

Vérification	Leçon	Résultat pour A et B
1. Les données de test sont-elles équitables et les mêmes pour les deux modèles?	Leçon 1	Oui : 300 billets de soutien choisis au hasard sur 12 mois, répartis par client; les deux modèles utilisent les mêmes billets.
2. Quel est l’effet observé?	Leçon 3	+1,0 point : 276 contre 273 sur 300. Environ 12 billets par semaine.
3. Quelle est son incertitude?	Leçons 2 et 3	Intervalle à 95 % pour la différence : de −2,4 à +4,4 points. p = 0,70 (15 contre 12 sur 27 désaccords).
4. Est-ce important en pratique?	Leçon 3	Si le gain est réel, il fait économiser environ 60 minutes par semaine; le changement coûte environ 30 heures.
5. Que pouvons-nous dire de la cause?	Leçon 3	Pour le test, les modèles ont vu les mêmes billets. La différence vient donc des modèles ou du hasard. Pour les effets en production (réacheminements), seul un test A/B peut répondre; la comparaison de la semaine 41 ne le peut pas.

Conclusion de Priya : « Sur 300 billets, B a donné la bonne réponse pour 3 billets de plus que A. Cette différence peut facilement venir du hasard. La différence réelle pourrait aller de 2,4 points de moins à 4,4 points de plus. Les données ne permettent pas de dire “B est meilleur”. Elles ne montrent pas non plus que les modèles sont égaux. Nous faisons un test A/B de 4 semaines avant de décider. »

Votre tâche : le modèle C

Deux mois plus tard, Tomás entraîne le modèle C. Mei prépare de nouvelles données de test : 1 000 billets choisis au hasard dans les deux premières semaines de mars, répartis par client. Voici les résultats :

	C a raison	C a tort	Total
A a raison	888	22	910
A a tort	41	49	90
Total	929	71	1,000

Tomás écrit : « Le modèle C est clairement meilleur que A, et il réduira d’un tiers les billets réacheminés. »

1. Dans c03-notes.md, ajoutez un titre : ### Module 5 practice: model C (exercices du module 5 : le modèle C).
2. Répondez à la vérification 1 : écrivez ce que les données de test représentent, et ce qu’elles ne représentent pas.
3. Calculez l’effet observé en points, en billets par 1 000 et en proportion des erreurs de A.
4. Calculez l’intervalle à 95 % pour la différence. Utilisez b = 41, c = 22 et n = 1 000 dans les étapes de l’exemple détaillé.
5. Dites si le partage de 41 contre 22 ressemble à un résultat de pile ou face. La valeur p exacte est 0,023; expliquez ce que cela signifie en une phrase.
6. Vérifiez séparément les deux parties de l’affirmation : « clairement meilleur » et « un tiers de réacheminements en moins ».
7. Écrivez une conclusion de deux phrases pour Omar.

Résultat attendu : l’effet est de 1,9 point, et l’intervalle va d’environ +0,4 à +3,5 points. Les données appuient en partie une partie de l’affirmation, mais pas l’autre.

Afficher une réponse modèle

1. Données de test. 1 000 billets choisis au hasard, répartis par client, donc sans fuite de données. Mais ils viennent tous de deux semaines en mars. Le résultat décrit des billets semblables à ceux de mars. Les autres mois ne sont pas testés, par exemple décembre, avec ses nombreux billets sur la livraison.

2. Effet observé. A : 910 sur 1 000 (91,0 %). C : 929 sur 1 000 (92,9 %). Différence : +1,9 point, soit 19 billets par 1 000 (environ 23 par semaine pour 1 200 billets). Erreurs : A en fait 90, C en fait 71, soit 19 erreurs de moins : 19 ÷ 90 = 21 % d’erreurs en moins.

3. Intervalle.

Étape	Valeur
(b − c) ÷ n	19 ÷ 1 000 = +1,9 point
b + c	63
(b − c)² ÷ n	361 ÷ 1 000 = 0,361
√(63 − 0,361)	√62,639 = 7,91
Erreur-type = 7,91 ÷ 1 000	0,79 point
Demi-largeur = 1,96 × 0,79	1,55 point
Intervalle à 95 %	De +0,35 à +3,45 points (environ de +0,4 à +3,5)

4. Hasard. Un partage de 41 contre 22 sur 63 désaccords est plus inégal que ce que donne habituellement pile ou face. p = 0,023 : si A et C étaient aussi bons, un partage au moins aussi inégal arriverait dans environ 2 tests sur 100. Le hasard seul est une explication peu probable.

5. L’affirmation.

• « Clairement meilleur » : appuyé en partie. C est probablement meilleur sur des billets semblables aux données de test de mars. Mais le gain pourrait être de seulement 0,4 point, et seules deux semaines d’un mois ont été testées. « Probablement un peu meilleur » est honnête; « clairement » est trop fort.
• « Un tiers de billets réacheminés en moins » : non appuyé. Même l’effet observé est de 21 % d’erreurs en moins dans les données de test, pas un tiers. De plus, parler des réacheminements quotidiens revient à affirmer une cause dans le système en production. Les agents, la composition des billets et la saison les font aussi varier. Seul un test A/B sur des billets réels peut mesurer cet effet.

6. Conclusion pour Omar. « Sur 1 000 billets de mars, C a obtenu 1,9 point de bonnes réponses de plus que A (intervalle à 95 % : de +0,4 à +3,5). Le hasard seul explique difficilement ce résultat. Attendez-vous à un petit gain, pas à un tiers de réacheminements en moins, et confirmez-le avec un test A/B de 4 semaines. »

Vérification du module

Vérifiez votre compréhension

Rappel : en une ou deux phrases pour chaque notion, expliquez l'erreur-type, l'intervalle de confiance à 95 % et la valeur p.

Afficher la réponse

• Erreur-type : la distance habituelle entre l’estimation d’un échantillon et la valeur réelle. Pour une exactitude, √(p(1 − p)/n).
• Intervalle de confiance à 95 % : une plage autour de l’estimation. La méthode utilisée contient la valeur réelle dans environ 95 échantillons sur 100. Il correspond à environ l’estimation ± 1,96 erreur-type.
• Valeur p : la proportion des résultats dus au hasard seul qui sont au moins aussi extrêmes que le résultat réel. « Hasard seul » signifie qu’on suppose l’hypothèse nulle : aucune différence réelle. Ce n’est ni la probabilité que l’hypothèse soit vraie, ni la taille de l’effet.

Vérifiez votre compréhension

Prédiction : Mei prépare de nouvelles données de test avec 1 200 billets choisis au hasard. A et B sont en désaccord sur 108 billets, et B gagne sur 60 d'entre eux. C'est le même partage de 5 contre 4 qu'avant (15 contre 12). Que deviennent la différence, son intervalle et la valeur p, par rapport au test de 300 billets?

Afficher la réponse

La différence reste la même : (60 − 48) ÷ 1 200 = +1,0 point. L’intervalle devient environ deux fois moins large, car les données de test sont 4 fois plus nombreuses. Il va d’environ −0,7 à +2,7 points (erreur-type de 0,87 point). Il contient encore zéro. La valeur p diminue à environ 0,29. Le même partage sur plus de désaccords est moins probable par hasard. Elle reste bien au-dessus de 0,05. Une différence de 1 point exige plusieurs milliers de billets de test pour qu’un test puisse la montrer de façon fiable.

Vérifiez votre compréhension

Vérification finale : un rapport hebdomadaire dit : « Le modèle B a réduit les billets réacheminés de 30 % (de 11,6 % à 8,1 %) après le changement en semaine 41. Le test hors ligne a confirmé que B est meilleur : 92,0 % contre 91,0 %. » Séparez l'effet observé, l'incertitude et l'interprétation causale. Que peut dire Larkfield honnêtement?

Afficher la réponse

Effet observé. Hors ligne : +1,0 point (276 contre 273 sur les mêmes 300 billets). En production : les réacheminements sont passés de 11,6 % en semaine 40 à 8,1 % en semaine 41. Par rapport aux semaines avant la panne, ils sont passés d’environ 9,2 % à environ 8,2 %.

Incertitude. La différence hors ligne a un intervalle à 95 % de −2,4 à +4,4 points et p = 0,70. Elle ne « confirme » pas que B est meilleur. Les chiffres hebdomadaires varient aussi par hasard d’une semaine à l’autre.

Interprétation causale. La baisse en production est une corrélation avec le changement de modèle. Rien ne montre que ce changement l’a causée. La panne de livraison s’est terminée la même semaine, et les taux avant la panne étaient déjà plus bas. Seul un test A/B pendant les mêmes semaines peut montrer l’effet de B.

Déclaration honnête : « B et A ont obtenu des résultats semblables sur nos données de test (B : +1,0 point, intervalle de −2,4 à +4,4). Les réacheminements ont baissé après le changement, surtout parce que la panne s’est terminée. Un test A/B de 4 semaines mesurera l’effet de B. »

Récapitulatif

Dans ce module, vous avez appris à lire un résultat de test comme un élément de preuve, pas comme un fait :

• Échantillons et populations : les données de test sont un échantillon. Un échantillon aléatoire et représentatif, réparti par client, peut décrire la population. Les biais d’échantillonnage, les billets liés et les fuites de données font paraître les résultats meilleurs qu’ils ne le sont. Plus de données ne corrige pas ces problèmes.
• Incertitude : un autre échantillon donne un autre résultat. L’erreur-type mesure l’ampleur de cette variation; un intervalle de confiance à 95 % montre la plage que les données appuient. Il décrit la méthode, pas une semaine ou un billet. Le bootstrap (rééchantillonnage) donne la même plage en rééchantillonnant.
• Comparaisons : donnez d’abord la taille de l’effet, dans des unités que les gens comprennent. Pour deux modèles sur les mêmes billets, les désaccords fournissent les éléments de preuve. Une valeur p indique si le hasard peut expliquer le résultat; ce n’est pas la taille de l’effet. L’importance pratique est une question distincte qui concerne les coûts.
• Cause : un changement qui se produit en même temps qu’un autre est une corrélation. Un test A/B avec répartition aléatoire montre la cause.

Pour Larkfield : le gain de 1 point de B sur 300 billets ne permet pas de dire « B est meilleur ». Le test A/B tranchera.

Ensuite, vous transformerez les scores d’un modèle en décisions avec un seuil. Vous verrez pourquoi l’exactitude seule peut vous induire en erreur.

Leçon suivante : Les compromis en classification