Aller au contenu
English

Estimer l'incertitude

  • Leçon 14
  • 45 min
  • Module 5 : Échantillonnage et preuves statistiques
Leçon 14 sur 18 · Mathématiques et statistiques essentielles pour l'IAEstimer l'incertitude

Ce que vous saurez faire

Présentez un résultat avec sa variation possible due au hasard, pour que personne ne lise « 92 % » comme un nombre exact.

Carnet JupyterFacultatif : vérifier les nombres dans un carnetColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter est facultatif : une calculatrice suffit pour cette leçon. Il contient les 6 000 délais de réponse de l’outil d’exploration de cette page. Vous pouvez donc compter combien d’intervalles à 95 % contiennent la vraie moyenne. Ensuite, vous refaites les exemples détaillés, le bootstrap et l’exercice guidé en Python, avec des vérifications. Il utilise seulement la bibliothèque standard de Python. Aucune installation n’est nécessaire.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 45 minutes

Ce que vous devez savoir

Ce que vous devez préparer (le carnet n’a besoin de rien de tout cela)

  • Une calculatrice avec une touche de racine carrée. Celle d’un téléphone suffit.
  • Votre fichier c03-notes.md, avec le titre ## Sampling and statistical evidence (échantillonnage et preuves statistiques). Il vient de l’encadré « Avant de commencer » de Échantillons et populations. Si vous ne trouvez pas le fichier, créez un fichier vide portant ce nom. Cette leçon n’utilise pas les réponses précédentes.

Le carnet a été testé dans Jupyter avec Python 3.14.6 (bibliothèque standard seulement).

  • Un classement. Le modèle P obtient 81,2 % sur un banc d’essai et le modèle Q obtient 80,4 %. Le tableau place P en premier. Avec 500 questions, les deux résultats peuvent facilement changer de place sur un autre ensemble de questions.
  • Un rapport sur un modèle. « Exactitude de 92 % ± 3 % » ou « 92 % (IC à 95 % : 89–95) ». La deuxième partie indique à quelle distance de 92 % la vraie valeur peut se trouver.
  • Des barres d’erreur dans un graphique. Une courte ligne traversant chaque point montre l’intervalle que les données appuient. Deux barres qui se chevauchent beaucoup invitent à éviter une affirmation trop forte.
  • Un tableau de bord hebdomadaire. L’exactitude du modèle de classification des billets de soutien était de 91,4 % la semaine dernière et de 92,6 % cette semaine. Le modèle s’est-il amélioré, ou le hasard a-t-il changé les billets?

L’idée : les données de test forment un seul échantillon

Section intitulée « L’idée : les données de test forment un seul échantillon »

Le modèle B classe correctement 276 des 300 billets de test de Larkfield : 92,0 %. Dans la dernière leçon, Mei a confirmé que les 300 billets forment un échantillon aléatoire représentatif. Mais ils constituent toujours un seul échantillon. Un autre échantillon aléatoire de 300 billets des mêmes 12 mois donnerait une exactitude légèrement différente : peut-être 90,7 %, peut-être 93,3 %.

Personne ne peut tester tous les billets futurs. La question est donc : à quelle distance de la vraie exactitude un échantillon de 300 billets peut-il se trouver? Vous pouvez voir la réponse quand vous connaissez la population, comme dans l’outil d’exploration ci-dessous.

La population comprend les mêmes 6 000 billets fictifs que dans la leçon 1, avec les minutes avant la première réponse. La vraie moyenne est de 26,8 minutes. Chaque échantillon reçoit maintenant aussi un intervalle à 95 %. C’est une plage autour de sa moyenne, calculée uniquement à partir de l’échantillon. Les prochaines sections expliquent comment.

Explorer

À quelle fréquence un intervalle à 95 % contient-il la vraie moyenne?

Échantillons tirés
20
Intervalles qui contiennent la vraie moyenne
19 sur 20 (95 %)
Moyenne du dernier échantillon
22,2 min
Dernière erreur type
2,6 min
Dernier intervalle à 95 %
16,8 à 27,5 min

19 intervalles sur 20 (95 %) contiennent la vraie moyenne. Avec plus d’échantillons, la part se stabilise à environ 93 à 95 % : la longue traîne la garde un peu sous 95 %, sauf si les échantillons sont grands.

  • Les 6 000 billets
  • Dernier échantillon (une marque par billet)
05001 0001 5002 000Billets020406080100120140Minutes avant la première réponse0 à moins de 10 minutes : 488 billets10 à moins de 20 minutes : 1 998 billets20 à moins de 30 minutes : 1 600 billets30 à moins de 40 minutes : 819 billets40 à moins de 50 minutes : 508 billets50 à moins de 60 minutes : 270 billets60 à moins de 70 minutes : 135 billets70 à moins de 80 minutes : 79 billets80 à moins de 90 minutes : 32 billets90 à moins de 100 minutes : 29 billets100 à moins de 110 minutes : 21 billets110 à moins de 120 minutes : 8 billetsVraie moyenne 26,8
05001 0001 5002 000Billets050100150+Minutes avant la première réponse0 à moins de 10 minutes : 488 billets10 à moins de 20 minutes : 1 998 billets20 à moins de 30 minutes : 1 600 billets30 à moins de 40 minutes : 819 billets40 à moins de 50 minutes : 508 billets50 à moins de 60 minutes : 270 billets60 à moins de 70 minutes : 135 billets70 à moins de 80 minutes : 79 billets80 à moins de 90 minutes : 32 billets90 à moins de 100 minutes : 29 billets100 à moins de 110 minutes : 21 billets110 à moins de 120 minutes : 8 billetsVraie moyenne 26,8
010203040506070Moyenne de l’échantillon et intervalle à 95 % (minutes)Vraie moyenne 26,8Échantillon 20 : moyenne 22,2, intervalle 16,8 à 27,5Échantillon 19 : moyenne 24,7, intervalle 20,1 à 29,4Échantillon 18 : moyenne 22,9, intervalle 19,2 à 26,6, manque la vraie moyenneÉchantillon 17 : moyenne 26,6, intervalle 20,5 à 32,7Échantillon 16 : moyenne 28,6, intervalle 19,3 à 37,9Échantillon 15 : moyenne 22,9, intervalle 18,4 à 27,3Échantillon 14 : moyenne 24,2, intervalle 18,4 à 30,1Échantillon 13 : moyenne 32,3, intervalle 23,5 à 41,1Échantillon 12 : moyenne 33,2, intervalle 23,3 à 43,1Échantillon 11 : moyenne 26,8, intervalle 20,6 à 33Échantillon 10 : moyenne 29,6, intervalle 23,2 à 36,1Échantillon 9 : moyenne 26,2, intervalle 19,3 à 33,1Échantillon 8 : moyenne 28,2, intervalle 21,6 à 34,7Échantillon 7 : moyenne 35,7, intervalle 25,9 à 45,5Échantillon 6 : moyenne 30,1, intervalle 19,2 à 41,1Échantillon 5 : moyenne 23,8, intervalle 18,4 à 29,1Échantillon 4 : moyenne 28,4, intervalle 23,2 à 33,5Échantillon 3 : moyenne 23, intervalle 17,4 à 28,6Échantillon 2 : moyenne 28,5, intervalle 19,6 à 37,3Échantillon 1 : moyenne 29,9, intervalle 24,2 à 35,6Le plus récent en haut
010203040506070Moyenne de l’échantillon et intervalle à 95 % (minutes)Vraie moyenne 26,8Échantillon 20 : moyenne 22,2, intervalle 16,8 à 27,5Échantillon 19 : moyenne 24,7, intervalle 20,1 à 29,4Échantillon 18 : moyenne 22,9, intervalle 19,2 à 26,6, manque la vraie moyenneÉchantillon 17 : moyenne 26,6, intervalle 20,5 à 32,7Échantillon 16 : moyenne 28,6, intervalle 19,3 à 37,9Échantillon 15 : moyenne 22,9, intervalle 18,4 à 27,3Échantillon 14 : moyenne 24,2, intervalle 18,4 à 30,1Échantillon 13 : moyenne 32,3, intervalle 23,5 à 41,1Échantillon 12 : moyenne 33,2, intervalle 23,3 à 43,1Échantillon 11 : moyenne 26,8, intervalle 20,6 à 33Échantillon 10 : moyenne 29,6, intervalle 23,2 à 36,1Échantillon 9 : moyenne 26,2, intervalle 19,3 à 33,1Échantillon 8 : moyenne 28,2, intervalle 21,6 à 34,7Échantillon 7 : moyenne 35,7, intervalle 25,9 à 45,5Échantillon 6 : moyenne 30,1, intervalle 19,2 à 41,1Échantillon 5 : moyenne 23,8, intervalle 18,4 à 29,1Échantillon 4 : moyenne 28,4, intervalle 23,2 à 33,5Échantillon 3 : moyenne 23, intervalle 17,4 à 28,6Échantillon 2 : moyenne 28,5, intervalle 19,6 à 37,3Échantillon 1 : moyenne 29,9, intervalle 24,2 à 35,6
Chaque ligne représente un échantillon : le point indique sa moyenne, et le trait, son intervalle à 95 %. Les intervalles orange en pointillés ne contiennent pas la vraie moyenne. Les données sont fictives et identiques à chaque visite.
Description textuelle de l’explorateur

Le graphique du haut est un histogramme des délais de première réponse de 6 000 billets fictifs. La plupart des réponses arrivent après 10 à 40 minutes, et certaines prennent plus de 100 minutes. La vraie moyenne est de 26,8 minutes et l’écart-type est de 17,8 minutes. Les marques orange en bas montrent les billets du dernier échantillon.

Le graphique du bas contient une ligne par échantillon, le plus récent en haut. Chaque ligne montre la moyenne de l’échantillon par un point et l’intervalle à 95 % par un trait. Les intervalles qui contiennent la vraie moyenne sont bleus. Ceux qui ne la contiennent pas sont orange et en pointillés.

Avec 30 billets par échantillon, environ 93 à 95 intervalles sur 100 contiennent la vraie moyenne. Chaque intervalle mesure environ 13 minutes de large. Avec 200 billets, les intervalles mesurent environ 5 minutes de large. Environ 95 sur 100 contiennent toujours la vraie moyenne. Avec seulement 5 billets, les intervalles sont très larges, souvent plus larges que le graphique. Seulement environ 90 sur 100 contiennent la vraie moyenne, parce que les données ont une longue queue.

L’affichage indique le nombre d’échantillons et combien d’intervalles contiennent la vraie moyenne. Pour le dernier échantillon, il montre la moyenne, l’erreur-type et l’intervalle à 95 %.

Ce que montre l’outil d’exploration :

  • Chaque moyenne d’échantillon s’écarte de la vraie moyenne d’une quantité différente. La plupart sont proches de 26,8 minutes; quelques-unes en sont loin.
  • Environ 95 intervalles sur 100 contiennent la vraie moyenne. Vous pouvez les compter : l’affichage tient le compte. Environ 5 sur 100 ne la contiennent pas, et rien dans l’échantillon ne vous dit lesquels.
  • Les grands échantillons donnent des intervalles plus étroits. Mais la largeur diminue moins vite que l’échantillon grandit : 4 fois plus de billets donnent un intervalle deux fois moins large.

L’erreur-type : la taille habituelle de l’erreur due au hasard

Section intitulée « L’erreur-type : la taille habituelle de l’erreur due au hasard »

L’erreur-type (SE) est la distance habituelle entre une estimation tirée d’un échantillon et la vraie valeur. Dans l’outil d’exploration, c’est l’écart-type des moyennes d’échantillons : il mesure la dispersion des points.

Vous pouvez la calculer à partir d’un seul échantillon. Pour une moyenne :

SE=SDn\text{SE} = \frac{\text{SD}}{\sqrt{n}}

Lisez ainsi : « l’erreur-type est l’écart-type des valeurs, divisé par la racine carrée du nombre de valeurs ». L’écart-type indique à quel point les billets individuels varient. La racine carrée de n indique à quel point le calcul d’une moyenne réduit cette variation.

Avec l’écart-type de la population de 17,8 minutes :

Billets dans l’échantillon (n) √n SE = 17,8 ÷ √n (minutes)
5 2,24 7,9
30 5,48 3,2
50 7,07 2,5
200 14,14 1,3

De 50 à 200 billets, n est multiplié par 4, √n par 2, et l’erreur-type diminue de moitié : de 2,5 à 1,3 minutes. C’est la règle de la racine carrée. Elle explique pourquoi doubler les données de test aide moins qu’on ne le pense.

L’intervalle de confiance : une plage avec un taux de réussite connu

Section intitulée « L’intervalle de confiance : une plage avec un taux de réussite connu »

Un intervalle de confiance est une plage autour d’une estimation. La méthode qui le calcule contient la vraie valeur pour une proportion connue des échantillons. Pour un intervalle de confiance à 95 %, cette proportion est de 95 sur 100.

Pour une moyenne ou une exactitude calculée sur quelques centaines de valeurs ou plus, la règle est courte :

estimate±1.96×SE\text{estimate} \pm 1.96 \times \text{SE}

Lisez ainsi : « l’estimation, plus ou moins environ deux erreurs-types ». Le nombre 1,96 vient de la distribution normale présentée dans Les distributions en pratique. Dans une distribution normale, 95 % des valeurs sont à moins de 1,96 écart-type du centre. Pour les petits échantillons, les logiciels utilisent un multiplicateur légèrement plus grand, par exemple 2,20 pour 12 valeurs.

Le 95 % décrit la méthode, pas un intervalle particulier. Vous l’avez vu dans l’outil d’exploration : la méthode réussit environ 95 fois sur 100. Votre intervalle contient la vraie valeur ou ne la contient pas, et vous ne pouvez pas savoir lequel des deux.

Exemple détaillé 1 : la moyenne de 12 délais de réponse

Section intitulée « Exemple détaillé 1 : la moyenne de 12 délais de réponse »

Priya reprend les 12 délais de première réponse du module 1, en minutes : 12, 15, 18, 18, 20, 22, 24, 25, 27, 31, 38, 95. Grace veut connaître le délai de réponse moyen les lundis matin.

Étape Valeur
Nombre de billets, n 12
Moyenne 345 ÷ 12 = 28,75 minutes
Écart-type de l’échantillon (le logiciel divise par n − 1) 22,0 minutes
√n √12 = 3,46
SE = SD ÷ √n 22,0 ÷ 3,46 = 6,4 minutes
Multiplicateur pour 12 valeurs 2,20
Demi-largeur = 2,20 × SE 2,20 × 6,4 = 14,0 minutes
Intervalle à 95 % 28,75 − 14,0 à 28,75 + 14,0 = 14,7 à 42,8 minutes

Pourquoi n − 1 ici? Dans le module 1, vous décriviez seulement ces 12 billets. Vous avez donc divisé par n et obtenu 21,1 minutes. Ici, les 12 billets forment un échantillon, et Priya estime la dispersion de tous les billets du lundi. Les valeurs d’un échantillon sont un peu plus proches de leur propre moyenne que de la vraie moyenne. Diviser par n − 1 augmente légèrement l’écart-type pour corriger cela. Avec 12 valeurs, la différence est entre 21,1 et 22,0 minutes. Avec des centaines de valeurs, elle disparaît presque.

Priya dit à Grace : « Ces lundis matin, le délai de réponse moyen est d’environ 29 minutes. Mais 12 billets ne permettent pas de distinguer 15 minutes de 43 minutes. Le billet de la panne, à 95 minutes, augmente beaucoup l’écart-type. Recueillez les données de quelques semaines de lundis avant de changer le plan des effectifs. »

Une exactitude est la moyenne de nombreux 1 (correct) et 0 (incorrect). Pour une proportion comme celle-ci, l’erreur-type a sa propre formule courte. Elle nécessite seulement l’exactitude p et le nombre de billets n :

SE=p (1−p)n\text{SE} = \sqrt{\frac{p\,(1-p)}{n}}

Lisez ainsi : « la racine carrée de p multiplié par un moins p, divisé par n ».

Étape Valeur
Billets correctement classés ÷ tous les billets 276 ÷ 300 = 0,92
p × (1 − p) 0,92 × 0,08 = 0,0736
÷ n 0,0736 ÷ 300 = 0,000245
SE = √ de ce résultat 0,0157, soit 1,57 point de pourcentage
Demi-largeur = 1,96 × SE 1,96 × 1,57 = 3,07 points
Intervalle à 95 % 92,0 − 3,1 à 92,0 + 3,1 = 88,9 % à 95,1 %

Priya écrit dans le rapport : « Modèle B : exactitude de 92,0 % sur 300 billets de test aléatoires (intervalle de confiance à 95 % : 88,9 % à 95,1 %). » Forme courte : 92 % ± 3,1 points.

Notez l’unité. L’exactitude est un pourcentage, et le ± est en points de pourcentage : 92 % ± 3,1 points signifie 88,9 % à 95,1 %. Cela ne signifie pas « 3,1 % de 92 % ».

Le bootstrap : rééchantillonner les données de test

Section intitulée « Le bootstrap : rééchantillonner les données de test »

Les formules fonctionnent pour les moyennes et les proportions. Beaucoup de mesures en IA n’ont pas de formule simple. Par exemple, le délai de réponse médian ou une mesure qui combine précision et rappel. Le bootstrap (bootstrap, rééchantillonnage avec remise) fonctionne pour toutes ces mesures, sans formule.

L’idée : vous avez un seul jeu de données de test, alors utilisez-le comme modèle de la population. Construisez un nouveau jeu de données de test de 300 billets. Choisissez des billets parmi les 300, au hasard, avec remise. Un billet peut apparaître deux fois, trois fois, ou pas du tout. Calculez l’exactitude. Répétez cela mille fois. Les 95 % centraux de ces exactitudes forment l’intervalle bootstrap.

Explorer

Bootstrap : rééchantillonner les 300 billets de test du modèle B

Rééchantillons
200
Dernière exactitude
92,0 %
95 % du milieu des rééchantillons
89,0 % à 95,0 %
Intervalle par formule (pour comparer)
88,9 % à 95,1 %

Les 95 % du milieu des 200 exactitudes rééchantillonnées vont de 89,0 % à 95,0 %. C’est l’intervalle bootstrap.

  • Billet juste
  • Billet faux
Dernier rééchantillon : combien de fois chaque billet de test a été prisBillet 1, juste : pris 1 foisBillet 2, juste : pris 1 foisBillet 3, juste : pris 0 foisBillet 4, juste : pris 2 fois2Billet 5, juste : pris 1 foisBillet 6, juste : pris 0 foisBillet 7, juste : pris 1 foisBillet 8, juste : pris 2 fois2Billet 9, juste : pris 4 fois4Billet 10, juste : pris 1 foisBillet 11, juste : pris 0 foisBillet 12, juste : pris 1 foisBillet 13, juste : pris 0 foisBillet 14, juste : pris 1 foisBillet 15, juste : pris 0 foisBillet 16, juste : pris 1 foisBillet 17, juste : pris 0 foisBillet 18, juste : pris 0 foisBillet 19, juste : pris 1 foisBillet 20, juste : pris 1 foisBillet 21, juste : pris 1 foisBillet 22, juste : pris 3 fois3Billet 23, juste : pris 1 foisBillet 24, juste : pris 0 foisBillet 25, juste : pris 0 foisBillet 26, juste : pris 0 foisBillet 27, juste : pris 2 fois2Billet 28, juste : pris 1 foisBillet 29, juste : pris 1 foisBillet 30, juste : pris 0 foisBillet 31, juste : pris 1 foisBillet 32, juste : pris 3 fois3Billet 33, juste : pris 1 foisBillet 34, juste : pris 1 foisBillet 35, juste : pris 2 fois2Billet 36, juste : pris 0 foisBillet 37, juste : pris 2 fois2Billet 38, juste : pris 2 fois2Billet 39, juste : pris 1 foisBillet 40, juste : pris 2 fois2Billet 41, juste : pris 1 foisBillet 42, juste : pris 1 foisBillet 43, juste : pris 0 foisBillet 44, juste : pris 2 fois2Billet 45, juste : pris 1 foisBillet 46, juste : pris 2 fois2Billet 47, juste : pris 0 foisBillet 48, juste : pris 1 foisBillet 49, juste : pris 2 fois2Billet 50, juste : pris 0 foisBillet 51, juste : pris 1 foisBillet 52, juste : pris 1 foisBillet 53, juste : pris 1 foisBillet 54, juste : pris 1 foisBillet 55, juste : pris 1 foisBillet 56, juste : pris 3 fois3Billet 57, juste : pris 1 foisBillet 58, juste : pris 2 fois2Billet 59, juste : pris 0 foisBillet 60, juste : pris 0 foisBillet 61, juste : pris 1 foisBillet 62, juste : pris 0 foisBillet 63, juste : pris 2 fois2Billet 64, juste : pris 1 foisBillet 65, juste : pris 0 foisBillet 66, juste : pris 1 foisBillet 67, juste : pris 0 foisBillet 68, juste : pris 1 foisBillet 69, juste : pris 1 foisBillet 70, juste : pris 0 foisBillet 71, juste : pris 0 foisBillet 72, juste : pris 1 foisBillet 73, juste : pris 1 foisBillet 74, juste : pris 0 foisBillet 75, juste : pris 0 foisBillet 76, juste : pris 0 foisBillet 77, juste : pris 1 foisBillet 78, juste : pris 1 foisBillet 79, juste : pris 1 foisBillet 80, juste : pris 0 foisBillet 81, juste : pris 4 fois4Billet 82, juste : pris 0 foisBillet 83, juste : pris 3 fois3Billet 84, juste : pris 3 fois3Billet 85, juste : pris 1 foisBillet 86, juste : pris 2 fois2Billet 87, juste : pris 3 fois3Billet 88, juste : pris 1 foisBillet 89, juste : pris 1 foisBillet 90, juste : pris 0 foisBillet 91, juste : pris 0 foisBillet 92, juste : pris 1 foisBillet 93, juste : pris 0 foisBillet 94, juste : pris 1 foisBillet 95, juste : pris 0 foisBillet 96, juste : pris 1 foisBillet 97, juste : pris 0 foisBillet 98, juste : pris 1 foisBillet 99, juste : pris 0 foisBillet 100, juste : pris 0 foisBillet 101, juste : pris 3 fois3Billet 102, juste : pris 1 foisBillet 103, juste : pris 1 foisBillet 104, juste : pris 1 foisBillet 105, juste : pris 1 foisBillet 106, juste : pris 2 fois2Billet 107, juste : pris 1 foisBillet 108, juste : pris 0 foisBillet 109, juste : pris 1 foisBillet 110, juste : pris 2 fois2Billet 111, juste : pris 1 foisBillet 112, juste : pris 2 fois2Billet 113, juste : pris 0 foisBillet 114, juste : pris 3 fois3Billet 115, juste : pris 0 foisBillet 116, juste : pris 1 foisBillet 117, juste : pris 0 foisBillet 118, juste : pris 1 foisBillet 119, juste : pris 2 fois2Billet 120, juste : pris 1 foisBillet 121, juste : pris 0 foisBillet 122, juste : pris 1 foisBillet 123, juste : pris 0 foisBillet 124, juste : pris 0 foisBillet 125, juste : pris 1 foisBillet 126, juste : pris 0 foisBillet 127, juste : pris 0 foisBillet 128, juste : pris 0 foisBillet 129, juste : pris 1 foisBillet 130, juste : pris 0 foisBillet 131, juste : pris 0 foisBillet 132, juste : pris 0 foisBillet 133, juste : pris 1 foisBillet 134, juste : pris 1 foisBillet 135, juste : pris 0 foisBillet 136, juste : pris 3 fois3Billet 137, juste : pris 3 fois3Billet 138, juste : pris 0 foisBillet 139, juste : pris 1 foisBillet 140, juste : pris 1 foisBillet 141, juste : pris 2 fois2Billet 142, juste : pris 0 foisBillet 143, juste : pris 0 foisBillet 144, juste : pris 0 foisBillet 145, juste : pris 1 foisBillet 146, juste : pris 1 foisBillet 147, juste : pris 3 fois3Billet 148, juste : pris 1 foisBillet 149, juste : pris 1 foisBillet 150, juste : pris 2 fois2Billet 151, juste : pris 0 foisBillet 152, juste : pris 1 foisBillet 153, juste : pris 1 foisBillet 154, juste : pris 0 foisBillet 155, juste : pris 1 foisBillet 156, juste : pris 0 foisBillet 157, juste : pris 1 foisBillet 158, juste : pris 1 foisBillet 159, juste : pris 0 foisBillet 160, juste : pris 1 foisBillet 161, juste : pris 1 foisBillet 162, juste : pris 0 foisBillet 163, juste : pris 0 foisBillet 164, juste : pris 0 foisBillet 165, juste : pris 2 fois2Billet 166, juste : pris 1 foisBillet 167, juste : pris 0 foisBillet 168, juste : pris 3 fois3Billet 169, juste : pris 0 foisBillet 170, juste : pris 0 foisBillet 171, juste : pris 2 fois2Billet 172, juste : pris 1 foisBillet 173, juste : pris 2 fois2Billet 174, juste : pris 1 foisBillet 175, juste : pris 5 fois5Billet 176, juste : pris 0 foisBillet 177, juste : pris 0 foisBillet 178, juste : pris 0 foisBillet 179, juste : pris 2 fois2Billet 180, juste : pris 2 fois2Billet 181, juste : pris 2 fois2Billet 182, juste : pris 0 foisBillet 183, juste : pris 1 foisBillet 184, juste : pris 2 fois2Billet 185, juste : pris 0 foisBillet 186, juste : pris 2 fois2Billet 187, juste : pris 0 foisBillet 188, juste : pris 0 foisBillet 189, juste : pris 2 fois2Billet 190, juste : pris 2 fois2Billet 191, juste : pris 2 fois2Billet 192, juste : pris 1 foisBillet 193, juste : pris 0 foisBillet 194, juste : pris 1 foisBillet 195, juste : pris 1 foisBillet 196, juste : pris 2 fois2Billet 197, juste : pris 0 foisBillet 198, juste : pris 0 foisBillet 199, juste : pris 0 foisBillet 200, juste : pris 1 foisBillet 201, juste : pris 0 foisBillet 202, juste : pris 0 foisBillet 203, juste : pris 3 fois3Billet 204, juste : pris 1 foisBillet 205, juste : pris 2 fois2Billet 206, juste : pris 0 foisBillet 207, juste : pris 2 fois2Billet 208, juste : pris 1 foisBillet 209, juste : pris 1 foisBillet 210, juste : pris 0 foisBillet 211, juste : pris 1 foisBillet 212, juste : pris 2 fois2Billet 213, juste : pris 0 foisBillet 214, juste : pris 0 foisBillet 215, juste : pris 2 fois2Billet 216, juste : pris 0 foisBillet 217, juste : pris 1 foisBillet 218, juste : pris 1 foisBillet 219, juste : pris 0 foisBillet 220, juste : pris 2 fois2Billet 221, juste : pris 1 foisBillet 222, juste : pris 3 fois3Billet 223, juste : pris 1 foisBillet 224, juste : pris 0 foisBillet 225, juste : pris 1 foisBillet 226, juste : pris 0 foisBillet 227, juste : pris 2 fois2Billet 228, juste : pris 0 foisBillet 229, juste : pris 1 foisBillet 230, juste : pris 3 fois3Billet 231, juste : pris 0 foisBillet 232, juste : pris 1 foisBillet 233, juste : pris 1 foisBillet 234, juste : pris 0 foisBillet 235, juste : pris 0 foisBillet 236, juste : pris 1 foisBillet 237, juste : pris 1 foisBillet 238, juste : pris 1 foisBillet 239, juste : pris 1 foisBillet 240, juste : pris 2 fois2Billet 241, juste : pris 3 fois3Billet 242, juste : pris 2 fois2Billet 243, juste : pris 1 foisBillet 244, juste : pris 2 fois2Billet 245, juste : pris 0 foisBillet 246, juste : pris 2 fois2Billet 247, juste : pris 1 foisBillet 248, juste : pris 0 foisBillet 249, juste : pris 0 foisBillet 250, juste : pris 1 foisBillet 251, juste : pris 0 foisBillet 252, juste : pris 0 foisBillet 253, juste : pris 0 foisBillet 254, juste : pris 1 foisBillet 255, juste : pris 0 foisBillet 256, juste : pris 2 fois2Billet 257, juste : pris 1 foisBillet 258, juste : pris 2 fois2Billet 259, juste : pris 2 fois2Billet 260, juste : pris 1 foisBillet 261, juste : pris 0 foisBillet 262, juste : pris 1 foisBillet 263, juste : pris 3 fois3Billet 264, juste : pris 1 foisBillet 265, juste : pris 1 foisBillet 266, juste : pris 2 fois2Billet 267, juste : pris 1 foisBillet 268, juste : pris 0 foisBillet 269, juste : pris 1 foisBillet 270, juste : pris 1 foisBillet 271, juste : pris 4 fois4Billet 272, juste : pris 0 foisBillet 273, juste : pris 1 foisBillet 274, juste : pris 0 foisBillet 275, juste : pris 5 fois5Billet 276, juste : pris 3 fois3Billet 277, faux : pris 0 foisBillet 278, faux : pris 0 foisBillet 279, faux : pris 3 fois3Billet 280, faux : pris 1 foisBillet 281, faux : pris 0 foisBillet 282, faux : pris 1 foisBillet 283, faux : pris 1 foisBillet 284, faux : pris 2 fois2Billet 285, faux : pris 1 foisBillet 286, faux : pris 2 fois2Billet 287, faux : pris 1 foisBillet 288, faux : pris 1 foisBillet 289, faux : pris 1 foisBillet 290, faux : pris 0 foisBillet 291, faux : pris 2 fois2Billet 292, faux : pris 0 foisBillet 293, faux : pris 0 foisBillet 294, faux : pris 1 foisBillet 295, faux : pris 3 fois3Billet 296, faux : pris 0 foisBillet 297, faux : pris 1 foisBillet 298, faux : pris 3 fois3Billet 299, faux : pris 0 foisBillet 300, faux : pris 0 fois
Dernier rééchantillon : fois où chaque billet a été prisBillet 1, juste : pris 1 foisBillet 2, juste : pris 1 foisBillet 3, juste : pris 0 foisBillet 4, juste : pris 2 fois2Billet 5, juste : pris 1 foisBillet 6, juste : pris 0 foisBillet 7, juste : pris 1 foisBillet 8, juste : pris 2 fois2Billet 9, juste : pris 4 fois4Billet 10, juste : pris 1 foisBillet 11, juste : pris 0 foisBillet 12, juste : pris 1 foisBillet 13, juste : pris 0 foisBillet 14, juste : pris 1 foisBillet 15, juste : pris 0 foisBillet 16, juste : pris 1 foisBillet 17, juste : pris 0 foisBillet 18, juste : pris 0 foisBillet 19, juste : pris 1 foisBillet 20, juste : pris 1 foisBillet 21, juste : pris 1 foisBillet 22, juste : pris 3 fois3Billet 23, juste : pris 1 foisBillet 24, juste : pris 0 foisBillet 25, juste : pris 0 foisBillet 26, juste : pris 0 foisBillet 27, juste : pris 2 fois2Billet 28, juste : pris 1 foisBillet 29, juste : pris 1 foisBillet 30, juste : pris 0 foisBillet 31, juste : pris 1 foisBillet 32, juste : pris 3 fois3Billet 33, juste : pris 1 foisBillet 34, juste : pris 1 foisBillet 35, juste : pris 2 fois2Billet 36, juste : pris 0 foisBillet 37, juste : pris 2 fois2Billet 38, juste : pris 2 fois2Billet 39, juste : pris 1 foisBillet 40, juste : pris 2 fois2Billet 41, juste : pris 1 foisBillet 42, juste : pris 1 foisBillet 43, juste : pris 0 foisBillet 44, juste : pris 2 fois2Billet 45, juste : pris 1 foisBillet 46, juste : pris 2 fois2Billet 47, juste : pris 0 foisBillet 48, juste : pris 1 foisBillet 49, juste : pris 2 fois2Billet 50, juste : pris 0 foisBillet 51, juste : pris 1 foisBillet 52, juste : pris 1 foisBillet 53, juste : pris 1 foisBillet 54, juste : pris 1 foisBillet 55, juste : pris 1 foisBillet 56, juste : pris 3 fois3Billet 57, juste : pris 1 foisBillet 58, juste : pris 2 fois2Billet 59, juste : pris 0 foisBillet 60, juste : pris 0 foisBillet 61, juste : pris 1 foisBillet 62, juste : pris 0 foisBillet 63, juste : pris 2 fois2Billet 64, juste : pris 1 foisBillet 65, juste : pris 0 foisBillet 66, juste : pris 1 foisBillet 67, juste : pris 0 foisBillet 68, juste : pris 1 foisBillet 69, juste : pris 1 foisBillet 70, juste : pris 0 foisBillet 71, juste : pris 0 foisBillet 72, juste : pris 1 foisBillet 73, juste : pris 1 foisBillet 74, juste : pris 0 foisBillet 75, juste : pris 0 foisBillet 76, juste : pris 0 foisBillet 77, juste : pris 1 foisBillet 78, juste : pris 1 foisBillet 79, juste : pris 1 foisBillet 80, juste : pris 0 foisBillet 81, juste : pris 4 fois4Billet 82, juste : pris 0 foisBillet 83, juste : pris 3 fois3Billet 84, juste : pris 3 fois3Billet 85, juste : pris 1 foisBillet 86, juste : pris 2 fois2Billet 87, juste : pris 3 fois3Billet 88, juste : pris 1 foisBillet 89, juste : pris 1 foisBillet 90, juste : pris 0 foisBillet 91, juste : pris 0 foisBillet 92, juste : pris 1 foisBillet 93, juste : pris 0 foisBillet 94, juste : pris 1 foisBillet 95, juste : pris 0 foisBillet 96, juste : pris 1 foisBillet 97, juste : pris 0 foisBillet 98, juste : pris 1 foisBillet 99, juste : pris 0 foisBillet 100, juste : pris 0 foisBillet 101, juste : pris 3 fois3Billet 102, juste : pris 1 foisBillet 103, juste : pris 1 foisBillet 104, juste : pris 1 foisBillet 105, juste : pris 1 foisBillet 106, juste : pris 2 fois2Billet 107, juste : pris 1 foisBillet 108, juste : pris 0 foisBillet 109, juste : pris 1 foisBillet 110, juste : pris 2 fois2Billet 111, juste : pris 1 foisBillet 112, juste : pris 2 fois2Billet 113, juste : pris 0 foisBillet 114, juste : pris 3 fois3Billet 115, juste : pris 0 foisBillet 116, juste : pris 1 foisBillet 117, juste : pris 0 foisBillet 118, juste : pris 1 foisBillet 119, juste : pris 2 fois2Billet 120, juste : pris 1 foisBillet 121, juste : pris 0 foisBillet 122, juste : pris 1 foisBillet 123, juste : pris 0 foisBillet 124, juste : pris 0 foisBillet 125, juste : pris 1 foisBillet 126, juste : pris 0 foisBillet 127, juste : pris 0 foisBillet 128, juste : pris 0 foisBillet 129, juste : pris 1 foisBillet 130, juste : pris 0 foisBillet 131, juste : pris 0 foisBillet 132, juste : pris 0 foisBillet 133, juste : pris 1 foisBillet 134, juste : pris 1 foisBillet 135, juste : pris 0 foisBillet 136, juste : pris 3 fois3Billet 137, juste : pris 3 fois3Billet 138, juste : pris 0 foisBillet 139, juste : pris 1 foisBillet 140, juste : pris 1 foisBillet 141, juste : pris 2 fois2Billet 142, juste : pris 0 foisBillet 143, juste : pris 0 foisBillet 144, juste : pris 0 foisBillet 145, juste : pris 1 foisBillet 146, juste : pris 1 foisBillet 147, juste : pris 3 fois3Billet 148, juste : pris 1 foisBillet 149, juste : pris 1 foisBillet 150, juste : pris 2 fois2Billet 151, juste : pris 0 foisBillet 152, juste : pris 1 foisBillet 153, juste : pris 1 foisBillet 154, juste : pris 0 foisBillet 155, juste : pris 1 foisBillet 156, juste : pris 0 foisBillet 157, juste : pris 1 foisBillet 158, juste : pris 1 foisBillet 159, juste : pris 0 foisBillet 160, juste : pris 1 foisBillet 161, juste : pris 1 foisBillet 162, juste : pris 0 foisBillet 163, juste : pris 0 foisBillet 164, juste : pris 0 foisBillet 165, juste : pris 2 fois2Billet 166, juste : pris 1 foisBillet 167, juste : pris 0 foisBillet 168, juste : pris 3 fois3Billet 169, juste : pris 0 foisBillet 170, juste : pris 0 foisBillet 171, juste : pris 2 fois2Billet 172, juste : pris 1 foisBillet 173, juste : pris 2 fois2Billet 174, juste : pris 1 foisBillet 175, juste : pris 5 fois5Billet 176, juste : pris 0 foisBillet 177, juste : pris 0 foisBillet 178, juste : pris 0 foisBillet 179, juste : pris 2 fois2Billet 180, juste : pris 2 fois2Billet 181, juste : pris 2 fois2Billet 182, juste : pris 0 foisBillet 183, juste : pris 1 foisBillet 184, juste : pris 2 fois2Billet 185, juste : pris 0 foisBillet 186, juste : pris 2 fois2Billet 187, juste : pris 0 foisBillet 188, juste : pris 0 foisBillet 189, juste : pris 2 fois2Billet 190, juste : pris 2 fois2Billet 191, juste : pris 2 fois2Billet 192, juste : pris 1 foisBillet 193, juste : pris 0 foisBillet 194, juste : pris 1 foisBillet 195, juste : pris 1 foisBillet 196, juste : pris 2 fois2Billet 197, juste : pris 0 foisBillet 198, juste : pris 0 foisBillet 199, juste : pris 0 foisBillet 200, juste : pris 1 foisBillet 201, juste : pris 0 foisBillet 202, juste : pris 0 foisBillet 203, juste : pris 3 fois3Billet 204, juste : pris 1 foisBillet 205, juste : pris 2 fois2Billet 206, juste : pris 0 foisBillet 207, juste : pris 2 fois2Billet 208, juste : pris 1 foisBillet 209, juste : pris 1 foisBillet 210, juste : pris 0 foisBillet 211, juste : pris 1 foisBillet 212, juste : pris 2 fois2Billet 213, juste : pris 0 foisBillet 214, juste : pris 0 foisBillet 215, juste : pris 2 fois2Billet 216, juste : pris 0 foisBillet 217, juste : pris 1 foisBillet 218, juste : pris 1 foisBillet 219, juste : pris 0 foisBillet 220, juste : pris 2 fois2Billet 221, juste : pris 1 foisBillet 222, juste : pris 3 fois3Billet 223, juste : pris 1 foisBillet 224, juste : pris 0 foisBillet 225, juste : pris 1 foisBillet 226, juste : pris 0 foisBillet 227, juste : pris 2 fois2Billet 228, juste : pris 0 foisBillet 229, juste : pris 1 foisBillet 230, juste : pris 3 fois3Billet 231, juste : pris 0 foisBillet 232, juste : pris 1 foisBillet 233, juste : pris 1 foisBillet 234, juste : pris 0 foisBillet 235, juste : pris 0 foisBillet 236, juste : pris 1 foisBillet 237, juste : pris 1 foisBillet 238, juste : pris 1 foisBillet 239, juste : pris 1 foisBillet 240, juste : pris 2 fois2Billet 241, juste : pris 3 fois3Billet 242, juste : pris 2 fois2Billet 243, juste : pris 1 foisBillet 244, juste : pris 2 fois2Billet 245, juste : pris 0 foisBillet 246, juste : pris 2 fois2Billet 247, juste : pris 1 foisBillet 248, juste : pris 0 foisBillet 249, juste : pris 0 foisBillet 250, juste : pris 1 foisBillet 251, juste : pris 0 foisBillet 252, juste : pris 0 foisBillet 253, juste : pris 0 foisBillet 254, juste : pris 1 foisBillet 255, juste : pris 0 foisBillet 256, juste : pris 2 fois2Billet 257, juste : pris 1 foisBillet 258, juste : pris 2 fois2Billet 259, juste : pris 2 fois2Billet 260, juste : pris 1 foisBillet 261, juste : pris 0 foisBillet 262, juste : pris 1 foisBillet 263, juste : pris 3 fois3Billet 264, juste : pris 1 foisBillet 265, juste : pris 1 foisBillet 266, juste : pris 2 fois2Billet 267, juste : pris 1 foisBillet 268, juste : pris 0 foisBillet 269, juste : pris 1 foisBillet 270, juste : pris 1 foisBillet 271, juste : pris 4 fois4Billet 272, juste : pris 0 foisBillet 273, juste : pris 1 foisBillet 274, juste : pris 0 foisBillet 275, juste : pris 5 fois5Billet 276, juste : pris 3 fois3Billet 277, faux : pris 0 foisBillet 278, faux : pris 0 foisBillet 279, faux : pris 3 fois3Billet 280, faux : pris 1 foisBillet 281, faux : pris 0 foisBillet 282, faux : pris 1 foisBillet 283, faux : pris 1 foisBillet 284, faux : pris 2 fois2Billet 285, faux : pris 1 foisBillet 286, faux : pris 2 fois2Billet 287, faux : pris 1 foisBillet 288, faux : pris 1 foisBillet 289, faux : pris 1 foisBillet 290, faux : pris 0 foisBillet 291, faux : pris 2 fois2Billet 292, faux : pris 0 foisBillet 293, faux : pris 0 foisBillet 294, faux : pris 1 foisBillet 295, faux : pris 3 fois3Billet 296, faux : pris 0 foisBillet 297, faux : pris 1 foisBillet 298, faux : pris 3 fois3Billet 299, faux : pris 0 foisBillet 300, faux : pris 0 fois
05101520Rééchantillons8486889092949698100Exactitude du jeu de test rééchantillonné (%)93,3 % : 1889,3 % : 290,7 % : 792,3 % : 2092 % : 2089,7 % : 895 % : 591 % : 1791,7 % : 1494,3 % : 593 % : 1291,3 % : 1292,7 % : 1690 % : 890,3 % : 993,7 % : 1294 % : 395,7 % : 287,3 % : 288,7 % : 189 % : 388 % : 195,3 % : 294,7 % : 1Jeu de test 92,0 %95 % du milieu
05101520Rééchantillons84889296100Exactitude du jeu de test rééchantillonné (%)93,3 % : 1889,3 % : 290,7 % : 792,3 % : 2092 % : 2089,7 % : 895 % : 591 % : 1791,7 % : 1494,3 % : 593 % : 1291,3 % : 1292,7 % : 1690 % : 890,3 % : 993,7 % : 1294 % : 395,7 % : 287,3 % : 288,7 % : 189 % : 388 % : 195,3 % : 294,7 % : 1Jeu de test 92,0 %95 % du milieu
Chaque rééchantillonnage choisit 300 billets dans les données de test, avec remise, et enregistre l'exactitude. L'histogramme rassemble les exactitudes; le crochet indique les 95 % centraux.
Description textuelle de l’explorateur

L’image du haut montre les 300 billets de test sous forme de carrés : 276 corrects (bleus) et 24 incorrects (orange). Après un rééchantillonnage, un carré vide indique un billet qui n’a pas été choisi. Un nombre dans un carré indique combien de fois le rééchantillonnage a choisi ce billet.

L’histogramme du bas montre l’exactitude de chaque jeu de données de test rééchantillonné, d’environ 87 % à 97 %. Les résultats se regroupent autour de 92,0 %, le résultat du vrai test. Après quelques centaines de rééchantillonnages, les 95 % centraux vont d’environ 89 % à 95 %. L’intervalle calculé par la formule de l’exemple détaillé 2, de 88,9 % à 95,1 %, est presque identique.

L’affichage indique le nombre de rééchantillonnages et la dernière exactitude. Il montre aussi les 95 % centraux de tous les rééchantillonnages jusqu’ici et l’intervalle de la formule, pour comparaison.

Le bootstrap et la formule concordent : environ 89 % à 95 %. Cette concordance est le point important. Le bootstrap y arrive par simulation, donc il fonctionne aussi quand vous n’avez pas de formule. En Python, les scientifiques des données utilisent souvent scipy.stats.bootstrap ou une courte boucle avec numpy.

Lisez maintenant le classement du début de la leçon. Il montre quatre modèles fictifs sur un banc d’essai public de 500 questions. Chaque ligne présente l’exactitude et son intervalle à 95 %.

Un classement fictif avec des barres d'erreur : l'exactitude de quatre modèles sur 500 questions, avec des intervalles de confiance à 95 %.
Description textuelle du graphique

Quatre lignes, chacune avec un point et une barre d’intervalle. Modèle P : 81,2 % (77,8 % à 84,6 %). Modèle Q : 80,4 % (76,9 % à 83,9 %). Modèle R : 78,6 % (75,0 % à 82,2 %). Modèle S : 74,0 % (70,2 % à 77,8 %). Les intervalles de P, Q et R se chevauchent presque entièrement. L’intervalle de S chevauche seulement un peu les autres.

Chaque intervalle s’étend sur environ ±3,5 points, parce que 500 questions forment un petit échantillon. Les données n’appuient pas l’ordre de P, Q et R : leurs intervalles se chevauchent presque entièrement. S est probablement moins bon que P, mais l’écart est moins certain que le classement le suggère. La leçon 3 montre la bonne façon de comparer directement deux modèles.

Le modèle A classe correctement 273 des mêmes 300 billets.

  1. Dans c03-notes.md, ajoutez un titre : ### Interval for model A (intervalle du modèle A).
  2. Calculez l’exactitude p = 273 ÷ 300.
  3. Calculez p × (1 − p).
  4. Divisez le résultat par 300.
  5. Prenez la racine carrée. C’est l’erreur-type.
  6. Multipliez l’erreur-type par 1,96. C’est la demi-largeur.
  7. Écrivez l’intervalle : de p moins la demi-largeur à p plus la demi-largeur.
  8. Écrivez une phrase pour un rapport, comme Priya.

Résultat attendu : erreur-type d’environ 1,65 point, demi-largeur d’environ 3,2 points, intervalle d’environ 87,8 % à 94,2 %.

Afficher un exemple de réponse
Étape Valeur
p 273 ÷ 300 = 0,91
p × (1 − p) 0,91 × 0,09 = 0,0819
÷ 300 0,000273
SE √0,000273 = 0,0165 = 1,65 point
Demi-largeur 1,96 × 1,65 = 3,24 points
Intervalle 91,0 − 3,2 à 91,0 + 3,2 = 87,8 % à 94,2 %

Phrase du rapport : « Modèle A : exactitude de 91,0 % sur 300 billets de test aléatoires (intervalle de confiance à 95 % : 87,8 % à 94,2 %). »

Comparez avec le modèle B, de 88,9 % à 95,1 %. Les deux intervalles se chevauchent presque entièrement. C’est une première raison d’éviter d’affirmer que « B est meilleur ». La leçon 3 fait la comparaison complète.

Variante autonome : des données de test plus nombreuses

Section intitulée « Variante autonome : des données de test plus nombreuses »

Changez une condition : le nombre de billets. Mei peut construire un jeu de données de test aléatoire de 1 200 billets. Cela équivaut à une semaine, mais les billets sont échantillonnés sur 12 mois. Supposons que le modèle B les classe encore correctement dans 92,0 % des cas.

Dans c03-notes.md :

  1. Calculez l’erreur-type et l’intervalle à 95 %.
  2. Comparez la largeur avec l’intervalle obtenu à partir de 300 billets. Utilisez la règle de la racine carrée pour expliquer la différence.
  3. Omar veut ±0,75 point. Estimez combien de billets il faut.
Afficher un exemple de réponse
  1. p × (1 − p) = 0,0736. ÷ 1 200 = 0,0000613. SE = √0,0000613 = 0,0078 = 0,78 point. Demi-largeur = 1,96 × 0,78 = 1,53 point. Intervalle : 90,5 % à 93,5 %.
  2. 1 200 est 4 fois 300. √4 = 2, donc l’erreur-type et la largeur de l’intervalle diminuent de moitié : ±1,5 point au lieu de ±3,1 points.
  3. ±0,75 point est encore la moitié de ±1,5 point. Il faut donc 4 fois plus de billets : environ 4 800 billets. Chaque réduction de moitié de l’intervalle exige quatre fois plus de données. Omar doit décider si ce travail d’étiquetage en vaut la peine.

Vous n’avez pas besoin de code pour ce cours. Si vous voulez, cet encadré reprend l’exemple détaillé 2 et un bootstrap (rééchantillonnage avec remise) avec la bibliothèque standard de Python.

Exécutez du Python dans votre navigateur

À vous d'essayer : intervalle et bootstrap pour le modèle B

Exécutez le code. L’intervalle calculé par la formule va de 88,9 à 95,1. Le bootstrap donne presque le même intervalle. Changez ensuite correct (nombre de réponses correctes) pour 273 (modèle A) et exécutez le code à nouveau : vous obtenez l’intervalle de l’exercice guidé.

Erreur courante

Un intervalle interprété comme une promesse pour une semaine

Symptôme : le rapport du modèle indique « exactitude de 92 % ± 3,1 points (88,9 % à 95,1 %) ». Omar dit au directeur du service à la clientèle : « Chaque semaine, au moins 89 % des billets iront à la bonne équipe. » La première semaine de décembre, l’équipe de Grace vérifie un échantillon et obtient 87,6 %. Le directeur demande ce qui a mal fonctionné avec le modèle.

Cause : l’intervalle a été interprété comme une certitude sur un résultat précis. Ce n’est pas le cas. L’intervalle estime un seul nombre : l’exactitude à long terme sur des billets semblables aux 300 billets de test. Il ne donne aucune certitude pour une semaine précise. Une semaine de 1 200 billets a sa propre variation aléatoire. En décembre, la répartition des types de billets diffère aussi (45 % concernent la livraison). Ces billets ne ressemblent donc pas aux billets de test. Et une méthode à 95 % manque la cible 1 fois sur 20, sans avertissement. Elle ne dit rien non plus sur un seul billet : chaque billet est traité correctement ou non.

Correction : précisez ce que couvre l’intervalle. Par exemple : « Sur des billets semblables à nos données de test, nous estimons l’exactitude à 92 %. Les valeurs de 89 % à 95 % sont compatibles avec le résultat du test. » N’en faites pas une promesse pour une semaine ou un billet. Pour les résultats hebdomadaires, vérifiez un échantillon aléatoire de billets chaque semaine et suivez l’exactitude. Attendez-vous à ce qu’elle varie. Vérifiez séparément les mois où la répartition des types de billets diffère.

Vérifiez votre compréhension

Des données de test de 300 billets donnent un intervalle de ±3,1 points. Expliquez pourquoi 1 200 billets de test donnent environ ±1,5 points, et non ±0,8 points.

Afficher la réponse

L’erreur-type (SE) est l’écart-type (SD) divisé par la racine carrée de n. Avec quatre fois plus de billets, √n double. L’erreur-type et la largeur de l’intervalle sont donc réduites de moitié : ±1,5 points. L’intervalle serait quatre fois moins large (±0,8 points) seulement s’il diminuait proportionnellement à n. Ce n’est pas le cas. Les erreurs aléatoires s’annulent en partie quand vous calculez la moyenne, mais seulement en proportion de √n.

Vérifiez votre compréhension

Dans l'explorateur, environ 5 intervalles sur 100 ne contiennent pas la vraie moyenne. En pratique, vous avez seulement un jeu de données de test et un intervalle. Pouvez-vous savoir si votre intervalle fait partie de ceux qui manquent la cible? Que vous indique alors le 95 %?

Afficher la réponse

Non. Un intervalle qui manque la cible ressemble à tous les autres; rien dans l’échantillon ne permet de le reconnaître. Le 95 % décrit la méthode : sur de nombreux échantillons, environ 95 intervalles sur 100 contiennent la vraie valeur. Vous pouvez donc faire confiance à la méthode la plupart du temps, sans certitude pour un intervalle donné. C’est pourquoi un seul résultat ne constitue jamais une preuve définitive. C’est aussi pourquoi un deuxième jeu de données de test indépendant est précieux.

Récapitulatif

  • Un jeu de données de test est un échantillon. Un autre échantillon donne un résultat différent, par hasard.
  • L’erreur-type est la taille habituelle de cette erreur aléatoire. Pour une moyenne, SE = SD ÷ √n. Pour une exactitude p sur n billets, SE = √(p(1 − p)/n).
  • Un intervalle de confiance à 95 % correspond environ à l’estimation ± 1,96 SE. La méthode donne un intervalle contenant la vraie valeur pour environ 95 échantillons sur 100. Ce n’est pas une promesse pour une semaine ou un billet.
  • Quatre fois plus de données donnent un intervalle deux fois moins large.
  • Le bootstrap rééchantillonne les données de test avec remise. Ses 95 % centraux donnent un intervalle pour n’importe quelle mesure, sans formule.
  • Modèle B : 92,0 % (88,9 % à 95,1 %). Modèle A : 91,0 % (87,8 % à 94,2 %).

Ensuite, vous comparez directement A et B sur les mêmes 300 billets. Vous déterminez ce que la différence d’un point permet de conclure.

Leçon suivante : Comparer des options