Estimer l'incertitude
- Leçon 14
- 45 min
- Module 5 : Échantillonnage et preuves statistiques
Leçon 14 sur 18 · Mathématiques et statistiques essentielles pour l'IAEstimer l'incertitude
1. Nombres, notation et résumés de données
2. Vecteurs et matrices
3. Probabilités et raisonnement conditionnel
4. Comment les modèles apprennent
5. Échantillonnage et preuves statistiques
6. Les statistiques au service des décisions sur les modèles
Ce que vous saurez faire
Présentez un résultat avec sa variation possible due au hasard, pour que personne ne lise « 92 % » comme un nombre exact.
Carnet JupyterFacultatif : vérifier les nombres dans un carnet
Le carnet (notebook) Jupyter est facultatif : une calculatrice suffit pour cette leçon. Il contient les 6 000 délais de réponse de l’outil d’exploration de cette page. Vous pouvez donc compter combien d’intervalles à 95 % contiennent la vraie moyenne. Ensuite, vous refaites les exemples détaillés, le bootstrap et l’exercice guidé en Python, avec des vérifications. Il utilise seulement la bibliothèque standard de Python. Aucune installation n’est nécessaire.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Les données de test sont un échantillon. Les échantillons aléatoires se dispersent autour de la vraie valeur. Voir Échantillons et populations : observez : des échantillons aléatoires et un échantillon biaisé.
- L’écart-type (SD) est la racine carrée de la variance. Voir Décrire un jeu de données : dispersion. L’exemple détaillé 1 utilise les 12 délais de réponse du lundi de Décrire un jeu de données : Les 12 billets du lundi.
- La courbe normale, présentée dans Les distributions en pratique : normale : la courbe en cloche. Cette leçon utilise sa règle des 95 %.
Ce que vous devez préparer (le carnet n’a besoin de rien de tout cela)
- Une calculatrice avec une touche de racine carrée. Celle d’un téléphone suffit.
- Votre fichier
c03-notes.md, avec le titre## Sampling and statistical evidence(échantillonnage et preuves statistiques). Il vient de l’encadré « Avant de commencer » de Échantillons et populations. Si vous ne trouvez pas le fichier, créez un fichier vide portant ce nom. Cette leçon n’utilise pas les réponses précédentes.
Le carnet a été testé dans Jupyter avec Python 3.14.6 (bibliothèque standard seulement).
Où vous rencontrez cela en IA
Section intitulée « Où vous rencontrez cela en IA »- Un classement. Le modèle P obtient 81,2 % sur un banc d’essai et le modèle Q obtient 80,4 %. Le tableau place P en premier. Avec 500 questions, les deux résultats peuvent facilement changer de place sur un autre ensemble de questions.
- Un rapport sur un modèle. « Exactitude de 92 % ± 3 % » ou « 92 % (IC à 95 % : 89–95) ». La deuxième partie indique à quelle distance de 92 % la vraie valeur peut se trouver.
- Des barres d’erreur dans un graphique. Une courte ligne traversant chaque point montre l’intervalle que les données appuient. Deux barres qui se chevauchent beaucoup invitent à éviter une affirmation trop forte.
- Un tableau de bord hebdomadaire. L’exactitude du modèle de classification des billets de soutien était de 91,4 % la semaine dernière et de 92,6 % cette semaine. Le modèle s’est-il amélioré, ou le hasard a-t-il changé les billets?
L’idée : les données de test forment un seul échantillon
Section intitulée « L’idée : les données de test forment un seul échantillon »Le modèle B classe correctement 276 des 300 billets de test de Larkfield : 92,0 %. Dans la dernière leçon, Mei a confirmé que les 300 billets forment un échantillon aléatoire représentatif. Mais ils constituent toujours un seul échantillon. Un autre échantillon aléatoire de 300 billets des mêmes 12 mois donnerait une exactitude légèrement différente : peut-être 90,7 %, peut-être 93,3 %.
Personne ne peut tester tous les billets futurs. La question est donc : à quelle distance de la vraie exactitude un échantillon de 300 billets peut-il se trouver? Vous pouvez voir la réponse quand vous connaissez la population, comme dans l’outil d’exploration ci-dessous.
La population comprend les mêmes 6 000 billets fictifs que dans la leçon 1, avec les minutes avant la première réponse. La vraie moyenne est de 26,8 minutes. Chaque échantillon reçoit maintenant aussi un intervalle à 95 %. C’est une plage autour de sa moyenne, calculée uniquement à partir de l’échantillon. Les prochaines sections expliquent comment.
Explorer
À quelle fréquence un intervalle à 95 % contient-il la vraie moyenne?
Prédisez d’abord : Avec 30 billets par échantillon, combien d'intervalles sur 100 contiendront la vraie moyenne? Quand vous passez de 50 à 200 billets par échantillon, que devient la largeur des intervalles?
- Échantillons tirés
- 20
- Intervalles qui contiennent la vraie moyenne
- 19 sur 20 (95 %)
- Moyenne du dernier échantillon
- 22,2 min
- Dernière erreur type
- 2,6 min
- Dernier intervalle à 95 %
- 16,8 à 27,5 min
19 intervalles sur 20 (95 %) contiennent la vraie moyenne. Avec plus d’échantillons, la part se stabilise à environ 93 à 95 % : la longue traîne la garde un peu sous 95 %, sauf si les échantillons sont grands.
- Les 6 000 billets
- Dernier échantillon (une marque par billet)
Description textuelle de l’explorateur
Le graphique du haut est un histogramme des délais de première réponse de 6 000 billets fictifs. La plupart des réponses arrivent après 10 à 40 minutes, et certaines prennent plus de 100 minutes. La vraie moyenne est de 26,8 minutes et l’écart-type est de 17,8 minutes. Les marques orange en bas montrent les billets du dernier échantillon.
Le graphique du bas contient une ligne par échantillon, le plus récent en haut. Chaque ligne montre la moyenne de l’échantillon par un point et l’intervalle à 95 % par un trait. Les intervalles qui contiennent la vraie moyenne sont bleus. Ceux qui ne la contiennent pas sont orange et en pointillés.
Avec 30 billets par échantillon, environ 93 à 95 intervalles sur 100 contiennent la vraie moyenne. Chaque intervalle mesure environ 13 minutes de large. Avec 200 billets, les intervalles mesurent environ 5 minutes de large. Environ 95 sur 100 contiennent toujours la vraie moyenne. Avec seulement 5 billets, les intervalles sont très larges, souvent plus larges que le graphique. Seulement environ 90 sur 100 contiennent la vraie moyenne, parce que les données ont une longue queue.
L’affichage indique le nombre d’échantillons et combien d’intervalles contiennent la vraie moyenne. Pour le dernier échantillon, il montre la moyenne, l’erreur-type et l’intervalle à 95 %.
Ce que montre l’outil d’exploration :
- Chaque moyenne d’échantillon s’écarte de la vraie moyenne d’une quantité différente. La plupart sont proches de 26,8 minutes; quelques-unes en sont loin.
- Environ 95 intervalles sur 100 contiennent la vraie moyenne. Vous pouvez les compter : l’affichage tient le compte. Environ 5 sur 100 ne la contiennent pas, et rien dans l’échantillon ne vous dit lesquels.
- Les grands échantillons donnent des intervalles plus étroits. Mais la largeur diminue moins vite que l’échantillon grandit : 4 fois plus de billets donnent un intervalle deux fois moins large.
L’erreur-type : la taille habituelle de l’erreur due au hasard
Section intitulée « L’erreur-type : la taille habituelle de l’erreur due au hasard »L’erreur-type (SE) est la distance habituelle entre une estimation tirée d’un échantillon et la vraie valeur. Dans l’outil d’exploration, c’est l’écart-type des moyennes d’échantillons : il mesure la dispersion des points.
Vous pouvez la calculer à partir d’un seul échantillon. Pour une moyenne :
Lisez ainsi : « l’erreur-type est l’écart-type des valeurs, divisé par la racine carrée du nombre de valeurs ». L’écart-type indique à quel point les billets individuels varient. La racine carrée de n indique à quel point le calcul d’une moyenne réduit cette variation.
Avec l’écart-type de la population de 17,8 minutes :
| Billets dans l’échantillon (n) | √n | SE = 17,8 ÷ √n (minutes) |
|---|---|---|
| 5 | 2,24 | 7,9 |
| 30 | 5,48 | 3,2 |
| 50 | 7,07 | 2,5 |
| 200 | 14,14 | 1,3 |
De 50 à 200 billets, n est multiplié par 4, √n par 2, et l’erreur-type diminue de moitié : de 2,5 à 1,3 minutes. C’est la règle de la racine carrée. Elle explique pourquoi doubler les données de test aide moins qu’on ne le pense.
L’intervalle de confiance : une plage avec un taux de réussite connu
Section intitulée « L’intervalle de confiance : une plage avec un taux de réussite connu »Un intervalle de confiance est une plage autour d’une estimation. La méthode qui le calcule contient la vraie valeur pour une proportion connue des échantillons. Pour un intervalle de confiance à 95 %, cette proportion est de 95 sur 100.
Pour une moyenne ou une exactitude calculée sur quelques centaines de valeurs ou plus, la règle est courte :
Lisez ainsi : « l’estimation, plus ou moins environ deux erreurs-types ». Le nombre 1,96 vient de la distribution normale présentée dans Les distributions en pratique. Dans une distribution normale, 95 % des valeurs sont à moins de 1,96 écart-type du centre. Pour les petits échantillons, les logiciels utilisent un multiplicateur légèrement plus grand, par exemple 2,20 pour 12 valeurs.
Le 95 % décrit la méthode, pas un intervalle particulier. Vous l’avez vu dans l’outil d’exploration : la méthode réussit environ 95 fois sur 100. Votre intervalle contient la vraie valeur ou ne la contient pas, et vous ne pouvez pas savoir lequel des deux.
Exemple détaillé 1 : la moyenne de 12 délais de réponse
Section intitulée « Exemple détaillé 1 : la moyenne de 12 délais de réponse »Priya reprend les 12 délais de première réponse du module 1, en minutes : 12, 15, 18, 18, 20, 22, 24, 25, 27, 31, 38, 95. Grace veut connaître le délai de réponse moyen les lundis matin.
| Étape | Valeur |
|---|---|
| Nombre de billets, n | 12 |
| Moyenne | 345 ÷ 12 = 28,75 minutes |
| Écart-type de l’échantillon (le logiciel divise par n − 1) | 22,0 minutes |
| √n | √12 = 3,46 |
| SE = SD ÷ √n | 22,0 ÷ 3,46 = 6,4 minutes |
| Multiplicateur pour 12 valeurs | 2,20 |
| Demi-largeur = 2,20 × SE | 2,20 × 6,4 = 14,0 minutes |
| Intervalle à 95 % | 28,75 − 14,0 à 28,75 + 14,0 = 14,7 à 42,8 minutes |
Pourquoi n − 1 ici? Dans le module 1, vous décriviez seulement ces 12 billets. Vous avez donc divisé par n et obtenu 21,1 minutes. Ici, les 12 billets forment un échantillon, et Priya estime la dispersion de tous les billets du lundi. Les valeurs d’un échantillon sont un peu plus proches de leur propre moyenne que de la vraie moyenne. Diviser par n − 1 augmente légèrement l’écart-type pour corriger cela. Avec 12 valeurs, la différence est entre 21,1 et 22,0 minutes. Avec des centaines de valeurs, elle disparaît presque.
Priya dit à Grace : « Ces lundis matin, le délai de réponse moyen est d’environ 29 minutes. Mais 12 billets ne permettent pas de distinguer 15 minutes de 43 minutes. Le billet de la panne, à 95 minutes, augmente beaucoup l’écart-type. Recueillez les données de quelques semaines de lundis avant de changer le plan des effectifs. »
Exemple détaillé 2 : l’exactitude du modèle B
Section intitulée « Exemple détaillé 2 : l’exactitude du modèle B »Une exactitude est la moyenne de nombreux 1 (correct) et 0 (incorrect). Pour une proportion comme celle-ci, l’erreur-type a sa propre formule courte. Elle nécessite seulement l’exactitude p et le nombre de billets n :
Lisez ainsi : « la racine carrée de p multiplié par un moins p, divisé par n ».
| Étape | Valeur |
|---|---|
| Billets correctement classés ÷ tous les billets | 276 ÷ 300 = 0,92 |
| p × (1 − p) | 0,92 × 0,08 = 0,0736 |
| ÷ n | 0,0736 ÷ 300 = 0,000245 |
| SE = √ de ce résultat | 0,0157, soit 1,57 point de pourcentage |
| Demi-largeur = 1,96 × SE | 1,96 × 1,57 = 3,07 points |
| Intervalle à 95 % | 92,0 − 3,1 à 92,0 + 3,1 = 88,9 % à 95,1 % |
Priya écrit dans le rapport : « Modèle B : exactitude de 92,0 % sur 300 billets de test aléatoires (intervalle de confiance à 95 % : 88,9 % à 95,1 %). » Forme courte : 92 % ± 3,1 points.
Notez l’unité. L’exactitude est un pourcentage, et le ± est en points de pourcentage : 92 % ± 3,1 points signifie 88,9 % à 95,1 %. Cela ne signifie pas « 3,1 % de 92 % ».
Le bootstrap : rééchantillonner les données de test
Section intitulée « Le bootstrap : rééchantillonner les données de test »Les formules fonctionnent pour les moyennes et les proportions. Beaucoup de mesures en IA n’ont pas de formule simple. Par exemple, le délai de réponse médian ou une mesure qui combine précision et rappel. Le bootstrap (bootstrap, rééchantillonnage avec remise) fonctionne pour toutes ces mesures, sans formule.
L’idée : vous avez un seul jeu de données de test, alors utilisez-le comme modèle de la population. Construisez un nouveau jeu de données de test de 300 billets. Choisissez des billets parmi les 300, au hasard, avec remise. Un billet peut apparaître deux fois, trois fois, ou pas du tout. Calculez l’exactitude. Répétez cela mille fois. Les 95 % centraux de ces exactitudes forment l’intervalle bootstrap.
Explorer
Bootstrap : rééchantillonner les 300 billets de test du modèle B
Prédisez d’abord : Le modèle B classe correctement 276 des 300 billets de test (92,0 %). Après de nombreux rééchantillonnages, quelle sera environ la largeur des 95 % centraux des exactitudes?
- Rééchantillons
- 200
- Dernière exactitude
- 92,0 %
- 95 % du milieu des rééchantillons
- 89,0 % à 95,0 %
- Intervalle par formule (pour comparer)
- 88,9 % à 95,1 %
Les 95 % du milieu des 200 exactitudes rééchantillonnées vont de 89,0 % à 95,0 %. C’est l’intervalle bootstrap.
- Billet juste
- Billet faux
Description textuelle de l’explorateur
L’image du haut montre les 300 billets de test sous forme de carrés : 276 corrects (bleus) et 24 incorrects (orange). Après un rééchantillonnage, un carré vide indique un billet qui n’a pas été choisi. Un nombre dans un carré indique combien de fois le rééchantillonnage a choisi ce billet.
L’histogramme du bas montre l’exactitude de chaque jeu de données de test rééchantillonné, d’environ 87 % à 97 %. Les résultats se regroupent autour de 92,0 %, le résultat du vrai test. Après quelques centaines de rééchantillonnages, les 95 % centraux vont d’environ 89 % à 95 %. L’intervalle calculé par la formule de l’exemple détaillé 2, de 88,9 % à 95,1 %, est presque identique.
L’affichage indique le nombre de rééchantillonnages et la dernière exactitude. Il montre aussi les 95 % centraux de tous les rééchantillonnages jusqu’ici et l’intervalle de la formule, pour comparaison.
Le bootstrap et la formule concordent : environ 89 % à 95 %. Cette concordance est le point important. Le bootstrap y arrive par simulation, donc il fonctionne aussi quand vous n’avez pas de formule. En Python, les scientifiques des données utilisent souvent scipy.stats.bootstrap ou une courte boucle avec numpy.
Les barres d’erreur dans un classement
Section intitulée « Les barres d’erreur dans un classement »Lisez maintenant le classement du début de la leçon. Il montre quatre modèles fictifs sur un banc d’essai public de 500 questions. Chaque ligne présente l’exactitude et son intervalle à 95 %.
Description textuelle du graphique
Quatre lignes, chacune avec un point et une barre d’intervalle. Modèle P : 81,2 % (77,8 % à 84,6 %). Modèle Q : 80,4 % (76,9 % à 83,9 %). Modèle R : 78,6 % (75,0 % à 82,2 %). Modèle S : 74,0 % (70,2 % à 77,8 %). Les intervalles de P, Q et R se chevauchent presque entièrement. L’intervalle de S chevauche seulement un peu les autres.
Chaque intervalle s’étend sur environ ±3,5 points, parce que 500 questions forment un petit échantillon. Les données n’appuient pas l’ordre de P, Q et R : leurs intervalles se chevauchent presque entièrement. S est probablement moins bon que P, mais l’écart est moins certain que le classement le suggère. La leçon 3 montre la bonne façon de comparer directement deux modèles.
Exercice guidé : l’intervalle du modèle A
Section intitulée « Exercice guidé : l’intervalle du modèle A »Le modèle A classe correctement 273 des mêmes 300 billets.
- Dans
c03-notes.md, ajoutez un titre :### Interval for model A(intervalle du modèle A). - Calculez l’exactitude p = 273 ÷ 300.
- Calculez p × (1 − p).
- Divisez le résultat par 300.
- Prenez la racine carrée. C’est l’erreur-type.
- Multipliez l’erreur-type par 1,96. C’est la demi-largeur.
- Écrivez l’intervalle : de p moins la demi-largeur à p plus la demi-largeur.
- Écrivez une phrase pour un rapport, comme Priya.
Résultat attendu : erreur-type d’environ 1,65 point, demi-largeur d’environ 3,2 points, intervalle d’environ 87,8 % à 94,2 %.
Afficher un exemple de réponse
| Étape | Valeur |
|---|---|
| p | 273 ÷ 300 = 0,91 |
| p × (1 − p) | 0,91 × 0,09 = 0,0819 |
| ÷ 300 | 0,000273 |
| SE | √0,000273 = 0,0165 = 1,65 point |
| Demi-largeur | 1,96 × 1,65 = 3,24 points |
| Intervalle | 91,0 − 3,2 à 91,0 + 3,2 = 87,8 % à 94,2 % |
Phrase du rapport : « Modèle A : exactitude de 91,0 % sur 300 billets de test aléatoires (intervalle de confiance à 95 % : 87,8 % à 94,2 %). »
Comparez avec le modèle B, de 88,9 % à 95,1 %. Les deux intervalles se chevauchent presque entièrement. C’est une première raison d’éviter d’affirmer que « B est meilleur ». La leçon 3 fait la comparaison complète.
Variante autonome : des données de test plus nombreuses
Section intitulée « Variante autonome : des données de test plus nombreuses »Changez une condition : le nombre de billets. Mei peut construire un jeu de données de test aléatoire de 1 200 billets. Cela équivaut à une semaine, mais les billets sont échantillonnés sur 12 mois. Supposons que le modèle B les classe encore correctement dans 92,0 % des cas.
Dans c03-notes.md :
- Calculez l’erreur-type et l’intervalle à 95 %.
- Comparez la largeur avec l’intervalle obtenu à partir de 300 billets. Utilisez la règle de la racine carrée pour expliquer la différence.
- Omar veut ±0,75 point. Estimez combien de billets il faut.
Afficher un exemple de réponse
- p × (1 − p) = 0,0736. ÷ 1 200 = 0,0000613. SE = √0,0000613 = 0,0078 = 0,78 point. Demi-largeur = 1,96 × 0,78 = 1,53 point. Intervalle : 90,5 % à 93,5 %.
- 1 200 est 4 fois 300. √4 = 2, donc l’erreur-type et la largeur de l’intervalle diminuent de moitié : ±1,5 point au lieu de ±3,1 points.
- ±0,75 point est encore la moitié de ±1,5 point. Il faut donc 4 fois plus de billets : environ 4 800 billets. Chaque réduction de moitié de l’intervalle exige quatre fois plus de données. Omar doit décider si ce travail d’étiquetage en vaut la peine.
Facultatif : vérifier avec Python
Section intitulée « Facultatif : vérifier avec Python »Vous n’avez pas besoin de code pour ce cours. Si vous voulez, cet encadré reprend l’exemple détaillé 2 et un bootstrap (rééchantillonnage avec remise) avec la bibliothèque standard de Python.
Exécutez du Python dans votre navigateur
À vous d'essayer : intervalle et bootstrap pour le modèle B
Exécutez le code. L’intervalle calculé par la formule va de 88,9 à 95,1. Le bootstrap donne presque le même intervalle. Changez ensuite correct (nombre de réponses correctes) pour 273 (modèle A) et exécutez le code à nouveau : vous obtenez l’intervalle de l’exercice guidé.
Tab ajoute quatre espaces. Appuyez sur Esc, puis sur Tab, pour quitter la zone. Ctrl+Enter exécute le code.
Erreur courante
Un intervalle interprété comme une promesse pour une semaine
Symptôme : le rapport du modèle indique « exactitude de 92 % ± 3,1 points (88,9 % à 95,1 %) ». Omar dit au directeur du service à la clientèle : « Chaque semaine, au moins 89 % des billets iront à la bonne équipe. » La première semaine de décembre, l’équipe de Grace vérifie un échantillon et obtient 87,6 %. Le directeur demande ce qui a mal fonctionné avec le modèle.
Cause : l’intervalle a été interprété comme une certitude sur un résultat précis. Ce n’est pas le cas. L’intervalle estime un seul nombre : l’exactitude à long terme sur des billets semblables aux 300 billets de test. Il ne donne aucune certitude pour une semaine précise. Une semaine de 1 200 billets a sa propre variation aléatoire. En décembre, la répartition des types de billets diffère aussi (45 % concernent la livraison). Ces billets ne ressemblent donc pas aux billets de test. Et une méthode à 95 % manque la cible 1 fois sur 20, sans avertissement. Elle ne dit rien non plus sur un seul billet : chaque billet est traité correctement ou non.
Correction : précisez ce que couvre l’intervalle. Par exemple : « Sur des billets semblables à nos données de test, nous estimons l’exactitude à 92 %. Les valeurs de 89 % à 95 % sont compatibles avec le résultat du test. » N’en faites pas une promesse pour une semaine ou un billet. Pour les résultats hebdomadaires, vérifiez un échantillon aléatoire de billets chaque semaine et suivez l’exactitude. Attendez-vous à ce qu’elle varie. Vérifiez séparément les mois où la répartition des types de billets diffère.
Vérifiez votre compréhension
Des données de test de 300 billets donnent un intervalle de ±3,1 points. Expliquez pourquoi 1 200 billets de test donnent environ ±1,5 points, et non ±0,8 points.
Afficher la réponse
L’erreur-type (SE) est l’écart-type (SD) divisé par la racine carrée de n. Avec quatre fois plus de billets, √n double. L’erreur-type et la largeur de l’intervalle sont donc réduites de moitié : ±1,5 points. L’intervalle serait quatre fois moins large (±0,8 points) seulement s’il diminuait proportionnellement à n. Ce n’est pas le cas. Les erreurs aléatoires s’annulent en partie quand vous calculez la moyenne, mais seulement en proportion de √n.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Dans l'explorateur, environ 5 intervalles sur 100 ne contiennent pas la vraie moyenne. En pratique, vous avez seulement un jeu de données de test et un intervalle. Pouvez-vous savoir si votre intervalle fait partie de ceux qui manquent la cible? Que vous indique alors le 95 %?
Afficher la réponse
Non. Un intervalle qui manque la cible ressemble à tous les autres; rien dans l’échantillon ne permet de le reconnaître. Le 95 % décrit la méthode : sur de nombreux échantillons, environ 95 intervalles sur 100 contiennent la vraie valeur. Vous pouvez donc faire confiance à la méthode la plupart du temps, sans certitude pour un intervalle donné. C’est pourquoi un seul résultat ne constitue jamais une preuve définitive. C’est aussi pourquoi un deuxième jeu de données de test indépendant est précieux.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Un jeu de données de test est un échantillon. Un autre échantillon donne un résultat différent, par hasard.
- L’erreur-type est la taille habituelle de cette erreur aléatoire. Pour une moyenne, SE = SD ÷ √n. Pour une exactitude p sur n billets, SE = √(p(1 − p)/n).
- Un intervalle de confiance à 95 % correspond environ à l’estimation ± 1,96 SE. La méthode donne un intervalle contenant la vraie valeur pour environ 95 échantillons sur 100. Ce n’est pas une promesse pour une semaine ou un billet.
- Quatre fois plus de données donnent un intervalle deux fois moins large.
- Le bootstrap rééchantillonne les données de test avec remise. Ses 95 % centraux donnent un intervalle pour n’importe quelle mesure, sans formule.
- Modèle B : 92,0 % (88,9 % à 95,1 %). Modèle A : 91,0 % (87,8 % à 94,2 %).
Ensuite, vous comparez directement A et B sur les mêmes 300 billets. Vous déterminez ce que la différence d’un point permet de conclure.
Leçon suivante : Comparer des options