Échantillons et populations

Ce que vous saurez faire

Découvrez ce qu’un résultat de test révèle sur les billets qu’un modèle verra plus tard. Un résultat obtenu avec les mauvais billets peut sembler excellent, mais échouer dans le travail quotidien.

Carnet JupyterFacultatif : vérifier les nombres dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter est facultatif : cette leçon ne demande ni code ni calculatrice. Il contient les 6 000 temps de réponse de l’explorateur de cette page. Vous tirez des échantillons aléatoires et des échantillons de billets évalués seulement. Vous constatez que plus de billets n’éliminent pas le biais. Vous séparez aussi les billets par client, avec des vérifications. Le carnet utilise seulement la bibliothèque standard de Python, sans installation supplémentaire.

Ouvrir dans ColabOuvrir dans KaggleVoir sur GitHub

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 40 minutes

Ce que vous devez savoir

• La moyenne, présentée dans Décrire un jeu de données : la moyenne et la médiane, et l’écart-type, présenté dans Décrire un jeu de données : la dispersion.
• Comment lire un histogramme, présenté dans Lire les distributions : un jeu de données, trois vues.
• Ce que sont des événements indépendants, présenté dans Événements et incertitude : l’indépendance. Cette leçon examine si les billets sont indépendants.

Ce que vous devez préparer (le carnet n’en a pas besoin)

• Votre fichier c03-notes.md. Vous l’avez créé dans l’encadré « Avant de commencer » de Lire les mathématiques. Ajoutez un titre : ## Sampling and statistical evidence (échantillonnage et preuves statistiques). Si vous ne trouvez pas le fichier, créez un fichier vide portant ce nom : ce module n’utilise pas vos réponses précédentes.
• Vous n’avez pas besoin de calculatrice pour cette leçon.

Le carnet a été testé dans Jupyter avec Python 3.14.6 (bibliothèque standard seulement).

Larkfield jusqu’ici, et la question de ce module

Larkfield est une boutique en ligne de produits pour la maison et le jardin. Les messages des clients deviennent des billets de soutien, environ 1 200 par semaine. Larkfield développe une IA qui suggère une équipe et une priorité pour chaque nouveau billet.

Tomás, l’ingénieur en IA, a entraîné un nouveau modèle de classification des billets, le modèle B. Il l’a testé sur 300 billets dont l’équipe correcte est déjà connue :

Modèle	Réponses correctes	Sur	Exactitude
A (utilisé actuellement)	273	300	91,0 %
B (nouveau)	276	300	92,0 %

« B est meilleur, utilisons-le », dit Tomás. Avant qu’Omar, le gestionnaire de produit, décide, Priya, la scientifique des données, pose trois questions. Ce module y répond, une par leçon :

1. Quels sont ces 300 billets? Ressemblent-ils aux billets que le modèle verra? (Cette leçon.)
2. À quel point le hasard peut-il changer le résultat? Un autre groupe de 300 billets donne une exactitude différente. (Leçon 2.)
3. La différence est-elle réelle, et est-elle importante? Un point de pourcentage représente seulement 3 billets. (Leçon 3.)

Où vous rencontrez cela en IA

• Des données de test. Une équipe annonce « 95 % d’exactitude ». Ce nombre décrit seulement les billets de test. Si ces billets sont plus faciles que les vrais billets, l’exactitude réelle est plus faible.
• Un banc d’essai public. Un modèle obtient un bon résultat sur un ensemble de questions. Certaines questions étaient aussi sur Internet avant l’entraînement. Le modèle a donc peut-être vu les réponses.
• Les commentaires des utilisateurs. Un assistant conversationnel affiche « 87 % des utilisateurs ont aimé la réponse ». Ce nombre compte seulement les utilisateurs qui ont cliqué sur un bouton. Les utilisateurs mécontents partent souvent sans cliquer.
• Les données d’entraînement. Un modèle apprend avec les données faciles à recueillir, par exemple des messages dans une seule langue. Il fonctionne ensuite moins bien pour les clients absents de ces données.

Population et échantillon

Une population est le groupe entier que vous voulez connaître. Pour le modèle de classification de Larkfield, la population comprend tous les billets qu’il triera dans les prochains mois.

Vous ne pouvez pas tester des billets qui n’existent pas encore. Vous prenez donc un échantillon : un groupe plus petit que vous pouvez mesurer. Les 300 billets de test forment un échantillon.

L’exactitude sur l’échantillon (92,0 % pour B) est une estimation. La valeur recherchée est l’exactitude sur la population, la vraie valeur. Personne ne la connaît exactement. Un bon échantillon donne une estimation proche de la vraie valeur. Un mauvais échantillon peut donner une estimation éloignée, et ajouter des billets n’aide pas.

Un échantillon est représentatif s’il contient les mêmes types de billets que la population, dans des proportions semblables. La façon la plus simple d’en obtenir un est de prendre un échantillon aléatoire. Chaque billet de la population a la même chance d’être choisi. Ainsi, aucune personne ni aucun processus ne décide quels billets sont inclus.

Observez : des échantillons aléatoires et un échantillon biaisé

L’explorateur ci-dessous utilise une population entièrement visible : 6 000 anciens billets (environ cinq semaines), avec le délai avant la première réponse. La page génère ces données fictives. Comme vous avez les 6 000 billets, vous connaissez la vraie moyenne : 26,8 minutes.

Chaque échantillon contient 30 billets. L’explorateur montre la moyenne de chaque échantillon. Passez ensuite à Only rated tickets (billets évalués seulement). Après chaque réponse, le client peut l’évaluer. Les clients évaluent plus souvent une réponse quand elle arrive rapidement.

Explorer

Moyennes des échantillons de billets aléatoires et de billets évalués

Échantillons tirés

20

Moyenne du dernier échantillon

22,2 min

Moyenne de toutes les moyennes

27,4 min

Vraie moyenne (les 6 000)

26,8 min

Écart type des moyennes

3,8 min

Les moyennes des échantillons se dispersent autour de 27,4 minutes. La vraie moyenne des 6 000 billets est 26,8.

• Les 6 000 billets
• Billets évalués par les clients
• Dernier échantillon (une marque par billet)

Chaque ligne représente un échantillon de 30 billets; le point indique sa moyenne. La ligne verticale indique la vraie moyenne des 6 000 billets. Données fictives, identiques à chaque visite.

Description textuelle de l’explorateur

Le graphique du haut est un histogramme des délais de première réponse de 6 000 billets fictifs. La plupart des réponses arrivent après 10 à 40 minutes, et quelques-unes prennent plus de 100 minutes. La vraie moyenne est de 26,8 minutes. Les billets évalués (2 155, représentés par des barres plus étroites) ont davantage de délais courts; leur moyenne est de 20,9 minutes.

Le graphique du bas montre une ligne par échantillon de 30 billets, avec un point à la moyenne de l’échantillon. Quand tous les billets sont admissibles, les moyennes se dispersent autour de 26,8 minutes, surtout entre environ 20 et 33. Avec seulement les billets évalués, les moyennes se dispersent autour de 20,9 minutes. Tirer plus d’échantillons ne les rapproche pas de 26,8, car chaque échantillon vient du même groupe biaisé.

L’affichage indique le nombre d’échantillons et la moyenne du dernier échantillon. Il montre aussi la moyenne de toutes les moyennes d’échantillons, la vraie moyenne et l’écart-type des moyennes d’échantillons.

Deux choses se produisent dans l’explorateur :

• Les échantillons aléatoires se dispersent autour de la vraie valeur. Aucun échantillon n’est exact. Certains donnent une valeur trop élevée, d’autres trop faible, mais en moyenne, ils donnent la bonne valeur. La leçon 2 mesure cette dispersion.
• Les échantillons de billets évalués seulement se dispersent autour de la mauvaise valeur. Leur moyenne est d’environ 21 minutes. Un rapport basé sur eux affirme « les clients attendent 21 minutes », alors que la vraie moyenne est de 27. Cette erreur touche chaque échantillon. Plus d’échantillons ou des échantillons plus grands ne peuvent donc pas l’éliminer.

Le biais d’échantillonnage est une différence entre l’échantillon et la population causée par la façon de choisir l’échantillon. Il déplace l’estimation dans une direction, chaque fois. Le biais de sélection désigne la même idée pour toute donnée sélectionnée par un processus. Par exemple, les billets que les clients ont choisi d’évaluer.

Trois ensembles de données de test biaisés

Mei, l’ingénieure de données, connaît l’origine des données de Larkfield. Elle présente des ensembles de données de test faciles à construire, mais qui donnent une image trompeuse :

Données de test	Qui manque	Effet sur l’exactitude
Tous les billets d’une semaine en décembre	Les billets des autres mois. En décembre, 45 % des billets concernent la livraison; sur l’année, c’est 28 %.	Elle décrit décembre. Les équipes rares en décembre sont à peine testées.
Seulement les billets en anglais	Environ 1 billet sur 10 est dans une autre langue.	Généralement trop élevée : les billets difficiles manquent.
Seulement les billets que les clients ont évalués	Les clients qui n’ont pas répondu. Ce sont souvent les clients mécontents.	Généralement trop élevée : les billets évalués sont souvent simples.

Pour montrer l’effet, Mei reconstruit volontairement les données de test de chaque mauvaise façon, à partir des mêmes 12 mois. Priya teste le modèle B sur chaque ensemble :

• Échantillon aléatoire (le test équitable)
• Construit de la mauvaise façon

Le même modèle B, testé sur cinq ensembles de 300 billets construits de façons différentes. Résultats fictifs à titre d'illustration.

Description textuelle du graphique

Un graphique à points avec cinq lignes. Le modèle B atteint 92,0 % d’exactitude sur un échantillon aléatoire de l’année entière. Sur les billets d’une semaine en décembre, il atteint 89,3 %. Sur les billets en anglais seulement, 93,7 %. Sur les billets évalués seulement, 95,0 %. Sur des données de test contenant des copies de billets d’entraînement, 97,3 %. Quatre des cinq nombres décrivent mal le même modèle; seul l’échantillon aléatoire décrit l’année entière.

Le modèle est le même dans chaque ligne. Seul le choix des billets a changé, et le résultat est passé de 89,3 % à 97,3 %. Cet écart est huit fois plus grand que la différence entre le modèle A et le modèle B.

Des billets qui ne sont pas indépendants

Un échantillon aléatoire suppose aussi que les billets sont indépendants : un billet ne révèle rien sur le suivant. Les vrais billets sont souvent liés :

• Des mesures répétées. Un client écrit cinq fois au sujet de la même commande. Cela fait cinq billets, mais un seul problème.
• Un événement, plusieurs billets. Une interruption des livraisons crée 60 billets dans une journée. Tous disent « où est ma commande? ». Si le modèle en trie un correctement, il trie les 60 correctement.

Les billets liés apportent moins d’information que leur nombre le suggère. Parmi 300 billets, si 60 sont des copies d’un même problème, cela représente plutôt 241 problèmes distincts. Ce sont 240 autres problèmes, plus le problème répété. Leur résultat est moins certain que ce que « 300 billets » laisse croire.

La fuite de données est la version de ce problème en IA. Elle survient quand de l’information des données de test se trouve aussi dans les données d’entraînement. Exemple : un client envoie le même message deux fois. Une copie va dans les données d’entraînement et l’autre dans les données de test. Le modèle a vu la réponse, donc le résultat du test est trop élevé. Regardez la dernière ligne du graphique ci-dessus : 97,3 %.

Exemple détaillé : Mei et Priya vérifient les 300 billets de test

Avant toute comparaison des modèles A et B, Priya vérifie comment Mei a constitué les 300 billets de test. Elle pose quatre questions, et Mei répond à partir de ses dossiers.

Question	Réponse de Mei	Est-ce un problème?
1. Quelle est la population?	Les prochains billets que le modèle triera : toutes les équipes, toutes les langues, tous les mois.	—
2. Comment les billets ont-ils été choisis?	Au hasard, parmi tous les billets des 12 derniers mois, avec une graine aléatoire fixe.	Non
3. Qui manque?	Les billets sans équipe définitive (environ 2 %), car il n’y a pas de réponse correcte à comparer.	Petit problème; le noter
4. Certains billets sont-ils liés?	Mei a séparé les données par client. Tous les billets d’un client sont dans l’entraînement ou le test, jamais les deux. Elle a aussi retiré les copies exactes.	Non

Priya résume le résultat : « Les 300 billets forment un échantillon aléatoire des 12 derniers mois, séparé par client. L’exactitude décrit des billets semblables, sauf ceux qui n’ont jamais reçu d’équipe définitive. »

Cela répond à la question 1 du module pour les données de test de Larkfield. Les leçons 2 et 3 utilisent les mêmes 300 billets.

Exercice guidé : vérifier des données de test

Avant l’arrivée de Mei, Tomás a constitué un premier ensemble de données de test. Vérifiez-le avec les quatre questions.

Données de test v1 : 500 billets du 2 au 8 décembre. Seulement des billets évalués par un client. Parmi eux, 120 viennent de l’interruption des livraisons du 4 décembre. Tomás a séparé l’entraînement et le test billet par billet. Certains clients ont donc des billets dans les deux ensembles. Le modèle A y a atteint 96 % d’exactitude.

1. Dans c03-notes.md, ajoutez un titre : ### Check test set v1 (vérifier les données de test v1).
2. Écrivez la population que le test devrait décrire.
3. Trouvez chaque problème dans la description. Écrivez une ligne pour chacun.
4. Pour chaque problème, indiquez la direction probable de l’erreur : trop élevée, trop faible ou inconnue.
5. Écrivez une correction pour chaque problème.

Résultat attendu : au moins quatre problèmes. Au moins deux d’entre eux rendent le résultat de 96 % trop élevé.

Afficher un exemple de réponse

Population : les prochains billets que le modèle triera, pour tous les mois, toutes les équipes et toutes les langues.

Problème	Direction	Correction
Une semaine en décembre	Inconnue : la répartition des billets est différente (beaucoup de billets de livraison)	Prendre un échantillon aléatoire sur 12 mois
Seulement les billets évalués	Trop élevée : les billets évalués sont souvent simples	Prendre des billets avec et sans évaluation
120 billets d’une seule interruption	Inconnue, mais le résultat est moins certain que ce que « 500 billets » laisse croire	Garder seulement quelques billets par événement, ou compter l’événement une seule fois
Séparation billet par billet	Trop élevée : fuite de données provenant des mêmes clients	Séparer par client

Le résultat de 96 % ne se compare pas équitablement aux 92 % du modèle B sur les données de test de Mei. Les deux nombres décrivent des billets différents.

Variation autonome : commentaires des utilisateurs

Changez une condition : les données sont maintenant des commentaires, et non des données de test.

La page d’aide de Larkfield propose un assistant conversationnel. Sous chaque réponse, un bouton affiche « Was this helpful? Yes / No » (Est-ce utile? Oui / Non). Le rapport hebdomadaire indique : « 87 % des utilisateurs ont trouvé les réponses utiles. » Seulement 4 utilisateurs sur 100 cliquent sur un bouton.

Dans c03-notes.md, écrivez :

1. La population et l’échantillon.
2. Le biais probable et sa direction.
3. Une meilleure façon de mesurer l’utilité des réponses.

Afficher un exemple de réponse

1. Population : tous les utilisateurs qui reçoivent une réponse de l’assistant. Échantillon : les 4 % qui cliquent sur un bouton.
2. Biais de sélection. Les utilisateurs décident eux-mêmes de répondre ou non. Ceux qui n’ont pas reçu d’aide ferment souvent la page sans cliquer. Le résultat de 87 % est donc probablement trop élevé. La direction pourrait aussi être inverse : les utilisateurs mécontents cliquent plus souvent sur « No » (Non). Le rapport ne permet pas de le savoir. Voilà le problème : le résultat dépend des personnes qui ont choisi de répondre.
3. Prenez un échantillon aléatoire de conversations chaque semaine, par exemple 100. L’équipe de Grace les lit et indique si chaque réponse est utile ou non. Mesurez aussi ce que les utilisateurs font ensuite : ont-ils quand même ouvert un billet de soutien sur la même question?

Erreur courante

Le résultat du test était de 97 %, celui de la première semaine d'utilisation réelle, de 88 %

Symptôme : un nouveau classificateur obtient 97 % sur ses données de test. Pendant la première semaine d’utilisation réelle, l’équipe de soutien vérifie un échantillon de billets et trouve 88 % de réponses correctes. Personne n’a changé le modèle.

Cause : une fuite de données. Les données ont été divisées billet par billet. Beaucoup de clients écrivent plusieurs fois au sujet du même problème, avec presque les mêmes mots. Un message s’est retrouvé dans les données d’entraînement et un autre dans les données de test. Le modèle a reconnu les billets de test au lieu de les résoudre. Les données de test ne contenaient pas non plus de billets de nouveaux clients. Pourtant, ces clients représentent la majorité des billets en utilisation réelle.

Correction : divisez les données par client pour garder tous les billets d’un client du même côté. Retirez les copies et les quasi-copies présentes des deux côtés. Lorsque c’est possible, utilisez une division selon le temps : entraînez le modèle sur les anciens billets. Testez-le sur les semaines les plus récentes. Cela correspond à la situation d’un modèle en utilisation réelle, qui trie toujours des billets futurs.

Vérifiez votre compréhension

Mei pourrait tester le modèle B sur 3 000 billets évalués plutôt que sur 300 billets choisis au hasard. Est-ce mieux? Expliquez pourquoi.

Afficher la réponse

Non. Plus de billets rendent le résultat moins dépendant du hasard, mais ils n’éliminent pas le biais d’échantillonnage. Les billets évalués sont souvent plus simples, donc le résultat serait trop élevé dans chaque échantillon. Vous l’avez vu dans l’explorateur : les moyennes des échantillons de billets évalués se regroupent autour de 21 minutes, pas 27. Cela reste vrai, peu importe le nombre d’échantillons tirés. Un échantillon de 300 billets choisis au hasard décrit mieux l’ensemble des billets que 3 000 billets évalués.

Vérifiez votre compréhension

Les données de test contiennent 300 billets, dont 90 concernent une seule panne de paiement et sont presque identiques. Prédisez deux effets sur le résultat du test.

Afficher la réponse

Premièrement, le résultat dépend beaucoup d’un seul problème. Si le modèle traite bien les billets liés à la panne, l’exactitude est élevée; sinon, elle est faible. Les 210 autres billets ont moins de poids qu’ils ne devraient. Deuxièmement, le résultat est moins certain que « 300 billets » le laisse croire. Les 90 billets donnent environ autant d’information qu’un seul billet. Le test décrit davantage les semaines de panne que les semaines normales.

Récapitulatif

• Une population est le groupe que vous voulez connaître. Un échantillon est la partie que vous mesurez. Le résultat d’un test est une estimation pour la population.
• Un échantillon aléatoire est la façon la plus simple d’obtenir un échantillon représentatif.
• Le biais d’échantillonnage déplace chaque estimation dans la même direction. Plus de données ne le corrigent pas; une meilleure méthode de sélection des données le corrige.
• Les billets liés entre eux (même client, même panne) apportent moins d’information que leur nombre le laisse croire. Une fuite de données introduit de l’information du test dans l’entraînement et rend les résultats trop élevés.
• Avant de comparer deux résultats, vérifiez qu’ils proviennent des mêmes données de test, choisies sans biais.

Ensuite, vous mesurerez à quel point le hasard peut encore faire varier le résultat d’un échantillon sans biais.

Leçon suivante : Estimer l'incertitude