Décrire un jeu de données

Ce que vous saurez faire

Décrivez un ensemble de nombres avec deux ou trois valeurs qui permettent à une équipe d’agir. Choisissez les valeurs qui répondent à la question de l’équipe. Une valeur inhabituelle peut rendre un résumé trompeur.

Carnet JupyterFacultatif : vérifier les nombres dans un carnetColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter est facultatif : une calculatrice suffit pour cette leçon. Il contient les nombres de la leçon, l’exemple détaillé et les tâches en Python. Des vérifications indiquent si votre réponse est correcte sans l’afficher. Il utilise seulement la bibliothèque standard de Python et ne nécessite donc aucune installation.

Ouvrir dans ColabOuvrir dans KaggleVoir sur GitHub

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 45 minutes

Ce que vous devez savoir

• Comment lire le signe de sommation Σ et calculer la moyenne de quatre valeurs (63 ÷ 4 = 15,75 minutes). Consultez Lire les mathématiques : le signe de sommation, lu à voix haute.
• Comment convertir un pourcentage en nombre, dans Lire les mathématiques : fractions, décimales et pourcentages. Cette leçon utilise des proportions comme « 82 % du total ».

Ce que vous devez préparer (rien de ceci n’est nécessaire pour le carnet)

• Une calculatrice. Celle d’un téléphone suffit.
• Votre fichier c03-notes.md. Vous l’avez créé dans l’encadré « Avant de commencer » de Lire les mathématiques. Si vous ne le trouvez pas, créez un fichier vide avec ce nom : cette leçon n’utilise pas les réponses précédentes.

Le carnet a été testé dans Jupyter avec Python 3.14.6 (bibliothèque standard seulement).

Où vous rencontrez ces notions en IA

Un résumé décrit de nombreux nombres à l’aide de quelques valeurs. Le travail en IA utilise partout les mêmes résumés :

• Décrire les données d’entraînement. Avant l’entraînement, un scientifique des données affiche un résumé de chaque colonne : nombre, moyenne, écart-type, minimum, percentiles, maximum. En Python, la bibliothèque pandas l’affiche avec une seule commande, describe(). Vous construisez le même tableau à la main dans cette leçon.
• La vitesse d’un service d’IA. Une équipe qui exploite un modèle promet une vitesse, par exemple « 95 % des réponses en moins de 300 ms ». Cette promesse utilise un percentile, p95, et non la moyenne.
• Surveiller un modèle. Quand la moyenne ou la dispersion des données d’entrée change, le modèle peut devenir moins performant. Par exemple, les billets de soutien deviennent soudainement plus longs. Les équipes surveillent ces résumés chaque jour.
• Préparer les caractéristiques. De nombreux modèles ont besoin de données d’entrée à des échelles similaires. Une méthode courante soustrait la moyenne et divise par l’écart-type. Le module 2 explique pourquoi.

Deux résumés du centre, avec trois nombres

Trois billets ont reçu une première réponse après 10, 20 et 30 minutes.

• La moyenne est la somme divisée par le nombre de valeurs : (10 + 20 + 30) ÷ 3 = 20 minutes. C’est ce qu’on appelle couramment la moyenne.
• La médiane est la valeur du milieu après avoir trié les valeurs : 20 minutes.

Ici, elles sont égales. Un quatrième billet arrive maintenant, et il attend 100 minutes :

• Moyenne : (10 + 20 + 30 + 100) ÷ 4 = 160 ÷ 4 = 40 minutes.
• Médiane : avec un nombre pair de valeurs, il y a deux valeurs centrales, 20 et 30. La médiane se trouve à mi-chemin entre elles : 25 minutes.

Une seule longue attente a augmenté la moyenne de 20 minutes et la médiane de seulement 5 minutes. La moyenne tient compte de la grandeur de chaque valeur. La médiane utilise seulement l’ordre. Une très grande valeur compte donc comme « la plus grande », sans plus. Une valeur éloignée des autres est une valeur aberrante.

Les 12 billets du lundi

Grace veut savoir combien de temps les clients attendent leur première réponse. Priya prend les 12 billets arrivés un lundi matin :

Billet	T-2041	T-2042	T-2043	T-2044	T-2045	T-2046	T-2047	T-2048	T-2049	T-2050	T-2051	T-2052
Minutes	12	15	18	18	20	22	24	25	27	31	38	95

Les valeurs sont déjà en ordre. Mei vérifie le journal : T-2052 est arrivé pendant une panne du système et a donc attendu 95 minutes.

Onze billets ont reçu une réponse en moins de 40 minutes. T-2052 a attendu 95 minutes et déplace la moyenne à droite de la médiane.

Description textuelle du graphique

Un point pour chacun des 12 billets, sur un axe de 0 à 100 minutes. Onze points se trouvent entre 12 et 38 minutes. Deux billets ont attendu 18 minutes, donc un point se trouve au-dessus de l’autre. Un point, étiqueté 95, se trouve loin à droite. Sous les points, deux petits traits indiquent la médiane à 23 minutes et la moyenne à 28,75 minutes.

La moyenne et la médiane

La moyenne, sous forme de formule : additionnez toutes les valeurs, puis divisez par leur nombre.

$$\bar{x} = \frac{1}{n}\sum_{i=1}^{n} x_i = \frac{345}{12} = 28.75 \text{ minutes}$$

Lisez-la à voix haute : « x barre égale un sur n multiplié par la somme des x indice i ». Le symbole x̄ (x barre) désigne habituellement une moyenne.

La médiane : avec 12 valeurs, le milieu se trouve entre la 6e et la 7e valeur, soit 22 et 24. La médiane est donc (22 + 24) ÷ 2 = 23 minutes. La moitié des billets ont attendu 23 minutes ou moins.

Seulement 3 des 12 billets ont attendu plus longtemps que la moyenne de 28,75 minutes. Ici, la moyenne ne représente pas une attente typique : T-2052 l’augmente. Utilisez l’outil d’exploration pour voir de combien.

Explorer

Déplacez un billet et observez la moyenne et la médiane

T-2052 (minutes)

95

Moyenne (minutes)

28,75

Médiane (minutes)

23

Écart-type (minutes)

21,10

Moyenne − médiane (minutes)

5,75

T-2052 est la plus grande valeur. Chaque minute de plus ajoute 1/12 = 0,083 à la moyenne, mais la médiane reste à 23 : les valeurs du milieu n’ont pas changé.

Chaque minute supplémentaire pour T-2052 ajoute 1/12 de minute à la moyenne. La médiane ne change pas tant que T-2052 reste la plus grande valeur.

Description textuelle de l’explorateur

Une droite numérique de 0 à 200 minutes représente les 12 délais de réponse par des points. T-2052 est orange et vous pouvez le déplacer de 0 à 200 minutes. Des lignes indiquent la moyenne et la médiane. Une bande grise représente la moyenne plus ou moins un écart-type. Au départ, T-2052 est à 95 minutes : la moyenne est de 28,75, la médiane de 23 et l’ÉT de 21,10 minutes. À 195 minutes, la moyenne est de 37,08 et l’ÉT de 48,10 minutes. La médiane reste à 23. À 0 minute, T-2052 devient la plus petite valeur. La moyenne est alors de 20,83, la médiane de 21 et l’ÉT de 9,25 minutes. Quand T-2052 se trouve parmi les valeurs ordinaires, par exemple à 25 minutes, la moyenne et la médiane avoisinent 23.

Ce que la moyenne cache : la moyenne de 28,75 minutes ne décrit aucun client réel. Onze clients ont attendu moins longtemps, et un a attendu beaucoup plus longtemps. Ce que la médiane cache : la médiane de 23 minutes ne change pas si T-2052 attend 95 minutes ou 9 heures. Si Grace demande « est-ce que quelqu’un a attendu beaucoup trop longtemps? », la médiane ne peut pas répondre.

Les percentiles : où se situe une valeur

La médiane est la valeur à laquelle la moitié des données sont inférieures ou égales. Un percentile étend cette idée. Le 90e percentile, noté p90, est la valeur à laquelle 90 % des données sont inférieures ou égales. La médiane est p50. Les quartiles divisent les données en quatre parties : Q1 est p25, la médiane est p50 et Q3 est p75. Le nom général pour toutes ces valeurs est quantiles.

Pour trouver un percentile dans une petite liste triée :

1. Calculez la position : 1 + (n − 1) × p, où p est le percentile sous forme décimale.
2. Si la position est un nombre entier, prenez la valeur à cette position.
3. Sinon, avancez entre les deux valeurs qui l’entourent selon la partie décimale de la position.

Pour les billets du lundi, n = 12 :

Résumé	Position	Valeurs voisines	Résultat
Q1 (p25)	1 + 11 × 0,25 = 3,75	3e = 18, 4e = 18	18 minutes
Médiane (p50)	1 + 11 × 0,5 = 6,5	6e = 22, 7e = 24	22 + 0,5 × 2 = 23 minutes
Q3 (p75)	1 + 11 × 0,75 = 9,25	9e = 27, 10e = 31	27 + 0,25 × 4 = 28 minutes
p90	1 + 11 × 0,9 = 10,9	10e = 31, 11e = 38	31 + 0,9 × 7 = 37,3 minutes

C’est la méthode que les tableurs (PERCENTILE.INC) et numpy utilisent par défaut. D’autres outils utilisent des méthodes légèrement différentes. Les petites listes peuvent donc donner des réponses légèrement différentes. Avec de grands jeux de données, les méthodes donnent les mêmes résultats.

L’écart interquartile (ÉIQ) est Q3 − Q1 = 28 − 18 = 10 minutes. La moitié centrale des billets a reçu une réponse dans un intervalle de 10 minutes. T-2052 ne le modifie pas.

Pourquoi les services d’IA indiquent p95 et p99. Un modèle peut répondre en moyenne en 0,3 seconde tout en faisant attendre 4 secondes à 1 client sur 100. La moyenne cache ces clients; p99 les révèle. Toutefois, avec seulement 12 valeurs, un percentile élevé dépend d’un ou deux billets. Ici, p95 se trouve entre 38 et 95 minutes. Les percentiles proches de 100 nécessitent de nombreuses valeurs.

La dispersion : étendue, variance et écart-type

Deux équipes peuvent avoir la même médiane et des temps d’attente très différents. Un résumé de la dispersion indique à quel point les valeurs sont éloignées les unes des autres.

L’étendue est la plus grande valeur moins la plus petite : 95 − 12 = 83 minutes. Elle utilise seulement deux valeurs, donc une seule valeur aberrante la détermine. Sans T-2052, l’étendue est de 38 − 12 = 26 minutes.

La variance utilise chaque valeur. C’est la moyenne des distances à la moyenne élevées au carré. Priya la calcule dans un tableau : la distance à la moyenne pour chaque billet, puis le carré de cette distance.

Billet	Minutes, xᵢ	Distance, xᵢ − 28,75	Distance au carré
T-2041	12	−16,75	280,56
T-2042	15	−13,75	189,06
T-2043	18	−10,75	115,56
T-2044	18	−10,75	115,56
T-2045	20	−8,75	76,56
T-2046	22	−6,75	45,56
T-2047	24	−4,75	22,56
T-2048	25	−3,75	14,06
T-2049	27	−1,75	3,06
T-2050	31	2,25	5,06
T-2051	38	9,25	85,56
T-2052	95	66,25	4 389,06
Somme	345	0	5 342,25

La somme des distances est zéro, comme vous l’avez vu dans la dernière leçon. C’est pourquoi la variance les élève d’abord au carré. Un carré n’est jamais négatif, donc les distances des deux côtés ne peuvent pas s’annuler.

$$\text{variance} = \frac{1}{n}\sum_{i=1}^{n} (x_i - \bar{x})^2 = \frac{5342.25}{12} = 445.19 \text{ minutes}^2$$

Lisez-la comme « la moyenne des distances à la moyenne élevées au carré ». L’unité pose problème : les « minutes carrées » ne signifient rien pour Grace. Prenez donc la racine carrée, qui ramène le résultat en minutes. C’est l’écart-type (ÉT) :

$$\text{SD} = \sqrt{445.19} = 21.10 \text{ minutes}$$

En termes simples, l’ÉT est une distance typique entre une valeur et la moyenne.

Un billet représente 82 % du total des distances au carré. La mise au carré donne beaucoup plus de poids aux grandes distances qu'aux petites.

Description textuelle du graphique

Douze colonnes, une par billet, portent comme étiquette leur délai de réponse en minutes. Chaque colonne représente la distance au carré de ce billet en pourcentage du total, soit 5 342,25. Les onze colonnes de 12 à 38 minutes représentent entre 0,1 % et 5,3 % et sont difficiles à voir. La colonne de 95 minutes représente 82,2 %.

Le graphique montre ce que l’ÉT cache. La mise au carré donne beaucoup plus de poids à une grande distance qu’à une petite. T-2052 est à 66 minutes de la moyenne, et son carré est 4 389. Sans T-2052, l’ÉT des 11 autres billets est de seulement 7,10 minutes. Un ÉT de 21 minutes ne signifie pas que les temps d’attente des clients diffèrent habituellement de 21 minutes. Il signifie qu’une attente était très différente.

n ou n − 1? De nombreux outils divisent par n − 1 plutôt que par n quand les données forment un échantillon d’un groupe plus grand. Le module 5 explique pourquoi. Pour ces 12 billets, cela donne un ÉT de 22,04 plutôt que de 21,10 minutes. statistics.pstdev de Python et std de numpy divisent par n. statistics.stdev de Python et pandas divisent par n − 1. Notez dans vos notes lequel vous avez utilisé.

Exemple détaillé : le résumé de Priya pour Grace

Grace demande : « Combien de temps les clients attendent-ils une première réponse, et est-ce pareil pour tout le monde? » Priya écrit le résumé complet, dans le même ordre que le tableau describe() de pandas :

Résumé	Valeur	Ce qu’il indique
Nombre	12 billets	Combien de données avons-nous? Peu : une matinée.
Moyenne	28,75 minutes	Temps d’attente total divisé par le nombre de billets
ÉT	21,10 minutes	Distance des valeurs à la moyenne. T-2052 en explique la majeure partie
Minimum	12 minutes	Réponse la plus rapide
Q1 (p25)	18 minutes	Un quart des billets ont reçu une réponse dans ce délai ou moins
Médiane (p50)	23 minutes	Une attente typique
Q3 (p75)	28 minutes	Trois quarts ont reçu une réponse dans ce délai ou moins
Maximum	95 minutes	Réponse la plus lente : T-2052, pendant la panne

Elle écrit ensuite deux phrases pour Grace :

« Un client typique a attendu environ 23 minutes pour une première réponse, et la moitié ont attendu entre 18 et 28 minutes. Un client a attendu 95 minutes à cause de la panne du lundi. Ce seul billet augmente la moyenne à 28,75 minutes et donne l’impression que l’ÉT est élevé. »

Les phrases utilisent la médiane pour « typique » et les quartiles pour « pareil pour tout le monde? ». Elles nomment aussi la valeur aberrante et sa cause. Elles ne la suppriment pas.

Exercice guidé : résumer sans la panne

Grace demande : « À quoi ressemblent nos réponses une matinée normale, sans la panne? » Utilisez les 11 billets T-2041 à T-2051.

1. Dans c03-notes.md, ajoutez le titre ## Describe a dataset (décrire un jeu de données).
2. Écrivez les 11 valeurs en ordre : 12, 15, 18, 18, 20, 22, 24, 25, 27, 31, 38.
3. Calculez la somme et la moyenne.
4. Trouvez la médiane. Avec 11 valeurs, c’est la 6e valeur.
5. Calculez Q1 et Q3 avec la règle de position : 1 + 10 × 0,25, et 1 + 10 × 0,75.
6. Calculez l’étendue et l’ÉIQ.
7. Facultatif : calculez l’ÉT. Utilisez 22,73 comme moyenne et faites un tableau des distances comme celui de Priya.
8. Écrivez une phrase pour Grace qui compare une matinée normale au lundi.

Vérification : votre moyenne est inférieure à 28,75 minutes, et votre médiane est proche de 23 minutes.

Afficher l’exemple de réponse

3. Somme = 250 minutes. Moyenne = 250 ÷ 11 = 22,73 minutes.
4. Médiane = 6e valeur = 22 minutes.
5. Q1 : position 3,5, entre 18 et 18, donc 18 minutes. Q3 : position 8,5, entre 25 et 27, donc 26 minutes.
6. Étendue = 38 − 12 = 26 minutes. ÉIQ = 26 − 18 = 8 minutes.
7. La somme des distances au carré est d’environ 554,2. La variance est 554,2 ÷ 11 = 50,38, donc l’ÉT est d’environ 7,10 minutes.
8. « Une matinée normale, un client typique attend environ 22 minutes, et personne n’attend plus de 38 minutes. L’attente typique du lundi était presque la même (23 minutes). La panne a ajouté une seule très longue attente, et non des réponses plus lentes pour tout le monde. »

Comparez les changements quand vous retirez T-2052. La moyenne a diminué de 6 minutes et la médiane de 1 minute. L’étendue est passée de 83 à 26 minutes, et l’ÉT de 21,10 à 7,10 minutes. La médiane et l’ÉIQ n’ont presque pas changé.

Exécutez du Python dans votre navigateur

Facultatif : vérifier le résumé

Cet encadré est facultatif. Il affiche les résumés des 12 billets du lundi. Retirez 95 de la liste et exécutez-le à nouveau pour vérifier votre exercice guidé. Sans method="inclusive", Python utilise une autre méthode et donne des quartiles légèrement différents.

Code Python (vous pouvez le modifier)import statistics minutes = [12, 15, 18, 18, 20, 22, 24, 25, 27, 31, 38, 95] print("mean ", statistics.mean(minutes)) print("median", statistics.median(minutes)) print("SD (divide by n) ", round(statistics.pstdev(minutes), 2)) print("SD (divide by n - 1)", round(statistics.stdev(minutes), 2)) # Quartiles with the same method as the lesson (and numpy) print("Q1, median, Q3", statistics.quantiles(minutes, n=4, method="inclusive"))

Variation à faire seul : mardi

Mardi matin, huit billets ont ces délais de première réponse, en minutes : 10, 12, 15, 15, 18, 20, 24, 60.

Dans vos notes, calculez la moyenne, la médiane, l’étendue et l’écart interquartile. Choisissez ensuite la valeur à donner à Grace comme « attente typique le mardi ». Choisissez aussi une deuxième valeur pour qu’elle remarque le billet ayant attendu 60 minutes.

Afficher l’exemple de réponse

• Moyenne : 174 ÷ 8 = 21,75 minutes. Médiane : entre 15 et 18, donc 16,5 minutes.
• Étendue : 60 − 10 = 50 minutes. Q1 : position 2,75, donc 12 + 0,75 × 3 = 14,25. Q3 : position 6,25, donc 20 + 0,25 × 4 = 21. Écart interquartile = 6,75 minutes.
• Attente typique : la médiane, 16,5 minutes. Six des huit billets ont attendu moins que la moyenne, car le billet de 60 minutes fait monter la moyenne.
• Deuxième valeur : le maximum, 60 minutes (ou « un billet a attendu 60 minutes »). Le nombre de billets dépassant une limite convient aussi, par exemple « 1 billet sur 8 a attendu plus de 40 minutes ».

Erreur courante

Rapporter seulement la latence moyenne d'un modèle

Symptôme : Tomás rapporte que le nouveau modèle de classification des billets répond en 0,3 seconde en moyenne. L’outil de soutien attend jusqu’à 3 secondes pour obtenir une suggestion. Après la mise en production, les agents disent que les suggestions manquent souvent. Le tableau de bord affiche toujours une moyenne de 0,3 seconde.

Cause : la plupart des réponses prennent 0,2 seconde. Mais environ 1 sur 50 prend 5 secondes ou plus, quand le modèle reçoit un billet très long. La moyenne inclut ces réponses lentes, mais leur effet se perd dans le calcul. L’outil abandonne après 3 secondes, donc ces billets ne reçoivent aucune suggestion.

Solution : pour toute mesure de vitesse ou de temps d’attente, rapportez des centiles avec la moyenne : p50, p95 et p99. Rapportez aussi la proportion de réponses dépassant la limite importante (ici, 3 secondes). Demandez le nombre : « Combien de requêtes étaient trop lentes, sur combien de requêtes au total? »

Vérifiez votre compréhension

T-2052 a attendu 95 minutes. Prédisez la moyenne et la médiane s'il avait attendu 195 minutes. Expliquez pourquoi l'une change et l'autre non.

Afficher la réponse

La somme augmente de 100 minutes, passant de 345 à 445. La moyenne devient donc 445 ÷ 12 = 37,08 minutes (une hausse de 100 ÷ 12 = 8,33 minutes). La médiane reste à 23 minutes : T-2052 est toujours la plus grande valeur. Les 6e et 7e valeurs (22 et 24) n’ont pas changé. La moyenne utilise la grandeur de chaque valeur; la médiane utilise seulement l’ordre.

Vérifiez votre compréhension

Une équipe qui exploite un service d'IA promet des réponses en moins de 1 seconde. Pourquoi mesure-t-elle p99 plutôt que la moyenne?

Afficher la réponse

La promesse concerne la réponse à chaque client, pas le total. La moyenne peut être bien inférieure à 1 seconde alors que certaines réponses prennent beaucoup plus de temps. De nombreuses réponses rapides cachent quelques réponses lentes. p99 indique que 99 réponses sur 100 prennent ce temps ou moins. Si p99 est inférieur à 1 seconde, au plus 1 réponse sur 100 ne respecte pas la promesse. L’équipe a aussi besoin d’assez de requêtes : avec quelques centaines, p99 dépend des quelques requêtes les plus lentes.

Vérifiez votre compréhension

L'écart-type des 12 billets du lundi est de 21,10 minutes, et de 7,10 minutes sans T-2052. Que révèle cela sur l'écart-type comme résumé?

Afficher la réponse

L’écart-type est très sensible aux valeurs aberrantes, car il élève au carré chaque distance par rapport à la moyenne. T-2052 représente à lui seul 82 % de la somme des distances au carré. Un grand écart-type peut donc signifier « toutes les valeurs sont dispersées » ou « une valeur est très éloignée ». Vous devez examiner les données ou un graphique pour savoir lequel des deux cas s’applique. L’écart interquartile (10 minutes avec T-2052, 8 sans) est moins sensible.

Récapitulatif

• La moyenne utilise la grandeur de chaque valeur, donc une seule valeur aberrante peut la déplacer beaucoup. La médiane utilise seulement l’ordre.
• Les centiles indiquent la position d’une valeur : 90 % des données sont inférieures ou égales à p90. Q1, la médiane et Q3 divisent les données en quarts. Les services d’IA rapportent p95 et p99 pour la vitesse.
• L’étendue utilise seulement les deux valeurs extrêmes. L’écart interquartile mesure la dispersion de la moitié centrale.
• La variance est la moyenne des distances au carré par rapport à la moyenne. L’écart-type est sa racine carrée, dans l’unité d’origine. La mise au carré donne beaucoup de poids aux valeurs aberrantes.
• Un bon résumé indique la valeur typique, la dispersion et toute valeur aberrante avec sa cause.

Ensuite, vous verrez la forme d’un jeu de données complet dans un histogramme et un diagramme en boîte. Vous verrez aussi comment un graphique peut induire en erreur.

Leçon suivante : Lire les distributions