Travail final

Ce que vous saurez faire

Appliquez chaque module du cours à un nouveau problème de prédiction. Présentez votre raisonnement pour qu’une autre personne puisse le vérifier. Le résultat est un cahier de raisonnement illustré : des nombres, des diagrammes et des conclusions en langage clair qui correspondent aux données.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 150 minutes

• Vous avez terminé les modules 1 à 6. Chaque partie ci-dessous indique les leçons utilisées.
• Créez un fichier ou un document nommé c03-workbook. Un fichier Markdown, un document de traitement de texte ou du papier conviennent. Les diagrammes dessinés à la main conviennent aussi : prenez une photo claire de chacun et ajoutez-la au cahier.
• Ayez une calculatrice à portée de main. Toutes les données nécessaires sont sur cette page. Vous n’avez pas besoin de code. Vous pouvez vérifier vos calculs avec Python, mais vous devez montrer les valeurs dans le cahier.

Le problème : les livraisons en retard chez Larkfield

De nombreux billets de soutien chez Larkfield disent « Où est ma commande? ». L’équipe de livraison a une idée. Si un modèle prédit quelles commandes arriveront en retard, un agent peut contacter ces clients avant qu’ils écrivent. Omar, le gestionnaire de produit, vous demande un court cahier. Il veut savoir ce que disent les données et comment le modèle apprend. Il veut aussi savoir si un nouvel itinéraire est vraiment meilleur et quel seuil l’équipe devrait utiliser.

Larkfield promet une livraison en 5 jours. Une commande est en retard quand la livraison prend plus de 5 jours.

Toutes les données ci-dessous sont fictives.

Partie 1 : décrire les délais de livraison

Utilise Lire les mathématiques, Décrire un jeu de données et Lire les distributions.

Délai de livraison en jours pour 15 commandes d’une semaine :

Commande	O-1	O-2	O-3	O-4	O-5	O-6	O-7	O-8	O-9	O-10	O-11	O-12	O-13	O-14	O-15
Jours	2	2	3	3	3	3	4	4	4	5	5	6	7	9	14

1. Calculez la moyenne, la médiane, l’étendue et l’écart-type. Écrivez l’unité avec chaque valeur.
2. Calculez la proportion de commandes en retard, sous forme de fraction et de pourcentage.
3. Dessinez un diagramme à points ou un histogramme des 15 valeurs. Indiquez la moyenne et la médiane.
4. Écrivez deux ou trois phrases : quel résumé Omar devrait-il citer pour une livraison « normale », et que cache ce résumé?

Partie 2 : trouver des commandes passées similaires

Utilise Représenter les observations, Les opérations sur les vecteurs et Similarité et distance.

Un agent veut voir des commandes passées similaires à une nouvelle commande, N. Chaque commande est un vecteur de deux caractéristiques : la distance en kilomètres et le poids du colis en kilogrammes.

Commande	Distance (km)	Poids (kg)	Arrivée
N (nouvelle)	420	2,0	?
P1	400	18,0	à temps
P2	150	2,5	à temps
P3	450	2,2	en retard

1. Écrivez les dimensions des données des trois commandes passées sous la forme (lignes × colonnes). Expliquez ce que représentent une ligne et une colonne.
2. Calculez la distance euclidienne entre N et P1, P2 et P3 avec les valeurs brutes. Quelle commande passée est la plus proche?
3. Mettez les deux caractéristiques à l’échelle : divisez chaque distance par 500 km et chaque poids par 20 kg. Recalculez les trois distances. Quelle commande passée est maintenant la plus proche?
4. Dessinez les quatre commandes en deux dimensions, avec les valeurs brutes ou mises à l’échelle, au choix. Expliquez la différence en deux phrases.
5. Dites à quel résultat vous faites confiance pour une « livraison similaire », et pourquoi.

Partie 3 : ce que signifie un signalement « en retard »

Utilise Événements et incertitude, La probabilité conditionnelle et Les distributions en pratique.

Sur une longue période, 6 commandes sur 100 arrivent en retard. Le modèle signale 80 commandes en retard sur 100. Il signale aussi 10 commandes sur 100 qui arrivent à temps.

1. Utilisez 1 000 commandes. Dessinez un arbre de fréquences : en retard ou à temps, puis signalées ou non signalées. Écrivez un nombre sur chaque branche.
2. Construisez le tableau 2 × 2 des nombres à partir de l’arbre.
3. Calculez la proportion de commandes signalées qui arrivent vraiment en retard.
4. Écrivez une phrase qui explique à un agent ce que signifie un signalement. N’utilisez pas les mots « 80 % d’exactitude ».
5. L’équipe traite 50 commandes par heure. Avec un taux de retard de 6 %, combien de commandes en retard attendez-vous en une heure? Est-il surprenant d’en voir 6 en une heure? Expliquez avec l’idée de la loi binomiale, en mots.

Partie 4 : suivre un modèle pendant son apprentissage

Utilise Fonctions et variation, Perte et gradients et Le comportement de l’optimisation.

Un premier modèle très simple prédit les jours supplémentaires d’une commande à partir de sa distance : $\text{extra days} = w \times \text{distance}$. La distance est en centaines de kilomètres. Voici trois commandes passées :

Distance (centaines de km) x	1	2	3
Jours supplémentaires y	1	3	4

Avec ces trois commandes, l’erreur quadratique moyenne et son gradient sont :

$$L(w) = \frac{26 - 38w + 14w^2}{3} \qquad \frac{dL}{dw} = \frac{28w - 38}{3}$$

1. Expliquez en mots quelle est l’unité de w.
2. Calculez la perte à w = 0, w = 1 et w = 2. Dessinez la courbe de perte passant par ces points.
3. Partez de w = 0 avec un taux d’apprentissage de 0,1. Suivez trois mises à jour dans un tableau : w, la perte, le gradient et le nouveau w.
4. Repartez de w = 0 avec un taux d’apprentissage de 0,25. Suivez trois mises à jour.
5. Indiquez les deux séries d’étapes sur votre courbe de perte. Expliquez en deux ou trois phrases pourquoi un taux fonctionne et l’autre non.

Partie 5 : le nouvel itinéraire est-il meilleur?

Utilise Échantillons et populations, Estimer l’incertitude et Comparer des options.

L’équipe de livraison a essayé un nouveau plan d’itinéraires. Pendant une semaine, avec l’ancien plan, 28 commandes sur 400 étaient en retard. La semaine suivante, avec le nouveau plan, 22 commandes sur 400 étaient en retard. Tomás écrit : « Le nouveau plan réduit les livraisons en retard de plus de 20 %. »

1. Calculez les deux taux de retard et la différence en points de pourcentage. Vérifiez ensuite le « plus de 20 % » de Tomás : 20 % de quoi?
2. Calculez un intervalle de confiance approximatif à 95 % pour la différence. Utilisez cette erreur-type : $\sqrt{\frac{p_1(1-p_1)}{400} + \frac{p_2(1-p_2)}{400}}$.
3. Dessinez un graphique d’intervalles : les deux taux de retard avec leurs intervalles, ou la différence avec son intervalle et une ligne à zéro.
4. Il s’agissait de deux semaines différentes. Nommez deux autres raisons qui pourraient expliquer moins de commandes en retard la deuxième semaine.
5. Écrivez votre conclusion pour Omar en trois parties : l’effet observé, l’incertitude et ce que les données disent ou non sur la cause. Proposez un meilleur test.

Partie 6 : recommander un seuil

Utilise Les compromis en classification, Seuils et coûts et Calibration et sous-groupes.

Dans des données de test de 1 000 commandes, 60 étaient en retard. Le modèle attribue à chaque commande un score de 0 à 1. À trois seuils :

Seuil	Commandes signalées	Commandes en retard parmi celles signalées
0,2	300	57
0,4	142	48
0,6	60	33

Coûts : un agent contacte le client de chaque commande signalée, ce qui coûte 1 point de coût. Une commande en retard sans prise de contact coûte 12 points de coût. Cela représente un client en colère et un billet « Où est ma commande? ».

1. Pour chaque seuil, construisez la matrice de confusion et calculez la précision, le rappel et le taux de faux positifs.
2. Calculez le coût total à chaque seuil. Dessinez un graphique du coût selon le seuil.
3. Recommandez un seuil et expliquez le compromis en mots simples.
4. Changez une condition : une commande en retard sans prise de contact coûte maintenant 25 points de coût. Recalculez. Votre recommandation change-t-elle?
5. Vérification des sous-groupes au seuil de 0,4 : commandes urbaines, 35 en retard, 31 signalées; commandes rurales, 25 en retard, 17 signalées. Calculez le rappel pour chaque sous-groupe et expliquez ce que cela signifie pour votre recommandation.
6. Énumérez au moins trois éléments de preuve nécessaires avant que l’équipe utilise le modèle avec de vrais clients.

Partie 7 : une page pour Omar

Écrivez un résumé au début du cahier, d’une page au maximum :

• Trois constats, chacun avec son nombre et son unité.
• Une incertitude qu’Omar doit connaître.
• Votre recommandation de seuil et sa condition (« si le coût d’une commande en retard est d’environ… »).
• Une affirmation que les données ne permettent pas de soutenir.

Modèle de document

# Workbook: late deliveries at Larkfield

## Summary for Omar (one page)

## 1. Delivery times
Mean, median, range, SD (with units):
Late share:
Diagram:
Which summary, and what it hides:

## 2. Similar past orders
Shape:
Raw distances:            Scaled distances:
Diagram:
Which result I trust, and why:

## 3. What a flag means
Frequency tree:
2 × 2 table:
Share of flags that are late:
Sentence for agents:
Late orders in one hour:

## 4. The model learns
Unit of w:
Loss at 0, 1, 2:
Trace at rate 0.1:        Trace at rate 0.25:
Diagram:
Why one rate works:

## 5. The new route
Rates and difference:
Interval:
Diagram:
Other reasons:
Conclusion (effect, uncertainty, cause) and a better test:

## 6. Threshold
Confusion matrices and metrics:
Costs and chart:
Recommendation:
With cost 25:
Slices:
Evidence needed before use:

Vérifiez votre travail

Ce cours n’a pas encore de personne responsable de la révision. Révisez votre cahier avec ce tableau, ou demandez à un collègue de l’utiliser. Marquez chaque élément comme démontré, partiellement démontré ou pas encore démontré, avec une raison. Le cours est terminé quand chaque élément est démontré. Vous pouvez corriger un élément et le réviser autant de fois que nécessaire.

Preuve requise	Démontré quand
Unités et calculs corrects	Chaque nombre a son unité (jours, km, kg, points de pourcentage, points de coût). Les calculs des six parties sont corrects. Chaque valeur intermédiaire est visible, pour qu’un lecteur puisse trouver une erreur. Les pourcentages et les points de pourcentage ne sont pas confondus.
Diagrammes clairs	Chaque partie a son diagramme : diagramme à points ou histogramme avec moyenne et médiane, dessin de vecteurs, arbre de fréquences, courbe de perte avec étapes, graphique d’intervalles, graphique des coûts. Chaque diagramme a des axes ou des branches identifiés, des unités et une légende d’une ligne indiquant quoi observer.
Incertitude expliquée honnêtement	Le cahier explique ce que les semaines de 400 commandes peuvent montrer ou non. Il donne l’intervalle et ne qualifie pas le nouvel itinéraire de « meilleur » sans cet intervalle. La proportion de commandes signalées en retard n’est pas confondue avec le rappel du modèle. Les petits échantillons, comme les sous-groupes, sont présentés comme petits.
Conclusions statistiques conformes aux données	Chaque conclusion découle des nombres du cahier. Le résumé pour Omar ne contient aucune affirmation sans appui dans les données. En particulier, il n’attribue aucune cause à partir de la comparaison des deux semaines. La recommandation de seuil précise sa condition de coût et les preuves encore nécessaires.

Des nombres corrects avec une conclusion erronée ne suffisent pas. Par exemple, le cahier calcule correctement l’intervalle, mais affirme encore que « le nouvel itinéraire réduit les livraisons en retard ». Le dernier élément est alors pas encore démontré.

Afficher les nombres clés pour vérifier vos calculs

Ouvrez ceci seulement après avoir terminé vos propres calculs.

• Partie 1 : moyenne ≈ 4,93 jours, médiane 4 jours, étendue 12 jours (2 à 14), écart-type ≈ 3,04 jours (population) ou ≈ 3,15 jours (échantillon). En retard : 4 sur 15 ≈ 26,7 %.
• Partie 2 : distances brutes : P1 ≈ 25,6, P2 = 270,0, P3 ≈ 30,0 (P1 est la plus proche). Après mise à l’échelle : P1 ≈ 0,80, P2 ≈ 0,54, P3 ≈ 0,06 (P3 est la plus proche).
• Partie 3 : 60 en retard (48 signalées, 12 non signalées), 940 à temps (94 signalées, 846 non signalées). Parmi les 142 commandes signalées, 48 sont en retard ≈ 34 %. Nombre attendu de commandes en retard en une heure : 50 × 0,06 = 3.
• Partie 4 : L(0) ≈ 8,67, L(1) ≈ 0,67, L(2) = 2,0. Taux de 0,1 : w = 0 → 1,267 → 1,351 → 1,357. Taux de 0,25 : w = 0 → 3,167 → −1,056 → 4,574 (diverge). Le meilleur w est 19/14 ≈ 1,357.
• Partie 5 : 7,0 % et 5,5 %, différence de 1,5 point (21 % de 7,0 %). Erreur-type ≈ 1,71 point; intervalle à 95 % ≈ −1,9 à +4,9 points.
• Partie 6 : coûts de 336, 286 et 384 points de coût aux seuils de 0,2, 0,4 et 0,6. Avec 25 points : 375, 442 et 735. Rappel par sous-groupe à 0,4 : urbain ≈ 89 %, rural 68 %.

Assistants d'IA

Vous pouvez demander à un assistant d’IA de vérifier un calcul ou d’expliquer une étape à nouveau. Les nombres, les diagrammes et les conclusions doivent être les vôtres. Vérifiez chaque nombre fourni par un assistant avec votre calculatrice. Les assistants font des erreurs de calcul et peuvent sembler certains quand ils se trompent. Voilà la leçon de ce cours en une phrase.

Erreur courante

Tous les nombres sont corrects, mais la conclusion est trop forte

Symptôme : le cahier contient des moyennes, des distances, des intervalles et des coûts corrects. Le résumé pour Omar dit : « Le nouvel itinéraire réduit les livraisons en retard de 21 %. Le modèle détecte 80 % des commandes en retard, donc les agents peuvent se fier aux signalements. »

Cause : le résumé a été rédigé de mémoire à partir des affirmations, et non des nombres du cahier. L’intervalle inclut zéro, et les semaines étaient différentes. De plus, 80 % est le rappel : seulement environ un signalement sur trois correspond à une commande en retard.

Correction : écrivez le résumé en dernier. Pour chaque phrase, indiquez la partie et le nombre qui l’appuient. Si aucun nombre ne l’appuie, retirez la phrase ou dites quelles preuves sont nécessaires.

Récapitulatif

Dans ce cours, vous avez appris à lire les nombres utilisés en IA et à prendre des décisions avec eux :

• Résumés : la moyenne, la médiane, la dispersion et un graphique, et ce que chacun cache.
• Vecteurs : les observations comme listes de nombres, le produit scalaire comme score et la similarité qui dépend de la mise à l’échelle.
• Probabilité : les nombres d’abord, le taux de base toujours, et la différence entre « signalement sachant un retard » et « retard sachant un signalement ».
• Apprentissage : une perte à réduire, un gradient qui pointe vers le haut et un taux d’apprentissage qui détermine si l’entraînement fonctionne.
• Preuves : les échantillons, les intervalles et les tailles d’effet, et ce qu’une comparaison peut dire ou non sur la cause.
• Décisions : un seuil choisi selon les coûts, et des vérifications de calibration et de sous-groupes avant de se fier à un score.

Gardez votre cahier. Les prochains cours utilisent ces idées chaque jour : SQL et préparation des données pour l’IA prépare les données, et Apprentissage automatique : du problème à un modèle fiable entraîne et évalue des modèles d’apprentissage automatique.