Calibration et sous-groupes

Ce que vous saurez faire

Avant que Larkfield adopte un seuil unique pour tous les billets de soutien, vérifiez deux choses. Le score signifie-t-il ce qu’il semble signifier? Le modèle fonctionne-t-il pour chaque groupe de clients?

Carnet JupyterFacultatif : vérifier les nombres dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter est facultatif : une calculatrice suffit pour cette leçon. Il contient les scores des 1 000 billets de test. Construisez le tableau de calibration avec ces scores et calculez le rappel et la précision pour chaque sous-groupe. Refaites aussi les exercices et la pratique du module en Python, avec des vérifications. Le carnet utilise seulement la bibliothèque standard de Python, donc aucune installation n’est nécessaire.

Ouvrir dans ColabOuvrir dans KaggleVoir sur GitHub

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 50 minutes

Ce que vous devez savoir

• La précision et le rappel, présentés dans Les compromis en classification : maintenant, les noms.
• Le coût total (2 × signalés + 30 × manqués) et comment lire le seuil le moins coûteux sur une courbe de coût, dans Seuils et coûts : la courbe de coût.
• La règle « examiner un billet quand sa probabilité d’être urgent dépasse 2 ÷ 30 », dans Seuils et coûts : les coûts. La partie 1 vérifie si les scores donnent cette probabilité.
• Une proportion calculée à partir de quelques cas est incertaine, comme expliqué dans Estimer l’incertitude : l’erreur type.

Ce que vous devez préparer (le carnet ne nécessite rien de tout cela)

• Une calculatrice. Celle d’un téléphone suffit.
• Votre fichier c03-notes.md. Vous l’avez créé dans l’encadré « Avant de commencer » de Lire les mathématiques. Si vous ne le trouvez pas, créez un fichier vide portant ce nom : cette leçon n’utilise pas vos réponses précédentes.
• L’explorateur de Seuils et coûts : explorer, ouvert dans un deuxième onglet. L’étape 5 de la pratique du module l’utilise. Vous n’avez pas besoin de vos réglages précédents : réglez de nouveau les coûts dans l’explorateur.
• Environ 15 minutes à la fin pour la pratique et la vérification du module.

Le carnet a été testé dans Jupyter avec Python 3.14.6 (bibliothèque standard seulement).

Où vous rencontrez cela en IA

Il est facile de lire un score comme une probabilité : « 0,8 signifie une probabilité de 80 % ». C’est parfois vrai, et parfois très loin de la réalité. Un nombre unique pour tous les utilisateurs peut aussi cacher un groupe que le modèle sert mal.

• Une application météo annonce « 70 % de probabilité de pluie ». S’il pleut environ 7 fois sur 10 ces jours-là, vous pouvez utiliser ce nombre pour planifier.
• Un assistant conversationnel se dit « très confiant » dans une réponse. Sa confiance et son exactitude réelle diffèrent souvent, alors les équipes mesurent les deux.
• Un score de risque dans un hôpital est transmis à un médecin sous forme de pourcentage. Si ce pourcentage est trop élevé, des patients reçoivent un traitement dont ils n’ont pas besoin.
• La reconnaissance vocale peut bien fonctionner en moyenne, mais faire beaucoup plus d’erreurs avec certains accents. Des études publiées ont trouvé de tels écarts dans des systèmes réels.

Partie 1 : pouvez-vous lire le score comme une probabilité?

Un petit exemple

Une application météo a annoncé « 70 % de probabilité de pluie » pendant 10 jours différents. Il a plu pendant 7 de ces jours. Pour ces jours-là, la prévision était juste comme probabilité : 70 % prédit, 7 sur 10 observé.

Un modèle est calibré quand ses scores correspondent à la fréquence réelle des événements. Parmi tous les billets dont le score approche 0,3, environ 30 % devraient être urgents. Parmi tous les billets dont le score approche 0,8, environ 80 % devraient être urgents.

• Si la proportion réelle est inférieure au score, le modèle est trop confiant : il dit « probable » trop souvent.
• Si la proportion réelle est supérieure au score, le modèle est trop peu confiant : il est trop prudent.

Vérifier les scores de Larkfield

Priya répartit les 1 000 billets de test en dix groupes selon leur score : de 0,0 à 0,1, de 0,1 à 0,2, et ainsi de suite. Un groupe de valeurs comme celui-ci est une classe. Pour chaque classe, elle compte les billets et les billets urgents. Puis elle fait la division.

Classe de scores	Billets	Urgents	Proportion de billets urgents (observée)	Score moyen dans la classe
0,0 à 0,1	106	0	0,0 %	0,06
0,1 à 0,2	198	0	0,0 %	0,15
0,2 à 0,3	254	1	0,4 %	0,25
0,3 à 0,4	214	6	2,8 %	0,34
0,4 à 0,5	116	8	6,9 %	0,44
0,5 à 0,6	57	22	38,6 %	0,54
0,6 à 0,7	23	16	69,6 %	0,65
0,7 à 0,8	18	13	72,2 %	0,74
0,8 à 0,9	11	11	100,0 %	0,85
0,9 à 1,0	3	3	100,0 %	0,95
Tous	1 000	80	8,0 %

Chaque classe inclut sa limite inférieure : un score d’exactement 0,40 appartient donc à la classe « 0,4 à 0,5 ». Pour un modèle calibré, les deux dernières colonnes seraient à peu près égales. Ici, elles ne le sont pas. Un diagramme de calibration montre cette différence sous forme d’image.

• Modèle de Larkfield : un point par classe de scores, point plus gros = plus de billets
• Calibration parfaite (pointillés) : score = proportion observée

Diagramme de calibration du modèle de billets urgents sur les 1 000 billets de test. Sous la ligne pointillée, le modèle est trop confiant. Au-dessus, il est trop peu confiant.

Description textuelle du graphique

Un graphique carré. L’axe horizontal représente le score moyen de chaque classe, de 0 à 1. L’axe vertical représente la proportion de billets réellement urgents dans cette classe, de 0 % à 100 %. Une diagonale pointillée montre la calibration parfaite, où la proportion égale le score. La zone sous la diagonale est ombrée et porte la mention « trop confiant ». La zone au-dessus porte la mention « trop peu confiant ». Les dix points du modèle, reliés par une ligne, commencent sur l’axe horizontal : 0 % de billets urgents aux scores moyens de 0,06 et 0,15. Jusqu’au milieu, ils restent bien sous la diagonale : 0,4 % à 0,25, 2,8 % à 0,34, 6,9 % à 0,44. Puis la ligne monte rapidement, près de la diagonale : 38,6 % à 0,54, 69,6 % à 0,65, 72,2 % à 0,74. Les deux derniers points, à 0,85 et 0,95, sont à 100 %, au-dessus de la diagonale. Ces deux classes ne contiennent que 11 et 3 billets, donc leurs points sont les plus petits. Le plus gros point représente la classe de 0,2 à 0,3, avec 254 billets.

Lisez le diagramme de gauche à droite :

1. De 0,2 à 0,5, le modèle est trop confiant. Les billets dont le score approche 0,44 sont urgents seulement 7 fois sur 100, et non 44 fois. Si un agent lit le score comme « 44 % de probabilité d’être urgent », il attend six fois trop de billets urgents.
2. De 0,6 à 0,8, le modèle est presque calibré. Un score proche de 0,65 signifie environ 70 % de billets urgents.
3. Au-dessus de 0,8, le modèle semble trop peu confiant, mais ces classes ne contiennent que 11 et 3 billets. Le module 5 vous a appris qu’une proportion calculée sur 3 billets est très incertaine. N’en tirez pas de conclusion.

Quand la calibration compte, et quand elle ne compte pas

La calibration et le classement sont deux choses différentes. Le modèle classe bien les billets : un score plus élevé signifie presque toujours une proportion plus élevée de billets urgents. La courbe de coût de la dernière leçon utilisait seulement les comptes au-dessus et au-dessous de chaque seuil. Cela fonctionne même si les scores ne sont pas calibrés. Le seuil que vous avez trouvé reste donc valide.

La calibration compte quand des personnes ou des programmes utilisent le score comme une probabilité :

• Le tableau de bord de Grace affiche « 44 % » à côté d’un billet. Un agent le traite avant un billet affichant « 30 % ». Les probabilités réelles sont d’environ 7 % et 3 %. Les deux sont faibles, mais l’agent ne le sait pas.
• La règle de la dernière leçon dit : signalez un billet si sa probabilité d’être urgent dépasse 2 ÷ 30, soit environ 7 %. Pour utiliser cette règle, il vous faut des probabilités réelles. Le tableau les donne : la classe de 0,4 à 0,5 contient 6,9 % de billets urgents, presque exactement à la limite. Voilà pourquoi le seuil le moins coûteux, 0,42, se trouve dans cette classe.
• Un nouveau modèle avec des scores différents ne peut pas réutiliser l’ancien seuil. Son score de 0,42 peut signifier autre chose.

Les équipes peuvent recalibrer un modèle. Elles apprennent une correspondance entre le score et la proportion observée sur des données mises de côté. Elles affichent ensuite la valeur correspondante. Dans scikit-learn, CalibratedClassifierCV fait ce travail. Quelle que soit la méthode, vérifiez le résultat avec un nouveau diagramme de calibration.

Partie 2 : une moyenne cache un groupe mal servi

Au seuil de 0,44, le modèle détecte 70 des 80 billets urgents : un rappel de 87,5 %. Cela semble bon. Mei, l’ingénieure de données, pose une autre question : « Est-ce 87,5 % pour chaque client? »

La plupart des clients de Larkfield écrivent en anglais, mais environ 15 % des billets sont dans d’autres langues. Mei divise les données de test selon la langue. Une partie des données choisie selon une propriété, comme la langue ou l’équipe, est un sous-groupe.

Sous-groupe	Billets	Urgents	Urgents et signalés	Rappel
Anglais	850	64	62	62 ÷ 64 = 96,9 %
Autres langues	150	16	8	8 ÷ 16 = 50,0 %
Tous les billets	1 000	80	70	70 ÷ 80 = 87,5 %

Rappel des billets urgents au seuil de 0,44, pour tous les billets et pour chaque sous-groupe linguistique. Le rappel global cache un sous-groupe où la moitié des billets urgents sont manqués.

Description textuelle du graphique

Un graphique à colonnes du rappel au seuil de 0,44. Tous les billets : 87,5 %. Anglais : 96,9 % (62 des 64 billets urgents). Autres langues : 50,0 % (8 des 16 billets urgents). La colonne globale est proche de celle de l’anglais, car les billets en anglais représentent 85 % des données de test.

Le rappel global, 87,5 %, combine les deux sous-groupes. Les billets en anglais forment la majorité des données de test et influencent donc le plus le nombre global. Un client qui écrit dans une autre langue n’a que 50 % de probabilité que son billet urgent atteigne un agent principal.

L’écart est-il réel ou dû au hasard? Le sous-groupe ne compte que 16 billets urgents, donc son rappel est incertain. Un billet de plus ou de moins le change d’environ 6 points. Mais l’écart entre 50 % et 97 % est bien trop grand pour provenir seulement de quelques billets. Mei trouve la cause probable : seulement 1 billet d’entraînement sur 20 était dans une autre langue. Le modèle a donc mal appris à traiter ces billets.

Pourquoi une moyenne ne suffit pas : des groupes utilisent un modèle, pas un client moyen. Un modèle peut améliorer son rappel global tout en devenant moins bon pour un petit groupe. Avant la mise en production, Larkfield doit présenter le rappel de chaque sous-groupe important et convenir d’un minimum pour chacun.

Exercice guidé : les sous-groupes par équipe

Grace veut faire la même vérification pour ses cinq équipes. Voici les billets urgents par équipe au seuil de 0,44.

Équipe	Billets urgents	Urgents et signalés
Payment	30	29
Delivery	22	20
Returns	12	10
Warranty	8	6
Account	8	5

1. Dans c03-notes.md, ajoutez un titre : ### Slices (sous-groupes).
2. Vérifiez que le total des billets urgents est de 80 et celui des billets signalés, de 70.
3. Calculez le rappel pour chaque équipe.
4. Indiquez l’équipe dont le rappel est le plus faible.
5. Calculez de combien un billet détecté de plus changerait le rappel de cette équipe.
6. Écrivez une phrase pour Grace : ce que vous observez et votre degré de certitude.

Résultats attendus : Payment 96,7 %, Delivery 90,9 %, Returns 83,3 %, Warranty 75,0 %, Account 62,5 %. Un billet change le rappel d’Account de 12,5 points.

Afficher un exemple de réponse

• Totaux : 30 + 22 + 12 + 8 + 8 = 80. 29 + 20 + 10 + 6 + 5 = 70.
• Rappel : Payment 29 ÷ 30 = 96,7 %. Delivery 20 ÷ 22 = 90,9 %. Returns 10 ÷ 12 = 83,3 %. Warranty 6 ÷ 8 = 75,0 %. Account 5 ÷ 8 = 62,5 %.
• Le plus faible : Account. Avec un billet détecté de plus, le rappel serait de 6 ÷ 8 = 75,0 %. Un billet le change donc de 12,5 points.

Pour Grace : « Le modèle manque 3 des 8 billets urgents d’Account, plus que pour toute autre équipe. Mais 8 billets ne suffisent pas pour en être certain. Il nous faut plus de billets urgents d’Account dans les données de test avant de conclure que le modèle sert mal votre équipe Account. »

La différence avec le sous-groupe linguistique est la taille de l’écart par rapport à l’échantillon. L’écart d’Account pourrait provenir d’un ou deux billets. Ce n’est pas le cas de l’écart entre les langues.

Variante autonome : la précision par langue

Le rappel n’est pas le seul nombre qui peut différer entre les sous-groupes. Au seuil de 0,44, le modèle signale 170 billets. 145 sont en anglais, et 62 d’entre eux sont urgents. 25 sont dans d’autres langues, et 8 d’entre eux sont urgents.

Calculez la précision pour chaque sous-groupe et pour tous les billets. Dites ensuite ce qu’un agent principal voit lorsqu’il ouvre un billet signalé dans une autre langue.

Afficher un exemple de réponse

• Anglais : 62 ÷ 145 = 42,8 %.
• Autres langues : 8 ÷ 25 = 32,0 %.
• Tous les billets : 70 ÷ 170 = 41,2 %.

Pour les billets dans d’autres langues, le modèle signale moins de billets urgents (faible rappel) et se trompe plus souvent (précision inférieure). Un agent principal qui ouvre un billet signalé dans une autre langue trouve une fausse alerte environ 2 fois sur 3. Le modèle est moins bon pour ce sous-groupe sur les deux plans. Cela indique un problème de données d’entraînement, et non de seuil.

Erreur courante

Une moyenne cache un groupe mal servi

Symptôme : le rappel du modèle sur les données de test est de 87,5 %, et le rapport de mise en production montre seulement ce nombre. Après la mise en production, les clients qui écrivent dans d’autres langues se plaignent d’attendre des jours pour des problèmes urgents. Le rappel global sur les nouveaux billets semble toujours bon.

Cause : les données de test et le rapport utilisaient un seul nombre pour tous les billets. Les billets dans d’autres langues représentent 15 % des données. Leur rappel de 50 % n’a donc changé que légèrement le nombre global.

Correction : avant la mise en production, listez les sous-groupes importants : langue, équipe, nouveau client ou client existant. Présentez le rappel et la précision de chacun, avec le nombre de billets urgents. Convenez d’un rappel minimal par sous-groupe avec Grace et Omar. Si un sous-groupe est trop petit pour être mesuré, recueillez davantage de billets étiquetés pour celui-ci. Ne cachez pas un sous-groupe mal servi sous une bonne moyenne. Ne laissez pas non plus un seul nombre favorable dû au hasard décider de la mise en production.

Vérifiez votre compréhension

Pour les billets dont le score va de 0,4 à 0,5, le score moyen du modèle est de 0,44. Parmi eux, 6,9 % sont urgents. Le modèle est-il trop confiant ou trop peu confiant ici? Que signifie cela pour un agent qui voit le score?

Afficher la réponse

Trop confiant : le score (0,44) dépasse largement la proportion observée (6,9 %). Un agent qui lit le score comme une probabilité attend environ 44 billets urgents sur 100 billets de ce type. Pourtant, seulement 7 environ sont urgents. Si les agents voient le score, il faut d’abord le recalibrer. Sinon, il faut l’afficher comme un rang (« élevé », « moyen »), et non comme un pourcentage.

Vérifiez votre compréhension

Tomás entraîne de nouveau le modèle. Le rappel global passe de 87,5 % à 89 %. Que devez-vous vérifier avant de dire que le nouveau modèle est meilleur pour tous les clients?

Afficher la réponse

Vérifiez le rappel (et la précision) de chaque sous-groupe important, par exemple chaque langue et chaque équipe. Incluez le nombre de billets urgents de chacun. Le nombre global peut augmenter alors qu’un petit sous-groupe obtient de moins bons résultats. Vérifiez aussi si 1,5 point dépasse l’effet du hasard sur 80 billets urgents, comme vous l’avez appris au module 5. Cela représente environ 1 billet.

Exercices du module

Exemple détaillé : recommander un seuil avec une limite de charge de travail

Omar demande à Priya de recommander un seuil. Les coûts indiqués sont les suivants : une révision coûte 2 points de coût et un billet urgent manqué coûte 30 points de coût. Grace ajoute une limite : ses agents expérimentés peuvent réviser au plus 30 billets par jour.

Étape 1 : convertir la limite en nombre pour 1 000 billets de test. 30 par jour donne 30 × 7 = 210 par semaine. Larkfield reçoit 1 200 billets par semaine. La limite est donc de 210 ÷ 1,2 = 175 billets signalés pour 1 000 billets.

Étape 2 : lister les seuils près du minimum de la courbe de coût. Priya lit les nombres dans l’explorateur de la leçon précédente.

Seuil	Billets signalés	Révisions par jour	Billets urgents manqués	Coût total	Respecte la limite?
0,40	228	39,1	7	2 × 228 + 30 × 7 = 666	non
0,42	198	33,9	7	2 × 198 + 30 × 7 = 606	non
0,44	170	29,1	10	2 × 170 + 30 × 10 = 640	oui
0,45	163	27,9	11	2 × 163 + 30 × 11 = 656	oui
0,46	154	26,4	11	2 × 154 + 30 × 11 = 638	oui
0,48	124	21,3	14	2 × 124 + 30 × 14 = 668	oui
0,50	112	19,2	15	2 × 112 + 30 × 15 = 674	oui

Étape 3 : choisir un seuil qui respecte la limite. Le seuil le moins coûteux, 0,42, exige environ 34 révisions par jour. Il n’est donc pas possible. Parmi les seuils qui respectent la limite, 0,44 (640) et 0,46 (638) coûtent presque la même chose. Une différence de 2 points pour 1 000 billets est bien plus petite que l’incertitude liée aux 80 billets urgents. Priya utilise un deuxième critère : Grace s’inquiète surtout des billets urgents manqués, et 0,44 en manque un de moins.

Étape 4 : rédiger la recommandation.

Utilisez le seuil 0,44. Sur les 1 000 billets de test, il en signale 170 et détecte 70 des 80 billets urgents (rappel de 87,5 %). Il coûte 640 points pour 1 000 billets. Cela représente environ 29 révisions par jour, tout juste sous la limite de 30. Si les révisions dépassent 30 par jour pendant une semaine complète, passez à 0,46. Ce seuil coûte la même chose et exige environ 26 révisions par jour. Avant la mise en production, il faut améliorer le modèle pour les billets dans d’autres langues, où le rappel n’est que de 50 %.

Votre tâche : les coûts changent

Le fournisseur de services de paiement facture maintenant des frais pour chaque paiement annulé. Omar fait passer le coût d’un billet urgent manqué à 60 points de coût. Une révision coûte toujours 2 points, et la limite reste de 30 révisions par jour.

1. Dans c03-notes.md, ajoutez un titre : ### Module practice: Model decisions (exercices du module : décisions sur les modèles).
2. Écrivez les coûts et la limite, puis exprimez la limite en billets signalés pour 1 000 billets.
3. Calculez le coût total pour les seuils du tableau ci-dessus, avec 60 points par billet urgent manqué.
4. Trouvez le seuil le moins coûteux qui respecte la limite.
5. Utilisez l’explorateur dans Seuils et coûts pour trouver le seuil le moins coûteux sans la limite.
6. Rédigez une recommandation de trois à cinq phrases pour Omar.

Afficher une réponse modèle

Limite : 30 par jour = 210 par semaine = 175 billets signalés pour 1 000 billets.

Seuil	Billets signalés	Billets urgents manqués	Coût total (2 × billets signalés + 60 × billets urgents manqués)	Respecte la limite?
0,40	228	7	456 + 420 = 876	non
0,42	198	7	396 + 420 = 816	non
0,44	170	10	340 + 600 = 940	oui
0,45	163	11	326 + 660 = 986	oui
0,46	154	11	308 + 660 = 968	oui
0,48	124	14	248 + 840 = 1 088	oui
0,50	112	15	224 + 900 = 1 124	oui

Parmi les seuils qui respectent la limite, 0,44 est le moins coûteux, à 940 points pour 1 000 billets. Sans la limite, l’explorateur trouve 0,37 : 281 billets signalés, 4 billets urgents manqués, 802 points, mais environ 48 révisions par jour.

Recommandation : « Utilisez le seuil 0,44 maintenant. C’est le choix le moins coûteux que les agents expérimentés peuvent gérer : environ 29 révisions par jour et 10 billets urgents manqués sur 80. Puisqu’un billet manqué coûte maintenant 60 points, une plus grande capacité de révision devient rentable. À 0,37, le coût passe de 940 à 802 points pour 1 000 billets. Cela économise environ 166 points par semaine. Il faut environ 19 révisions de plus par jour, soit presque 2 h de travail d’agents expérimentés. Je recommande de prévoir ce temps, puis de passer à environ 0,37. »

Une bonne réponse peut présenter des détails différents. Elle doit utiliser les deux coûts, respecter la limite, montrer le calcul et préciser ce qui change si la limite change.

Vérification du module

Vérifiez votre compréhension

Rappel des connaissances : à un seuil donné, un modèle a TP = 40, FN = 10, FP = 60 et TN = 890. Quelles sont la précision, le rappel et le taux de faux positifs?

Afficher la réponse

Précision : 40 ÷ (40 + 60) = 40 %. Rappel : 40 ÷ (40 + 10) = 80 %. Taux de faux positifs : 60 ÷ (60 + 890) = 6,3 %. La précision divise par tous les billets signalés, le rappel par tous les vrais positifs. Le taux de faux positifs divise par tous les vrais négatifs.

Vérifiez votre compréhension

Expliquez ou prédisez : pendant un mois chargé, 16 % des billets sont urgents, au lieu de 8 %. Le modèle et les coûts restent les mêmes. Dans quel sens le seuil le moins coûteux change-t-il, et qu'arrive-t-il à la charge de travail des agents expérimentés?

Afficher la réponse

Le seuil le moins coûteux baisse, passant de 0,42 à environ 0,37. Avec plus de billets urgents, chaque seuil en manque davantage. Les billets manqués représentent une plus grande part du coût. Il devient donc avantageux de signaler plus de billets. La charge de travail augmente pour deux raisons. Il y a plus de billets urgents avec des scores élevés. Un seuil plus bas signale aussi plus de billets des deux types. Grace pourrait avoir besoin de plus d’agents pour les révisions ce mois-là. Sinon, Larkfield doit accepter un seuil plus élevé et davantage de billets urgents manqués.

Vérifiez votre compréhension

Vérification des acquis : expliquez votre recommandation de seuil pour Larkfield en quelques phrases. Listez ensuite les preuves encore nécessaires avant d'utiliser le modèle sur de vrais billets.

Afficher la réponse

La recommandation (avec les coûts initiaux) : le seuil 0,44. Il respecte la limite de 30 révisions par jour (environ 29). Il coûte 640 points pour 1 000 billets, presque autant que le seuil le moins coûteux qui respecte la limite. Il manque 10 des 80 billets urgents. Présentez-le comme un choix dans une plage (de 0,44 à 0,46), et non comme une valeur optimale exacte.

Autres preuves nécessaires avant la mise en production :

1. Données récentes. Les données de test proviennent de billets passés. Vérifiez les nombres sur les billets des dernières semaines, car le taux de base et les types de billets changent.
2. Plus de billets urgents. Les données de test n’en contiennent que 80. La courbe de coût et le rappel de chaque sous-groupe sont incertains. Plus de billets urgents étiquetés réduisent la plage des bons seuils.
3. Sous-groupes. Le rappel pour les billets dans d’autres langues est de 50 %. Convenez d’un rappel minimal par sous-groupe, puis améliorez le modèle pour ce sous-groupe avant la mise en production.
4. Calibration. Si les agents voient le score, recalibrez-le ou présentez-le comme un rang. Un score de 0,44 correspond à environ 7 % de billets urgents.
5. Les coûts. Les 2 et 30 points de coût sont des estimations. Demandez à Omar et à Grace leur degré de certitude. Testez la recommandation avec d’autres valeurs : si un billet manqué coûte 60 points, le seuil le moins coûteux passe à 0,37.
6. Un essai sans intervention. Avant que le modèle change la file d’un billet, utilisez-le sur de nouveaux billets pendant deux semaines. Comptez les billets signalés, les révisions par jour et les billets urgents manqués.

Récapitulatif

Dans ce module, vous avez transformé les scores d’un modèle en décisions :

• Les nombres d’abord. Un seuil donne quatre nombres. La précision, le rappel et le taux de faux positifs divisent chacun par un total différent. Avec une classe rare, l’exactitude est trompeuse : ne rien signaler donne une exactitude de 92 %.
• Les coûts déterminent le seuil. Le coût total place les révisions et les billets urgents manqués sur une même échelle. Le seuil le moins coûteux baisse quand un billet manqué coûte plus cher ou quand les billets urgents deviennent plus fréquents. Une limite de charge de travail peut exclure le seuil le moins coûteux.
• Présentez une plage. Avec 80 billets urgents, le bas de la courbe de coût est large. Choisissez dans cette plage à l’aide d’un deuxième critère.
• Vérifiez le score et les groupes. Un diagramme de calibration montre si un score peut se lire comme une probabilité. Les sous-groupes montrent si une moyenne cache un groupe aux résultats faibles.

Dans le travail final, vous réunirez ensuite tout le cours dans un cahier de raisonnement illustré pour un petit problème de prédiction.

Leçon suivante : Travail final