Seuils et coûts

Ce que vous saurez faire

Choisissez un seuil en calculant le coût de chaque choix. Comptez les billets de soutien urgents manqués et le travail des agents expérimentés qui vérifient chaque signalement.

Carnet JupyterFacultatif : vérifier les nombres dans un carnetColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter est facultatif : une calculatrice et l’explorateur suffisent pour cette leçon. Il contient les scores des 1 000 billets de test de l’explorateur de cette page. Calculez le coût aux 101 seuils et trouvez le moins coûteux pour d’autres coûts et taux de base. Refaites aussi les tâches en Python, avec des vérifications. Il utilise seulement la bibliothèque standard de Python et ne nécessite donc aucune installation.

Ouvrir dans ColabOuvrir dans KaggleVoir sur GitHub

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 45 minutes

Ce que vous devez savoir

• Les quatre nombres d’une matrice de confusion, ainsi que la précision et le rappel, vus dans Les compromis en classification : maintenant, les noms.
• Les nombres des données de test à 0,30, 0,50 et 0,70, vus dans Les compromis en classification : exemple détaillé et Exercice guidé. Cette leçon les reprend.
• Qu’un résultat obtenu avec un petit échantillon est incertain, vu dans Estimer l’incertitude : l’idée. Les données de test contiennent seulement 80 billets urgents.

Ce que vous devez préparer (le carnet n’en a pas besoin)

• Une calculatrice. Celle d’un téléphone suffit.
• Votre fichier c03-notes.md. Vous l’avez créé dans l’encadré « Avant de commencer » de Lire les mathématiques. Si vous ne le trouvez pas, créez un fichier vide portant ce nom : cette leçon n’utilise pas vos réponses précédentes.

Le carnet a été testé dans Jupyter avec Python 3.14.6 (bibliothèque standard seulement).

Où vous rencontrez cela en IA

Tout système qui agit selon un score possède un seuil, et quelqu’un l’a choisi. Ce choix repose généralement sur un calcul des coûts :

• Le modèle de détection de fraude d’une banque bloque un paiement au-dessus d’un seuil. La banque compare le coût d’une fraude manquée à celui d’un appel au client dont le paiement a été bloqué par erreur.
• Une équipe de modération de contenu dispose d’un nombre fixe de personnes pour les vérifications. Le seuil ne doit pas leur envoyer plus de publications qu’elles peuvent vérifier en une journée.
• Un modèle de dépistage dans un hôpital a souvent une cible de rappel, par exemple « trouver au moins 95 cas sur 100 ». L’équipe règle le seuil pour atteindre cette cible et prévoit le personnel nécessaire aux vérifications supplémentaires.
• Un filtre antipourriel utilise un seuil élevé, car perdre une facture coûte beaucoup plus qu’un pourriel dans la boîte de réception.

Dans chaque cas, le seuil est une décision d’affaires, pas une propriété du modèle. Le modèle fournit les scores. Les gens décident où placer la limite.

Un seuil, trois conséquences

Dans la dernière leçon, vous avez compté les 1 000 billets de test à trois seuils : 80 urgents, 920 non urgents. Demandez-vous maintenant ce que chaque seuil représente pour une semaine chez Larkfield.

Les données de test contiennent 1 000 billets, et Larkfield reçoit environ 1 200 billets par semaine. Si les nouveaux billets ressemblent aux billets de test, multipliez un nombre par 1 000 par 1,2 pour obtenir le nombre hebdomadaire. Pour une journée, divisez le nombre hebdomadaire par 7.

Seuil	Signalés par 1 000	Urgents manqués	Fausses alertes	Vérifications par semaine	Vérifications par jour
0,30	442	1	363	442 × 1,2 = 530	environ 76
0,50	112	15	47	112 × 1,2 = 134	environ 19
0,70	32	53	5	32 × 1,2 = 38	environ 5

Grace lit le tableau pour son équipe. À 0,30, ses agents expérimentés vérifient environ 76 billets par jour, et la plupart sont de fausses alertes. À 0,70, ils en vérifient seulement 5 par jour, mais 53 billets urgents sur 80 attendent dans la file normale.

Aucune des deux extrémités ne convient. Pour comparer les seuils intermédiaires, Larkfield a besoin d’un nombre qui inclut les deux types d’erreurs.

Attribuer un coût à chaque erreur

Omar, le responsable du produit, établit deux coûts avec Grace. Il utilise des points de coût pour placer le temps de travail et le préjudice au client sur une même échelle.

• Une vérification coûte 2 points de coût. Un agent expérimenté passe environ 6 minutes sur chaque billet signalé. Cela vaut pour chaque signalement, urgent ou non.
• Un billet urgent manqué coûte 30 points de coût. Le client attend trop longtemps. Cela entraîne souvent un remboursement tardif et une plainte. Parfois, le client demande à la banque d’annuler le paiement.

Le coût total d’un seuil comprend la vérification de tous les signalements et le coût de tous les billets urgents manqués :

$$\text{total cost} = 2 \times \text{flagged} + 30 \times \text{missed}$$

« Deux points de coût pour chaque billet signalé, plus trente pour chaque billet urgent non signalé. » Un vrai négatif ne coûte rien, car personne n’y consacre de travail et aucun problème ne survient.

Seuil	Signalés	Manqués	2 × signalés	30 × manqués	Coût total
Tout signaler (0,00)	1 000	0	2 000	0	2 000
0,30	442	1	884	30	914
0,50	112	15	224	450	674
0,70	32	53	64	1 590	1 654
Ne rien signaler (1,00)	0	80	0	2 400	2 400

Tous les coûts sont calculés par 1 000 billets. Parmi ces cinq choix, 0,50 est le moins coûteux. Mais il existe 101 seuils de 0,00 à 1,00, par pas de 0,01. L’explorateur les calcule tous.

Explorer : trouver le seuil le moins coûteux

Explorer

Seuil, charge de travail et coût

Les barres pleines sont signalées (score égal ou supérieur au seuil). Les barres pâles ne sont pas signalées. Vous pouvez aussi faire glisser la poignée ronde sur la ligne, ou la sélectionner et appuyer sur les flèches (Maj pour des pas de 0,10). Les vérifications par semaine supposent 1 200 billets par semaine, avec la même répartition que ces 1 000.

Au seuil 0,50, le modèle en signale 112 : 65 de la classe « urgent » et 47 fausses alertes. Il manque 15 des 80 billets de la classe « urgent ». Le seuil le moins coûteux pour ces coûts est 0,42 (606).

Matrice de confusion au seuil 0,50

Classe réelle	Signalés	Non signalés	Total
Urgent	65vrai positif	15faux négatif (manqué)	80
Non urgent	47faux positif (fausse alerte)	873vrai négatif	920
Total	112	888	1 000

Signalés

112

sur 1 000 billets

Précision

58,0 %

65 sur 112 signalés

Rappel

81,3 %

65 sur 80

Taux de faux positifs

5,1 %

47 sur 920

Vérifications par semaine

134

environ 19 par jour

Coût total

674

points de coût pour 1 000 billets

Les 1 000 billets de test selon le seuil, la charge de vérification pour 1 200 billets par semaine et le coût total à chaque seuil selon les coûts que vous entrez.

Description textuelle de l’explorateur

Le graphique du haut montre les scores des 920 billets non urgents et des 80 billets urgents dans deux panneaux. Une ligne verticale indique le seuil. Sous le graphique figurent la matrice de confusion, la précision, le rappel et le taux de faux positifs. Viennent ensuite les vérifications par semaine et par jour, puis le coût total. Deux champs numériques fixent le coût d’une vérification (valeur initiale : 2) et d’un billet urgent manqué (valeur initiale : 30).

Le graphique du bas montre le coût total par 1 000 billets à chaque seuil de 0 à 1. Il utilise les coûts des champs. Avec les coûts initiaux, la courbe commence à 2 000 (tout signaler). Elle descend à son minimum, 606 au seuil de 0,42. Puis elle remonte à 2 400 (ne rien signaler). La courbe reste basse et presque plate de 0,37 à 0,50, où chaque seuil coûte moins de 700.

Au seuil de 0,42, le modèle signale 198 billets et manque 7 billets urgents. Cela représente environ 238 vérifications par semaine, ou environ 34 par jour. Si un billet urgent manqué coûte 60, le seuil le moins coûteux descend à 0,37. Si une vérification coûte 4, il monte à 0,50. Si un champ est vide ou négatif, l’explorateur demande un coût valide et n’affiche pas de total.

La courbe de coût

Le graphique ci-dessous reprend la courbe de coût de l’explorateur, avec les coûts initiaux. Chaque point représente un seuil.

Coût total à chaque seuil, avec une vérification à 2 points de coût et un billet urgent manqué à 30 points de coût. Le point marqué indique le seuil le moins coûteux, 0,42, à 606 points de coût.

Description textuelle du graphique

Un graphique linéaire. L’axe horizontal représente le seuil, de 0 à 1. L’axe vertical représente le coût total par 1 000 billets, de 0 à 2 500 points de coût (affichés en milliers). Au seuil de 0, le coût est de 2 000, car chaque billet est vérifié. Le coût descend à 914 à 0,30 et atteint son minimum, 606, à 0,42. Chaque seuil de 0,37 à 0,50 coûte moins de 700. Après 0,50, le coût augmente rapidement : 1 220 à 0,60, 1 654 à 0,70 et 2 400 à 1,00. À 1,00, les 80 billets urgents sont tous manqués.

Trois éléments à lire sur la courbe :

1. Le côté gauche descend lentement. Chaque pas vers la droite élimine quelques fausses alertes, et chaque fausse alerte éliminée économise seulement 2 points.
2. Le côté droit monte rapidement. Chaque pas vers la droite manque maintenant des billets urgents, et chacun coûte 30 points.
3. Le bas est large et un peu irrégulier. Chaque seuil de 0,37 à 0,50 coûte moins de 700 points. Les petites marches de la courbe viennent de billets individuels : un billet urgent manqué de plus ajoute 30 points d’un coup.

Le troisième point est important. Les données de test contiennent seulement 80 billets urgents. Avec 1 000 autres billets, le minimum pourrait se trouver ailleurs dans cet intervalle. Le module 5 vous a appris qu’un petit échantillon donne une réponse incertaine. Le résultat honnête est donc : « les seuils les moins coûteux se situent environ entre 0,37 et 0,50 », pas « exactement 0,42 ».

Exemple détaillé : la recommandation de Priya

Priya prépare une recommandation pour Omar. Elle calcule le coût aux seuils proches du bas de la courbe. Elle montre chaque étape pour qu’Omar puisse la vérifier.

Seuil	Signalés	Manqués	2 × signalés	30 × manqués	Coût total	Vérifications par jour
0,40	228	7	456	210	666	228 × 1,2 ÷ 7 ≈ 39
0,42	198	7	396	210	606	198 × 1,2 ÷ 7 ≈ 34
0,45	163	11	326	330	656	163 × 1,2 ÷ 7 ≈ 28
0,50	112	15	224	450	674	112 × 1,2 ÷ 7 ≈ 19

De 0,40 à 0,42, le modèle cesse de signaler 30 billets non urgents et manque toujours seulement 7 billets urgents. Cela économise 60 points. De 0,42 à 0,45, il économise 35 vérifications (70 points), mais manque 4 billets urgents supplémentaires (120 points). Ce compromis est défavorable, donc le coût augmente.

Priya écrit : « Sur les données de test, le seuil de 0,42 a le coût le plus bas : 606 points par 1 000 billets. Chaque seuil de 0,37 à 0,50 coûte moins de 700 points, donc ils sont presque équivalents. À 0,42, les agents expérimentés vérifient environ 34 billets par jour. Le modèle manque environ 7 billets urgents sur 80. »

Grace répond tout de suite : « Mes deux agents expérimentés peuvent vérifier environ 30 billets par jour, pas 34. » Le seuil le moins coûteux n’est pas toujours un seuil possible. Vous utiliserez cette limite dans l’exercice du module, à la fin de la prochaine leçon.

Pourquoi le meilleur seuil change

Le seuil le moins coûteux n’est pas une propriété fixe du modèle. Il dépend de deux éléments extérieurs au modèle.

Les coûts

L’explorateur et la courbe utilisent 2 points pour une vérification et 30 pour un billet urgent manqué. Modifiez ces coûts, et le bas de la courbe se déplace :

Coût d’une vérification	Coût d’un billet urgent manqué	Seuil le moins coûteux	Coût total par 1 000 billets
2	30	0,42	606
2	60	0,37	802
2	15	0,50	449
4	30	0,50	898
1	30	0,37	401

Seul le rapport entre les deux coûts détermine la position du minimum. Un billet manqué à 60 et une vérification à 2 donnent le même seuil optimal qu’un billet manqué à 30 et une vérification à 1. Dans les deux cas, le rapport est de 30. Quand un billet manqué devient plus coûteux par rapport à une vérification, le seuil le moins coûteux descend. On signale plus de billets et on en manque moins.

Il existe une façon simple de comprendre pourquoi. Vérifier un billet coûte 2 points. Cette vérification économise 30 points seulement si le billet est urgent. Elle devient donc rentable quand la probabilité que le billet soit urgent dépasse 2 ÷ 30, soit environ 7 %. Signalez chaque billet dont la probabilité d’être urgent dépasse environ 7 %. Si un billet manqué coûte 60, la limite descend à 2 ÷ 60, soit environ 3 %. Vous signalez alors plus de billets. Dans la prochaine leçon, vous verrez comment lire « la probabilité qu’un billet soit urgent » à partir des scores.

Le taux de base

Les données de test contiennent 8 % de billets urgents. Supposons qu’une tempête hivernale retarde de nombreuses livraisons et que 16 % des billets deviennent urgents. Le modèle attribue un score à chaque billet de la même façon, mais la composition des billets change. Le graphique montre la courbe de coût pour trois taux de base, avec le même modèle et les mêmes coûts.

• 4 % urgents : minimum à 0,50
• 8 % urgents : minimum à 0,42
• 16 % urgents : minimum à 0,37

Coût total à chaque seuil lorsque 4 %, 8 % ou 16 % des billets sont urgents, avec les mêmes scores et les mêmes coûts. Plus les billets urgents sont fréquents, plus le seuil le moins coûteux est bas.

Description textuelle du graphique

Un graphique linéaire avec trois courbes de coût, pour 4 %, 8 % et 16 % de billets urgents par 1 000. Les trois commencent à 2 000 au seuil de 0, car chaque billet est vérifié. Avec 4 % de billets urgents, le coût minimum est de 388 au seuil de 0,50, et la courbe finit à 1 200. Avec 8 %, le coût minimum est de 606 à 0,42, et la courbe finit à 2 400. Avec 16 %, le coût minimum est de 918 à 0,37, et la courbe finit à 4 800. Les courbes à 4 % et à 16 % utilisent les nombres des données de test à 8 %, ajustés proportionnellement. Les nombres de billets urgents sont multipliés par 0,5 ou par 2. Les autres nombres sont ajustés pour que le total reste à 1 000.

Avec plus de billets urgents, chaque seuil en manque davantage. Les billets manqués représentent donc une plus grande part du coût. Le bas de la courbe se déplace vers la gauche, vers un seuil plus bas. Avec moins de billets urgents, il se déplace vers la droite.

Un seuil choisi pendant un mois calme peut donc être mal adapté pendant un mois chargé. Après la mise en production, Larkfield doit surveiller la proportion de billets urgents et revérifier le seuil lorsqu’elle change.

Exercice guidé : un billet manqué plus coûteux

Le fournisseur de services de paiement de Larkfield facture maintenant des frais pour chaque paiement qu’un client fait annuler. Omar dit qu’un billet urgent manqué coûte maintenant 60 points de coût. Une vérification coûte toujours 2 points.

1. Dans c03-notes.md, ajoutez un titre : ### Cheapest threshold (seuil le moins coûteux).
2. Dans l’explorateur, faites votre prédiction, puis appuyez sur le bouton.
3. Changez le coût d’un billet urgent manqué pour 60.
4. Lisez le seuil le moins coûteux dans la ligne d’état ou sur la courbe de coût.
5. Déplacez le curseur du seuil à cette valeur.
6. Notez les billets signalés, les billets urgents manqués, les vérifications par jour et le coût total.
7. Vérifiez le coût total avec une calculatrice : 2 × signalés + 60 × manqués.
8. Écrivez une phrase pour Grace sur la charge de travail de son équipe à ce seuil.

Résultat attendu : le seuil le moins coûteux est de 0,37. Le modèle signale 281 billets et en manque 4. Le coût total est de 2 × 281 + 60 × 4 = 562 + 240 = 802. Cela représente environ 337 vérifications par semaine, ou environ 48 par jour.

Afficher un exemple de réponse

• Seuil le moins coûteux : 0,37 (il était de 0,42 avec un billet manqué à 30).
• Signalés : 281 par 1 000 billets. Manqués : 4 billets urgents sur 80.
• Coût total : 562 + 240 = 802 points par 1 000 billets.
• Vérifications : 281 × 1,2 = 337 par semaine, 337 ÷ 7 ≈ 48 par jour.

Pour Grace : « Si un billet urgent manqué coûte 60 points, le seuil le moins coûteux est de 0,37. Vos agents expérimentés vérifieraient environ 48 billets par jour, soit environ 14 de plus qu’à 0,42. Moins de 3 signalements sur 10 seraient urgents. »

Le coût plus élevé d’un billet manqué a fait descendre le seuil, comme le prédit le rapport des coûts. Le rapport 60 ÷ 2 = 30 est plus grand que 30 ÷ 2 = 15.

Variation indépendante : une vérification plus coûteuse

Ramenez le coût d’un billet urgent manqué à 30. Les agents expérimentés ont maintenant une nouvelle tâche. Omar accorde donc plus de valeur à leur temps : une vérification coûte 4 points de coût.

Faites d’abord une prédiction : le seuil le moins coûteux augmente-t-il ou diminue-t-il? Trouvez-le ensuite dans l’explorateur. Notez le seuil, le coût total et le nombre de vérifications par jour.

Afficher un exemple de réponse

Le rapport est maintenant de 30 ÷ 4 = 7,5, inférieur à 15. Une vérification coûte donc relativement plus cher. Le seuil le moins coûteux augmente, pour atteindre 0,50.

• Billets signalés : 112. Billets urgents manqués : 15.
• Coût total : 4 × 112 + 30 × 15 = 448 + 450 = 898 points par 1 000 billets.
• Vérifications : 112 × 1,2 = 134 par semaine, soit environ 19 par jour.

Exécutez du Python dans votre navigateur

Facultatif : le coût à plusieurs seuils

Cette partie est facultative. Elle calcule le coût total pour sept seuils à partir des nombres de billets de cette leçon. Remplacez miss_cost par 60 ou review_cost par 4. Exécutez le code à nouveau et trouvez la ligne maintenant la moins coûteuse. En milieu professionnel, une équipe compte les billets à chaque seuil avec une bibliothèque comme scikit-learn (par exemple, precision_recall_curve). Elle ajoute ensuite les coûts dans un court script comme celui-ci.

Code Python (vous pouvez le modifier)# Counts per 1,000 test tickets at some thresholds: (threshold, flagged, missed) rows = [ (0.30, 442, 1), (0.40, 228, 7), (0.42, 198, 7), (0.45, 163, 11), (0.50, 112, 15), (0.60, 55, 37), (0.70, 32, 53), ] review_cost = 2 miss_cost = 30 for threshold, flagged, missed in rows: total = review_cost * flagged + miss_cost * missed print(threshold, "cost:", total)

Erreur courante

Conserver le seuil par défaut de 0,5

Symptôme : le modèle est mis en service avec un seuil de 0,50. Personne n’en a discuté. Un mois plus tard, Omar demande pourquoi le seuil était de 0,50. La réponse est : « C’est la valeur par défaut. »

Cause : de nombreux outils transforment un score en oui ou non au seuil de 0,50. Ce seuil se trouve au milieu de l’intervalle de 0 à 1. L’outil ne connaît pas les coûts de Larkfield, le taux de base ni la taille de l’équipe de Grace. Pour Larkfield, le seuil de 0,50 coûte 674 points par 1 000 billets. C’est environ 11 % de plus que le seuil le moins coûteux. Il manque aussi 8 billets urgents de plus que le seuil de 0,42.

Solution : traitez le seuil comme une décision à consigner. Indiquez les coûts, le taux de base et la limite de charge de travail que vous avez utilisés. Montrez la courbe des coûts et la plage de bons seuils. Prévoyez une date pour le vérifier à nouveau avec de nouvelles données.

Vérifiez votre compréhension

Pourquoi un seuil plus bas donne-t-il toujours un rappel supérieur ou égal?

Afficher la réponse

Un seuil plus bas déplace la ligne vers la gauche. Tous les billets déjà signalés le restent, et d’autres billets sont aussi signalés. Le nombre de billets urgents signalés ne peut donc pas diminuer. Le rappel correspond à ce nombre divisé par le nombre fixe de 80 billets urgents. Il reste donc le même ou augmente.

Vérifiez votre compréhension

Prédisez : un nouveau formulaire de contact rend les billets urgents moins fréquents. Seulement 4 % des billets sont urgents. Les coûts restent les mêmes. Larkfield devrait-elle augmenter ou diminuer le seuil? Pourquoi?

Afficher la réponse

L’augmenter. Avec moins de billets urgents, chaque seuil en manque moins. Les billets urgents manqués représentent donc une plus petite part du coût. Les vérifications représentent maintenant une plus grande part, et leur nombre diminue quand le seuil augmente. Avec les mêmes scores, le seuil le moins coûteux passe de 0,42 à 0,50.

Vérifiez votre compréhension

Tomás dit : « La courbe des coûts atteint son minimum exactement à 0,42. On utilise donc 0,42 et aucun autre nombre. » Que lui répondez-vous?

Afficher la réponse

La courbe est presque plate de 0,37 à 0,50 (606 à 696 points). Ses petits paliers proviennent de billets urgents individuels. Les données de test ne contiennent que 80 billets urgents. D’autres données de test pourraient donc placer le minimum ailleurs dans cette plage. Présentez la plage et choisissez un seuil à l’intérieur selon un deuxième critère, comme la charge de travail des agents expérimentés.

Récapitulatif

• Chaque seuil a trois conséquences : les billets urgents manqués, les fausses alertes et la charge de travail de vérification. Multipliez les nombres par 1 000 billets de test par 1,2 pour obtenir une semaine chez Larkfield.
• Le coût total place les deux erreurs sur une même échelle : 2 × billets signalés + 30 × billets urgents manqués. La courbe des coûts montre chaque seuil, et son point le plus bas correspond au seuil le moins coûteux.
• Présentez une plage de bons seuils, pas un seul nombre exact, car les données de test contiennent peu de billets urgents.
• Le seuil le moins coûteux diminue quand manquer un billet urgent coûte plus cher par rapport à une vérification. Il diminue aussi quand les billets urgents deviennent plus fréquents.

Ensuite, vous vérifierez si les scores signifient ce qu’ils semblent signifier. Vous vérifierez aussi si le modèle fonctionne aussi bien pour chaque groupe de clients.

Leçon suivante : Calibration et sous-groupes