Aller au contenu
English

La confiance est-elle vraie?

  • Leçon 32
  • 35 min
  • Module 8 : La confiance et les personnes dans la boucle

Où nous en sommes

Nos classificateurs donnent une confiance avec chaque étiquette, et la cascade l'utilisait pour décider. Mais une confiance de 0,9 correspond-elle à neuf bonnes réponses sur dix? Dans cette leçon, nous vérifions l'étalonnage avec des diagrammes de fiabilité, pour les modèles locaux et la confiance écrite du LLM.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité
Leçon 32 sur 37 · Classification et routage de textes : envoyer chaque message au bon endroitLa confiance est-elle vraie?
Aperçu du cours

Ce que vous saurez faire

Vérifiez si la confiance d’un routeur correspond à ce qu’elle annonce : une confiance de 0,9 devrait donner environ 9 bonnes réponses sur 10. Mesurez-la avec un diagramme de fiabilité et un nombre, l’erreur d’étalonnage attendue. Faites-le pour un modèle entraîné et pour une confiance qu’un LLM écrit dans sa réponse.

Carnet JupyterFaites cette leçon dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet calcule le petit exemple, les diagrammes de fiabilité de quatre méthodes sur les messages de test et la confiance écrite du LLM, avec des vérifications. Il installe pandas, scikit-learn et matplotlib et télécharge les données. Il ne demande donc aucune configuration locale. Environ 20 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 35 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

  • Avec le projet : votre projet larkroute à la fin du module 6, avec son environnement virtuel, et le dépôt des exercices dans le dossier voisin. Si votre projet ne fonctionne plus, copiez l’instantané end-of-m06 comme dans Découvrir la boîte de réception.
  • Avec le carnet : un navigateur et un compte Google gratuit pour Colab, ou un compte Kaggle gratuit.

Testé sur macOS (Apple silicon) avec Python 3.12.13. Les commandes Windows n’ont pas été testées.

Retournons au bureau de poste. Une nouvelle commis ajoute une petite note sur chaque lettre : son degré de confiance dans le choix du casier. « 9 sur 10 » sur la plupart des lettres, « 6 sur 10 » sur certaines. Son gestionnaire aime ces notes. Il prévoit de vérifier à la main seulement les lettres avec un nombre faible.

À la fin de la semaine, il prend toutes les lettres marquées « 9 sur 10 » et compte. Seulement 6 sur 10 étaient dans le bon casier. La commis ne mentait pas. Elle avait simplement plus confiance que ses résultats ne le justifiaient. Ses notes classaient quand même les lettres dans un ordre utile, de la plus sûre à la moins sûre. Mais le nombre lui-même n’était pas juste.

La confiance d’un routeur est le même genre de note. Avant que l’équipe de Grace s’y fie, quelqu’un doit compter.

Le problème : un nombre qui exprime une confiance injustifiée

Section intitulée « Le problème : un nombre qui exprime une confiance injustifiée »

Dans le module 5, le LLM hébergé acheminait chaque message de test et écrivait une confiance dans sa réponse, par exemple "confidence": 0.99. Avec les noms de destinations seulement (zéro exemple), il écrivait 0,99 pour 693 des 2 000 messages de test. Il avait raison pour seulement 86,6 % de ces messages.

Imaginez une cascade qui se fie à ce nombre. Elle laisse le LLM décider pour chaque message où il écrit 0,99 ou plus. Environ 1 décision sur 7 est mauvaise, et personne ne les vérifie. Le nombre ressemblait à une probabilité, mais n’en était pas une.

Nous avons donc besoin d’un moyen de vérifier toute confiance, provenant de tout modèle, avant de l’utiliser pour décider.

Une confiance est bien étalonnée quand elle correspond à la fréquence des bonnes réponses du routeur. Parmi tous les messages avec une confiance près de 0,9, environ 90 % devraient avoir une bonne réponse. Pour ceux près de 0,6, environ 60 %.

Pour vérifier, regroupez les messages selon leur confiance et comptez :

  1. Répartissez les messages en 10 classes selon la confiance : de 0,0 à 0,1, de 0,1 à 0,2, et ainsi de suite.
  2. Dans chaque classe, calculez la confiance moyenne et la proportion de bonnes réponses (l’exactitude dans cette classe).
  3. Comparez les deux. Si elles sont proches dans chaque classe, la confiance est juste.

Un diagramme de fiabilité représente ces paires : confiance moyenne à l’horizontale, proportion de bonnes réponses à la verticale. Une confiance juste se trouve sur la diagonale. Un point sous la diagonale indique trop de confiance : le routeur annonce 0,9, mais a raison moins souvent. Un point au-dessus indique trop peu de confiance : il a raison plus souvent qu’il ne l’annonce.

L’erreur d’étalonnage attendue (ECE) résume le diagramme en un nombre. C’est l’écart entre confiance et proportion de bonnes réponses dans chaque classe, pondéré par la proportion de messages dans cette classe. Une ECE de 0 signifie que la confiance est juste partout. Une ECE de 0,2 signifie qu’elle s’écarte de 0,2 en moyenne.

Voici un exercice que nous avons construit exprès : 10 messages et deux valeurs de confiance.

Un tableau détaillé pour 10 messages. Classe 1 : cinq messages avec une confiance de 0,9, trois bonnes réponses et deux mauvaises; bonnes réponses : 3 sur 5 = 0,6; écart : 0,3; poids : 5 ÷ 10 = 0,5; poids × écart = 0,15. Classe 2 : cinq messages avec une confiance de 0,6, trois bonnes réponses et deux mauvaises; bonnes réponses : 0,6; écart : 0,0; poids : 0,5; poids × écart = 0,00. ECE = 0,15 + 0,00 = 0,15.
L'erreur d'étalonnage attendue de 10 messages, avec toutes les valeurs. La première classe affiche un excès de confiance de 0,3; la deuxième est juste.
Description textuelle du diagramme

Un tableau à deux lignes, une par classe. Chaque ligne montre cinq points représentant des messages : trois points bleus avec une coche (bonne réponse) et deux avec une croix (mauvaise réponse). Classe 1 : le modèle annonce 0,9, et 3 messages sur 5 ont une bonne réponse, soit 0,6. L’écart est 0,9 moins 0,6, soit 0,3. Le poids est de 5 messages sur 10, soit 0,5. Le poids multiplié par l’écart donne 0,15. Classe 2 : le modèle annonce 0,6, et 3 réponses sur 5 sont bonnes, soit 0,6. L’écart est de 0. Le poids multiplié par l’écart donne 0. Sous le tableau : l’ECE égale 0,15 plus 0,00, soit 0,15. Une note indique que la classe 1 affiche un excès de confiance de 0,3 et que la classe 2 est juste.

Les deux classes ont la même exactitude, 0,6. Seule la première évalue mal sa propre confiance. L’ECE, 0,15, vient entièrement de cette classe. La section 1 du carnet calcule le même exemple avec la fonction utilitaire du cours et affiche ECE 0.15 (ECE de 0,15).

Vérifiez maintenant le routeur construit au module 3, TF-IDF avec régression logistique. Le projet reçoit un nouveau module, larkroute/zones.py, avec la fonction reliability(). Elle applique les trois étapes ci-dessus avec 10 classes. Une nouvelle commande, route calibration, affiche le résultat.

  1. Allez dans le dossier de votre projet larkroute. Activez son environnement virtuel, comme dans Découvrir la boîte de réception.

  2. Copiez les trois fichiers de cette leçon depuis l’instantané end-of-m08. Sur macOS et Linux :

    Fenêtre de terminal
    S=../nextia-learning-labs/C36/snapshots/end-of-m08
    cp $S/larkroute/zones.py larkroute/
    cp $S/larkroute/commands/calibration.py larkroute/commands/
    cp $S/tests/test_zones.py tests/

    Sur Windows (PowerShell) :

    Fenêtre de terminal
    $S = "..\nextia-learning-labs\C36\snapshots\end-of-m08"
    Copy-Item $S\larkroute\zones.py larkroute\
    Copy-Item $S\larkroute\commands\calibration.py larkroute\commands\
    Copy-Item $S\tests\test_zones.py tests\
  3. Exécutez les tests. Vous voyez 27 passed (27 tests réussis) : les 24 tests du module 6 et 3 nouveaux.

    Fenêtre de terminal
    python -m pytest -q
  4. Exécutez la nouvelle commande. Elle entraîne le modèle sur les 6 000 messages d’entraînement et le vérifie sur les 2 000 messages de validation. Cela prend quelques secondes.

    Fenêtre de terminal
    route calibration
TF-IDF + logistic regression on the validation messages: expected calibration error 0.046
bin messages mean_confidence accuracy
0.2-0.3 4 0.268 0.500
0.3-0.4 21 0.355 0.381
0.4-0.5 38 0.461 0.684
0.5-0.6 61 0.554 0.623
0.6-0.7 85 0.649 0.753
0.7-0.8 89 0.754 0.921
0.8-0.9 169 0.859 0.970
0.9-1.0 1533 0.976 0.999

Le projet trouve ses commandes par fichier, donc vous n’avez pas modifié cli.py. Un des nouveaux tests vérifie reliability() sur un petit exemple à deux classes, comme celui ci-dessus.

Lisez-le à partir du bas, où se trouvent la plupart des messages :

  • De 0,9 à 1,0 : 1 533 des 2 000 messages. La confiance moyenne est de 0,976, et 99,9 % des réponses sont bonnes. Presque juste, avec un peu trop peu de confiance.
  • De 0,7 à 0,8 : le modèle annonce 0,754 et a raison 92,1 % du temps. Il affiche trop peu de confiance, avec un écart de 0,17.
  • De 0,5 à 0,6 : il annonce 0,554 et a raison 62,3 % du temps. Encore trop peu de confiance.
  • De 0,2 à 0,3 : seulement 4 messages. « 50 % de bonnes réponses » signifie ici 2 sur 4. N’en tirez pas de grandes conclusions.

Dans cette boîte de réception, TF-IDF avec régression logistique affiche donc un peu trop peu de confiance au milieu. Son ECE est de 0,046 sur les données de validation. Sur les messages de test (route calibration --split test), elle est de 0,050.

Pourquoi est-ce important? Un modèle qui manque de confiance envoie plus de messages en révision que nécessaire. La prochaine leçon montre comment choisir le seuil selon le coût, ce qui règle une partie de ce problème. Mais si le tableau de bord de Grace affiche « 55 % de confiance », ses agents croiront que le modèle devine. Pourtant, il a raison 6 fois sur 10.

Le diagramme ci-dessous représente les tableaux de fiabilité sur les données de test de trois méthodes qui fonctionnent sur votre ordinateur. La diagonale en tirets représente une confiance juste.

  • TF-IDF + LR (ECE 0,050)
  • Encodeur (ECE 0,031)
  • NLI (ECE 0,309)
  • Juste (en tirets)
Diagrammes de fiabilité sur les 2 000 messages de test (mesurés). Sous la ligne en tirets, la méthode affiche trop de confiance; au-dessus, trop peu.
Description textuelle du graphique

Un graphique en courbes. L’axe horizontal indique la confiance moyenne dans chaque classe, de 0 à 1. L’axe vertical indique la proportion de bonnes réponses dans cette classe, de 0 % à 100 %. Une diagonale en tirets représente une confiance juste. TF-IDF avec régression logistique a 9 points, de 0,19 (0 % de bonnes réponses, 1 message) à 0,98 (99,9 % de bonnes réponses, 1 512 messages). De 0,36 à 0,86, ses points se trouvent au-dessus de la diagonale : par exemple, 0,55 donne 71 % de bonnes réponses et 0,75 en donne 90 %. Il affiche trop peu de confiance. L’encodeur réglé finement a 6 points. De 0,45 à 0,75, ils se trouvent sous la diagonale : par exemple, 0,57 donne seulement 27 % de bonnes réponses (15 messages). Ensuite, 0,97 donne 99,5 % de bonnes réponses, avec 1 932 messages. Le modèle NLI zéro exemple se trouve loin sous la diagonale partout. À 0,45, il donne 21 % de bonnes réponses; à 0,75, 34 %; et à 0,95, seulement 58 %.

Trois constats différents :

  • TF-IDF + régression logistique (ECE de 0,050) : trop peu de confiance au milieu, comme sur les données de validation.
  • L’encodeur réglé finement (ECE de 0,031) : trop de confiance dans les classes du milieu. Mais ces classes contiennent seulement 68 des 2 000 messages. Presque tous les messages (1 932) se trouvent à 0,97, et 99,5 % de leurs réponses sont bonnes. Son ECE est donc faible.
  • NLI zéro exemple (ECE de 0,309) : trop de confiance partout. Il annonce 0,95 et a raison 58 % du temps. Ce modèle n’a vu aucune étiquette de Larkfield. Son score indique à quel point un message correspond à un nom de destination, pas à quelle fréquence sa réponse est bonne.

La confiance du LLM diffère des trois précédentes. Ce n’est pas une probabilité que le modèle a calculée. Ce sont quelques caractères que le modèle a écrits dans sa réponse, comme tout autre texte. Le projet peut la vérifier à partir des réponses enregistrées, donc vous n’avez pas besoin de clé.

Fenêtre de terminal
route calibration --method "hosted LLM chat-small, zero-shot (recorded)" --split test
hosted LLM chat-small, zero-shot (recorded) on the test messages: expected calibration error 0.190
bin messages mean_confidence accuracy
0.3-0.4 1 0.390 0.000
0.4-0.5 1 0.480 0.000
0.5-0.6 5 0.568 0.200
0.6-0.7 5 0.660 0.400
0.7-0.8 40 0.761 0.300
0.8-0.9 166 0.859 0.608
0.9-1.0 1782 0.971 0.793

Utilisez --split test ici. Les réponses zéro exemple ont été enregistrées uniquement pour les messages de test. La commande s’arrête donc sur les messages de validation.

Fenêtre de terminal
route calibration --method "hosted LLM chat-small, few-shot (recorded)" --split test
hosted LLM chat-small, few-shot (recorded) on the test messages: expected calibration error 0.008
bin messages mean_confidence accuracy
0.2-0.3 2 0.250 0.500
0.3-0.4 7 0.357 0.286
0.4-0.5 14 0.442 0.429
0.5-0.6 12 0.558 0.417
0.6-0.7 5 0.658 0.800
0.7-0.8 6 0.763 0.500
0.8-0.9 36 0.858 0.833
0.9-1.0 1918 0.990 0.984
  • Zéro exemple (ECE 0,190)
  • Avec exemples (ECE 0,008)
  • Juste (en tirets)
Le même modèle hébergé, deux requêtes : zéro exemple (noms de destinations seulement) et avec peu d'exemples (descriptions des destinations et 8 exemples). Fiabilité de la confiance écrite sur les 2 000 messages de test (réponses enregistrées, mesurées ici).
Description textuelle du graphique

Un graphique en courbes avec la confiance écrite moyenne à l’horizontale et la proportion de bonnes réponses à la verticale. Les deux axes vont de 0 à 1, avec une diagonale en tirets. La courbe zéro exemple se trouve loin sous la diagonale. À 0,76, elle donne 30 % de bonnes réponses (40 messages); à 0,86, 61 % (166 messages); et à 0,97, 79 % (1 782 messages). La courbe avec peu d’exemples reste près de la diagonale en haut, où se trouvent presque toutes ses réponses. À 0,86, elle donne 83 % de bonnes réponses (36 messages); à 0,99, 98,4 % (1 918 messages). Ses classes inférieures contiennent chacune de 2 à 14 messages et varient beaucoup.

Le même modèle a écrit les deux confiances :

  • Zéro exemple (noms de destinations seulement) : ECE de 0,190. Il a écrit 0,99 pour 693 messages et avait raison pour 86,6 % d’entre eux. Il affiche trop de confiance.
  • Avec peu d’exemples (descriptions des destinations et les 8 messages d’entraînement les plus proches) : ECE de 0,008. Dans 95,9 % de ses réponses, il annonce 0,9 ou plus, et ces réponses sont bonnes 98,4 % du temps. Ici, son nombre est presque juste.

C’est une surprise, et il est facile d’en tirer la mauvaise leçon. Le nombre obtenu avec peu d’exemples est juste ici, parce que nous l’avons vérifié, sur cette boîte de réception, avec cette requête. Changez la requête, la version du modèle ou les messages, et il peut varier, comme le montre la requête zéro exemple. De plus, la confiance écrite prend seulement quelques valeurs (0,99, 1,0, 0,98…). Elle ne peut donc pas classer finement les messages les plus sûrs.

Une confiance écrite n’est pas une probabilité tant que vous ne l’avez pas vérifiée. Vérifiez-la sur les messages de validation, pour votre requête, chaque fois que vous changez la requête ou le modèle.

Un graphique à barres horizontales de l'erreur d'étalonnage attendue sur les 2 000 messages de test. LLM avec peu d'exemples (écrite) : 0,008; plongements + LR : 0,011; encodeur réglé finement : 0,031; TF-IDF + LR : 0,050; GLiClass zéro exemple : 0,089; LLM zéro exemple (écrite) : 0,190; NLI zéro exemple : 0,309. Plus faible est mieux.
Erreur d'étalonnage attendue de sept méthodes sur les mêmes 2 000 messages de test (mesurée; lignes des LLM tirées des réponses enregistrées). Plus faible est mieux.
Description textuelle du diagramme

Un graphique à sept barres horizontales, de la plus petite erreur à la plus grande. LLM avec peu d’exemples, confiance écrite : 0,008. Plongements avec régression logistique : 0,011. Encodeur réglé finement : 0,031. TF-IDF avec régression logistique : 0,050. GLiClass zéro exemple : 0,089. LLM zéro exemple, confiance écrite : 0,190, en orange. NLI zéro exemple : 0,309. Les deux modèles zéro exemple sans LLM sont gris. Une note indique : plus faible est mieux, et 0 signifie que la confiance est juste.

Les modèles entraînés (bleus) ont tous une ECE de 0,05 ou moins sur cette boîte de réception. Les méthodes qui n’ont vu aucune étiquette de Larkfield sont moins bien étalonnées : GLiClass, NLI et le LLM zéro exemple. Le LLM avec peu d’exemples arrive en tête seulement parce que ses exemples proviennent des étiquettes de Larkfield.

Voici deux autres nombres issus des exécutions du cours, sans diagramme. Les scores de destination du petit LLM local, vus dans Demander une décision, pas du texte, avaient une ECE de 0,390. La mise à l’échelle par température (temperature scaling) l’a ramenée à 0,112. Cette méthode divise les scores par un nombre ajusté sur les messages de validation, pour rendre la confiance juste en moyenne. Elle n’a pas amélioré le routage du modèle ici : son exactitude reste à 0,194.

Une confiance peut remplir deux fonctions :

  • Classer les messages, du plus sûr au moins sûr. Un seuil a seulement besoin de cette fonction. La cascade et la prochaine leçon choisissent un seuil selon son coût sur les messages de validation. Un modèle qui manque de confiance obtient donc quand même un bon seuil.
  • Être juste, pour que « 0,9 » signifie 9 sur 10. C’est nécessaire quand des personnes lisent le nombre. C’est aussi nécessaire pour comparer deux modèles avec une même règle, comme « décider à 0,8 », ou prévoir la charge de révision.

La commis du bureau de poste classait bien, mais ses nombres n’étaient pas justes. Ces deux choses peuvent aussi se produire dans un routeur.

Faites d’abord une prédiction : l’ECE de l’encodeur réglé finement sur les données de validation sera-t-elle plus proche de 0,03 ou de 0,3? Exécutez ensuite route calibration pour cet encodeur sur les messages de validation. Le nom de la méthode est fine-tuned MiniLM-L12 multilingual encoder (encodeur multilingue MiniLM-L12 réglé finement). Dans le carnet, la section 3 pose la même question pour la confiance du LLM avec peu d’exemples sur les données de test.

Afficher la réponse
Fenêtre de terminal
route calibration --method "fine-tuned MiniLM-L12 multilingual encoder"
fine-tuned MiniLM-L12 multilingual encoder on the validation messages: expected calibration error 0.028
bin messages mean_confidence accuracy
0.2-0.3 1 0.239 1.000
0.3-0.4 1 0.366 0.000
0.4-0.5 4 0.471 0.500
0.5-0.6 13 0.554 0.538
0.6-0.7 9 0.653 0.333
0.7-0.8 11 0.761 0.455
0.8-0.9 24 0.863 0.708
0.9-1.0 1937 0.968 0.991

Elle est proche de 0,03, pas de 0,3 : 0,028 sur les données de validation, et 0,031 sur les données de test. L’encodeur affiche trop de confiance dans les classes du milieu, mais seulement 63 des 2 000 messages s’y trouvent. Presque tous les messages (1 937) se trouvent au-dessus de 0,9, et 99,1 % de leurs réponses sont bonnes. Regardez les deux classes avec un seul message chacune : « 100 % de bonnes réponses » et « 0 % de bonnes réponses » représentent chacune un message.

L’exercice du carnet donne 0,0082 pour le LLM avec peu d’exemples sur les données de test. Sa cellule de vérification affiche Check passed: ece_llm is 0.0082. (vérification réussie : ece_llm vaut 0,0082).

Erreur courante

Un diagramme de fiabilité avec trop peu de messages

Symptôme : Priya vérifie la confiance uniquement sur les messages needs_person (besoin d’une personne), parce que leurs erreurs coûtent cher. La section 4 du carnet le fait pour TF-IDF sur les 99 messages de test needs_person. L’ECE est de 0,0986, soit le double de l’ECE de tous les messages. Certaines classes affichent « 100 % de bonnes réponses ».

Cause : 99 messages répartis en 10 classes laissent certaines classes avec seulement 2 à 5 messages. « 100 % de bonnes réponses » sur 3 messages peut arriver par hasard. Un message de plus ou de moins change la proportion de 20 à 50 points.

Solution : affichez toujours le nombre de messages dans chaque classe, comme le fait route calibration. Utilisez moins de classes pour un petit groupe, par exemple 5. Ne comparez pas deux ECE provenant de quelques dizaines de messages.

Conséquence dans le travail en IA : une équipe peut « corriger » un problème d’étalonnage qui était seulement du bruit, ou manquer un vrai problème. Pour les destinations rares et coûteuses, la prochaine leçon utilise plutôt le coût sur les messages de validation. Le module 7 donne aux prises de contrôle de comptes leur propre seuil.

Vérifiez votre compréhension

Le LLM hébergé a écrit 0,99 pour 693 messages de test. Pourquoi cela ne signifie-t-il pas « 99 % de réponses correctes », et que mesure le cours?

Afficher la réponse

Une confiance écrite est du texte produit par le modèle, pas une probabilité vérifiée. Avec les noms de destination seulement (classification zéro exemple), les 693 réponses à 0,99 étaient correctes seulement 86,6 % du temps. L’ECE était de 0,190. Avec des descriptions de destination et 8 exemples dans la requête, le même modèle donnait un nombre presque juste (ECE de 0,008). Ce nombre était juste uniquement parce que nous l’avions vérifié, pour cette requête, sur cette boîte de réception.

Vérifiez votre compréhension

Pour l'étalonnage des destinations, TF-IDF + régression logistique a une confiance moyenne de 0,754 et une exactitude de 0,921 dans la classe de 0,7 à 0,8. Est-il trop sûr ou trop peu sûr de lui, et quel coût cela peut-il entraîner?

Afficher la réponse

Trop peu sûr de lui : il a raison 92 % du temps et annonce seulement 75 %. Le point se trouve au-dessus de la diagonale. Un modèle trop peu sûr peut envoyer plus de messages en révision que nécessaire. Les personnes qui lisent ce nombre le sous-estiment aussi. Dans la prochaine leçon, le seuil est choisi selon le coût sur les données de validation. Cela compense donc en partie ce problème. Mais un nombre présenté aux agents doit être juste.

Vérifiez votre compréhension

Expliquez l'erreur d'étalonnage attendue avec l'exemple de 10 messages : 5 à 0,9 (3 réponses correctes) et 5 à 0,6 (3 réponses correctes).

Afficher la réponse

Dans chaque classe, prenez l’écart entre la confiance et la proportion de réponses correctes. Pondérez-le par la proportion de messages dans cette classe. Classe 1 : |0,9 − 0,6| = 0,3, poids de 0,5, donc 0,15. Classe 2 : |0,6 − 0,6| = 0, poids de 0,5, donc 0. L’ECE est de 0,15 + 0 = 0,15. Les deux classes ont 60 % de réponses correctes, mais seule la première estime mal sa propre exactitude.

Récapitulatif

  • Une confiance est bien étalonnée quand une confiance de 0,9 correspond à environ 9 réponses correctes sur 10. Un diagramme de fiabilité le montre : les points sous la diagonale sont trop sûrs, ceux au-dessus sont trop peu sûrs.
  • L’erreur d’étalonnage attendue (ECE) est l’écart dans chaque classe, pondéré par la proportion de messages. Dans l’exemple de 10 messages, elle est de 0,15.
  • route calibration (étalonnage des destinations) affiche le tableau de fiabilité de toute méthode. TF-IDF + régression logistique : ECE de 0,046 sur les données de validation et de 0,050 sur les données de test. Le modèle est un peu trop peu sûr au milieu, sur cette boîte de réception.
  • Sur les messages de test : plongements (embeddings) + LR 0,011, encodeur réglé finement 0,031, GLiClass 0,089, NLI 0,309.
  • Une confiance écrite n’est pas une probabilité tant que vous ne l’avez pas vérifiée. Le même LLM : zéro exemple 0,190 (0,99 écrit 693 fois, réponses correctes à 86,6 %), avec peu d’exemples (few-shot) 0,008.
  • Montrez le nombre de messages par classe. Une classe de 3 messages vous apprend peu de choses.

Vous savez maintenant quels nombres de confiance sont fiables, et à quel point. Ensuite, vous les utilisez pour décider. Vous divisez les messages en trois zones et comptez le travail que chaque zone donne à l’équipe de Grace.

Leçon suivante : Décider, faire réviser ou transférer à une personne