Mesurer l'accord
- Leçon 6
- 35 min
- Module 2 : Des étiquettes fiables
Où nous en sommes
Nous avons rédigé un guide. Deux personnes qui le suivent donnent-elles la même étiquette? Dans cette leçon, Chloé et Grace étiquettent le même échantillon. Nous mesurons la fréquence de leur accord avec une proportion simple et le kappa de Cohen. Ce dernier retire l'accord dû au hasard. Deux enseignants qui corrigent le même examen montrent pourquoi.
Leçon 6 sur 37 · Classification et routage de textes : envoyer chaque message au bon endroitMesurer l'accord
1. Le problème du routage et son coût
2. Des étiquettes fiables
3. Références de base : règles et modèles classiques
4. Plongements et petits modèles réglés finement
5. Les LLM comme classificateurs
6. Modèles de décision, cascades et distillation
7. Des formes d'étiquettes plus difficiles
8. La confiance et les personnes dans la boucle
9. Exploiter le routeur en production
Ce que vous saurez faire
Mesurez la fréquence à laquelle deux personnes donnent la même étiquette aux mêmes messages, puis retirez l’accord dû au hasard. Repérez ensuite les destinations pour lesquelles le guide reste flou.
Carnet JupyterFaites cette leçon dans un carnet Jupyter
Le carnet (notebook) Jupyter contient toutes les cellules de code, les tâches et les vérifications de cette leçon. Il comprend l’exemple de 10 messages, à la main et avec scikit-learn, puis Chloé et Grace sur 800 messages. Il comprend aussi le désaccord par destination, votre tâche sur les messages de facturation et le cas d’échec. Ses cellules de préparation installent pandas et scikit-learn et téléchargent les données d’exercice. Environ 20 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Le guide d’étiquetage de Larkfield et ses cas difficiles, présentés dans Guide d’étiquetage.
- Le projet, ses tests et
route compare, présentés dans Découvrir la boîte de réception.
Ce qu’il vous faut sur votre ordinateur (pour les étapes du projet; le carnet n’en a pas besoin)
- Votre dossier de projet de Découvrir la boîte de réception, avec son environnement virtuel actif.
python -m pytest -qaffiche10 passed(10 tests réussis). - Le dépôt des exercices du cours à côté de votre dossier de projet, comme dans Le projet sur votre ordinateur. Il contient le projet à chaque étape dans
C36/snapshots/. Cette leçon ajoute les trois fichiers de l’étapeend-of-m02.
Testé sur macOS avec Python 3.12, pandas 3.1.1 et scikit-learn 1.9.1. Les commandes Windows sont fournies, mais elles n’ont pas été exécutées.
Deux enseignants corrigent le même examen
Section intitulée « Deux enseignants corrigent le même examen »Une école veut savoir si les notes de ses examens sont justes. Deux enseignants corrigent donc les mêmes 100 copies, sans voir les notes de l’autre. L’école compare ensuite les résultats. Si les deux enseignants donnent la même note à la plupart des copies, les règles de correction sont claires. S’ils diffèrent souvent, les règles sont floues, et la note d’une élève dépend de l’enseignant qui la corrige.
Cette vérification comporte un piège. Supposons que l’examen soit facile et que les deux enseignants donnent la mention « réussite » à 95 copies sur 100. Ils s’entendent alors sur beaucoup de copies, même sans les lire attentivement. Deux personnes qui écrivent « réussite » presque partout s’entendent presque toujours. Une forte proportion d’accord peut venir du hasard.
Le problème : l’accord peut venir du hasard
Section intitulée « Le problème : l’accord peut venir du hasard »Chloé et Grace suivent le même guide. Attribuent-elles la même destination au même message? Leur accord compte pour deux raisons. D’abord, il indique à Chloé où le guide est flou. Ensuite, il limite ce que les étiquettes peuvent enseigner à un modèle, comme vous le verrez à la fin de cette leçon.
La première mesure est simple. L’accord est la proportion de messages auxquels les deux personnes ont donné la même étiquette. Mais, comme pour les enseignants, une partie de cet accord peut venir du hasard. Si la plupart des messages vont à une seule destination, deux personnes qui devinent cette destination s’entendent souvent. Il nous faut un deuxième nombre qui retire cette part due au hasard.
L’idée : le kappa de Cohen
Section intitulée « L’idée : le kappa de Cohen »Le kappa de Cohen compare l’accord réel à celui que deux personnes atteindraient par le seul hasard. Il porte le nom de Jacob Cohen, le psychologue qui l’a décrit en 1960. Le kappa s’écrit avec la lettre grecque κ, d’où son nom courant « kappa ».
L’accord dû au hasard est celui que deux personnes atteindraient en choisissant chacune des étiquettes au hasard, selon leurs proportions habituelles. Supposons que chaque personne dise A 80 % du temps. Elles disent alors toutes deux A par hasard 0,8 × 0,8 = 64 % du temps. Le kappa pose ensuite cette question : quelle part de l’accord encore possible au-delà du hasard ont-elles réellement atteinte?
kappa = (accord − accord dû au hasard) ÷ (1 − accord dû au hasard)
Le kappa vaut 1 quand les deux personnes s’entendent toujours. Il vaut 0 quand elles s’entendent aussi souvent que par hasard. Il est inférieur à 0 quand elles s’entendent moins souvent que par hasard.
Un petit exemple : 10 messages
Section intitulée « Un petit exemple : 10 messages »Deux personnes étiquettent 10 messages. Chaque étiquette est A (billing, facturation) ou B (returns_refunds, retours et remboursements). Nous avons créé ce problème pour l’exercice.
Description textuelle du diagramme
Le haut de l’image montre dix messages, numérotés de 1 à 10. La personne 1 leur donne les étiquettes A, A, A, A, A, A, A, A, B, B. La personne 2 leur donne les étiquettes A, A, A, A, A, A, A, B, A, B. Les messages 8 et 9 sont orange parce que les deux étiquettes diffèrent. A représente billing et B représente returns_refunds.
En dessous se trouve un tableau de deux lignes et deux colonnes. La personne 1 correspond aux lignes, la personne 2 aux colonnes. Toutes deux ont dit A pour 7 messages. La personne 1 a dit A et la personne 2 a dit B pour 1 message. La personne 1 a dit B et la personne 2 a dit A pour 1 message. Toutes deux ont dit B pour 1 message. Chaque personne a dit A 8 fois et B 2 fois.
Le calcul : l’accord vaut 7 plus 1, donc 8 sur 10, soit 0,80. L’accord dû au hasard vaut 0,8 fois 0,8 plus 0,2 fois 0,2, soit 0,68. Le kappa vaut 0,80 moins 0,68, divisé par 1 moins 0,68, soit 0,375.
Suivez les nombres. Les deux personnes s’entendent sur les messages 1 à 7 (toutes deux A) et sur le message 10 (toutes deux B). Cela donne 8 sur 10, donc un accord de 0,80. Chaque personne dit A 8 fois sur 10 et B 2 fois sur 10. Par hasard, elles disent toutes deux A 0,8 × 0,8 = 0,64 du temps. Elles disent toutes deux B 0,2 × 0,2 = 0,04 du temps. L’accord dû au hasard vaut donc 0,68.
Le hasard seul laisse 1 − 0,68 = 0,32 d’accord encore possible. Les deux personnes en ont atteint 0,80 − 0,68 = 0,12. Donc kappa = 0,12 ÷ 0,32 = 0,375. La majeure partie de leur accord de 80 % venait du hasard. Dans le carnet, cohen_kappa_score de scikit-learn donne la même valeur, 0,375.
Comment interpréter un kappa? On utilise souvent ces mots : sous 0,4, faible; de 0,4 à 0,6, modéré; de 0,6 à 0,8, bon; au-dessus de 0,8, très bon. Ces mots sont une habitude, pas une loi. Ainsi, 0,375 est faible, même avec un accord de 80 %.
Chloé et Grace sur 800 messages
Section intitulée « Chloé et Grace sur 800 messages »Chloé et Grace ont chacune étiqueté les mêmes 800 messages d’entraînement, sans regarder les étiquettes de l’autre. Ces 800 messages sont un échantillon aléatoire des données d’entraînement. Les étiquettes se trouvent dans data/double_labelled.csv. Voici tous les nombres :
Description textuelle du diagramme
Le tableau contient une ligne pour chaque destination de Chloé et une colonne pour chaque destination de Grace. L’ordre est orders, delivery, returns_refunds, billing, product, account et needs_person. Chaque cellule compte les messages ayant cette paire d’étiquettes.
Ligne orders : 109, 6, 1, 2, 1, 2, 2. Ligne delivery : 0, 159, 4, 3, 3, 1, 0. Ligne returns_refunds : 1, 7, 151, 12, 1, 1, 1. Ligne billing : 4, 1, 12, 105, 0, 4, 1. Ligne product : 4, 1, 3, 1, 96, 0, 1. Ligne account : 0, 3, 3, 1, 1, 61, 0. Ligne needs_person : 0, 2, 1, 0, 6, 0, 22.
La diagonale, où toutes deux ont choisi la même destination, totalise 703 messages sur 800 : 87,9 %. Les plus grands nombres hors de la diagonale sont les deux 12 entre returns_refunds et billing. Viennent ensuite 7 messages étiquetés returns_refunds par Chloé et delivery par Grace, 6 orders et delivery, puis 6 needs_person et product.
Lisez d’abord la diagonale : 703 messages sur 800, donc un accord de 87,9 %. Lisez ensuite les cellules hors de la diagonale. Les deux plus grands nombres sont les 12 entre returns_refunds et billing. C’est le cas difficile de la dernière leçon, même avec une règle pour le traiter. Viennent ensuite returns_refunds et delivery (7), orders et delivery (6), puis needs_person et product (6).
Passons à la part due au hasard. Chloé et Grace répartissent chacune leurs étiquettes entre sept destinations, dans des proportions semblables. Par exemple, Chloé a étiqueté 21,7 % des messages returns_refunds, et Grace, 21,9 %. Additionnez « proportion de Chloé × proportion de Grace » pour les sept destinations. Vous obtenez un accord dû au hasard de 0,169. Donc :
kappa = (0,879 − 0,169) ÷ (1 − 0,169) = 0,854
Un kappa de 0,854 est très bon. Avec sept destinations, l’accord dû au hasard est faible, donc le kappa reste proche de l’accord simple. Le petit exemple était différent : avec deux étiquettes dont une fréquente, le hasard expliquait la majeure partie de l’accord.
Où elles sont en désaccord
Section intitulée « Où elles sont en désaccord »Le tableau montre des paires. Chloé veut aussi savoir quelles destinations sont les plus difficiles. Pour chaque destination, prenez les messages auxquels au moins une personne a attribué cette destination. Comptez la fréquence à laquelle l’autre personne a choisi autre chose :
Description textuelle du graphique
Un graphique à colonnes, une par destination, de la plus haute à la plus basse. needs_person : 38,9 % de 36 messages. billing : 28,1 % de 146. returns_refunds : 23,7 % de 198. account : 20,8 % de 77. product : 18,6 % de 118. orders : 17,4 % de 132. delivery : 16,3 % de 190.
needs_person arrive en premier : 38,9 % des 36 messages qu’au moins une personne a étiquetés needs_person. Cette destination contient peu de messages. La distinction entre « une plainte exprimant de la colère » et « une plainte nécessitant un gestionnaire » repose sur le jugement. billing arrive en deuxième, à 28,1 % de 146 messages, à cause de son cas difficile avec returns_refunds.
Il existe une deuxième façon de compter pour billing. Prenez les 125 messages dont l’étiquette révisée est billing. Pour ces messages, Chloé et Grace sont en désaccord 16,0 % du temps. Ce nombre est plus faible parce qu’il part de la bonne réponse, et non de l’étiquette de l’une ou l’autre. Vous le calculez vous-même dans le carnet. Les deux nombres indiquent la même chose : Chloé devrait ajouter des exemples au cas difficile de facturation.
Exercice guidé : ajouter route agreement au projet
Section intitulée « Exercice guidé : ajouter route agreement au projet »Le projet reçoit une commande qui affiche ces nombres à partir des données. C’est la première modification du projet dans ce cours : l’étape end-of-m02. Trois fichiers changent : la nouvelle commande, son test et le README, qui présente la commande.
-
Dans votre dossier de projet, avec l’environnement virtuel actif, vérifiez que la commande n’existe pas encore :
Fenêtre de terminal route agreementusage: route [-h] {info,compare,reset} ...route: error: argument command: invalid choice: 'agreement' (choose from info, compare, reset) -
Copiez les trois fichiers de cette leçon depuis l’instantané
end-of-m02. RemplacezSpar l’emplacement de votre copie du dépôt des exercices :Fenêtre de terminal S=../nextia-learning-labs/C36/snapshots/end-of-m02for f in larkroute/commands/agreement.py tests/test_agreement.py README.md; docp "$S/$f" "$f"doneFenêtre de terminal $S = "..\nextia-learning-labs\C36\snapshots\end-of-m02"foreach ($f in 'larkroute\commands\agreement.py', 'tests\test_agreement.py', 'README.md') { Copy-Item "$S\$f" $f }Le projet trouve chaque commande grâce à son fichier dans
larkroute/commands/, donccli.pyne change pas. -
Exécutez les tests. Vous devriez obtenir
12 passed(12 tests réussis) :Fenêtre de terminal python -m pytest -q -
Exécutez la nouvelle commande :
Fenêtre de terminal route agreement
La sortie :
800 messages labelled twice: agreement 87.9%, Cohen's kappa 0.854Disagreement on the messages that either person gave this route: route messages disagree needs_person 36 0.389 billing 146 0.281returns_refunds 198 0.237 account 77 0.208 product 118 0.186 orders 132 0.174 delivery 190 0.163Chloé (rows) against Grace (columns):label_grace account billing delivery needs_person orders product returns_refundslabel_chloeaccount 61 1 3 0 0 1 3billing 4 105 1 1 4 0 12delivery 1 3 159 0 0 3 4needs_person 0 0 2 22 0 6 1orders 2 2 6 2 109 1 1product 0 1 1 1 4 96 3returns_refunds 1 12 7 1 1 1 151Ce sont les mêmes nombres que dans le diagramme ci-dessus. La commande affiche les destinations en ordre alphabétique, donc les lignes et les colonnes sont dans un autre ordre. Repérez les deux 12 : billing et returns_refunds, dans les deux sens.
Ouvrez larkroute/commands/agreement.py. La fonction qui fait le travail tient en trois lignes :
def agreement(df: pd.DataFrame, a="label_chloe", b="label_grace") -> dict: same = df[a] == df[b] return {"messages": len(df), "agreement": round(same.mean(), 3), "kappa": round(cohen_kappa_score(df[a], df[b]), 3)}Ouvrez ensuite tests/test_agreement.py. Son premier test est un petit exemple : quatre messages, deux étiquettes, dont la moitié sont identiques. L’accord vaut 0,5 et le kappa vaut 0, car deux pièces de monnaie concorderaient aussi la moitié du temps.
À vous de jouer : l’accord sur les messages de facturation
Section intitulée « À vous de jouer : l’accord sur les messages de facturation »Dans la section 4 du carnet, prenez les messages dont l’étiquette révisée (route dans train) est billing. Calculez la proportion où Chloé et Grace sont en désaccord, arrondie à 3 décimales, dans billing_disagree.
Afficher la réponse
merged = pairs.merge(train[["message_id", "route"]], on="message_id")billing = merged[merged["route"] == "billing"]billing_disagree = round((billing["label_chloe"] != billing["label_grace"]).mean(), 3)print(len(billing), "billing messages, disagreement", billing_disagree)125 billing messages, disagreement 0.16Chloé et Grace sont en désaccord sur 16 % des messages de facturation : environ 1 sur 6.
Un modèle ne peut pas être plus cohérent que ses étiquettes
Section intitulée « Un modèle ne peut pas être plus cohérent que ses étiquettes »Cette boîte de réception est simulée. Chaque message possède donc aussi une étiquette révisée : la bonne réponse que nous avons intégrée aux données. En situation réelle, seule une révision experte de chaque message permet d’obtenir une telle étiquette. Par rapport aux étiquettes révisées, Chloé a raison sur 96,1 % des 800 messages, et Grace sur 91,7 %.
Pensez maintenant à ce qu’un modèle apprend. Supposons que Grace ait étiqueté seule tous les messages d’entraînement. Alors, 8,3 % des étiquettes enseigneraient une mauvaise destination au modèle. Le modèle apprend ses habitudes en même temps que les règles. Un modèle entraîné sur ses étiquettes et qui concorde avec elle sur 99 % des nouveaux messages n’est pas devenu meilleur. Il a très bien copié ses erreurs.
La même limite s’applique au test. Si les étiquettes de test viennent d’une seule personne, on juge le modèle selon les habitudes de cette personne. Quand deux personnes attentives s’entendent sur 87,9 % des messages, un score de test bien supérieur à ce nombre est un avertissement. Le modèle pourrait reproduire les habitudes d’une personne, plutôt que la règle. Dans ce cours, les données de test ont les étiquettes révisées, donc les scores sont honnêtes. Les projets réels n’ont pas ce luxe : l’accord entre les personnes est alors la limite supérieure à laquelle vous pouvez vous fier.
Quand mesurer l’accord, et combien cela coûte
Section intitulée « Quand mesurer l’accord, et combien cela coûte »Mesurez l’accord quand vous rédigez le premier guide, puis après chaque modification importante. Faites étiqueter le même échantillon aléatoire par deux personnes, séparément. Ici, l’échantillon contient 800 messages, soit 8 % de l’historique. Un échantillon plus petit coûte moins cher, mais contient peu de messages des destinations rares. Même 800 messages n’en donnent que 36 qu’au moins une personne a étiquetés needs_person.
Le coût correspond au temps de la deuxième personne. Au coût de révision supposé dans le cours, soit 1,50 $ US par message, 800 étiquettes supplémentaires coûtent environ 1 200 $ US, une seule fois. La prochaine leçon montre que les mauvaises étiquettes coûtent beaucoup plus cher avec le temps.
L’accord ne prouve pas que les étiquettes sont justes. Deux personnes peuvent s’entendre sur une mauvaise règle, comme l’a montré le guide par mots-clés de la dernière leçon. Il prouve seulement que la règle est claire.
Erreur courante
Accord mesuré sur des messages faciles
Symptôme : Une équipe veut vérifier rapidement l’accord. Une personne choisit 50 messages « pour gagner du temps », et deux personnes les étiquettent. Elles s’entendent sur 92,0 % des messages. L’équipe annonce que le guide est clair.
Cause : La personne a choisi des messages courts et clairs. Dans le carnet, la section 5 mesure l’accord sur les 50 messages les plus courts parmi les 800. Il atteint 92,0 %, contre 87,9 % sur les 800. Les messages courts sont souvent les plus faciles. Les cas difficiles, comme un remboursement et un montant facturé dans un même message, sont rarement courts.
Solution : Choisissez les messages pour le double étiquetage au hasard, ou au hasard dans chaque destination. Notez comment vous les avez choisis. Présentez l’accord avec la taille de son échantillon.
Conséquence dans le travail en IA : Une vérification de l’accord sur un échantillon facile cache les destinations difficiles. L’équipe conserve un guide flou, les étiquettes restent incohérentes sur les cas difficiles, et le modèle échoue précisément là.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Deux annotateurs sont d'accord sur 90 % des messages. Dans une équipe, 90 % des messages ont la même étiquette. Dans l'autre, les messages se répartissent entre sept étiquettes. Dans quelle équipe le kappa est-il plus élevé, et pourquoi?
Afficher la réponse
Dans l’équipe où les messages se répartissent entre sept étiquettes. Le kappa retire l’accord dû au hasard. Quand 90 % des messages ont une seule étiquette, deux personnes qui donnent cette étiquette sont souvent d’accord par hasard. L’accord dû au hasard est donc élevé, et le kappa est faible. Avec sept étiquettes réparties, l’accord dû au hasard est faible : 0,169 pour Chloé et Grace. Le kappa reste donc proche de l’accord simple : 0,854 pour 87,9 %.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Calculez le kappa de Cohen : deux personnes étiquettent 10 messages; elles sont d'accord sur 6. Chaque personne donne l'étiquette A à 5 messages et l'étiquette B à 5 messages.
Afficher la réponse
Accord = 0,6. Accord dû au hasard = 0,5 × 0,5 + 0,5 × 0,5 = 0,5. Kappa = (0,6 − 0,5) ÷ (1 − 0,5) = 0,2. C’est un accord faible : à peine mieux que deux pièces de monnaie.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Exercice pratique : vous avez exécuté route agreement. Quel cas difficile Chloé devrait-elle améliorer en premier? Quel nombre dans la sortie l'indique?
Afficher la réponse
Le cas difficile entre billing (facturation) et returns_refunds (retours et remboursements). Le tableau montre les plus grands nombres hors de la diagonale à cet endroit. Chloé a étiqueté 12 messages billing que Grace a étiquetés returns_refunds, et 12 dans l’autre sens. billing a aussi le deuxième taux de désaccord le plus élevé par destination (0,281). needs_person (besoin d’une personne) a le taux le plus élevé (0,389). Sa règle a donc aussi besoin d’exemples, mais cette destination ne compte que 36 messages.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- L’accord est la proportion de messages auxquels deux personnes donnent la même étiquette. Une partie peut être due au hasard.
- Le kappa de Cohen retire la part due au hasard : (accord − accord dû au hasard) ÷ (1 − accord dû au hasard). Dans l’exemple de 10 messages, un accord de 80 % donne un kappa de seulement 0,375.
- Chloé et Grace sont d’accord sur 87,9 % des 800 messages, avec un kappa de 0,854. Elles sont surtout en désaccord entre
billingetreturns_refunds(12 + 12), et sur 16 % des messages de facturation. route agreementaffiche ces nombres; le projet compte maintenant 12 tests.- Un modèle entraîné sur les étiquettes d’une personne apprend ses habitudes. Quand l’accord atteint 87,9 %, un score beaucoup plus élevé obtenu avec les étiquettes d’une seule personne est un avertissement.
- Mesurez l’accord sur un échantillon aléatoire, jamais sur des messages choisis par quelqu’un.
Vous pouvez maintenant mesurer la cohérence d’étiquettes attribuées avec soin. Mais les 6 000 étiquettes d’entraînement de Larkfield ne viennent pas de personnes qui ont travaillé avec soin. Elles viennent de l’ancien système de billets de soutien. Ensuite, nous trouverons les étiquettes probablement erronées.
Leçon suivante : Trouver les étiquettes bruitées