Étiqueter des articles scientifiques avec beaucoup d'étiquettes
- Étude de cas 4
- 150 min
- Facultative · 1 étude de cas requise pour le certificat
Où nous en sommes
Dans neuf modules, la plupart des messages avaient une seule étiquette. Cette étude de cas facultative utilise de vrais résumés d'articles ouverts, souvent associés à plusieurs étiquettes de sujet. Nous entraînons un modèle par étiquette, choisissons un seuil pour chacune et présentons les résultats par étiquette.
Étude de cas 4 sur 4 · Classification et routage de textes : envoyer chaque message au bon endroitÉtiqueter des articles scientifiques avec beaucoup d'étiquettes
1. Le problème du routage et son coût
2. Des étiquettes fiables
3. Références de base : règles et modèles classiques
4. Plongements et petits modèles réglés finement
5. Les LLM comme classificateurs
6. Modèles de décision, cascades et distillation
7. Des formes d'étiquettes plus difficiles
8. La confiance et les personnes dans la boucle
9. Exploiter le routeur en production
Ce que vous saurez faire
Partez de 12 000 vrais résumés d’articles pour décider comment un assistant suggérera des catégories de sujet à une personne. Vous entraînerez un modèle oui/non par catégorie et choisirez les seuils à partir d’un tableau des coûts. Vous étudierez la longue traîne et deux niveaux d’étiquettes, puis comparerez équitablement trois types de méthodes.
Cette étude de cas est facultative. Vous pouvez la choisir pour le certificat.
Le carnet (notebook) Jupyter exécute toutes les étapes de cette page, plus trois tâches avec des vérifications. Ses cellules de préparation installent les bibliothèques et téléchargent les données et les fichiers du cours (6 Mo). Le modèle de plongement (environ 470 Mo) se télécharge une seule fois. Aucun compte ni aucune clé ne sont nécessaires : les réponses du LLM ont été enregistrées. Après l’installation, l’exécution prend environ 3 minutes sur un portable.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
Cette étude de cas s’appuie sur le module 7. Voici les leçons les plus importantes :
- Un modèle oui/non par étiquette, un seuil par étiquette et des messages sans étiquette, dans Les messages à plusieurs étiquettes.
- Deux niveaux d’étiquettes, dans Les étiquettes hiérarchiques.
- Les classes rares et le F1 macro, dans Le déséquilibre et les classes rares.
- TF-IDF, dans Le texte sous forme de nombres : TF-IDF, et les plongements figés, dans Plongements de phrases pour la classification.
- Le coût par 1 000 messages, dans Le coût de chaque erreur.
Ce qu’il vous faut sur votre ordinateur
Rien : le carnet s’exécute dans Colab ou Kaggle. Pour l’exécuter localement, utilisez un environnement virtuel avec Python 3.12, pandas 3.1.1, scikit-learn 1.9.1, sentence-transformers 6.2.0 et PyTorch 2.15.0 (CPU). La cellule de préparation crée un dossier arxiv-papers. Pour recommencer, supprimez ce dossier. Cette étude de cas ne modifie pas votre projet larkroute.
Testé sur macOS (puce Apple) avec Python 3.12, dans Jupyter après un démarrage à neuf. Colab, Kaggle, Windows et Linux n’ont pas été testés.
La situation
Section intitulée « La situation »Imaginez une bibliothèque universitaire qui gère une archive ouverte d’articles scientifiques. Elle utilise les catégories de sujet d’arXiv, la grande archive ouverte d’articles scientifiques. Les auteurs choisissent les catégories de leur article dans une longue liste, puis des modérateurs bénévoles vérifient ce choix.
Nadia dirige les modérateurs. Son problème : les auteurs choisissent souvent trop peu de catégories, ou les mauvaises. Les lecteurs qui suivent les catégories manquantes ne voient alors jamais l’article.
Kofi est scientifique des données. Nadia lui demande : « Un modèle peut-il suggérer les catégories, pour qu’une personne n’ait qu’à les confirmer? Combien d’articles ne reçoivent aucune suggestion utile? Et combien ça coûte? »
Nous avons inventé Nadia, Kofi et la bibliothèque. Les articles sont réels.
Le mot important est suggérer. Une personne examine toujours l’article, et l’assistant lui fait gagner du temps. Kofi note les coûts avec Nadia. Ce sont des hypothèses :
- Une catégorie correcte que l’assistant ne suggère pas coûte 1,00 $ US. La personne doit la trouver dans une liste de 70 catégories.
- Une mauvaise suggestion coûte 0,20 $ US. La personne la lit et la retire, en environ 10 secondes.
- Un article sans aucune suggestion coûte 1,50 $ US, le coût d’une révision dans le cours : environ une minute de travail.
Ainsi, « une personne étiquette tout », le processus actuel de la bibliothèque, coûte 1 500 $ US par 1 000 articles.
Ce que vous allez créer
Section intitulée « Ce que vous allez créer »Vous créerez un assistant qui lit le titre et le résumé d’un article et suggère toutes les catégories pertinentes. S’il n’est sûr d’aucune catégorie, il ne suggère rien, et la personne étiquette l’article seule. Vous comparerez les méthodes avec une seule mesure : le coût par 1 000 articles.
Les données
Section intitulée « Les données »Les données sont un échantillon des métadonnées d’articles d’arXiv : l’identifiant, le titre, le résumé et les catégories de chaque article. arXiv verse ses métadonnées dans le domaine public (CC0 1.0). Nous utilisons un instantané sur Hugging Face, gfissore/arxiv-abstracts-2021, qui contient environ 2 millions d’articles.
Nous avons pris un de ses cinq fichiers (363 006 articles de 2020 et 2021). Nous avons gardé les articles dont la catégorie principale appartient à l’un de quatre domaines : informatique (cs), mathématiques (math), statistique (stat) et génie électrique (eess). Nous avons ensuite tiré un échantillon fixe : 5 000, 4 000, 1 500 et 1 500 articles. L’échantillon fait 5 Mo et accompagne le carnet.
Chaque article a une catégorie principale, la première de sa liste, et peut en avoir d’autres. cs.LG cs.CV signifie apprentissage automatique, puis vision par ordinateur.
Nous avons aussi comparé l’exportation complète des métadonnées d’arXiv et GoEmotions, des commentaires Reddit avec des étiquettes d’émotion. La fiche du jeu de données explique pourquoi cet échantillon a été retenu.
Premières vérifications
Section intitulée « Premières vérifications »Le carnet charge l’échantillon :
papers = pd.read_csv("data/papers.csv.gz", dtype={"id": str})Les premières vérifications affichent :
papers: 12,000 | areas: {'cs': 5000, 'math': 4000, 'eess': 1500, 'stat': 1500}missing values: 0 | repeated IDs: 0 | repeated abstracts: 1words per abstract: median 150, 90% have at most 229, longest 328categories per paper: {1: 5795, 2: 4161, 3: 1536, 4: 418, 5: 84, 6: 5, 8: 1}categories without a name: []Ce que cela nous apprend. Les données sont propres. Les résumés sont environ cinq fois plus longs que les messages de Larkfield : une médiane de 150 mots, contre 28. Plus de la moitié des articles ont deux catégories ou plus.
Notez dtype={"id": str}. Les identifiants arXiv ressemblent à des nombres, mais ce sont du texte. Lu comme un nombre, 1912.11930 devient 1912,1193, et l’article est perdu. Notre premier enregistrement du LLM contenait cette erreur.
Deux noms pour une catégorie
Section intitulée « Deux noms pour une catégorie »arXiv donne deux noms à certaines catégories. Par exemple, la théorie statistique correspond à la fois à math.ST et à stat.TH. Le carnet vérifie les listes brutes :
math.ST and stat.TH: 284 and 284 papers; always together: Truecs.IT and math.IT: 381 and 381 papers; always together: Truemath.NA and cs.NA: 444 and 444 papers; always together: Trueeess.SY and cs.SY: 609 and 609 papers; always together: Truepapers that also had a category outside the four areas (dropped): 19.0%Ce que cela nous apprend. Les deux noms apparaissent toujours ensemble. Si nous gardions les deux, un modèle obtiendrait chaque fois une deuxième étiquette « gratuite », et les scores sembleraient trop bons. Nous avons donc gardé un seul nom par paire.
Plusieurs étiquettes et une longue traîne
Section intitulée « Plusieurs étiquettes et une longue traîne »Pensez aux rayons d’une bibliothèque. Quelques sujets occupent des murs entiers, et beaucoup occupent une demi-tablette. Certains comptent trois livres. Les étiquettes fonctionnent de la même façon : quelques-unes sont très fréquentes, et beaucoup sont rares. Cette forme s’appelle une longue traîne. Le carnet compte les articles d’entraînement de chaque catégorie :
train 8,002 | validation 1,999 | test 1,999 (used once, at the end)categories: 78 in train | learned: 70 | too rare (< 20 papers): 8 | rare (20 to 49 papers): 16most common: {'cs.LG': 1797, 'cs.CV': 1028, 'stat.ML': 792, 'cs.AI': 547, 'stat.ME': 536}too rare: {'math.GM': 18, 'cs.ET': 18, 'math.HO': 16, 'cs.MS': 13, 'cs.SC': 10, 'cs.OS': 3, 'cs.OH': 2, 'cs.GL': 1}Description textuelle du graphique
Cinq colonnes, le nombre de catégories dans chaque groupe de taille, selon les articles d’entraînement. De 1 à 19 articles : 8 catégories, dans une deuxième couleur, trop rares pour apprendre. De 20 à 49 articles : 16 catégories. De 50 à 99 : 16. De 100 à 299 : 23. 300 ou plus : 15. La catégorie la plus fréquente, cs.LG, compte 1 797 articles d’entraînement; la plus rare, cs.GL, en compte 1.
Ce que cela nous apprend. L’apprentissage automatique (cs.LG) figure à lui seul sur 1 797 des 8 002 articles d’entraînement. À l’autre extrême, 8 catégories ont moins de 20 articles. Un modèle ne peut pas apprendre avec 3 exemples. Nous n’entraînons donc pas ces 8 catégories, et le tableau des coûts les compte comme manquées. Les 16 catégories de 20 à 49 articles sont les catégories rares que nous pouvons apprendre, et nous les mesurons séparément.
51,4 % des articles d’entraînement ont plus d’une catégorie; chez Larkfield, 12,6 % des messages contenaient deux demandes.
Définir le problème
Section intitulée « Définir le problème »Kofi note ses réponses avant d’entraîner quoi que ce soit :
- Unité : un article. Il reçoit de zéro à cinq catégories suggérées.
- Étiquettes : les 70 catégories avec au moins 20 articles d’entraînement. Nous examinons aussi les quatre domaines, le premier niveau des étiquettes.
- Une mesure pour choisir : le coût par 1 000 articles, avec le tableau des coûts ci-dessus.
- La séparation : 8 002 articles d’entraînement, 1 999 de validation, 1 999 de test, avec stratification par domaine. Tous les choix se font sur les données de validation; les articles de test servent une seule fois, à la fin.
F1 micro, F1 macro et correspondance exacte
Section intitulée « F1 micro, F1 macro et correspondance exacte »Un résultat multiétiquette exige de nouvelles mesures. En voici trois, avec un petit exemple : 10 articles et trois catégories.
| Catégorie | Articles pertinents | Trouvés | Mauvaises suggestions | F1 |
|---|---|---|---|---|
| cs.LG (fréquente) | 8 | 7 | 1 | 2 × 7 ÷ (2 × 7 + 1 + 1) = 0,875 |
| stat.ML | 4 | 2 | 2 | 2 × 2 ÷ (2 × 2 + 2 + 2) = 0,500 |
| math.KT (rare) | 1 | 0 | 0 | 0 |
- Le F1 micro compte ensemble toutes les suggestions de toutes les catégories : 9 trouvées, 3 mauvaises, 4 manquées. Donc 2 × 9 ÷ (2 × 9 + 3 + 4) = 0,72. Les catégories fréquentes le déterminent.
- Le F1 macro fait la moyenne des trois scores F1 : (0,875 + 0,5 + 0) ÷ 3 = 0,458. La catégorie rare compte autant que la catégorie fréquente.
- La correspondance exacte est la proportion d’articles dont l’ensemble des étiquettes est exactement correct, comme dans Les messages à plusieurs étiquettes.
Les tableaux montrent aussi le rappel des catégories rares, la proportion d’articles sans suggestion (transférés à la personne) et les suggestions par article.
Une référence de base : un modèle oui/non par catégorie
Section intitulée « Une référence de base : un modèle oui/non par catégorie »Kofi commence avec la méthode de la leçon Les messages à plusieurs étiquettes : TF-IDF de mots et de paires de mots, puis une régression logistique par catégorie (un contre tous, one-vs-rest) : 70 modèles oui/non. Leur entraînement prend 11 secondes. Avec le seuil habituel de 0,50 pour chaque catégorie, sur les articles de validation :
method exact_match micro_f1 macro_f1 rare_recall no_tag_share tags_per_paper total_per_10000 TF-IDF, 0.50 for every category 0.198 0.459 0.196 0.0 0.494 0.65 1138.71 everything to a person 0.000 0.000 0.000 0.0 1.000 0.00 1500.0Ce que cela nous apprend. À 0,50, la moitié des articles (49,4 %) ne dépassent aucun seuil, et la personne doit les étiqueter seule. Le modèle suggère 0,65 catégorie par article, mais les articles en ont 1,7 en moyenne. Il économise seulement 361 $ US par 1 000 articles.
Un article, toutes les valeurs
Section intitulée « Un article, toutes les valeurs »Un article de validation, « On Tilings of Asymmetric Limited-Magnitude Balls », a les catégories math.CO (combinatoire) et cs.IT (théorie de l’information).
Description textuelle du diagramme
À gauche, l’article « On Tilings of Asymmetric Limited-Magnitude Balls ». Ses auteurs ont choisi math.CO et cs.IT. Une flèche mène aux 70 modèles oui/non. Leurs scores : math.CO 0,280, cs.IT 0,126, math.DS 0,024, math.MP 0,023, et les 66 autres à 0,023 ou moins. Une flèche, « le seuil habituel », mène à 0,50 pour chaque catégorie : rien ne dépasse le seuil, et la personne étiquette l’article seule. L’autre flèche, « cette étude de cas », mène à un seuil par catégorie : math.CO 0,280 atteint au moins 0,07, oui; cs.IT 0,126 atteint au moins 0,08, oui; math.MP 0,023 est inférieur à 0,05, non. La dernière boîte : suggérer math.CO et cs.IT, toutes deux correctes, et la personne confirme.
Le modèle classe les deux bonnes catégories en première et deuxième positions, mais les deux scores sont bien inférieurs à 0,50. Chaque modèle oui/non a vu peu d’articles de sa catégorie, donc ses probabilités restent faibles. Le problème est le seuil, pas le classement.
Un seuil tiré du tableau des coûts
Section intitulée « Un seuil tiré du tableau des coûts »L’assistant devrait-il suggérer une catégorie avec une probabilité de 0,28? Pensez à un parapluie. Le transporter coûte peu; se mouiller coûte plus. Vous le prenez donc même si la pluie est peu probable.
Le même raisonnement s’applique à une suggestion. Soit p la probabilité que la catégorie soit correcte.
- Si l’assistant la suggère, le coût est la probabilité qu’elle soit fausse multipliée par 0,20 : (1 − p) × 0,20.
- Sinon, le coût est la probabilité qu’elle soit correcte multipliée par 1,00 : p × 1,00.
Les deux coûts sont égaux quand (1 − p) × 0,20 = p × 1,00, donc p = 0,20 ÷ 1,20 = 0,167. Au-dessus, suggérer coûte moins cher. C’est le seuil d’équilibre des coûts, et il vient du tableau des coûts, pas du modèle.
| p | Suggérer : (1 − p) × 0,20 | Omettre : p × 1,00 | Moins cher |
|---|---|---|---|
| 0,10 | 0,18 | 0,10 | omettre |
| 0,167 | 0,167 | 0,167 | égal |
| 0,28 | 0,144 | 0,28 | suggérer |
| 0,50 | 0,10 | 0,50 | suggérer |
Le seuil d’équilibre des coûts est valide seulement si les probabilités sont justes : 0,28 doit signifier « correcte 28 fois sur 100 ». Kofi essaie donc chaque seuil de 0,05 à 0,90 sur les articles de validation :
- Coût total par 1 000 articles
- Catégories manquées (1,00 $ US chacune)
- Mauvaises suggestions (0,20 $ US chacune)
- Aucune suggestion : la personne l'étiquette (1,50)
Description textuelle du graphique
Quatre lignes selon le seuil, de 0,05 à 0,60. Le coût total : 760,3 $ US par 1 000 à 0,05, au plus bas à 0,07 avec 735,1, puis 749,6 à 0,10, 857,9 à 0,20, 965,9 à 0,30, 1 138,7 à 0,50 et 1 210,4 à 0,60. Les mauvaises suggestions baissent vite : 404,4 à 0,05, 299,6 à 0,07, 209,1 à 0,10, 93,0 à 0,20 et 21,9 à 0,50. Les articles étiquetés par la personne seule augmentent vite : 14,3 à 0,05, 45,8 à 0,07, 99,8 à 0,10, 307,7 à 0,20 et 740,6 à 0,50. Les catégories manquées passent de 341,7 à 0,05 à 457,2 à 0,20, puis baissent à 376,2 à 0,50. De plus en plus d’articles sont transférés à la personne, qui trouve toutes les catégories.
one threshold for every category: lowest cost at 0.07, 735.1 dollars per 1,000, 3.1% to a person (at 0.50: 1138.7)Ce que cela nous apprend. Le seuil le moins cher est 0,07, bien inférieur au seuil d’équilibre de 0,167 et à 0,50. Les probabilités sont trop faibles : une catégorie à 0,10 est correcte plus d’une fois sur 10. À 0,07, l’assistant suggère 2,79 catégories par article, et 3,1 % des articles ne reçoivent aucune suggestion. Le coût passe de 1 138,7 à 735,1 $ US par 1 000.
Un seuil par catégorie
Section intitulée « Un seuil par catégorie »Kofi choisit aussi un seuil par catégorie sur les articles de validation, selon le même coût. Une catégorie avec moins de 10 articles de validation pertinents garde 0,07.
thresholds per category: from 0.05 to 0.22, median 0.07; 22 categories keep 0.07 method exact_match micro_f1 macro_f1 rare_recall no_tag_share tags_per_paper total_per_10000 TF-IDF, a threshold per category 0.210 0.622 0.455 0.090 0.040 2.36 673.61 TF-IDF, 0.07, at least one 0.139 0.573 0.421 0.062 0.000 2.82 731.02 TF-IDF, 0.07 for every category 0.135 0.573 0.421 0.062 0.031 2.79 735.1Ce que cela nous apprend. Sur les données de validation, les seuils par catégorie coûtent 673,6, environ 60 $ US de moins qu’un seuil unique. Mais ils ont été choisis sur ces mêmes articles, donc cette ligne semble meilleure qu’elle ne le sera. Chez Larkfield, les seuils par destination ont perdu sur les messages de test. La troisième ligne, « au moins une », suggère toujours la catégorie la plus probable. Elle coûte presque autant que de transférer ces articles à la personne.
Si la personne peut étiqueter seule au plus 2 % des articles, le seuil unique le moins cher est 0,05, pour 760,3 $ US par 1 000.
Deux niveaux : domaine, puis catégorie
Section intitulée « Deux niveaux : domaine, puis catégorie »La première partie de cs.LG est le domaine, cs : l’« équipe » de la leçon Les étiquettes hiérarchiques. La catégorie est le « sujet » à l’intérieur.
Description textuelle du diagramme
À gauche, un article, avec son titre et son résumé. Quatre flèches mènent à quatre cases de domaines. cs, informatique : 32 catégories, par exemple cs.LG avec 1 797 articles d’entraînement, cs.CV avec 1 028 et cs.AI avec 547. math, mathématiques : 29 catégories, par exemple math.OC avec 408, math.AP avec 353 et math.CO avec 350. stat, statistiques : 5 catégories, par exemple stat.ML avec 792, stat.ME avec 536 et stat.AP avec 301. eess, génie électrique : 4 catégories, par exemple eess.SP avec 430, eess.SY avec 409 et eess.IV avec 397.
24,6 % des articles d’entraînement appartiennent à deux domaines, le plus souvent cs.LG avec stat.ML. Le carnet (notebook) Jupyter mesure les deux niveaux avec le seuil 0,07 :
micro-F1 by category: 0.573 | by area: 0.820wrong suggestions: 2995, of which in an area that the paper has: 2047 (68%) method accuracy macro_f1 total_per_10000 area of the top category 0.812 0.752 750.41 a model for the 4 areas 0.842 0.794 632.3Ce que cela nous apprend. Le niveau du domaine est beaucoup plus facile : un F1 micro de 0,820 contre 0,573. Deux suggestions erronées sur trois sont dans le bon domaine. Elles sont proches de la bonne réponse, et une personne les corrige vite.
Le tableau évalue aussi un problème de routage avec le routing.py du cours : envoyer chaque article aux modérateurs de son domaine principal. Un mauvais domaine coûte 4 $ US. Un modèle entraîné sur les 4 domaines (0,842) bat le domaine de la catégorie la plus probable (0,812). Cela inverse la leçon de Router des questions bancaires : ici, les étiquettes détaillées mélangent les domaines. Un modèle qui prédit directement le domaine gagne donc.
Les plongements, et les deux ensemble
Section intitulée « Les plongements, et les deux ensemble »Deux autres méthodes apprennent sur les mêmes 8 002 articles d’entraînement. Elles sont évaluées sur les mêmes 1 999 articles de validation, avec les deux types de seuil.
Plongements figés. L’ancien modèle de plongement du cours transforme chaque texte en 384 nombres, comme dans Plongements de phrases pour la classification. Une régression logistique par catégorie apprend à partir de ces nombres. Le modèle lit seulement les 128 premières parties de mots : environ le titre et les 80 premiers mots du résumé. Créer les plongements des 12 000 articles a pris 75 secondes sur un ordinateur portable.
Les deux ensemble. La moyenne des probabilités de TF-IDF et des plongements, pour chaque catégorie.
method exact_match micro_f1 macro_f1 rare_recall no_tag_share total_per_1000 ms_per_paper0 TF-IDF, a threshold per category 0.210 0.622 0.455 0.090 0.040 673.6 3.081 TF-IDF + embeddings, a threshold per category 0.164 0.602 0.471 0.250 0.032 707.5 15.914 TF-IDF + embeddings, 0.12 for every category 0.133 0.571 0.444 0.208 0.027 752.2 15.915 embeddings, a threshold per category 0.117 0.543 0.427 0.271 0.046 842.5 12.836 embeddings, 0.17 for every category 0.118 0.529 0.403 0.229 0.049 877.7 12.83Ce que cela nous apprend. Seuls, les plongements perdent contre TF-IDF, comme dans la boîte de réception de Larkfield (0,920 contre 0,962 là-bas). Mais l’écart est plus grand : 842,5 contre 673,6 $ US. Ils lisent seulement le début de chaque résumé, et les mots décisifs peuvent venir plus tard. Mais ils trouvent beaucoup mieux les catégories rares : un rappel des catégories rares de 0,271 contre 0,090. Ensemble, les deux modèles coûtent le moins cher après TF-IDF seul, avec presque trois fois son rappel des catégories rares.
Parmi les routeurs entraînés, le moins cher sur les données de validation reste TF-IDF avec un seuil par catégorie. Le carnet le choisit à partir du tableau de validation.
Le LLM hébergé, enregistré
Section intitulée « Le LLM hébergé, enregistré »Un LLM hébergé (Azure chat-small) a choisi des catégories pour 400 articles de validation et 400 articles de test. La requête (prompt) énumère les 70 catégories avec leurs noms, comme cs.DL: Digital Libraries (bibliothèques numériques). La réponse est en JSON : une liste de catégories, chacune avec une confiance de 0 à 1. Nous avons enregistré chaque réponse une fois, pour que vous puissiez les rejouer sans clé.
La requête zéro exemple (zero-shot) contient seulement la liste et l’article. La requête avec peu d’exemples (few-shot) montre aussi les titres et les catégories des 5 articles d’entraînement les plus semblables. TF-IDF les trouve, comme dans Exemples dans la requête et descriptions d’étiquettes. Voici le début d’une requête avec peu d’exemples :
Similar papers and their categories:- 'Elliptic fixed points with an invariant foliation: Some facts and more questions' -> math.DS- 'Almost non-degenerate functions and a Zariski pair of links' -> math.CV math.AG- 'Universality of the Hurwitz zeta-function on the half plane of absolute convergence' -> math.NT math.CV...Paper:Local Versions of the Wiener-Levi Theorem. Let h be a real-analytic function in the neighborhood ...zero-shot: 800 answers, all valid: True | tokens in 1195, out 39 | 0.139 dollars per 1,000 | median 1206 msfew-shot: 800 answers, all valid: True | tokens in 1322, out 38 | 0.151 dollars per 1,000 | median 1562 msLes 1 600 réponses étaient toutes valides. Chacune coûte environ 0,015 cent et prend environ 1,5 seconde.
La confiance écrite par le LLM reçoit aussi un seuil, choisi selon le coût sur l’échantillon de validation. Pour le LLM avec peu d’exemples, le moins cher est 0,01 : garder chaque catégorie qu’il nomme. Pour le LLM zéro exemple, c’est 0,7.
Une comparaison équitable
Section intitulée « Une comparaison équitable »Le LLM a des réponses seulement pour les échantillons. Les méthodes entraînées sont donc évaluées sur les mêmes 400 articles de validation :
method exact_match micro_f1 macro_f1 rare_recall no_tag_share tags_per_paper total_per_10000 LLM few-shot, confidence >= 0.01 (recorded) 0.207 0.649 0.559 0.517 0.000 2.34 615.21 LLM zero-shot, confidence >= 0.7 (recorded) 0.230 0.645 0.568 0.552 0.003 2.14 661.42 TF-IDF, a threshold per category 0.207 0.598 0.411 0.069 0.037 2.46 719.33 TF-IDF, 0.07 for every category 0.140 0.556 0.380 0.034 0.030 2.88 773.0Ce que cela nous apprend. Ici, le LLM gagne largement : 615,2 $ US par 1 000 articles pour le LLM avec peu d’exemples. Le meilleur routeur entraîné coûte 719,3 $ US. Le plus grand écart concerne les nombreuses catégories rares : un rappel de 0,517 contre 0,069, et un F1 macro de 0,559 contre 0,411. Et il ne laisse jamais un article sans suggestion.
Chez Larkfield, l’encodeur réglé finement battait le LLM avec peu d’exemples. Ici, le LLM a lu sur les bases de données et la K-théorie bien avant cette tâche. Pour une catégorie avec 30 articles d’entraînement, TF-IDF a vu quelques dizaines d’exemples. Le LLM sait ce que le nom signifie. Plus vous avez d’étiquettes et moins chacune a d’exemples, plus ces connaissances préalables sont utiles.
400 articles forment un petit échantillon. Mais une catégorie manquée change une ligne de seulement 2,5 $ US par 1 000 articles. L’écart est d’environ 100 $ US : ce n’est donc pas du bruit. L’échantillon de test ci-dessous doit encore le confirmer.
Le test, une seule fois
Section intitulée « Le test, une seule fois »Kofi ouvre maintenant les articles de test. Tout a été choisi sur les données de validation; rien ne change après cette exécution.
method exact_match micro_f1 macro_f1 rare_recall no_tag_share tags_per_paper total_per_10000 TF-IDF, a threshold per category 0.172 0.592 0.434 0.101 0.055 2.43 754.91 TF-IDF, 0.07, at least one 0.126 0.563 0.428 0.094 0.000 2.88 767.52 TF-IDF, 0.07 for every category 0.120 0.563 0.426 0.094 0.033 2.84 770.73 TF-IDF + embeddings, a threshold per category 0.131 0.565 0.422 0.237 0.042 2.47 814.04 TF-IDF + embeddings, 0.12 for every category 0.118 0.552 0.424 0.216 0.032 2.72 815.95 embeddings, 0.17 for every category 0.107 0.509 0.375 0.230 0.051 2.52 953.06 embeddings, a threshold per category 0.096 0.505 0.376 0.245 0.048 2.54 959.67 TF-IDF, 0.50 for every category 0.196 0.445 0.184 0.000 0.502 0.64 1157.98 everything to a person 0.000 0.000 0.000 0.000 1.000 0.00 1500.0Description textuelle du graphique
Un diagramme à cinq colonnes, montrant le coût par 1 000 articles de test. TF-IDF avec un seuil par catégorie : 755 $ US, le plus bas, dans la première couleur. TF-IDF avec 0,07 pour chaque catégorie : 771. TF-IDF et plongements ensemble : 816. Plongements seuls : 953. TF-IDF avec 0,50 pour chaque catégorie : 1 158. Tout transférer à une personne, non représenté, coûterait 1 500.
Ce que cela nous apprend. Le choix tient, mais l’écart a diminué. TF-IDF avec un seuil par catégorie coûte 754,9 $ US par 1 000 articles, contre 770,7 avec un seul seuil. L’écart est de 16 $ US, pas de 60 comme sur les données de validation. Les seuils s’adaptaient un peu trop bien aux articles de validation. Contre 1 500 pour une personne, l’assistant réduit le coût de moitié. Il suggère 2,43 catégories par article et transfère 5,5 % des articles à la personne.
Chez Larkfield, la correspondance exacte pour les messages avec deux demandes était de 0,952. Ici, elle est de 0,172 : moins de 1 article sur 5 reçoit exactement le bon ensemble. Les vraies étiquettes choisies par des milliers d’auteurs sont beaucoup plus difficiles que celles écrites à partir de modèles.
Les échantillons avec des réponses enregistrées du LLM racontent la même histoire :
method exact_match micro_f1 macro_f1 rare_recall no_tag_share tags_per_paper total_per_10000 LLM few-shot, confidence >= 0.01 (recorded) 0.255 0.676 0.576 0.500 0.000 2.27 586.71 LLM zero-shot, confidence >= 0.7 (recorded) 0.235 0.642 0.539 0.393 0.000 2.16 689.62 TF-IDF, a threshold per category 0.163 0.600 0.421 0.107 0.052 2.43 742.83 TF-IDF, 0.07 for every category 0.100 0.568 0.400 0.107 0.040 2.86 756.5Description textuelle du graphique
Un diagramme à quatre colonnes, montrant le coût par 1 000 articles pour les 400 articles de l’échantillon de test. Le LLM avec peu d’exemples : 587 $ US, le plus bas. Le LLM zéro exemple : 690. TF-IDF avec un seuil par catégorie : 743. TF-IDF avec 0,07 pour chaque catégorie : 757. Les deux colonnes des LLM sont dans une troisième couleur.
Ce que cela nous apprend. Le LLM avec peu d’exemples coûte 586,7 $ US par 1 000 articles, soit 156 de moins que le meilleur routeur entraîné. Son rappel des catégories rares est de 0,500 contre 0,107. Le LLM zéro exemple, avec les noms seulement, coûte 689,6.
Là où l’assistant échoue encore
Section intitulée « Là où l’assistant échoue encore »Le carnet donne le score F1 de chaque catégorie sur les articles de test, regroupés selon le nombre d’articles d’entraînement :
20 to 49 training papers: 16 categories, mean F1 0.139 50 to 99 training papers: 16 categories, mean F1 0.371 100 to 299 training papers: 23 categories, mean F1 0.560 300 to 1999 training papers: 15 categories, mean F1 0.620Description textuelle du graphique
Quatre colonnes, montrant le F1 moyen par catégorie sur les articles de test, selon le nombre d’articles d’entraînement. 20 à 49 articles : 0,14. 50 à 99 : 0,37. 100 à 299 : 0,56. 300 ou plus : 0,62.
Ce que cela nous apprend. Les catégories avec 300 articles d’entraînement ou plus atteignent un F1 moyen de 0,620. Celles avec 20 à 49 articles atteignent 0,139. Plusieurs atteignent 0, comme cs.DB (bases de données) et cs.DL (bibliothèques numériques). C’est pourquoi le F1 macro (0,434) est si loin sous le F1 micro (0,592).
Les catégories les plus souvent manquées racontent une deuxième histoire :
category missed suggested_instead times0 cs.AI 74 cs.LG 561 math.OC 45 stat.ML 152 cs.LG 41 cs.CL 133 stat.ML 39 cs.LG 33cs.AI (intelligence artificielle) est manquée 74 fois, avec cs.LG (apprentissage automatique) suggérée à la place dans 56 cas. stat.ML est manquée 39 fois, avec cs.LG dans 33 cas. Ces catégories se chevauchent.
Erreur courante
Des étiquettes qui dépendent de l'auteur
Symptôme : Kofi lit 20 articles de test où l’assistant a suggéré cs.LG, mais pas stat.ML. Pour la plupart, il ne peut pas dire pourquoi les auteurs ont aussi choisi stat.ML.
Cause : les catégories sont les choix des auteurs. Dans les articles d’entraînement, cs.LG stat.ML apparaît 140 fois et stat.ML cs.LG 178 fois. Beaucoup d’articles semblables ont seulement l’une des deux. L’étiquette dépend en partie d’une habitude de l’auteur.
Correction : ne cherchez pas à gagner ces points avec un modèle plus grand. Traitez la paire comme une seule décision : montrez stat.ML comme deuxième suggestion à côté de cs.LG, puis laissez la personne choisir. Si la bibliothèque veut de la cohérence, écrivez une consigne pour la frontière, comme dans Guide d’étiquetage.
Conséquence pour le travail en IA : avec des étiquettes choisies par plusieurs personnes, une partie de chaque « erreur » est un désaccord. Mesurez-le avant de promettre un score, comme dans Mesurer l’accord.
De nouveaux résumés
Section intitulée « De nouveaux résumés »La dernière étape exécute l’assistant sur trois courts résumés que nous avons écrits dans le style d’arXiv.
title suggested0 Counting lattice paths with forbidden steps math.CO 0.761 A small transformer for detecting faults in power grids eess.SY 0.37, eess.SP 0.332 Confidence intervals after model selection stat.ME 0.72, stat.AP 0.19, cs.LG 0.15Ce que cela nous apprend. La première suggestion est bonne. La deuxième est à moitié bonne : le résumé entraîne un transformeur, et cs.LG manque. Pour le troisième, la personne garderait stat.ME, ajouterait probablement math.ST et retirerait cs.LG. Une personne continue d’intervenir.
Recommandation
Section intitulée « Recommandation »Kofi écrit à Nadia, dans le langage de Nadia :
- Utilisez le LLM avec peu d’exemples pour suggérer des catégories, et gardez chaque catégorie qu’il nomme. Sur l’échantillon de test, il coûtait 586,7 $ US par 1 000 articles. Le meilleur routeur entraîné coûtait 742,8, et une personne qui étiquette tout, 1 500. Il trouve beaucoup mieux les catégories rares. Son exécution coûte environ 0,15 $ US par 1 000 articles et prend environ 1,5 seconde.
- Gardez le routeur entraîné comme solution de repli : TF-IDF avec un seuil par catégorie (0,05 à 0,22). Il s’exécute dans la bibliothèque, en 3 millisecondes. Utilisez-le quand le service de LLM est en panne, et pour les brouillons qui ne peuvent pas quitter la bibliothèque. Sur l’ensemble des données de test, il coûtait 754,9 $ US par 1 000 articles, avec 5,5 % transférés à la personne.
- Présentez les suggestions comme des suggestions. Avec le routeur entraîné, seulement 51 % des suggestions sont bonnes, mais elles couvrent 71 % des bonnes catégories. Une suggestion erronée coûte quelques secondes; une catégorie manquée coûte un lecteur.
- Montrez le domaine en premier. Le domaine est bon beaucoup plus souvent (F1 micro de 0,820 contre 0,573). La plupart des catégories manquantes sont dans le domaine suggéré.
- Surveillez les catégories rares. 24 catégories ont moins de 50 articles d’entraînement. Le routeur entraîné ne les trouve presque jamais; le LLM en trouve environ la moitié. Recueillez plus d’exemples.
Et les usages à éviter :
- Pas pour étiqueter les articles automatiquement. Même avec le LLM, seulement environ 1 article sur 4 reçoit exactement le bon ensemble.
- Pas pour juger les auteurs. Une catégorie manquante est souvent un choix.
Constats et limites
Section intitulée « Constats et limites »- Avec de vraies étiquettes, le bon seuil était bien inférieur à 0,50. Le tableau des coûts l’a fait passer de 0,50 à 0,07 et a réduit le coût d’un tiers.
- Les nombreuses catégories rares déterminent le F1 macro. Les grandes catégories atteignent un F1 de 0,62; celles avec 20 à 49 articles, 0,14.
- Avec beaucoup d’étiquettes et peu d’exemples pour chacune, le LLM a gagné. Sa connaissance des noms de catégories a battu 70 modèles entraînés, surtout pour les nombreuses catégories rares.
- TF-IDF battait encore les plongements figés, comme chez Larkfield, mais tous les scores sont beaucoup plus bas.
- Limites. Deux années d’articles, quatre domaines et un échantillon qui ne représente pas arXiv dans son ensemble. Seulement les titres et les résumés. Les étiquettes sont les choix des auteurs. Le tableau des coûts est une hypothèse, et le LLM a été enregistré seulement pour les échantillons.
Utilisation responsable
Section intitulée « Utilisation responsable »- Une catégorie manquée cache un article à ses lecteurs. L’assistant peut aider les auteurs en début de carrière, mais aussi renforcer les habitudes des grandes catégories. Surveillez les catégories qu’il ne suggère jamais.
- Vérifiez pour qui l’assistant échoue. Nous pouvions seulement vérifier les domaines et les tailles des catégories. Avec de vraies soumissions, comparez aussi selon la langue du résumé, comme dans Priorité, urgence et langue.
- Les résumés sont publics, les brouillons ne le sont pas. Avant d’envoyer des soumissions inédites à un LLM hébergé, vérifiez les règles de l’archive et le consentement des auteurs.
- Nommez la source. CC0 ne demande rien, mais nommez arXiv et l’instantané, et indiquez ce que vous avez changé.
Faites-en un projet de portfolio
Section intitulée « Faites-en un projet de portfolio »Cette étude de cas montre que vous pouvez traiter de vraies données multiétiquettes. Elle couvre la vérification des étiquettes, les nombreuses catégories rares, les seuils tirés d’un tableau des coûts et un rapport honnête par étiquette. Personnalisez-la avec un changement. Par exemple, choisissez d’autres domaines, changez le coût d’une catégorie manquée ou ajoutez des poids des classes pour les catégories rares. Publiez-la ensuite pour qu’une personne puisse la lire en cinq minutes.
Quoi mettre dans le dépôt :
README.md, la page que les gens lisent en premier (modèle ci-dessous).- Le carnet, exécuté du début à la fin, avec ses sorties.
thresholds.csv: votre seuil pour chaque catégorie, et le nombre d’articles de validation qui le soutiennent.comparison.csv: chaque méthode sur les données de validation, et les résultats de test à part.per_category.csv: précision, rappel et F1 par catégorie sur les articles de test.- La source et la licence des données : les métadonnées d’arXiv, CC0 1.0, l’instantané Hugging Face et le SHA-256 de l’échantillon.
Un modèle de README :
# Suggesting arXiv categories for paper abstracts, with thresholds chosen by cost
## ProblemAn archive's authors choose categories for each paper; a person confirms. An assistant suggestscategories. A missed category costs $1.00, a wrong suggestion $0.20, a paper with no suggestion $1.50(the person tags it alone). Assumptions.
## Data and licence12,000 arXiv papers (2020-2021, areas cs, math, stat, eess) from gfissore/arxiv-abstracts-2021,arXiv metadata, CC0 1.0. 70 learned categories; 51% of papers have more than one.
## ApproachTF-IDF + one logistic regression per category (one-vs-rest). Thresholds chosen on validation by cost:one for all, and one per category. Compared with frozen MiniLM embeddings, their mean with TF-IDF,and a hosted LLM (recorded, on a sample). Test used once.
## Results (test, used once)TF-IDF, a threshold per category: $754.9 per 1,000 papers (a person tagging everything: $1,500),micro-F1 0.592, macro-F1 0.434, 5.5% with no suggestion. Rare categories (20-49 papers): mean F1 0.14.Test sample of 400: few-shot LLM $586.7 against $742.8 for TF-IDF; rare recall 0.500 against 0.107.
## LimitsAuthors' own labels; abstracts only; four areas; assumed costs.Comment le décrire en entrevue, en deux phrases : « J’ai créé un assistant qui suggère des catégories arXiv pour les résumés d’articles, avec un modèle oui/non par catégorie. Les seuils choisis dans un tableau des coûts ont déplacé le meilleur seuil de 0,50 à environ 0,07 et réduit de moitié le coût d’étiquetage, et un LLM avec peu d’exemples a battu les modèles entraînés parce qu’il comprend les noms des catégories rares. »
Pour aller plus loin :
- Entraînez les catégories rares avec des poids des classes, comme dans Le déséquilibre et les classes rares. Le rappel des catégories rares augmente-t-il, et à quel coût?
- Créez la version en deux étapes : d’abord le modèle de domaine, puis seulement les catégories des domaines choisis.
- Choisissez les seuils par catégorie avec une validation croisée sur les articles d’entraînement plutôt que sur les données de validation. L’écart entre validation et test diminue-t-il?
- Comparez avec les autres études de cas : Router des questions bancaires, Trouver ce que le robot ne sait pas traiter et Trier des demandes avec peu d’étiquettes.
À vous de jouer
Section intitulée « À vous de jouer »Le carnet contient trois tâches avec des vérifications. Prédisez chaque réponse avant de l’exécuter.
1. Combien d’articles ont plusieurs étiquettes? Dans la section 2, calculez la proportion d’articles d’entraînement avec plus d’une catégorie.
Afficher la réponse
multi_share = round(float((train.tags.str.len() > 1).mean()), 3)share of training papers with more than one category: 0.514Plus de la moitié, contre 12,6 % chez Larkfield.
2. Le seuil d’équilibre. Dans la section 5, calculez la probabilité où suggérer une catégorie et l’omettre coûtent la même chose.
Afficher la réponse
break_even = round(WRONG / (WRONG + MISSED), 3)suggest a category when its probability is at least 0.1670,20 ÷ (0,20 + 1,00) = 0,167. Le seuil le moins cher sur les données de validation est plus bas (0,07), car les probabilités du modèle sont trop faibles.
3. Une équipe de révision plus petite. Dans la section 6, trouvez le seuil unique le moins cher si au plus 2 % des articles peuvent n’avoir aucune suggestion.
Afficher la réponse
under = curve[curve.no_tag_share <= 0.02]threshold_2 = float(under.loc[under.total_per_1000.idxmin(), "threshold"])threshold with at most 2% to the person: 0.05 no_tag_share total_per_1000 0.01 760.30,05 : 1,0 % des articles n’ont aucune suggestion, pour 760,3 $ US par 1 000, soit environ 25 $ US de plus qu’à 0,07.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Avec un seuil de 0,50 pour chaque catégorie, la moitié des articles de validation ne reçoivent aucune suggestion. Le seuil le moins coûteux est de 0,07. Pourquoi les bons seuils sont-ils si bas ici, alors que 0,50 fonctionnait pour les destinations de Larkfield?
Afficher la réponse
Chez Larkfield, les probabilités des sept destinations totalisaient 1. La destination en tête avait donc généralement un score élevé. Ici, chacun des 70 modèles oui/non apprend à distinguer une catégorie de toutes les autres. La plupart des catégories concernent peu d’articles. La réponse « non » est donc généralement correcte, et les probabilités restent faibles. L’article sur les pavages a obtenu 0,280 pour math.CO et 0,126 pour cs.IT, deux catégories correctes. Une catégorie manquée coûte aussi cinq fois plus qu’une mauvaise suggestion. Le seuil d’équilibre est donc déjà bas (0,167). Choisissez le seuil selon le coût sur les données de validation, jamais par habitude.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Le routeur choisi obtient un F1 micro de 0,592 et un F1 macro de 0,434 sur les articles de test. Que révèle cet écart, et quel nombre Nadia devrait-elle examiner?
Afficher la réponse
Le F1 micro compte toutes les suggestions ensemble. Les grandes catégories déterminent donc son résultat. Le F1 macro donne le même poids à chacune des 70 catégories. Les catégories rares le font donc baisser. Les catégories comptant de 20 à 49 articles d’entraînement atteignent un F1 moyen de seulement 0,139. L’assistant fonctionne pour les grandes listes et échoue surtout pour les petites. Nadia devrait examiner les deux mesures, ainsi que les résultats par catégorie. La moyenne masque une petite liste presque jamais suggérée.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Sur les données de validation, les seuils par catégorie coûtent environ 60 $ US de moins par 1 000 articles qu'un seuil unique. Sur les articles de test, l'écart est de 16 $ US. Choisir un seuil par catégorie était-il une erreur?
Afficher la réponse
Non, mais le résultat de validation était trop favorable. Les seuils ont été choisis et évalués sur les mêmes articles. Ils se sont donc ajustés au bruit de ces articles. Les articles de test révèlent l’écart réel : un gain demeure, mais il est faible. Choisissez les seuils sur un jeu de données et évaluez-les sur un autre. Utilisez, par exemple, la validation croisée sur les articles d’entraînement. Gardez la règle plus simple quand le gain reste dans les limites du bruit. Ici, 16 $ US par 1 000 articles correspondent à environ 32 catégories manquées sur 1 999 articles : une différence réelle, mais modeste.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Les données multiétiquettes réelles exigent des vérifications des étiquettes : paires d’alias, identifiants à conserver comme texte, catégories hors champ.
- Un modèle oui/non par catégorie a donné de faibles probabilités. Le tableau des coûts a fait passer le seuil de 0,50 à 0,07. Le coût est passé de 1 138,7 à 735,1 $ US par 1 000 articles de validation.
- Un seuil par catégorie a aussi gagné sur les articles de test, mais de 16 $ US, pas de 60 $ US. Les seuils ajustés sur les données de validation semblent meilleurs qu’ils ne le sont.
- Les nombreuses catégories rares déterminent le F1 macro. Les catégories comptant au moins 300 articles atteignent un F1 de 0,62, contre 0,14 pour celles comptant de 20 à 49 articles. Le niveau des domaines est beaucoup plus facile que celui des catégories.
- Sur toutes les données de test, utilisées une seule fois, le routeur entraîné coûtait 754,9 $ US par 1 000 articles. Il en transférait 5,5 % à la personne, contre 1 500 $ US pour tout étiqueter.
- Sur l’échantillon de test, le LLM avec peu d’exemples (few-shot) coûtait encore moins cher (586,7 contre 742,8 $ US). Son rappel des catégories rares était de 0,500 contre 0,107. Moins d’un article sur quatre reçoit exactement le bon ensemble d’étiquettes. Une personne confirme donc toujours le résultat.
Ensuite, le travail final : un nouveau canal, de nouveaux produits et un système de routage pour le prochain trimestre.
Leçon suivante : Travail final