Évaluer des résumés par rapport aux notes d'experts

Ce que vous saurez faire

Découvrez quelles mesures automatiques de la qualité des résumés s’accordent avec les experts, et pour quelle qualité. Vous comparez des mesures peu coûteuses et deux juges modèles aux notes de trois experts en résumé, avec des intervalles. Vous décidez ensuite quelles vérifications une équipe peut automatiser, et lesquelles nécessitent encore une personne.

Étude de casPièce de portfolio

Jeu de données

Notes d'experts de SummEval (Fabbri et al., 2021), avec des articles de CNN/DailyMail

Licence

MIT (notes et résumés); articles téléchargés depuis leur source

Durée

Environ 2 h

S’exécute dans

Colab, Kaggle ou VS Code

Compétences utilisées

• Corrélation des rangs
• *Bootstrap* par article
• Mesures avec et sans référence
• Juge modèle avec une grille par qualité
• Partitions de développement et de test réservé
• Analyse des échecs
• Quoi automatiser

Ouvrir dans ColabOuvrir dans KaggleVoir sur GitHub

Les carnets sont en anglais. Colab et Kaggle ouvrent votre propre copie. Pour utiliser VS Code, téléchargez le carnet depuis GitHub. Vous êtes bloqué ? Consultez le carnet de solution.

Cette étude de cas est une analyse. Elle prend donc la forme d’un carnet (notebook) Jupyter. Le carnet télécharge les notes et les articles depuis leurs sources, calcule lui-même chaque mesure gratuite et rejoue les juges modèles à partir d’enregistrements. Vous n’avez besoin ni de compte ni de clé. Il s’exécute en quelques minutes, surtout consacrées aux téléchargements. À la fin, un appel direct à un juge est facultatif, avec un modèle local ou votre propre clé.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 120 minutes

Ce que vous devez savoir

Cette étude de cas s’appuie surtout sur ces leçons :

• Ce que le code peut vérifier dans un texte généré et ce qui nécessite un lecteur, dans Métriques des sorties générées. Le piège du chevauchement des mots, dans Étiqueter et versionner.
• Les grilles avec des points de repère, dans Rédiger une grille d’évaluation utilisable, et la comparaison des juges modèles aux personnes, dans Le jugement par modèle.
• Les intervalles par bootstrap (rééchantillonnage avec remise) et les différences appariées, dans Incertitude et sous-groupes.

Vous n’avez pas besoin du projet du cours. Cette étude de cas ne le modifie pas.

Ce qu’il vous faut sur votre ordinateur

Rien : le carnet s’exécute dans Colab ou Kaggle. Pour l’exécuter dans VS Code, créez un nouvel environnement virtuel. Installez pandas, scipy, matplotlib, pyarrow, rouge-score 0.1.2 et sentence-transformers. Ce dernier installe aussi PyTorch (environ 1 Go). La cellule de configuration crée un dossier summary-eval; pour recommencer, supprimez ce dossier.

Nous l’avons testé dans Jupyter sur macOS, à partir d’un environnement neuf. Les versions : Python 3.12, scipy 1.18.1, rouge-score 0.1.2 et sentence-transformers 6.1.0. Nous ne l’avons pas exécuté dans Colab ou Kaggle.

Les modèles changent vite. Les scores des juges, les prix et les durées sur cette page représentent un instant précis. La méthode, elle, reste valable.

La situation

Kestrel Briefings est une petite entreprise. Chaque matin, elle envoie à ses clients une revue de presse composée de courts résumés des nouvelles du jour. Un modèle de résumé rédige environ 400 résumés par nuit. Avant 7 h, deux réviseurs les lisent tous, puis corrigent ou retirent les mauvais. C’est lent, et les réviseurs sont fatigués.

Daniel, l’ingénieur en apprentissage automatique, veut automatiser la vérification. « Tous les articles de recherche présentent ROUGE. On le calcule pour chaque résumé et on envoie aux réviseurs seulement les scores faibles. » Ines, la rédactrice en chef, n’est pas convaincue. « Mes réviseurs regardent quatre choses. Est-ce que le texte forme un tout? Est-ce que chaque fait est exact? Est-ce que les phrases sont bien écrites? Est-ce qu’on a gardé l’essentiel? Lequel de vos chiffres s’accorde avec mes réviseurs, et sur laquelle des quatre qualités? »

Chaque erreur a un coût. Un fait erroné dans la revue de presse d’un client nuit à la confiance et nécessite parfois un rectificatif. Une phrase maladroite coûte peu. Un résumé qui manque l’essentiel fait perdre du temps au client. Ines accorde donc la priorité aux faits.

Kestrel n’a pas encore ses propres notes d’experts, et leur collecte prend des semaines. Mais un jeu de données public permet d’abord d’apprendre la méthode. Il contient des résumés de nouvelles évalués par des experts sur ces quatre mêmes qualités.

Ce que vous allez créer

Vous allez créer un tableau de résultats. Il compare chaque mesure automatique aux experts, qualité par qualité, sur des résumés qui n’ont servi à ajuster aucun choix. Vous lisez ensuite les résumés derrière les chiffres et appliquez les vérifications choisies à un nouvel article. Enfin, vous rédigez une recommandation : quelles vérifications automatiser, et lesquelles confier à un réviseur.

Ce qui est comparé. Chaque mesure donne un nombre à chaque résumé; les experts lui donnent quatre notes. Pour chaque qualité : les deux classements s'accordent-ils?

Description textuelle du diagramme

Un résumé d’un article de presse est évalué de deux façons. Trois experts le notent de 1 à 5 sur quatre qualités : cohérence, fidélité factuelle, fluidité et pertinence. Les mesures automatiques lui donnent chacune un nombre. Les mesures gratuites s’exécutent sur votre ordinateur : longueur; ROUGE, qui nécessite un résumé de référence; paires de mots copiées, qui nécessitent l’article; et similarité des plongements (embeddings). La mesure payante est un juge modèle avec une grille, qui nécessite l’article. Pour chaque qualité, les 640 résumés de test réservé sont classés selon la moyenne des experts et selon la mesure. Une corrélation des rangs, avec un intervalle, indique à quel point les deux classements s’accordent.

Les compétences viennent de l’ensemble du cours :

• un jeu réparti entre développement et test réservé (Éviter la contamination);
• des mesures qui détectent différents échecs (Métriques des sorties générées);
• un juge avec une grille, comparé à des personnes (Le jugement par modèle);
• des intervalles (Incertitude et sous-groupes).

Les données

Les données proviennent de SummEval, une étude de 2021 sur l’évaluation des résumés. Ses auteurs ont pris 100 articles de presse dans les données de test du jeu de données CNN/DailyMail. Ils ont ajouté les résumés de 16 systèmes de résumé de 2017 à 2020 : 1,600 résumés. Ils ont ensuite fait évaluer chaque résumé.

Source et licence

Notes et résumés : SummEval, github.com/Yale-LILY/SummEval, licence MIT. Article : Fabbri, Kryściński, McCann, Xiong, Socher et Radev (2021), « SummEval : Re-evaluating Summarization Evaluation », Transactions of the ACL 9, 391–409. Le dépôt contient un lien vers le fichier de notes, qui n’a pas son propre fichier de licence. Les articles proviennent du jeu de données CNN/DailyMail (Hermann et al., 2015; See et al., 2017). Leur texte appartient à CNN et au Daily Mail. Le cours ne copie donc aucun des deux fichiers : le carnet les télécharge depuis leurs sources et vérifie leurs sommes de contrôle. Les résumés ont été rédigés par 16 systèmes, dont le README de SummEval répertorie les articles de recherche.

Une ligne correspond à un résumé d’un article. Les experts ont noté quatre qualités de 1 (pire) à 5 (meilleur), définies dans l’article de recherche :

Qualité	Ce que les experts ont évalué
Cohérence	Le résumé dans son ensemble : bien organisé, avec un enchaînement entre les phrases
Fidélité factuelle	Les faits : chaque affirmation est appuyée par l’article, rien n’est inventé
Fluidité	Chaque phrase prise séparément : aucune phrase incomplète, aucune faute de grammaire
Pertinence	Le choix du contenu : les points importants, sans répétition ni détails secondaires

La plupart des systèmes ont écrit en minuscules, avec des espaces autour de la ponctuation. C’est leur sortie brute, et les experts l’ont vue aussi.

Qui a évalué

L’article précise qui a attribué les notes, et c’est important ici. Les experts étaient trois personnes « ayant rédigé des articles sur le résumé pour des conférences universitaires (2) ou dans le cadre d’un mémoire de fin d’études (1) ». Chacune a évalué tous les résumés, en deux tours. Au deuxième tour, chaque expert a revérifié toute note qui s’écartait de plus de 2 points de celles des autres. Pendant cette vérification, les experts pouvaient voir les premières notes des autres. Cela a augmenté leur accord.

L’article a aussi recueilli des notes participatives : cinq travailleurs d’Amazon Mechanical Turk par résumé, avec les mêmes consignes.

Aucune note de ce jeu de données ne vient du cours. Les scores des juges modèles présentés plus loin sont des sorties de modèles, enregistrées par le cours. Ce ne sont jamais des notes humaines.

Premières vérifications

Le carnet charge les notes, les joint aux articles par identifiant et compte les résumés selon la moyenne arrondie des experts :

     coherence  consistency  fluency  relevance
1.0         38           35       10         11
2.0        326           82       39        120
3.0        422           37       82        362
4.0        579           59      178        837
5.0        235         1387     1291        270

Ce que cela nous apprend. Les 100 articles ont été trouvés, avec 16 résumés chacun. La cohérence et la pertinence se répartissent sur l’échelle. Ce n’est pas le cas de la fidélité factuelle et de la fluidité. Pour la fidélité factuelle, 1,387 résumés sur 1,600 ont une moyenne arrondie de 5, et 1,291 pour la fluidité. Les erreurs factuelles sont rares ici. Tout résultat sur la fidélité factuelle repose donc sur un petit nombre de résumés erronés. Les réviseurs de Kestrel connaissent cette situation : la plupart des résumés sont corrects, et il faut trouver les rares exceptions.

Définir le problème

L’unité est un résumé. La cible est la moyenne des notes des trois experts, pour chaque qualité séparément. Une mesure n’a pas besoin de l’échelle des experts. Elle doit placer les résumés dans le même ordre : les meilleurs plus haut.

La partition se fait par article, car les 16 résumés d’un article partagent son sujet et sa difficulté. Dix articles de développement (160 résumés) ont servi à rédiger et à essayer la requête du juge. Quarante articles de test réservé (640 résumés) servent à comparer chaque mesure, une seule fois. Les 50 autres articles n’ont pas été envoyés à un juge, pour respecter le budget d’enregistrement de 5 $ US.

Les besoins de chaque mesure font partie de la définition du problème. ROUGE nécessite un résumé de référence rédigé par une personne, et Kestrel n’en a pas pour les nouvelles de demain. Les paires de mots copiées et le juge nécessitent seulement l’article. La longueur ne nécessite rien. Une mesure qui nécessite une référence ne peut pas évaluer de nouveaux résumés sans travail humain supplémentaire.

La nouvelle idée : comparer les classements, pas les scores

Deux dégustateurs de vin

Deux dégustateurs notent les cinq mêmes vins. L’un note de 1 à 5, l’autre de 0 à 100. Leurs nombres ne correspondent jamais, mais ils peuvent être entièrement d’accord : le même vin arrive premier et le même arrive dernier. Pour les comparer, vous comparez leurs classements.

Le problème : les échelles diffèrent

Un résumé a un score ROUGE-2 de 0,308 et une pertinence de 4,67 selon les experts. Est-ce un accord? La question n’a pas de réponse. ROUGE va de 0 à 1, les experts de 1 à 5, et un juge utilise des nombres entiers. Une mesure peut aussi augmenter avec la qualité sans suivre une ligne droite. Une corrélation ordinaire des nombres bruts mélange ces effets.

L’idée et son nom

La corrélation des rangs de Spearman remplace chaque nombre par son rang dans sa propre liste. Elle mesure ensuite à quel point les deux listes de rangs s’accordent. Elle vaut +1 quand les classements sont identiques, 0 quand ils sont sans lien, et −1 quand ils sont inversés. Les ex æquo partagent un rang. Son symbole est ρ (rho).

Un petit exemple détaillé

Voici cinq vrais résumés d’un article sur la vente aux enchères d’une robe du film Gone With the Wind. À gauche : la pertinence moyenne selon les experts. À droite : ROUGE-2, expliqué plus bas dans « Les mesures ».

La corrélation des rangs de Spearman calculée à la main, sur cinq vrais résumés d'un article. Seul E garde sa place; chaque ligne qui en croise une autre indique un désaccord. ρ = 0,5.

Description textuelle du diagramme

Le résumé E est premier dans les deux classements. A est deuxième pour les experts et quatrième pour ROUGE-2. B est dernier pour les experts et troisième pour ROUGE-2. C est troisième et deuxième; D est quatrième et cinquième. Les différences de rangs sont −2, +2, +1, −1 et 0. La somme de leurs carrés est 10. Sans ex æquo, Spearman vaut 1 − 6 × (la somme des différences au carré) / (n × (n² − 1)) = 1 − 60 / 120 = 0,5.

ROUGE-2 et les experts s’accordent donc en partie sur ces cinq résumés. Un seul article est bien trop peu pour juger une mesure. La vraie comparaison utilise 640 résumés et un intervalle.

L’intervalle : rééchantillonner les articles

Une corrélation sur 640 résumés reste une estimation. Le bootstrap de Incertitude et sous-groupes donne son intervalle, avec un changement. Les 640 résumés ne sont pas 640 cas indépendants : ce sont 16 résumés pour chacun des 40 articles. Chaque rééchantillon tire donc 40 articles avec remise et conserve les 16 résumés de chacun. Il y a 2 000 rééchantillons (graine 2026). L’intervalle correspond aux 95 % centraux de leurs corrélations.

Explorer les besoins de la décision : à quel point les personnes s’accordent-elles?

Avant toute machine, regardez les personnes. Une mesure ne peut pas s’accorder avec les experts beaucoup plus que les experts s’accordent entre eux. Sur le test réservé, le carnet compare chaque expert à la moyenne des deux autres, puis fait la moyenne des trois résultats. C’est le plafond. Il compare aussi la moyenne des notes participatives à celle des experts.

Degré d'accord des personnes avec la moyenne des experts, par qualité, sur les 640 résumés de test réservé. Bleu : un expert comparé aux deux autres (le plafond). Orange : la moyenne de cinq travailleurs participatifs. Intervalles à 95 %, avec rééchantillonnage des articles.

Description textuelle du graphique

Spearman avec la moyenne des experts, avec des intervalles à 95 %. Cohérence : un expert +0.73 (+0.69 to +0.76), les travailleurs participatifs +0.04 (−0.04 to +0.12). Fidélité factuelle : un expert +0.75 (+0.69 to +0.81), les travailleurs participatifs −0.03 (−0.10 to +0.05). Fluidité : un expert +0.59 (+0.53 to +0.66), les travailleurs participatifs +0.04 (−0.02 to +0.11). Pertinence : un expert +0.55 (+0.49 to +0.61), les travailleurs participatifs +0.12 (+0.03 to +0.20).

Ce que cela nous apprend. Les experts s’accordent bien entre eux : de +0.55 pour la pertinence à +0.75 pour la fidélité factuelle. La pertinence et la fluidité sont les qualités où l’accord est le plus difficile. La moyenne des notes participatives s’accorde très peu avec les experts, même si elle repose sur cinq personnes. L’article de SummEval rapporte le même constat. Pour Kestrel, c’est la première leçon : l’identité des évaluateurs compte. « Une personne l’a évalué » ne constitue pas une preuve en soi. Des évaluateurs formés qui partagent les mêmes définitions, oui. Le plafond est un peu optimiste, car les experts ont vu les notes des autres au deuxième tour.

La référence de base : la longueur

La mesure la moins coûteuse est la longueur du résumé en mots. Elle ne sait rien de la qualité. Une mesure qui ne la dépasse pas n’apporte rien.

Sur le test réservé, la longueur donne +0.08 (−0.01 to +0.15) pour la cohérence, +0.08 (0.00 to +0.15) pour la fidélité factuelle, 0.00 (−0.09 to +0.09) pour la fluidité et +0.29 (+0.19 to +0.38) pour la pertinence.

Ce que cela nous apprend. Pour trois qualités, la longueur est proche de zéro, comme elle devrait l’être. Pour la pertinence, elle est nettement au-dessus de zéro : les résumés plus longs conservent davantage de l’article, et les experts l’ont récompensé. C’est le niveau à dépasser pour chaque mesure de pertinence.

Les mesures

Chaque mesure vient avec une raison de l’essayer et son coût.

ROUGE est la mesure que rapportent la plupart des articles scientifiques sur les résumés. Elle compte ce que le résumé partage avec un résumé de référence écrit par une personne : mots seuls (ROUGE-1), paires de mots (ROUGE-2) ou plus longue séquence de mots commune (ROUGE-L). Chacune donne un score F1 entre 0 et 1. La référence ici est la liste originale des points saillants de l’article. Le carnet (notebook) Jupyter utilise rouge-score 0.1.2 de Google Research, avec les racines des mots. Ainsi, « sold » (vendu) correspond à « sells » (vend). La raison de l’essayer : elle est gratuite, rapide et standard. Le risque : Étiqueter et versionner a montré que les mots communs peuvent favoriser une mauvaise réponse.

Les paires de mots copiées représentent la proportion des paires de mots du résumé qui figurent aussi dans l’article. Cette mesure n’a pas besoin de référence. Un résumé qui copie l’article peut difficilement inventer un fait. La mesure pourrait donc suivre la fidélité factuelle. Elle est gratuite.

La similarité des plongements transforme chaque texte en vecteur avec un petit modèle de plongement (embedding), all-MiniLM-L6-v2 (Apache-2.0). Elle calcule ensuite la similarité cosinus avec la référence ou avec l’article. Elle peut reconnaître un même sens exprimé autrement, ce que ROUGE ne peut pas faire. Elle transforme les 1 800 textes en vecteurs en environ 10 secondes sur le processeur d’un portable. Le modèle lit au plus 256 fragments de mots. Il ne voit donc que le début d’un article.

Un juge modèle lit l’article et le résumé, puis note les quatre qualités, comme dans Le jugement par modèle. Sa requête (prompt) définit chaque qualité à partir des définitions de l’article scientifique et donne des repères pour 1, 3 et 5. Elle demande aussi la première affirmation non étayée, s’il y en a une. Un seul appel note les quatre qualités. Le cours a enregistré les résultats de deux juges sur Azure : gpt-6-luna sous chat-small et gpt-6.1-sol sous chat-strong. La requête a été écrite une seule fois, puis essayée sur les articles de développement. Elle n’a pas changé avant l’exécution sur les données réservées.

Le juge a besoin de l’article dans sa requête, et cela a eu un coût réel. Le filtre de contenu d’Azure a refusé toutes les requêtes aux juges pour 3 des 50 articles évalués, sur les deux déploiements. Ces articles rapportent deux crimes et une blessure. chat-small a aussi refusé un résumé d’un quatrième article. Le juge ne peut pas du tout noter ces résumés.

La comparaison équitable

Chaque mesure passe maintenant le même test : les résumés réservés, une métrique (Spearman avec la moyenne des experts) et une méthode d’intervalle. Le graphique montre les principales mesures; le tableau qui suit les présente toutes.

Chaque mesure comparée à la moyenne des experts, par qualité, sur les résumés réservés (moins pour les juges : le filtre de contenu a refusé certains articles). Gris : référence de base fondée sur la longueur. Bleu : mesures gratuites. Orange : juges modèles. La ligne pointillée représente le plafond : un expert comparé aux deux autres. Intervalles à 95 %, articles rééchantillonnés.

Description textuelle du graphique

Corrélation de Spearman avec la moyenne des experts, avec des intervalles à 95 %. Cohérence : longueur +0.08 (−0.01 to +0.15), ROUGE-2 +0.18 (+0.08 to +0.28), paires de mots copiées +0.22 (+0.13 to +0.30), similarité des plongements avec l’article +0.13 (+0.04 to +0.21), juge chat-small +0.57 (+0.51 to +0.63), juge chat-strong +0.65 (+0.61 to +0.71); plafond des experts +0.73. Fidélité factuelle : longueur +0.08 (0.00 to +0.15), ROUGE-2 +0.17 (+0.09 to +0.24), paires de mots copiées +0.36 (+0.27 to +0.44), plongement +0.17 (+0.07 to +0.26), chat-small +0.60 (+0.49 to +0.70), chat-strong +0.63 (+0.53 to +0.72); plafond +0.75. Fluidité : longueur 0.00 (−0.09 to +0.09), ROUGE-2 +0.04 (−0.04 to +0.13), paires de mots copiées +0.23 (+0.16 to +0.31), plongement +0.12 (+0.05 to +0.19), chat-small +0.59 (+0.52 to +0.65), chat-strong +0.62 (+0.56 to +0.69); plafond +0.59. Pertinence : longueur +0.29 (+0.19 to +0.38), ROUGE-2 +0.33 (+0.21 to +0.44), paires de mots copiées +0.17 (+0.05 to +0.27), plongement +0.21 (+0.10 to +0.31), chat-small +0.49 (+0.42 to +0.55), chat-strong +0.54 (+0.46 to +0.60); plafond +0.55.

Mesure (données réservées)	Cohérence	Fidélité factuelle	Fluidité	Pertinence
Longueur (référence de base)	+0.08	+0.08	0.00	+0.29
ROUGE-1	+0.18	+0.16	+0.07	+0.36
ROUGE-2	+0.18	+0.17	+0.04	+0.33
ROUGE-L	+0.21	+0.16	+0.09	+0.35
Paires de mots copiées	+0.22	+0.36	+0.23	+0.17
Plongement comparé à la référence	+0.13	+0.12	+0.09	+0.27
Plongement comparé à l’article	+0.13	+0.17	+0.12	+0.21
Grand public (moyenne de 5 personnes)	+0.04	−0.03	+0.04	+0.12
Juge, chat-small	+0.57	+0.60	+0.59	+0.49
Juge, chat-strong	+0.65	+0.63	+0.62	+0.54
Un expert comparé aux deux autres	+0.73	+0.75	+0.59	+0.55

Ce que cela nous apprend. Lisez le tableau par colonne : chaque qualité a sa propre réponse.

• ROUGE concorde peu avec les experts pour toutes les qualités. Son meilleur résultat concerne la pertinence : +0.36 pour ROUGE-1. La longueur seule y atteint +0.29. Sur les mêmes résumés, ROUGE-2 moins la longueur donne +0.04 (−0.10 to +0.18) pour la pertinence : l’intervalle comprend zéro. Le plan de Daniel enverrait aux réviseurs les résumés ayant le moins de mots communs, pas les pires.
• Pour les faits, le meilleur signal gratuit est celui des paires de mots copiées (+0.36). ROUGE en détecte moins (+0.17) : partager des mots avec la référence révèle peu de choses sur les faits inventés.
• Les juges modèles concordent beaucoup mieux que toutes les mesures gratuites, pour chaque qualité. chat-strong atteint +0.65 en cohérence, +0.63 en fidélité factuelle, +0.62 en fluidité et +0.54 en pertinence. Il approche le plafond des experts eux-mêmes (et le dépasse en fluidité). Comparé à la meilleure mesure gratuite de chaque qualité, son gain en fidélité factuelle est de +0.27 (+0.19 to +0.34).
• Le juge puissant est un peu meilleur, à un prix beaucoup plus élevé. Sur les mêmes résumés, chat-strong moins chat-small donne +0.08 (+0.03 to +0.13) en cohérence et +0.03 (0.00 to +0.07) en fidélité factuelle. Pour la fluidité et la pertinence, les intervalles comprennent zéro. Le juge puissant coûte environ 15 fois plus : US$3.19 contre US$0.22 par 1 000 résumés.
• La fidélité factuelle a les intervalles les plus larges, car très peu de résumés comportent une erreur factuelle. Sa corrélation repose sur quelques dizaines de résumés.

Là où chaque mesure échoue

Une corrélation résume des centaines de cas. Avant que Kestrel lui fasse confiance, lisez les cas derrière elle, comme le demande Métriques des sorties générées. Chaque exemple ci-dessous est un vrai résumé des données réservées, avec ses vrais scores.

ROUGE récompense les mots de la référence, pas un bon résumé. Un article rapporte que deux joueurs de soccer sont allés voir l’équipe de basketball de leur club. Le système M10 a écrit :

neymar helped brazil beat chile 1-0 at the emirates stadium on sunday . real madrid remain top of their euro league division . luis enrique 's barcelona had won their el clasico to move four points clear at the top of la liga .

Il obtient l’un des meilleurs scores ROUGE-2 des données réservées (0.56). La raison : les points saillants de référence contiennent les mêmes faits sur le soccer. Les experts lui ont donné 1.00 en pertinence et 1.67 en cohérence. Il énumère des faits sans lien et manque le sujet principal. ROUGE dépend de la qualité de sa référence. Les points saillants des nouvelles ne sont pas toujours de bons résumés.

L’inverse se produit aussi. Le système M22 a résumé un article sur un club de soccer qui veut recruter un joueur de 14 ans :

Manuel Pellegrini is keen to sign Anderlecht youngster Evangelos Patoulidis . The 14-year-old playmaker is regarded as one of the best talents to emerge from the Belgian club 's youth set-up . Arsenal and Barcelona are also interested in the youngster .

Les trois experts lui ont donné 5 pour chaque qualité. Son score ROUGE-2 est de 0.03, parmi les plus faibles des données réservées. Il dit la même chose que la référence, autrement.

Quand le juge et les experts divergent, le juge n’est pas toujours celui qui se trompe. Le système M20 a résumé un article sur une nouvelle version de la minisérie Roots, de 1977 :

A&E Networks will simulcast the original "Roots" in 2016. The original "Roots" premiered in 1977 and ran for four seasons. The miniseries followed Kunta Kinte, a free black man in Virginia, as he was sold into slavery.

Les experts lui ont donné 4.67 en fidélité factuelle. chat-strong lui a donné 1 et a copié la première phrase comme affirmation non étayée. L’article dit que les chaînes diffuseront une nouvelle version, pas l’original. Il décrit aussi Kunta Kinte comme un Africain capturé et vendu, pas comme « un homme noir libre en Virginie ». Le juge a raison, et les experts ont manqué les deux erreurs. Les experts sont la meilleure référence ici, mais ils ne sont pas parfaits.

Le juge applique aussi sa grille plus littéralement que les experts. Le système M22 a terminé un résumé correct par une phrase Web sans rapport : « Cliquez ici pour d’autres nouvelles du Bayern Munich ». Le juge l’a marquée comme non étayée et a donné 3 en fidélité factuelle; les experts ont donné 5. Les deux lectures se défendent. La grille de Kestrel devrait préciser si une telle phrase est une erreur factuelle ou une erreur de mise en forme.

Le juge peut aussi être trop indulgent. Le système M11 a écrit qu’Usain Bolt « est le secrétaire général de l’iaaf/btc ». Les experts ont donné 1.67 en fidélité factuelle. chat-strong a remarqué la phrase et l’a copiée comme non étayée, mais a tout de même donné 3. Sa propre grille demande pourtant 1 quand des affirmations contredisent l’article.

Sur les données réservées, chat-strong a noté la fidélité factuelle au moins 2 points sous la moyenne des experts pour 62 résumés. Il l’a notée au moins 2 points au-dessus pour 4. Il privilégie la prudence. Cela convient à un filtre qui envoie les résumés douteux à un réviseur.

Les systèmes, pas les résumés

Une équipe qui choisit un système compare les moyennes des systèmes, pas les résumés individuels. Les moyennes éliminent une grande partie du bruit. Sur les moyennes des données réservées des 16 systèmes, ROUGE-1 concorde avec la pertinence des experts à +0.70. Pour les résumés individuels, il atteint +0.36. Le juge puissant atteint +0.95 en pertinence et +0.82 en fidélité factuelle.

Ce que cela nous apprend. Deux tâches différentes demandent deux rapports différents. Classer les systèmes est plus facile, mais repose sur seulement 16 points. Le déplacement d’un seul système change beaucoup le résultat. Un intervalle serait donc trop large pour être utile ici. Vérifier un seul résumé, la tâche nocturne de Kestrel, est plus difficile. Une mesure peut bien classer les systèmes et rester inutile pour le résumé qu’un réviseur a devant lui. Précisez toujours le niveau présenté.

Le choix final : quoi automatiser

Daniel et Ines transforment le tableau des résultats en plan. La règle : automatiser une vérification seulement quand une mesure concorde clairement avec les experts. Garder un réviseur quand la mesure reste loin du plafond ou ne peut pas s’exécuter.

Qualité	Ce qui s’exécute sur chaque résumé	Quand un réviseur le lit
Fidélité factuelle (faits)	Le juge modèle, plus les paires de mots copiées comme avertissement gratuit	Score du juge inférieur à 5 ou affirmation non étayée; chaque article refusé; échantillon hebdomadaire du reste
Cohérence	Le juge modèle	Scores de 3 ou moins
Fluidité	Le juge modèle	Scores de 3 ou moins; rares avec les modèles modernes, donc vérifier le taux chaque mois
Pertinence	Le juge modèle, comme simple indice	Échantillon quotidien : c’est ici que les experts concordent le moins, et l’importance dépend du client
ROUGE	Pas pour chaque résumé	Seulement pour comparer deux systèmes sur un ensemble fixe avec des références

Ce que cela nous apprend. Aucune mesure ne remplace les réviseurs. Le juge devient un filtre : il décide quels résumés un réviseur lit d’abord, et il reste prudent sur les faits. Les réviseurs cessent de lire 400 résumés. Ils lisent plutôt les résumés douteux, plus un échantillon. Cet échantillon donne aussi à Kestrel ses propres notes d’experts. Grâce à elles, l’entreprise peut vérifier que le juge concorde avec ses réviseurs, sur ses résumés, avant de croire ces chiffres.

Un nouvel article, de bout en bout

La vraie question de Kestrel concerne les résumés de demain, sans note d’expert ni référence. La nouvelle entrée est un article de Wikinews sur le projet d’un conseil municipal de Sydney de rendre payant le stationnement de ses plages.

Source et licence

Wikinews contributors, 'Randwick City Council opens public consultation about parking near beaches: "To pay or not to pay?"', Wikinews, revision 5010348, licensed under CC BY 4.0. Changes: we removed the date line, the list of sources and the links; the text is otherwise unchanged.

chat-small en a écrit un résumé de trois phrases (enregistré). Le cours a ensuite construit deux versions erronées pour voir ce que chaque vérification détecte. L’une change un seul nombre; l’autre garde trois détails secondaires vrais et omet le point principal. Le carnet exécute chaque vérification gratuite sans référence et montre les verdicts enregistrés des deux juges :

Résumé	Longueur	Paires de mots copiées	Plongement comparé à l’article	chat-small : fidélité factuelle / pertinence	chat-strong : fidélité factuelle / pertinence
Réel, par chat-small	63	0.38	0.82	5 / 5	5 / 5
6 millions de dollars australiens devenus 16 millions (construit)	63	0.35	0.82	3 / 5	3 / 5
Détails secondaires seulement (construit)	40	0.78	0.47	5 / 1	5 / 1

Ce que cela nous apprend. Les deux juges ont détecté les deux défauts. Ils ont abaissé la fidélité factuelle pour le nombre changé et copié cette phrase comme non étayée. Ils ont donné 1 en pertinence au résumé qui manque le point principal. Les mesures gratuites n’ont pas aidé. Un seul nombre changé modifie à peine les paires de mots copiées ou le plongement. Le résumé hors sujet copie plus de l’article que le vrai résumé. Les paires de mots copiées le jugeraient donc plus sûr. ROUGE ne peut pas s’exécuter, faute de référence. Trois résumés sont une illustration, pas une preuve : le tableau des résultats est la preuve.

Constats et limites

• La mesure qui fonctionne dépend de la qualité. Il n’existe pas de nombre unique de « qualité du résumé » à automatiser.
• ROUGE est une vérification faible d’un résumé individuel, et il dépasse à peine la longueur en pertinence. Il exige des références, que les nouveaux résumés n’ont pas.
• Un juge guidé par une grille concorde avec les experts presque autant que les experts entre eux, sur ces résumés. Il reste prudent sur les faits. Ses désaccords demandent une lecture : certains sont des erreurs des experts.
• Des systèmes anciens. Les 16 systèmes datent de 2017 à 2020. Leurs erreurs (phrases incohérentes, mots répétés) sont plus faciles à voir que celles d’un modèle moderne. Un juge pourrait avoir plus de mal à trouver les erreurs subtiles d’aujourd’hui.
• Le modèle connaît peut-être ces données. SummEval et CNN/DailyMail sont publics depuis des années. Les juges les ont peut-être vus à l’entraînement. Leur concordance ici pourrait donc être un peu meilleure que sur les résumés de Kestrel.
• Un enregistrement par résumé, une requête. Les scores du juge changeraient un peu à une deuxième exécution, comme l’a montré Expériences contrôlées. La requête note quatre qualités en un appel. Des appels séparés pourraient faire mieux, pour quatre fois le coût.
• Peu de cas pour la fidélité factuelle. Peu de résumés comportent des erreurs factuelles, donc ses intervalles sont larges.
• Le deuxième tour des experts rend le plafond un peu optimiste.

Utilisation responsable

Nommez les évaluateurs et gardez la distinction claire. Les notes ici sont de vraies notes humaines de trois experts, produites comme le décrit l’article scientifique SummEval. Les scores du juge sont des sorties de modèle. Un rapport qui qualifie ces scores de « niveau humain » ou les mélange aux notes humaines induit le lecteur en erreur. Dites chaque fois qui a noté quoi.

Le juge ne peut pas tout noter. Le filtre de contenu d’Azure a refusé des articles entiers sur des crimes et une blessure. Ce sont justement les récits où un fait erroné peut nuire à une personne nommée. Un refus doit envoyer le résumé à un réviseur, jamais vers « aucun problème trouvé ».

Les personnes nommées dans les nouvelles. Les résumés de nouvelles nomment de vraies personnes. Un résumé qui présente un fait erroné sur une personne peut lui nuire, et un client pourrait agir sur cette base. Kestrel a besoin d’un processus de correction, peu importe ce que dit le filtre.

Ce qui quitte l’entreprise. Un juge hébergé reçoit l’article complet. Vérifiez les conditions du fournisseur avant d’envoyer des nouvelles sous licence ou du contenu d’un client. Licences et conditions d’utilisation des données, dans le cours Les LLM : comment ils fonctionnent et comment en choisir un, explique ce point.

Respectez les conditions des données. Mentionnez SummEval et les articles scientifiques des systèmes. Ne publiez pas les articles de CNN/DailyMail; liez leur source, comme le fait le carnet.

Faites-en un projet de portfolio

Cette étude de cas montre à un employeur que vous pouvez vérifier si une mesure automatique mérite confiance. Elle présente les preuves et leurs limites. Personnalisez-la avec un changement. Par exemple, notez chaque qualité dans un appel distinct au juge, essayez un modèle local avec Ollama ou utilisez un autre jeu de données noté. Puis rendez le projet public et facile à lire en cinq minutes.

Quoi mettre dans le dépôt :

• README.md (modèle ci-dessous).
• Le carnet, exécuté du début à la fin, avec ses sorties.
• prompts/ avec chaque version de requête du juge que vous avez mesurée, jamais modifiée après la mesure.
• Les sources de données et les licences, avec l’attribution de l’encadré ci-dessus. N’incluez jamais les articles ni une clé d’API dans un commit (enregistrement de modifications).

Un modèle de README :

# Which automatic checks agree with experts on summary quality?

## Problem
A news-digest team wants to stop reading every machine summary. Which automatic
measures can stand in for an editor, and on which quality?

## Data and licence
SummEval (Fabbri et al., 2021, MIT): 1,600 summaries of 100 CNN/DailyMail
articles by 16 systems; 3 expert ratings per summary on coherence, consistency,
fluency, relevance. Articles downloaded from their source, not redistributed.

## Approach
Split by article: 10 dev (judge prompt tried), 40 holdout (640 summaries,
compared once). Spearman with the experts' mean per quality; 95% bootstrap
intervals resampling articles. Measures: length, ROUGE-1/2/L, copied word pairs,
embedding similarity, two LLM judges with a rubric per quality.

## Results (holdout)
<your table: measure x quality, with intervals; the experts' ceiling>

## Limits
Old systems (2017-2020); one judge run; the model may have seen the data;
few factual errors, so wide intervals on consistency.

Comment le décrire en entrevue, en trois phrases : « J’ai testé quelles vérifications automatiques concordent avec les notes d’experts sur des résumés de nouvelles, qualité par qualité, avec des intervalles qui respectent la structure des données. ROUGE dépassait à peine la longueur du résumé, tandis qu’un juge LLM guidé par une grille approchait la concordance entre les experts. J’ai donc recommandé le juge comme filtre qui envoie les résumés douteux à un réviseur, jamais comme remplacement. »

Pour aller plus loin :

• Notez chaque qualité dans un appel distinct au juge et comparez sur les mêmes données réservées.
• Exécutez un juge local avec Ollama sur les articles de développement et ajoutez-le au tableau des résultats.
• Répétez sur un autre jeu de données avec des notes humaines et voyez si le classement des mesures tient.

Vérification des connaissances

Vérifiez votre compréhension

Daniel says: "ROUGE-1 has a correlation of +0.36 with the experts on relevance, so it is a fine relevance check." What do you answer, with the case study's numbers?

Afficher la réponse

Comparez-le à la référence de base, pas à zéro. La longueur du résumé à elle seule atteint +0.29 pour la pertinence. L’intervalle apparié de ROUGE-2 moins la longueur inclut zéro. ROUGE ajoute donc peu d’information au simple comptage des mots. Il exige aussi une référence, que les résumés de demain n’auront pas. Le juge utilisant une grille a atteint +0.54 sur les mêmes résumés. Pour vérifier un seul résumé, même ce résultat est loin d’être parfait : lisez les cas de désaccord.

Vérifiez votre compréhension

Pourquoi le calcul de l'intervalle rééchantillonne-t-il des articles entiers plutôt que des résumés individuels?

Afficher la réponse

Les 640 résumés comprennent 16 résumés pour chacun des 40 articles. Les résumés d’un même article partagent son sujet et sa difficulté. Ils ne sont donc pas indépendants. Si vous rééchantillonnez des résumés individuels, le bootstrap traite les 640 cas comme s’ils étaient indépendants. L’intervalle obtenu est alors trop étroit. Rééchantillonner les articles respecte la méthode de collecte des données : 40 articles ont été tirés. Le cas d’échec du carnet (notebook) Jupyter montre les deux intervalles côte à côte.

Vérifiez votre compréhension

Ines demande : « Le juge est presque aussi souvent d'accord avec les experts qu'ils le sont entre eux. Peut-on arrêter de lire les résumés? » Que recommandez-vous?

Afficher la réponse

Non, mais les rédacteurs peuvent en lire beaucoup moins. Le juge obtient un bon accord en moyenne. Mais pour un résumé individuel, il peut être trop indulgent. Il a aussi refusé des articles entiers sur des crimes et une blessure. Il a également été évalué sur d’anciens systèmes et des données publiques qu’il a peut-être déjà vues. Utilisez-le pour un premier tri. Les rédacteurs lisent chaque résumé dont la note factuelle est douteuse ou qui contient une affirmation non étayée. Ils lisent aussi chaque article refusé et un échantillon du reste. Faites noter cet échantillon par les rédacteurs de Kestrel. Mesurez l’accord du juge avec eux avant de lui faire davantage confiance.

Récapitulatif

• Comparez une mesure aux notes humaines selon l’ordre, pour chaque qualité : utilisez la corrélation des rangs de Spearman. L’intervalle doit rééchantillonner l’unité qui a été échantillonnée, ici les articles.
• Mesurez d’abord le plafond : ici, un expert comparé aux deux autres. Les notes du grand public concordaient peu avec celles des experts : le choix des évaluateurs compte.
• Sur 640 résumés réservés à l’évaluation, ROUGE concordait peu avec les experts pour toutes les qualités. Pour la pertinence, il dépassait à peine la longueur. Les paires de mots copiées étaient le meilleur indicateur gratuit pour les faits.
• Deux juges modèles utilisant une grille par qualité ont presque atteint le niveau d’accord entre les experts. Lisez leurs désaccords : certaines erreurs venaient des experts, d’autres du juge.
• Le filtre de contenu a refusé des articles entiers : une personne doit vérifier ces résumés.
• Automatisez un premier tri, pas un verdict. Comparez-le aux notes de vos propres experts avant de lui faire confiance.

Leçon suivante : Tester la régression d'une nouvelle version d'un classificateur, par sous-groupe