Aller au contenu
English

Un modèle de langage pour les paires incertaines

  • Leçon 21
  • 40 min
  • Module 6 : L'appariement appris : classificateurs, plongements et modèles de langage

Où nous en sommes

Chaque méthode laisse jusqu'ici une zone de paires incertaines. Un modèle de langage peut lire les deux enregistrements et répondre à une question. Dans cette leçon, nous lui envoyons seulement les paires incertaines, mesurons ses réponses et calculons le coût.

Leçon 21 sur 29 · Résolution d'entités et appariement d'enregistrements : est-ce la même chose?Un modèle de langage pour les paires incertaines

Ce que vous saurez faire

Envoyez seulement les paires incertaines à un modèle de langage, avec les deux enregistrements et une question claire. Lisez ses réponses enregistrées et comparez-les aux vraies réponses. Calculez le coût et le temps par paire. Décidez ensuite ce que le modèle peut décider seul, et ce qu’il ne peut pas décider.

Carnet JupyterMesurer les réponses enregistrées dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter lit les 3 712 réponses enregistrées et montre une paire telle que le modèle l’a vue. Vous comparez les réponses dans la zone d’incertitude aux vraies réponses. Il calcule ensuite le coût et le temps par paire. Il ne nécessite ni clé ni modèle. Ses cellules de préparation téléchargent les données, donc aucune configuration locale n’est nécessaire.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 40 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

  • Le projet larkfield-match avec les fichiers des trois dernières leçons. Vous pouvez aussi utiliser seulement le carnet.
  • Aucune clé ni aucun compte : les réponses du modèle sont enregistrées dans les données du cours.

Testé sur macOS avec Python 3.12.13. Les commandes Windows (PowerShell) ne sont pas testées.

Une commis de clinique tranche pour la plupart des formulaires en quelques secondes : même patient, ou clairement un autre. Quelques formulaires sont difficiles. Pour ceux-là, elle demande l’avis d’une collègue expérimentée. Cette collègue est plus lente et coûte plus cher. La commis ne la consulte donc pas pour chaque formulaire. Seulement pour les cas difficiles.

La collègue est compétente, mais pas parfaite. Quand elle dit « même patient » et que les deux dossiers indiquent des groupes sanguins différents, la commis vérifie quand même. Et la fusion des dossiers de deux patients exige toujours une signature.

Cette leçon donne à l’apparieur de TermeLarkfieldUne boutique en ligne canadienne inventée, qui vend des articles pour la maison et le jardin. Ce n’est pas une vraie entreprise. Tous les cours Nextia utilisent son service d’assistance et ses données comme exemple.En savoir plus Découvrez Larkfield une collègue expérimentée : un modèle de langage.

Le problème : la zone d’incertitude est trop grande pour une personne

Section intitulée « Le problème : la zone d’incertitude est trop grande pour une personne »

Chaque méthode laisse jusqu’ici des paires qu’elle ne peut pas trancher. Dans le module 5, la zone de révision de Splink (poids de correspondance de 10 à 20) contenait 13 378 paires : 44,6 jours de travail pour Ivana à 300 paires par jour (notre hypothèse).

Un modèle de langage peut lire deux enregistrements sous forme de texte et répondre à une question. Il sait que « Kathy » est une forme courte de « Katherine », et que « r. des Hérons » signifie « rue des Hérons ». Il sait aussi qu’un courriel familial ne fait pas de deux personnes une seule. Peut-il trancher les paires incertaines?

TermeTomásL’ingénieur en IA de Larkfield. Il propose souvent un raccourci rapide, et la leçon montre pourquoi il échoue. a une idée plus ambitieuse : « Le modèle peut décider de chaque fusion. » Gardez-la en tête. Nous la testons à la fin.

L’idée : seulement la zone d’incertitude, avec une question claire

Section intitulée « L’idée : seulement la zone d’incertitude, avec une question claire »

Nous n’envoyons pas chaque paire au modèle. Nous envoyons seulement la zone d’incertitude : les paires pour lesquelles LightGBM n’est sûr ni de « même » ni de « différent ».

D’abord, une probabilité qui signifie ce qu’elle annonce

Section intitulée « D’abord, une probabilité qui signifie ce qu’elle annonce »

Les scores de LightGBM ne sont pas de vraies probabilités. Il a appris avec des paires étiquetées dont 35 % sont de vraies paires. Ses scores sont donc beaucoup trop élevés pour les paires candidates (leçon 1). Son meilleur seuil dépassait 0,999. Parmi les paires de validation dont le score brut va de 0,9 à 1,0, seulement 14,3 % sont de vraies paires (37 792 paires).

Nous étalonnons donc les scores d’abord. L’étalonnage transforme un score en proportion de vraies paires parmi les paires ayant un score semblable. Nous l’ajustons sur les paires de validation avec la régression isotonique : une fonction en escalier qui monte seulement. Après l’étalonnage, une probabilité de 0,3 signifie qu’environ 3 paires sur 10 de ce type sont de vraies paires. Le cours d’apprentissage automatique explique l’étalonnage dans Seuils et calibration.

Nous avons choisi deux limites, 0,1 et 0,9 :

La probabilité étalonnée de LightGBM, de 0 à 1, coupée en trois zones. Sous 0,1 : LightGBM décide « différent » (1 079 341 paires candidates). De 0,1 à 0,9 : la zone d'incertitude, où le modèle de langage décide (6 773 paires, dont 3 512 dans les partitions de validation et de test, enregistrées). À 0,9 ou plus : LightGBM décide « même » (22 477 paires). Dans la zone, la réponse « same » (même) du modèle crée une correspondance; « different » (différent) ou « unsure » (incertain) n'en crée pas.
Qui tranche chaque paire candidate dans l'exécution lgbm+llm. Le modèle de langage voit bien moins de 1 % des paires.
Description textuelle du diagramme

Une barre horizontale de probabilité 0 à 1, coupée à 0,1 et à 0,9. La partie gauche est grande : la plupart des paires candidates sont des non-correspondances certaines. La partie droite contient les correspondances certaines. La partie centrale est la zone d’incertitude. Une flèche la relie à un encadré : le modèle de langage, avec la question « A et B sont-ils identiques? » et trois réponses possibles. Sous chaque partie, le nombre de paires candidates et le nombre de vraies paires parmi elles.

Le modèle reçoit les deux enregistrements en texte, champ par champ, avec (missing) (manquant) pour les champs vides. Il reçoit une courte instruction (la requête système) qui indique ce qui compte pour cette tâche :

You compare customer records of a home and garden shop. Decide if two records describe the same person.
Records come from different systems, so names, addresses, phone numbers and dates can be written in different
ways, have typing errors or be missing. People in one family often share an address, a phone number and an
email; that alone does not make them the same person. People move, so a different address alone does not make
them different. Answer only with JSON: {"answer": "same" | "different" | "unsure", "reason": "<one short sentence>"}.

Trois choix comptent :

  1. « Incertain » est permis. Un modèle obligé de choisir devine souvent. Une supposition qui fusionne deux personnes coûte 150 $ (notre hypothèse); « incertain » ne coûte rien de plus ici.
  2. Les pièges connus sont nommés : les familles partagent des champs, et les gens déménagent.
  3. La réponse est en JSON, avec un mot prédéfini. Le code lit ce mot, et toute autre réponse compte comme « incertain ».

Nous avons envoyé une fois chaque paire incertaine des partitions de validation et de test au modèle Termechat-smallLe nom que le code de Larkfield donne à un petit modèle hébergé peu coûteux : gpt-6-luna sur Azure. Le code utilise ce nom, donc le modèle peut changer sans modifier le code.En savoir plus Ce qu'est une API de LLMCréer des applications fiables avec les API de LLM d’Azure (gpt-6-luna-2026-09-22). Nous avons enregistré chaque réponse. Nous avons aussi envoyé 200 paires de contrôle pour lesquelles LightGBM est sûr. Les données du cours contiennent les 3 712 réponses enregistrées : les leçons ne nécessitent donc aucune clé et ne coûtent rien. Les 3 712 réponses ont coûté 0,28 $ US (0,29 $ US avec les réponses sur les produits et une première exécution interrompue).

Chaque réponse ci-dessous est une réponse enregistrée de ce modèle. Une autre version du modèle peut répondre différemment.

  1. Copiez les derniers fichiers de ce module depuis l’instantané end-of-m06 : la commande llm, les tests et le README :

    Fenêtre de terminal
    S=../nextia-learning-labs/C39/snapshots/end-of-m06
    cp $S/larkfield_match/commands/llm.py larkfield_match/commands/
    cp $S/tests/test_learned.py tests/
    cp $S/README.md .

    Votre projet correspond maintenant à l’instantané end-of-m06.

  2. Exécutez les tests. Il y en a maintenant 34 :

    Fenêtre de terminal
    python -m pytest -q
    .................................. [100%]
    34 passed in 17.14s
  3. Affichez les réponses enregistrées :

    Fenêtre de terminal
    match llm
    3,712 recorded answers from gpt-6-luna-2026-09-22; US$0.2783 in all, US$0.075 per 1,000 pairs; median 1.51 s per answer
    control: sure match 100 pairs: same 97, different 1, unsure 2; right on 98.0% of the decided pairs
    control: sure non-match 100 pairs: same 1, different 56, unsure 43; right on 98.2% of the decided pairs
    unsure band 3512 pairs: same 1697, different 371, unsure 1444; right on 82.4% of the decided pairs
Les réponses enregistrées pour les 3 512 paires incertaines des partitions de validation et de test.
Description textuelle du graphique

Trois barres : même 1 697, différent 371, incertain 1 444.

Dans la zone d’incertitude :

  • Le modèle a dit « incertain » pour 1 444 paires : 41 %. Ces paires restent des « non-correspondances » dans l’exécution; dans le module 8, elles vont à Ivana.
  • Parmi les paires qu’il a tranchées, il avait raison dans 82,4 % des cas.
  • Il a dit « même » pour 363 paires de deux personnes différentes : des fusions erronées.
  • Il a dit « différent » pour une vraie paire 0 fois. Jamais.

Ses erreurs vont donc toutes dans le même sens : il fusionne trop facilement. C’est le type d’erreur le plus coûteux pour Larkfield.

Sur les paires de contrôle, il est presque toujours d’accord avec LightGBM : 97 « même » sur 100 correspondances certaines. Mais sur les 100 non-correspondances certaines, il a dit « incertain » 43 fois. Il est prudent là où la réponse est facile.

match llm --pair montre ce que le modèle a vu et ce qu’il a répondu :

Fenêtre de terminal
match llm --pair S-000049 S-006358
[system]
You compare customer records of a home and garden shop. Decide if two records describe the same person. Records come from different systems, so names, addresses, phone numbers and dates can be written in different ways, have typing errors or be missing. People in one family often share an address, a phone number and an email; that alone does not make them the same person. People move, so a different address alone does not make them different. Answer only with JSON: {"answer": "same" | "different" | "unsure", "reason": "<one short sentence>"}.
[user]
Record A
name: Dr Mateo Khan
email: khan.mateo72@example.net
phone: (missing)
address: 83 Cobble Court, Mossbank Harbour NB
postcode: E1X-9G5
date_of_birth: (missing)
Record B
name: Mateo Khan
email: mateo.khan35@example.org
phone: 506.555.9565
address: 83 Cobble Crt, Mossbank Harbour NB
postcode: E1X-9G5
date_of_birth: (missing)
Are A and B the same?
[recorded answer]
{"answer":"same","reason":"The names and matching street address and postcode strongly align; the different emails alone do not rule out the same person."}
(true: same)

L’enregistrement A a un titre de civilité et un autre courriel. L’enregistrement B utilise « Crt » pour « Court » et contient un numéro de téléphone. Le modèle interprète les deux adresses comme une seule rue, et sa réponse est correcte. Il donne une raison en une courte phrase, comme le demandait la requête.

Où le modèle aide-t-il? Nous avons comparé ses réponses aux décisions de Splink sur les mêmes paires de la zone. Il avait raison là où Splink avait tort 502 fois. Splink avait raison là où il avait tort 158 fois. Le diagramme montre un cas de chaque type, tel qu’enregistré.

Deux cas enregistrés. Premier cas : le modèle de langage a raison et Splink a tort. Deuxième cas : Splink a raison et le modèle de langage a tort; le modèle dit même pour deux personnes différentes. Pour chaque cas : les deux enregistrements champ par champ, la décision de Splink, la réponse enregistrée du modèle avec sa raison, et la vraie réponse.
Un cas dans chaque sens, avec la raison du modèle, telle qu'enregistrée. Les enregistrements sont synthétiques.
Description textuelle du diagramme

Deux panneaux. Chaque panneau montre l’enregistrement A et l’enregistrement B avec leur nom, courriel, téléphone, adresse, code postal et date de naissance. En dessous : le poids de correspondance et la décision de Splink, la réponse enregistrée du modèle et sa raison en une phrase, puis la vraie réponse. Dans le premier panneau, le modèle interprète correctement les indices, contrairement à Splink. Dans le second, le modèle fusionne deux personnes différentes et donne une raison assurée; Splink les garde séparées.

Le second cas est un avertissement. La raison semble certaine et sensée. Elle est quand même fausse. La raison du modèle est un récit sur sa réponse, pas une preuve.

L’exécution lgbm+llm utilise la décision de LightGBM hors de la zone, et la réponse enregistrée du modèle dans la zone. « Même » produit une correspondance. « Différent » et « incertain » produisent une non-correspondance.

Fenêtre de terminal
match eval --run lgbm+llm
Ran lgbm+llm: 26,013 pairs called the same, in 11.8 s
lgbm+llm on the test split: pair precision 0.925, recall 0.905, F1 0.915
5,444 pairs called the same: 5,034 right, 410 wrong; 530 of 5,564 true pairs missed
entities after clustering (all records): 38,385 (true: 37,500)
Exécution Précision Rappel F1
splink 0,817 0,779 0,797
logreg 0,915 0,907 0,911
lgbm 0,918 0,886 0,902
lgbm+llm 0,925 0,905 0,915

La meilleure exécution sur les clients du cours, de peu : 0,915 contre 0,902 pour LightGBM seul et 0,911 pour la régression logistique. La précision et le rappel augmentent tous les deux.

Pour les produits, les réponses du modèle sont encore meilleures. Sur les 150 paires d’un article seul et de son paquet de 2, il a répondu « différent » 149 fois. La requête système pour les produits dit « Un paquet de 2 est un produit différent d’un article seul ». Le modèle lit le titre. Les plongements ont manqué précisément ce cas (leçon 3).

Par 1 000 paires lues Par 1 000 paires candidates
Toute méthode sur le processeur (0,17 $ US l’heure, hypothèse) moins de 0,000002 $ US moins de 0,000002 $ US
chat-small, zone d’incertitude seulement 0,075 $ US 0,00046 $ US

Le modèle lit environ 259 jetons (tokens) et en écrit environ 98 par paire (mesuré). Chat-small coûte 0,10 $ US par million de jetons en entrée et 0,50 $ US par million en sortie (notre hypothèse; vérifiez la page du fournisseur). Cela donne 0,075 $ US par 1 000 paires. Il lit seulement la zone, soit 6 773 des 1 108 591 paires candidates. Le coût par 1 000 paires candidates est donc minuscule.

Le temps compte plus que l’argent. Le temps de réponse TermeMédianeLa valeur du milieu quand on trie les valeurs. La moitié est plus basse, l’autre plus haute. Un seul appel très lent la change peu : c’est un bon temps « habituel ».En savoir plus Mesurer la performance en pratiqueLes LLM : comment ils fonctionnent et comment en choisir un était de 1,51 seconde, et 1 réponse sur 20 prenait plus de 2,53 secondes (enregistré, de notre portable au service). LightGBM attribue un score à une paire en quelques microsecondes.

L’idée de Tomás : le modèle décide de chaque fusion

Section intitulée « L’idée de Tomás : le modèle décide de chaque fusion »

Testons-la maintenant. Envoyez les 1 108 591 paires candidates au modèle :

  • Temps : 1 108 591 × 1,51 s représente environ 19 jours sur un seul fil d’exécution. Les appels parallèles réduisent ce temps, mais le service les limite.
  • Argent : environ 83 $ US, c’est peu. Mais chaque nouvelle journée d’enregistrements ajoute des paires.
  • Qualité : sur les 100 non-correspondances certaines, il a dit « incertain » 43 fois. La plupart des paires candidates sont des non-correspondances certaines. Un réviseur recevrait donc des dizaines de milliers de paires « incertaines » que LightGBM tranche correctement.
  • Confidentialité : chaque paire envoie les données personnelles de deux clients à un service externe. Envoyez-en le moins possible, comme l’explique le cours sur la sécurité de l’IA dans Réduire et conserver de façon réfléchie. Nos enregistrements sont synthétiques, donc nous pouvions les enregistrer.

Le modèle sert donc de deuxième avis pour la zone, pas de juge pour chaque paire.

Pourquoi il n’est jamais le seul juge d’une fusion

Section intitulée « Pourquoi il n’est jamais le seul juge d’une fusion »

Même dans la zone, le modèle ne fusionne pas seul dans la conception de Larkfield :

  1. Ses erreurs sont des fusions erronées : 363 dans la zone. Une fusion erronée montre à un inconnu les commandes et l’adresse d’un autre client.
  2. Ses raisons peuvent être fausses et sembler justes, comme le montre le second cas.
  3. Il peut changer. Une nouvelle version du modèle peut répondre différemment pour la même paire. Les enregistrements rendent nos résultats reproductibles; un service en direct ne le fait pas.

Dans le module 8, l’exécution quotidienne n’appelle pas du tout le modèle. Elle envoie toute la zone d’incertitude à Ivana. Elle ne laisse jamais un nouvel enregistrement fusionner seul deux clients existants. Un modèle comme celui-ci pourrait trier sa file de révision ou suggérer une réponse. Il ne remplace pas sa signature.

Quand utiliser un modèle de langage pour l’appariement

Section intitulée « Quand utiliser un modèle de langage pour l’appariement »
Utilisez-le quand Ne l’utilisez pas quand Ce que cela coûte
une petite zone d’incertitude reste après un modèle peu coûteux vous enverriez chaque paire candidate environ 1,5 s et 0,000075 $ US par paire (enregistré; prix supposé)
les indices sont dans des mots qu’une personne lirait : surnoms, abréviations, paquets les enregistrements contiennent des données que vous ne pouvez pas envoyer à un service externe une révision de la confidentialité et une entente de traitement des données avec le fournisseur
vous pouvez enregistrer ses réponses et les mesurer sur des paires étiquetées personne ne vérifie ses réponses « même » le temps d’une personne pour les fusions qu’il propose

Erreur courante

Faire confiance à la raison du modèle

Symptôme : l’apparieur stocke la raison du modèle à côté de chaque fusion. Une cliente se plaint de voir les commandes d’une autre personne. Le journal dit : « The exact name and postcode match, while the differing phone numbers could reflect an error or a changed number. » (le nom exact et le code postal correspondent; les téléphones différents pourraient venir d’une erreur ou d’un changement de numéro) L’équipe le lit et approuve : la fusion semblait correcte.

Cause : la raison est un texte que le modèle écrit avec sa réponse. Le ton est assuré dans les deux cas : quand la réponse est juste et quand elle est fausse. Cette raison enregistrée appartient à une paire de deux personnes différentes (L-001701 et S-015863 dans nos données synthétiques). Une raison n’est pas une preuve, et elle n’indique pas la probabilité que la réponse soit juste.

Correction : mesurez le modèle sur des paires étiquetées, comme dans cette leçon. Décidez selon le taux d’erreur mesuré, pas selon la raison. Gardez la raison seulement comme indice pour le réviseur. Transférez à une personne les réponses « même » qui réunissent deux clients existants.

Conséquence en IA : les modèles de langage expliquent leurs réponses avec aisance, qu’elles soient justes ou fausses. Calibrer un juge modèle par rapport à des notes humaines, dans le cours sur les évaluations, et Jugements d’un modèle de langage, dans le cours sur la recherche et le classement, mesurent les juges modèles de la même façon : par rapport aux étiquettes humaines.

Vérifiez votre compréhension

Donnez un cas où le modèle de langage avait raison et Splink avait tort, puis un cas inverse. Que vous apprend chaque cas?

Afficher la réponse

Dans la zone, le modèle avait raison et Splink avait tort 502 fois. L’inverse s’est produit 158 fois. Le premier cas du diagramme fait partie des 502 : le modèle a lu les indices comme une personne, contrairement à Splink. Le deuxième fait partie des 158 : le modèle a répondu « identiques » pour deux personnes différentes, avec une justification assurée. Splink les a gardées séparées. Le premier montre que le modèle apporte des indices que les poids des champs ne captent pas. Le deuxième montre qu’il fusionne trop facilement et que sa justification n’est pas une preuve.

Vérifiez votre compréhension

Pourquoi le projet étalonne-t-il les scores de LightGBM avant de délimiter la zone de révision à 0,1 et 0,9?

Afficher la réponse

LightGBM a appris à partir de paires étiquetées contenant 35 % de vraies paires. Ses scores bruts sont donc beaucoup trop élevés pour les paires candidates. Son meilleur seuil dépassait 0,999. Des limites comme 0,1 et 0,9 délimiteraient alors la mauvaise zone. L’étalonnage sur les paires de validation associe chaque score à la proportion réelle de vraies paires ayant ce score. Ainsi, « entre 0,1 et 0,9 » signifie vraiment « LightGBM est incertain », et la zone contient les bonnes paires.

Vérifiez votre compréhension

Tomás dit : « Le modèle a raison pour 82,4 % des paires qu'il tranche et ne coûte presque rien. Laissons-le décider de chaque fusion. » Donnez trois raisons de refuser.

Afficher la réponse

Temps : à 1,5 seconde par paire, les 1,1 million de paires candidates prennent environ 19 jours sur un seul fil d’exécution. Qualité : ses erreurs sont toutes des fusions erronées (363 dans la zone). Pour les non-correspondances certaines, il répond « incertain » 43 fois sur 100, ce qui surchargerait la file de révision. Confidentialité : chaque paire envoie les données personnelles de deux clients à un service externe. De plus, une nouvelle version du modèle peut changer les réponses. Utilisez-le pour la petite zone de révision et gardez une personne pour les fusions qu’il propose.

Récapitulatif

  • Étalonnez d’abord : les scores de LightGBM deviennent des probabilités sur les paires de validation. La zone de révision va de 0,1 à 0,9.
  • Envoyez seulement les paires de cette zone au modèle, avec les deux enregistrements et les pièges connus. Autorisez la réponse « incertain ». Le cours utilise des réponses enregistrées de chat-small.
  • Dans la zone, il a répondu « incertain » pour 41 % des paires. Il avait raison pour 82,4 % des autres. Il a répondu « identiques » pour 363 paires de personnes différentes, et jamais « différents » pour une vraie paire.
  • lgbm+llm atteint un score F1 de 0,915, le meilleur résultat sur les clients, de peu. Coût : 0,075 $ US par 1 000 paires lues; temps : 1,51 seconde par paire.
  • Le modèle donne un deuxième avis pour la zone de révision. Il n’est jamais le seul juge d’une fusion.

Ceci termine le module 6. Nous avons maintenant de bonnes décisions par paire. Dans le module 7, nous transformons les paires en clients. Nous verrons comment une seule mauvaise paire peut réunir quarante personnes.

Leçon suivante : Regrouper les paires