La mise à l'échelle
- Leçon 28
- 40 min
- Module 8 : L'appariement en production
Où nous en sommes
Notre exécution quotidienne fonctionne sur les enregistrements de Larkfield. Leur nombre augmente, et certaines entreprises en ont des millions. Dans cette leçon, nous mesurons le temps et la mémoire pour 10 000, 100 000 et 1 million d'enregistrements. Nous voyons aussi quand une seule machine ne suffit plus.
Leçon 28 sur 29 · Résolution d'entités et appariement d'enregistrements : est-ce la même chose?La mise à l'échelle
1. Le problème de l'appariement
2. Nettoyer d'abord, puis apparier exactement
3. Le blocage : ne pas tout comparer
4. Comparer les enregistrements : les mesures de similarité
5. L'appariement probabiliste
6. L'appariement appris : classificateurs, plongements et modèles de langage
7. Des paires aux entités
8. L'appariement en production
Ce que vous saurez faire
Mesurez comment le temps et la mémoire augmentent de 10 000 à 1 million d’enregistrements. Trouvez l’étape qui augmente trop vite : une clé de blocage dont les blocs grossissent avec le nombre d’enregistrements. Rendez cette clé plus restrictive et mesurez combien de vraies paires elle perd. Voyez ensuite ce que DuckDB et Splink peuvent faire sur une seule machine. Puis, voyez quand une grappe avec Spark devient la prochaine étape.
Carnet JupyterMesurer la croissance des clés de blocage dans un carnet Jupyter
Le carnet (notebook) Jupyter compte les paires produites par chaque clé de blocage pour 5 000 à 60 108 enregistrements, sans les créer. Vous voyez quelle clé augmente le plus vite. Ensuite, vous rendez la clé du nom de famille plus restrictive et mesurez son exhaustivité des paires (pair completeness). Ses cellules de préparation téléchargent les données. Il ne nécessite donc aucune préparation locale.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Les clés de blocage, les paires candidates et l’exhaustivité des paires, dans Ce que le blocage fait perdre.
- Splink sur DuckDB, dans Apprendre les poids sans étiquettes.
- L’exécution quotidienne, dans De nouveaux enregistrements chaque jour.
Ce qu’il vous faut sur votre ordinateur
- Le projet avec les fichiers du module 8 et un modèle entraîné (
match train), avec son environnement virtuel activé. Ou utilisez seulement le carnet.
Poignées de main à une fête
Section intitulée « Poignées de main à une fête »À une fête de 10 invités, chacun serre la main de tous les autres : 10 × 9 ÷ 2 = 45 poignées de main. À une fête de 100 invités : 4 950. Dix fois plus d’invités, environ cent fois plus de poignées de main.
Un hôte astucieux répartit les invités entre des tables. Seules les personnes d’une même table se serrent la main. Vingt tables de cinq donnent 20 × 10 = 200 poignées de main. Maintenant, dix fois plus d’invités signifie dix fois plus de tables, et seulement dix fois plus de poignées de main.
Il y a un problème. L’hôte place les invités selon leur nom de famille, et une table est réservée aux « Smith ». À une petite fête, trois Smith y prennent place. À une fête d’un million d’invités, des milliers de Smith occupent cette seule table. Ils se serrent la main toute la nuit.
Le blocage est ce plan de table. Un bloc de n enregistrements produit n × (n − 1) ÷ 2 paires. Les blocs qui restent petits limitent le travail. Un bloc qui grossit avec le nombre d’enregistrements ramène le problème que le blocage devait résoudre.
Le problème : de 60 000 à 1 million d’enregistrements
Section intitulée « Le problème : de 60 000 à 1 million d’enregistrements »Les enregistrements de TermeLarkfieldUne boutique en ligne canadienne inventée, qui vend des articles pour la maison et le jardin. Ce n’est pas une vraie entreprise. Tous les cours Nextia utilisent son service d’assistance et ses données comme exemple.En savoir plus Découvrez Larkfield sont peu nombreux. Sur cet ordinateur portable, l’exécution complète prend moins d’une minute. D’autres entreprises ont beaucoup plus d’enregistrements. Pour voir ce qui se passe, l’équipe du cours a créé deux jeux synthétiques plus grands. Ils viennent du même générateur, avec les mêmes modèles de personnes et d’erreurs : 109 830 et 1 099 849 enregistrements. Ils ne figurent pas dans les exercices pratiques, car ils sont volumineux.
| Enregistrements | Paires candidates | Vecteurs de comparaison | LightGBM | Entraînement de Splink | Mémoire maximale |
|---|---|---|---|---|---|
| 11 067 | 51 879 | 0,3 s | 1,2 s | 3,9 s | 0,45 Go |
| 109 830 | 3 554 389 | 16,7 s | 81,6 s | 9,2 s | 3,4 Go |
| 1 099 849 | environ 340 millions | environ 45 min (extrapolé) | environ 2,9 h (extrapolé) | échec après 36 s | environ 24,5 Go pour les vecteurs (extrapolé) |
Pour les deux tailles plus petites, chaque étape a été exécutée sur l’ordinateur portable : ce sont des temps mesurés. À 1,1 million d’enregistrements, nous n’avons pas créé toutes les paires candidates. Environ 340 millions de paires ne tiendraient pas en mémoire. Nous les avons comptées à partir de la taille des blocs. Nous avons chronométré la comparaison et LightGBM sur 1 million de ces paires, puis multiplié les résultats. Ces temps sont extrapolés : calculés à partir d’une exécution plus petite, jamais exécutée à cette taille.
- Mesuré
- Extrapolé (pointillé)
Description textuelle du graphique
Un graphique en lignes avec des échelles logarithmiques sur les deux axes. Les enregistrements vont de 10 000 à environ 1,6 million; les minutes, de 0,01 à 1 000. Mesuré : 11 067 enregistrements prennent 1,5 secondes, et 109 830 enregistrements prennent 1,6 minutes. Extrapolé, en pointillé : 1 099 849 enregistrements prennent environ 218 minutes, soit environ 3,6 heures. Dix fois plus d’enregistrements a donné environ 66 fois plus de temps, puis environ 133 fois plus.
Dix fois plus d’enregistrements a donné environ 69 fois plus de paires candidates, puis environ 96 fois plus. C’est la fête avec la table des Smith.
Quelle clé augmente?
Section intitulée « Quelle clé augmente? »Les cinq clés du projet produisent leurs paires séparément, avant la suppression des doublons. Comptez-les pour chaque clé :
- Clé du nom de famille
- Code postal
- Téléphone
Description textuelle du graphique
Trois lignes avec des échelles logarithmiques sur les deux axes. La clé du nom de famille produit 38 775 paires pour 11 067 enregistrements, 3 418 193 pour 109 830, et 337 158 879 pour 1 099 849. Cela fait cent fois plus de paires pour dix fois plus d’enregistrements. Le code postal produit 15 997, 163 388 et 1 786 514 : dix fois plus pour dix fois plus d’enregistrements. Le téléphone produit 4 143, 35 263 et 348 558. La ligne du nom de famille est plus pentue que les autres.
Les clés du code postal, du téléphone et du courriel augmentent comme le nombre d’enregistrements. Un code postal couvre quelques logements, un téléphone couvre un logement. Une entreprise plus grande ne place pas plus de personnes dans un logement. Leurs blocs restent petits.
La clé du nom de famille est différente. Elle utilise les 4 premières lettres du nom de famille et les 2 premières du prénom. Plus d’enregistrements signifie plus de personnes appelées « smit|jo ». Le plus grand bloc de noms de famille comptait 71 enregistrements pour 11 067 enregistrements, 633 pour 109 830, et 5 487 pour 1 099 849. Un seul bloc de 5 487 enregistrements produit à lui seul 15 050 841 paires.
Une clé dont les blocs grossissent avec le nombre d’enregistrements produit des paires qui augmentent avec le carré de ce nombre. Dix fois plus d’enregistrements, cent fois plus de paires.
DuckDB et Splink sur une seule machine
Section intitulée « DuckDB et Splink sur une seule machine »DuckDB est une base de données qui fonctionne dans le programme Python, sans serveur. Elle traite des tables beaucoup plus grandes que la mémoire. Quand la mémoire est pleine, elle écrit des parties du travail dans des fichiers temporaires sur le disque. Elle les relit plus tard. C’est ce qu’on appelle le débordement sur disque (spilling to disk). Splink utilise DuckDB pour comparer les paires et leur attribuer des scores.
Le débordement a une limite : le disque. Une exécution sans limite a déjà rempli le disque d’un ordinateur portable. Le projet limite donc DuckDB à 4 Go de mémoire et 4 Go de fichiers temporaires. C’est ce que montrait Comment Splink s’entraîne.
Splink s’est entraîné en 3,9 s pour 11 067 enregistrements, et en 9,2 s pour 109 830. À 1 099 849 enregistrements, il s’est arrêté après 36 secondes :
SplinkException: Error executing the following sql for table `__splink__df_comparison_vectors` …… You can adjust this setting, by using (for example) PRAGMA max_temp_directory_size='10GiB'C’est la limite qui fonctionne. L’erreur suggère une limite plus élevée. Avec plus d’espace disque, l’exécution continuerait plus longtemps. Voici notre interprétation de la cause, pas une mesure. L’entraînement de Splink compare les paires de ses propres règles de blocage : la date de naissance et le nom complet. À cette taille, ces blocs sont grands aussi.
L’idée : rendre les clés plus restrictives avant d’acheter une machine plus puissante
Section intitulée « L’idée : rendre les clés plus restrictives avant d’acheter une machine plus puissante »Une machine plus puissante traite chaque paire plus vite. Elle ne change pas le nombre de paires. La solution moins coûteuse est une clé plus restrictive : une clé avec des blocs plus petits. Nous avons essayé quatre modifications de la clé du nom de famille sur les 1 099 849 enregistrements. Les quatre autres clés sont restées identiques :
| Clé du nom de famille | Paires candidates | Plus grand bloc | Exhaustivité des paires | Vecteurs + LightGBM (extrapolé) |
|---|---|---|---|---|
| la clé du projet : 4 lettres du nom de famille + 2 du prénom | 340 419 376 | 5 487 | 0,9938 | environ 3,6 h |
| le nom de famille entier + le prénom entier | 158 342 327 | 2 078 | 0,9895 | environ 1,7 h |
| la clé du projet + la première lettre du code postal | 67 983 412 | 1 583 | 0,9756 | environ 44 min |
| la clé du projet + les 3 premiers caractères du code postal | 3 979 972 | 26 | 0,9654 | environ 3 min |
| aucune clé du nom de famille | 3 260 497 | - | 0,9626 | environ 2 min |
Le tableau montre un vrai choix, pas une solution gratuite :
- Ajouter les 3 premiers caractères du code postal fait passer les paires d’environ 340 millions à environ 4 millions : quelques minutes plutôt que des heures. Mais l’exhaustivité des paires passe de 0,9938 à 0,9654. Cela représente 14 434 vraies paires perdues avant qu’un modèle les voie.
- Pourquoi autant? La clé du nom de famille servait aux personnes qui ont déménagé. Elles ont des codes postaux, des téléphones et des courriels différents : seul le nom réunit leurs deux enregistrements. Une clé qui contient le code postal perd exactement ces personnes, comme dans Ce que le blocage fait perdre.
- Le nom entier conserve presque tout (0,9895) et divise les paires par deux. La première lettre du code postal, une grande région postale, se situe entre les deux.
La réponse dépend donc de l’entreprise. Larkfield peut perdre environ 1 vraie paire sur 30 et s’exécuter en quelques minutes. Ou elle peut garder le nom entier et s’exécuter pendant environ 1,7 heures. Dans les deux cas, les paires passent en premier, et la machine en second. L’exécution quotidienne de De nouveaux enregistrements chaque jour aide aussi : chaque jour compare seulement les nouveaux enregistrements, une petite partie de ces paires.
L’explorateur du module 3 montre le même compromis sur les 60 108 enregistrements de Larkfield. Comparez keys avec keys-wide, dont la clé du nom de famille utilise seulement la première lettre du prénom :
Explorer
Une clé du nom de famille plus large : plus de paires, peu de vraies paires en plus
Prédisez d’abord : La clé du nom de famille large produit environ deux fois plus de paires candidates. Combien de vraies paires de plus conserve-t-elle?
- Paires candidates
- 1 108 591
- Exhaustivité des paires
- 0,994
- Vraies paires perdues
- 174
- Taux de réduction
- 0,999386
keys (code postal, courriel, téléphone, clé du nom ou date de naissance (la valeur par défaut du projet)) : 1 108 591 paires candidates sur 1 806 455 778. Il garde 27 503 des 27 677 vraies paires et en perd 174. Vraies paires avec deux codes postaux différents (surtout des clients qui ont déménagé) : keys en garde 4 115 sur 4 289.
- Une clé
- Plusieurs clés
| Blocage | Paires candidates | Vraies paires gardées | Exhaustivité des paires | Taux de réduction |
|---|---|---|---|---|
surname | 1 035 498 | 23 489 | 0,849 | 0,999427 |
postcode+surname | 1 103 620 | 27 019 | 0,976 | 0,999389 |
keys | 1 108 591 | 27 503 | 0,994 | 0,999386 |
keys-wide | 2 351 382 | 27 546 | 0,995 | 0,998698 |
Description textuelle de l’explorateur
L’explorateur a quatre boutons : surname, postcode+surname, keys et keys-wide. Il commence sur keys. Quatre tuiles montrent les paires candidates, l’exhaustivité des paires, les vraies paires perdues et le taux de réduction. Un graphique montre les quatre blocages sous forme de points : les paires candidates sur une échelle logarithmique, par rapport à l’exhaustivité des paires. Un tableau les énumère. Nom de famille : 1 035 498 candidates, exhaustivité de 0,849. Code postal ou nom de famille : 1 103 620, 0,976. Les cinq clés : 1 108 591, 0,994, 174 vraies paires perdues. Les cinq clés avec la clé du nom de famille large : 2 351 382, 0,995.
La clé large fait plus que doubler les paires et ne conserve que 0,001 de vraies paires de plus. À 60 000 enregistrements, cela coûte quelques secondes. À un million d’enregistrements, le même choix coûte des heures.
Mesurer votre propre machine
Section intitulée « Mesurer votre propre machine »match bench chronomètre chaque étape sur une partie de vos enregistrements, ou sur tous :
match bench records candidates block s vectors s lgbm s splink train s splink predict s peak MB 10,000 30,369 0.0 0.1 0.4 2.7 0.1 421 30,000 273,828 0.1 0.7 3.5 2.5 0.5 1064 60,108 1,108,591 0.2 2.7 13.8 2.7 1.3 3111Peak MB is the most memory this program used so far (it only grows).Splink affiche aussi son journal d’entraînement pour chaque taille. Nous l’avons omis ici. Vos temps seront différents : notre ordinateur portable effectuait d’autres travaux en même temps. Les décomptes ne changent pas. Sur un ordinateur portable sans autre travail, l’équipe du cours a mesuré 2,5 s pour les vecteurs. LightGBM prenait 11,2 s pour 60 108 enregistrements, avec un maximum de 4,0 Go.
Trois fois plus d’enregistrements (de 10 000 à 30 000) a donné neuf fois plus de paires candidates : 273 828 ÷ 30 369 = 9,0. Le carré apparaît sur votre propre ordinateur portable.
Quand passer à Spark
Section intitulée « Quand passer à Spark »Spark est un système qui répartit une tâche entre plusieurs ordinateurs, une grappe. Splink peut utiliser Spark plutôt que DuckDB, avec le même modèle et les mêmes paramètres. C’est ce qu’indique la documentation de Splink; nous ne l’avons pas exécuté. Passez à Spark quand une seule machine ne suffit plus après avoir rendu les clés plus restrictives :
- Les paires candidates ne tiennent toujours pas en mémoire. Par exemple, des centaines de millions de paires que l’entreprise doit conserver. Une nuit ne suffit pas sur une seule machine.
- Les données sont déjà dans une grappe. Les copier sur une seule machine devient alors la partie lente.
- Plusieurs exécutions simultanées. Plusieurs équipes ou de nombreux pays, chacun avec son propre appariement.
Une grappe coûte de l’argent chaque heure et nécessite des personnes capables de l’exploiter. Un ordinateur portable a apparié 110 000 enregistrements avec chaque étape sous les 2 minutes, dans 3,4 Go de mémoire. Des clés plus restrictives ont ramené l’exécution extrapolée de 1,1 million d’enregistrements de plusieurs heures à quelques minutes. Essayez les deux avant de passer à une grappe.
Erreur courante
Acheter une machine plus puissante
Symptôme : l’apparieur traitait 60 000 enregistrements en moins d’une minute. À 1,1 million, Splink s’arrête à la limite du disque, et la comparaison prendrait des heures. TermeAmiraLa développeuse de Larkfield. Elle écrit le code des outils du service d’assistance dans les cours. demande une machine avec quatre fois plus de mémoire.
Cause : les blocs de la clé du nom de famille grossissent avec le nombre d’enregistrements. Son plus grand bloc est passé de 71 enregistrements à 5 487. Les paires ont augmenté avec le carré : environ 340 millions. Quatre fois plus de mémoire ne change pas le nombre de paires.
Solution : comptez d’abord les paires de chaque clé à partir de la taille des blocs. Trouvez la clé qui augmente trop vite et rendez-la plus restrictive. Mesurez l’exhaustivité des paires de chaque option et laissez l’entreprise choisir le compromis. Ensuite, choisissez la capacité de la machine.
Conséquence pour le travail en IA : toute étape qui compare des éléments par paires suit cette forme. Exemples : recherche de quasi-doublons, regroupement, classement par paires et évaluation de chaque paire de réponses. Vérifiez les blocs ou les listes de candidats avant d’augmenter la capacité de la machine.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Une clé de blocage produit 40 000 paires pour 10 000 enregistrements. Ses blocs grossissent avec le nombre d'enregistrements. Combien de paires produira-t-elle environ pour 100 000 enregistrements? Et une clé dont les blocs gardent la même taille?
Afficher la réponse
Si les blocs grossissent avec le nombre d’enregistrements, les paires augmentent avec le carré : 10 × 10 = 100 fois plus. Cela donne environ 4 millions de paires. Si les blocs gardent la même taille, il y a seulement plus de blocs : 10 fois plus, environ 400 000 paires. La clé du nom de famille de Larkfield est passée de 38 775 à 3 418 193 paires; le code postal, de 15 997 à 163 388.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
À 1,1 million d'enregistrements, ajouter les 3 premiers caractères du code postal à la clé du nom de famille a réduit le temps. Il est passé de plusieurs heures à quelques minutes. Quel était le coût, et quels clients le subissent?
Afficher la réponse
L’exhaustivité des paires est passée de 0,9938 à 0.9654 : 14 434 vraies paires n’ont jamais été comparées. Ce sont surtout des clients qui ont déménagé. Leurs deux enregistrements ont des codes postaux, des téléphones et des courriels différents. Seul le nom pouvait les réunir. Ils deviennent des correspondances manquées.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Splink s'est arrêté à 1,1 million d'enregistrements avec une erreur DuckDB concernant le répertoire temporaire. Est-ce un bogue? Que faites-vous?
Afficher la réponse
Non. C’est la limite du projet. DuckDB peut écrire au plus 4 Go de fichiers temporaires. Une exécution qui en nécessite plus s’arrête donc avant que le disque soit plein. Vous pouvez augmenter la limite si le disque a de l’espace. Mais demandez-vous d’abord pourquoi il en faut autant. Les règles de blocage de l’entraînement de Splink produisent de grands blocs à cette taille. Rendez-les plus restrictives, ou entraînez le modèle sur un échantillon des enregistrements, puis calculez les scores.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Mesuré : 11 067 enregistrements → 51 879 candidates, chaque étape sous les 4 s; 109 830 → 3 554 389, LightGBM 81,6 s, maximum 3,4 Go.
- Extrapolé : 1 099 849 enregistrements → environ 340 millions de candidates, environ 45 minutes pour les vecteurs et 2,9 heures pour LightGBM. L’entraînement de Splink s’est arrêté à la limite de 4 Go sur disque.
- Une clé dont les blocs grossissent avec le nombre d’enregistrements produit des paires qui augmentent avec le carré de ce nombre. Ici, c’était la clé du nom de famille.
- Rendez les clés plus restrictives avant d’acheter une machine plus puissante, et mesurez ce que chaque option perd. Passer d’environ 340 millions de paires à 4 millions a coûté 14 434 vraies paires.
- DuckDB déborde sur disque sur une seule machine. Passez à Spark seulement si les clés plus restrictives produisent encore trop de paires. Ou si les données sont déjà dans une grappe.
Ensuite, la dernière leçon du module : les données personnelles dans toutes ces paires.
Leçon suivante : Confidentialité et appariement