Régler finement un petit encodeur sur CPU
- Leçon 15
- 45 min
- Module 4 : Plongements et petits modèles réglés finement
Où nous en sommes
Jusqu'ici, le modèle de plongement restait figé, et seul le classificateur ajouté apprenait. Dans cette leçon, nous réglons finement un petit encodeur multilingue sur le CPU d'un portable. Tout le modèle apprend à partir des étiquettes de Larkfield. Nous suivons la perte de validation, puis nous sauvegardons et chargeons le point de contrôle (*checkpoint*).
Leçon 15 sur 37 · Classification et routage de textes : envoyer chaque message au bon endroitRégler finement un petit encodeur sur CPU
1. Le problème du routage et son coût
2. Des étiquettes fiables
3. Références de base : règles et modèles classiques
4. Plongements et petits modèles réglés finement
5. Les LLM comme classificateurs
6. Modèles de décision, cascades et distillation
7. Des formes d'étiquettes plus difficiles
8. La confiance et les personnes dans la boucle
9. Exploiter le routeur en production
Ce que vous saurez faire
Laissez tout le modèle apprendre les destinations de Larkfield, pas seulement un petit classificateur ajouté. Nous réglons finement un petit encodeur multilingue pendant environ 6 minutes sur le CPU d’un portable. Pour cette boîte de réception, il devient la méthode la plus exacte et la moins coûteuse du tableau comparatif jusqu’ici.
Carnet JupyterFaites cette leçon dans un carnet Jupyter
Le carnet (notebook) Jupyter contient toutes les cellules de code, les tâches et les vérifications de cette leçon. Il ajoute une tête de classification, fige la table des mots et entraîne le modèle pendant 32 étapes courtes. Vous suivez la perte pendant ce temps. Ensuite, il charge le point de contrôle prêt à utiliser du cours et évalue les messages de test. Une cellule facultative contient l’entraînement complet de 6 minutes. Les cellules de préparation installent les paquets et téléchargent les données, le modèle de base (environ 470 Mo) et le point de contrôle (43 Mo). Aucune préparation locale n’est donc nécessaire. Environ 45 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Les plongements de phrases (sentence embeddings) et le modèle figé avec régression logistique, présentés dans Plongements de phrases pour la classification.
- Pourquoi suivre un score de validation pendant l’apprentissage, expliqué dans Données d’entraînement, de validation et de test du cours Apprentissage automatique : du problème à un modèle fiable.
- Utile, mais pas obligatoire : la boucle d’entraînement, la perte et les époques dans le cours L’apprentissage profond et les transformeurs expliqués. Consultez La boucle d’entraînement et Lots, époques et validation. Cette leçon explique les notions nécessaires.
Ce qu’il vous faut sur votre ordinateur
- Rien si vous utilisez le carnet. Ce module ne modifie aucun fichier de votre projet
larkroute. Les prédictions enregistrées du modèle réglé finement rejoignent le projet au module 6. - Pour l’entraînement complet facultatif : environ 6 minutes sur le CPU d’un portable. Prévoyez plus de temps sur Colab gratuit.
Testé sur macOS (Apple silicon, 4 fils d’exécution) avec Python 3.12, Transformers 5.22.2 et PyTorch 2.15.0 (CPU), dans Jupyter. Colab, Kaggle, les GPU et Windows n’ont pas été testés.
La commis qui apprend les règles de son bureau de poste
Section intitulée « La commis qui apprend les règles de son bureau de poste »Rappelez-vous la commis expérimentée qui comprend le sens. Elle vient d’un autre bureau de poste. Elle comprend les lettres, mais ne connaît pas les règles de ce bureau. Ici, un colis retourné va au comptoir des retours, pas au comptoir des colis. Un changement d’adresse pour une commande va aux commandes, même si la lettre dit « colis ».
Pendant ses premières semaines, un superviseur observe son travail. Après chaque lettre, il dit « correct » ou « non, celle-là va aux retours ». Peu à peu, elle change sa façon de lire les lettres. Elle commence à remarquer les mots « renvoyer » et « modifier ma commande », qu’elle ignorait avant. Après quelques semaines, elle trie mieux que tout le monde.
Jusqu’ici, notre modèle de plongement était la commis qui ne change jamais sa façon de lire. Seul un petit classificateur derrière elle apprenait les règles du bureau. Dans cette leçon, la commis elle-même apprend.
Le problème : un modèle figé ne peut pas apprendre les frontières de Larkfield
Section intitulée « Le problème : un modèle figé ne peut pas apprendre les frontières de Larkfield »L’image des plongements dans la première leçon le montrait. Les messages de livraison, de retour et de commande se chevauchent dans l’espace du modèle figé. Leur sens général est proche. Un classificateur ajouté peut seulement tracer des frontières dans cet espace; il ne peut pas déplacer les messages. Pour cette boîte de réception, les plongements figés avec régression logistique atteignent 0,920 et coûtent 779,0 $ US par 1 000 messages. C’est moins bon que TF-IDF (0,962, 296,0 $ US).
Et si le modèle pouvait déplacer les messages pour que chaque destination ait sa propre région?
L’idée : le réglage fin
Section intitulée « L’idée : le réglage fin »Le réglage fin consiste à entraîner un peu plus un modèle qui a déjà appris à partir de textes généraux. Nous utilisons nos propres données étiquetées. Tous ses paramètres, ou une partie, changent. « Fin » signifie de petits changements : nous partons d’un bon modèle et l’ajustons.
Le modèle ici est un encodeur : un transformeur qui lit un message entier et le représente par des nombres. Le modèle de plongement fait la même chose. Un transformeur est un type de réseau de neurones qui lit chaque mot avec les mots qui l’entourent. Les blocs du transformeur, dans le cours L’apprentissage profond et les transformeurs expliqués, l’explique. Il n’écrit pas de texte. Nous utilisons l’ancien modèle de plongement de ce module comme point de départ. Il est petit, multilingue et comprend déjà bien le sens.
Pour classifier, l’encodeur reçoit une tête de classification. C’est une petite couche ajoutée : elle transforme les 384 nombres de l’encodeur en 7 scores, un par destination. Une dernière étape, appelée softmax, transforme les scores en 7 probabilités dont la somme vaut 1. La tête commence avec des poids aléatoires, donc elle devine au début.
Description textuelle du diagramme
Le schéma comporte deux colonnes. Toutes deux commencent par le message « My parcel never came. » et traversent les mêmes parties vers le bas. D’abord, la table des mots : 250 037 jetons de 384 nombres chacun, soit 96 millions de nombres. Elle est figée dans les deux colonnes (grise). Ensuite, les 12 couches. Dans la colonne de gauche, elles sont figées (grises) et donnent seulement le sens général. Dans celle de droite, elles apprennent à partir des étiquettes de Larkfield (orange). Ensuite, 384 nombres représentent le message. Puis, à gauche, une régression logistique avec 7 × 384 poids + 7, qui apprend. À droite, une tête de classification avec 7 scores, qui apprend dès le départ. Résultats : à gauche, exactitude de test de 0,920 et 779,0 $ US par 1 000 messages; à droite, 0,980 et 103,0 $ US par 1 000 messages. À gauche, 2 695 paramètres apprennent; à droite, 21,6 millions sur 117,7 millions.
Figer la table des mots
Section intitulée « Figer la table des mots »Le modèle compte 117,7 millions de paramètres. La plupart, soit 96 millions, forment la table des mots. Elle contient une ligne de 384 nombres pour chacun de ses 250 037 jetons (tokens), des morceaux de mots en plusieurs langues. Les messages de Larkfield n’en utilisent qu’une petite partie, et leur sens n’a pas besoin de changer pour le routage. Nous figeons donc la table des mots : elle n’apprend pas.
from transformers import AutoModelForSequenceClassification, AutoTokenizerBASE = "sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2"REV = "e8f8c211226b894fcb81acc59f3b34ba3efd5f42"tok = AutoTokenizer.from_pretrained(BASE, revision=REV)model = AutoModelForSequenceClassification.from_pretrained(BASE, revision=REV, num_labels=7)model.base_model.embeddings.word_embeddings.weight.requires_grad = False # freeze the word tableLe carnet compte les paramètres :
117,656,455 parameters, 21,642,247 learn (18%)21,6 millions de paramètres sur 117,7 millions apprennent : les 12 couches, la tête et quelques petites parties. Figer la table accélère chaque étape et utilise moins de mémoire. Les changements sauvegardés sont aussi beaucoup plus petits. Au chargement, Transformers signale que classifier.weight et classifier.bias sont absents et « newly initialized » (nouvellement initialisés). C’est la tête, et c’est normal.
Suivre la perte
Section intitulée « Suivre la perte »La perte mesure à quel point les probabilités du modèle sont erronées. Pour un message, elle est faible quand le modèle donne une probabilité élevée à la bonne destination. Elle est élevée quand cette probabilité est faible. L’entraînement change les paramètres, étape par étape, pour réduire la perte sur les messages d’entraînement. Une étape utilise un petit groupe de messages (ici 32). Une époque est un passage sur les 6 000 messages d’entraînement, soit 188 étapes.
La perte d’entraînement seule peut vous tromper : un modèle qui mémorise ses messages d’entraînement obtient une perte d’entraînement minuscule. Nous mesurons donc aussi la perte sur des messages de validation, que le modèle n’utilise jamais pour apprendre. Ce nombre indique si le modèle s’améliore sur de nouveaux messages.
Larkfield : l’entraînement complet
Section intitulée « Larkfield : l’entraînement complet »Priya entraîne le modèle pendant 3 époques sur les 6 000 messages d’entraînement, sur le CPU d’un portable (Apple M4, 4 fils d’exécution). Toutes les demi-époques, elle mesure la perte sur 600 messages de validation.
- Perte de validation (600 messages)
- Perte d'entraînement (dernier lot de 32)
Description textuelle du graphique
La perte de validation commence à 1,951 avant l’entraînement. Elle baisse à 0,658 après une demi-époque et à 0,254 après une époque. Ensuite, elle vaut 0,162, 0,141, 0,145 et, après trois époques, 0,138. La perte d’entraînement est mesurée sur le dernier lot de 32 messages. Elle baisse de 0,604 à 0,198, 0,084 et 0,045. Elle monte à 0,199 après deux époques et demie, puis termine à 0,034. La courbe de validation est plate pendant la dernière époque.
Lisez le graphique de gauche à droite :
- Avant l’entraînement, la perte de validation est de 1,951. Un modèle qui donne la même probabilité aux 7 destinations a une perte d’environ 1,95 (le logarithme naturel de 7). La tête aléatoire ne sait encore rien.
- Après une demi-époque (57 secondes), elle est déjà de 0,658. Le modèle apprend vite, car il part d’un modèle qui comprend le sens.
- Après environ 2 époques, la perte de validation cesse de baisser : 0,141, 0,145, 0,138. Plus d’époques prendraient du temps pour peu de gain. Si elle commençait à monter pendant que la perte d’entraînement baissait encore, le modèle serait en train de mémoriser. Ce serait le signal d’arrêter.
- La perte d’entraînement monte une fois (0,199 à 2,5 époques). Elle est mesurée sur un seul lot de 32 messages, donc un lot difficile la fait varier. Voilà pourquoi nous jugeons selon la perte de validation, mesurée sur 600 messages.
L’entraînement a pris 327 secondes, environ 5,5 minutes, plus environ 20 secondes pour charger, sauvegarder et évaluer le modèle.
Le résultat
Section intitulée « Le résultat »| Méthode (2 000 messages de test) | Exactitude | Anglais | Français | Prises de contrôle détectées | Coût par 1 000 messages |
|---|---|---|---|---|---|
| Plongements, ancien modèle + régression logistique (figé) | 0,920 | 0,931 | 0,896 | 10 sur 12 | 779,0 $ US |
| TF-IDF + régression logistique | 0,962 | 0,966 | 0,952 | 11 sur 12 | 296,0 $ US |
| TF-IDF + SVM linéaire | 0,966 | 0,971 | 0,954 | 12 sur 12 | 175,0 $ US |
| Encodeur réglé finement | 0,980 | 0,980 | 0,978 | 12 sur 12 | 103,0 $ US |
Pour cette boîte de réception, l’encodeur réglé finement est la meilleure méthode jusqu’ici. Il fait 41 erreurs sur 2 000 messages, contre 76 pour TF-IDF avec régression logistique. Il détecte les 12 prises de contrôle de compte et les 99 messages needs_person (besoin d’une personne). Il est presque aussi bon en français qu’en anglais. Le même modèle, figé, faisait 159 erreurs. Le réglage fin a fait la différence.
Un message en anglais et le même message en français montrent ce qui a changé. Voici les probabilités de delivery (livraison) :
| Message | Modèle figé + régression logistique | Encodeur réglé finement |
|---|---|---|
| My parcel never came. | 0,060 | 0,857 |
| Mon colis n'est jamais arrivé. | 0,021 | 0,853 |
Ces deux courts messages ne viennent pas de la boîte de réception; nous les avons écrits pour cet exemple. Le modèle figé et son classificateur envoient les deux à account (compte), avec 0,932 et 0,720. Ces messages très courts diffèrent de la plupart des messages de Larkfield (la médiane est de 28 mots). Le classificateur ajouté aux nombres figés se trompe complètement, et nous n’avons pas mesuré pourquoi. L’encodeur réglé finement donne à delivery une probabilité de 0,857 en anglais et de 0,853 en français. Il a appris ce qui caractérise un message de livraison, dans les deux langues.
Sauvegarder et charger le point de contrôle
Section intitulée « Sauvegarder et charger le point de contrôle »Un point de contrôle est l’état sauvegardé d’un modèle entraîné : ses paramètres permettent de le charger plus tard sans nouvel entraînement. Une copie complète de ce modèle ferait environ 470 Mo. Mais la table des mots n’a pas changé. Nous sauvegardons donc seulement les paramètres modifiés, sous forme de nombres sur 16 bits. Le résultat fait 43,3 Mo.
Le point de contrôle prêt à utiliser du cours se trouve dans le dépôt des exercices, dans C36/models/finetuned-encoder/. Il contient changed_weights.safetensors et routes.json (le modèle de base, sa révision, l’ordre des destinations et l’entrée la plus longue en jetons). Pour le charger, reconstruisez le modèle de base, puis appliquez les poids modifiés :
import jsonfrom safetensors.torch import load_filemeta = json.load(open("models/finetuned-encoder/routes.json"))weights = {k: v.float() for k, v in load_file("models/finetuned-encoder/changed_weights.safetensors").items()}missing, unexpected = model.load_state_dict(weights, strict=False) # the word table comes from the base modelmodel.eval()strict=False permet l’absence de certains poids. Vérifiez lesquels sont absents : il doit s’agir uniquement de la table des mots (...word_embeddings.weight), et unexpected (inattendu) doit être vide. Si d’autres noms sont absents, le point de contrôle et le modèle de base ne correspondent pas. Le modèle devinera alors.
Le point de contrôle prêt à utiliser fixe la révision du modèle de base. Si le modèle de base changeait sur Hugging Face, les poids sauvegardés s’appliqueraient à d’autres poids. Les scores baisseraient sans aucun message d’erreur.
Vitesse et coût
Section intitulée « Vitesse et coût »| Encodeur réglé finement | |
|---|---|
| Entraînement | 327 s sur 4 fils d’exécution CPU (une fois par nouvelle version du modèle) |
| Temps par message, un à la fois | 6,7 ms |
| Sur disque | le modèle de base (470,6 Mo) + les poids modifiés (43,3 Mo) |
| Matériel | le CPU d’un portable; aucun GPU nécessaire |
| Coût d’exécution par 1 000 messages | beaucoup moins d’un cent à 0,05 $ US par heure de CPU |
À 65 messages par jour, la boîte de réception de Larkfield nécessite moins d’une seconde de CPU par jour pour ce modèle. Le coût important reste celui des erreurs : 103,0 $ US par 1 000 messages, le plus bas jusqu’ici.
Quand régler finement
Section intitulée « Quand régler finement »- Réglez finement quand vous avez quelques milliers de messages étiquetés et que les modèles classiques ne s’améliorent plus. Vous devez aussi pouvoir lancer un court entraînement quand les étiquettes changent.
- Ne réglez pas finement avec quelques dizaines d’étiquettes : il y a trop peu de données pour apprendre. Les méthodes de la leçon précédente sont meilleures. Ne réglez pas finement non plus quand TF-IDF suffit déjà aux besoins de l’entreprise. Un modèle neuronal demande plus de travail pour l’exécuter et l’expliquer.
- Ce que cela coûte : un entraînement de quelques minutes pour chaque nouvelle version. Il faut aussi stocker et versionner un modèle de base de 470 Mo et vos poids. Il nécessite environ 7 ms par message et est plus difficile à expliquer que les mots principaux de TF-IDF.
Exercice guidé : régler finement et charger
Section intitulée « Exercice guidé : régler finement et charger »- Ouvrez le carnet depuis l’encadré Faites cette leçon dans un carnet Jupyter en haut de cette page.
- Exécutez les cellules de préparation. La cellule du point de contrôle affiche
Ready checkpoint: 2 files.(point de contrôle prêt : 2 fichiers). - Dans la section 1, écrivez votre prédiction. Exécutez ensuite la cellule. Elle affiche
117,656,455 parameters, 21,642,247 learn (18%)(117 656 455 paramètres, dont 21 642 247 apprennent, soit 18 %). - Dans la section 2, exécutez l’entraînement court. La perte de validation passe d’environ
1.95à environ1.3. - Sautez la section 3, ou définissez
TRAIN_FULL = Truesi vous avez 6 minutes ou plus. - Dans la section 4, chargez le point de contrôle prêt à utiliser. Le tableau affiche une exactitude de
0.98et un coût de103.0. - Dans la section 6, mesurez le temps par message, un à la fois.
À vous de jouer : où le réglage fin aide
Section intitulée « À vous de jouer : où le réglage fin aide »Dans la section 5 du carnet (notebook) Jupyter, comparez l’encodeur réglé finement aux plongements figés de la première leçon. Ils sont consignés dans les données du cours. Comptez les messages de test que seul l’encodeur réglé finement achemine correctement (enc_only). Comptez aussi ceux que seuls les plongements figés acheminent correctement (emb_only). Faites d’abord une prédiction : est-ce que emb_only vaut zéro?
Afficher la réponse
frozen, _ = rt.predictions("embeddings-older", test)truth = test["route"].to_numpy()enc_right = pred == truthemb_right = frozen["prediction"].to_numpy() == truthenc_only = int((enc_right & ~emb_right).sum())emb_only = int((emb_right & ~enc_right).sum())print(enc_only, emb_only)132 14Le réglage fin corrige 132 messages et introduit des erreurs pour 14 autres. Le nombre n’est pas zéro : un meilleur modèle n’est pas meilleur pour chaque message. Lisez quelques-uns des 14 messages pour voir les erreurs du modèle réglé finement.
Erreur courante
Le point de contrôle qui ne s'est pas chargé
Symptôme : Amira charge le point de contrôle (checkpoint) prêt à utiliser dans son propre script. Aucune erreur ne s’affiche, et le modèle achemine chaque message. Mais sur les 2 000 messages de test, son exactitude est de 0,164, et non de 0,980.
Cause : elle a chargé les poids dans la partie encodeur, model.base_model, plutôt que dans le model entier. Les noms du point de contrôle sont ceux du modèle entier. Dans model.base_model, les noms sont différents. Aucun ne correspondait donc, et avec strict=False, rien n’a signalé le problème. Le modèle a gardé l’encodeur de base et une tête aux poids aléatoires. Nous avons introduit cette erreur volontairement et mesuré son effet. load_state_dict a renvoyé les 200 noms dans unexpected (inattendus), un signe clair que personne n’a lu.
Solution : lisez toujours le résultat de load_state_dict. missing (manquants) doit contenir uniquement la table des mots (...word_embeddings.weight), et unexpected doit être vide. Ensuite, évaluez un jeu connu, par exemple les 2 000 messages de test. Comparez le résultat au score consigné (0,980) avant d’utiliser le modèle. Chargez le modèle de base à la révision indiquée dans routes.json. Les poids seront ainsi appliqués au modèle sur lequel ils ont été entraînés.
Conséquence dans le travail en IA : un modèle qui se charge sans erreur n’est pas forcément un modèle qui fonctionne. Une petite vérification des poids chargés et d’un score connu permet de détecter une défaillance silencieuse. Sans cela, elle pourrait envoyer les clients aux mauvaises équipes pendant des semaines.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Avant l'entraînement, la perte de validation est de 1,951. Pourquoi ce nombre? Que signifie une perte proche de 0 sur les messages d'entraînement, mais qui augmente sur les messages de validation?
Afficher la réponse
La nouvelle tête de classification commence avec des poids aléatoires. Le modèle donne donc à chacune des 7 destinations à peu près la même probabilité, soit 1/7. Pour la bonne destination, une probabilité de 1/7 donne une perte égale au logarithme naturel de 7, soit environ 1,95. Une perte d’entraînement proche de 0 et une perte de validation qui augmente indiquent que le modèle mémorise les messages d’entraînement. Il devient moins bon sur les nouveaux messages : c’est le surapprentissage. Arrêtez à l’époque où la perte de validation est la plus faible, ou entraînez moins longtemps.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Pourquoi le cours fige-t-il la table des mots? Donnez deux raisons, avec les nombres de cette leçon.
Afficher la réponse
La table des mots représente la plus grande partie du modèle : 96 millions de paramètres sur 117,7 millions. Elle contient une ligne de 384 nombres pour chacun des 250 037 jetons (tokens). Les destinations de Larkfield n’exigent pas de nouveaux sens pour les mots. La table peut donc rester telle quelle. Quand elle est figée, seuls 21,6 millions de paramètres apprennent. Chaque étape est plus rapide et utilise moins de mémoire sur le processeur d’un portable. Cela réduit aussi la taille du point de contrôle : uniquement les poids modifiés, soit 43,3 Mo. Une copie complète occuperait environ 470 Mo.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Grace demande si l'encodeur réglé finement en vaut la peine par rapport à TF-IDF + régression logistique. Répondez en parlant d'exactitude, de coût et des ressources nécessaires pour l'exécuter.
Afficher la réponse
Pour cette boîte de réception, oui. Son exactitude atteint 0,980 contre 0,962 : 41 erreurs au lieu de 76 sur 2 000 messages. Il trouve les 12 prises de contrôle de compte, contre 11. Son coût est de 103,0 $ US par 1 000 messages, contre 296,0 $ US. Chaque nouvelle version nécessite une tâche d’entraînement d’environ 6 minutes sur le processeur d’un portable. Il nécessite un modèle de base de 470 Mo et 43,3 Mo de poids. Il prend environ 7 ms par message, au lieu de 0,1 ms. À 65 messages par jour, c’est négligeable. N’oubliez pas que cette boîte de réception est plus facile à traiter qu’une vraie. Il faut aussi vérifier le gain sur de vrais messages.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Le réglage fin entraîne un peu plus un modèle qui connaît déjà le sens général, à partir de vos étiquettes. Une tête de classification transforme les 384 nombres de l’encodeur en 7 scores de destination.
- Nous figeons la table des mots (96 millions de paramètres) : 21,6 millions de paramètres sur 117,7 millions apprennent. Les 3 époques sur 6 000 messages ont pris 327 secondes sur le processeur d’un portable.
- Surveillez la perte de validation : elle est passée de 1,951 à 0,138 et a cessé de diminuer après environ 2 époques. Une perte d’entraînement qui diminue avec une perte de validation qui augmente indique une mémorisation.
- Sur cette boîte de réception, l’encodeur réglé finement atteint 0,980 (0,978 en français) et trouve les 12 prises de contrôle. Il coûte 103,0 $ US par 1 000 messages : la meilleure ligne jusqu’ici.
- Le point de contrôle prêt à utiliser conserve seulement les poids modifiés (43,3 Mo). Chargez-le sur la version fixée du modèle de base et vérifiez ce qui manque avant de lui faire confiance.
Nous avons réglé finement un modèle de plongement de 2021. Des modèles plus récents apparaissent tous les quelques mois, chacun avec un meilleur score au classement (leaderboard). Ensuite, nous en testons un sur nos propres messages.
Leçon suivante : Des modèles de plongement plus récents