Petits LLM locaux
- Leçon 21
- 40 min
- Module 5 : Les LLM comme classificateurs
Où nous en sommes
Notre LLM fonctionne sur les ordinateurs d'un fournisseur, et chaque message quitte Larkfield. Un petit modèle peut plutôt fonctionner sur le portable. Dans cette leçon, nous utilisons les mêmes requêtes avec un petit modèle d'instructions local. Nous mesurons son exactitude, sa mémoire et son temps par message.
Leçon 21 sur 37 · Classification et routage de textes : envoyer chaque message au bon endroitPetits LLM locaux
1. Le problème du routage et son coût
2. Des étiquettes fiables
3. Références de base : règles et modèles classiques
4. Plongements et petits modèles réglés finement
5. Les LLM comme classificateurs
6. Modèles de décision, cascades et distillation
7. Des formes d'étiquettes plus difficiles
8. La confiance et les personnes dans la boucle
9. Exploiter le routeur en production
Ce que vous saurez faire
Exécutez le routage sur l’ordinateur de Larkfield pour qu’aucun message ne quitte l’entreprise et qu’aucun appel ne soit facturé. Mesurez plutôt les coûts suivants : exactitude, réponses valides, mémoire et secondes par message. Sur cette boîte de réception, les petits modèles locaux sont loin derrière le LLM hébergé et l’encodeur réglé finement.
Carnet JupyterFaites cette leçon dans un carnet Jupyter
Le carnet (notebook) Jupyter réexécute les réponses mesurées du petit modèle local Qwen3-0.6B sur les 2 000 messages de test. Il compare un échantillon de 500 messages à toutes les données de test et calcule un intervalle à 95 % pour un score. Il convertit ensuite les secondes par message en coût. Il ne charge aucun modèle et ne nécessite donc aucun téléchargement ni aucune clé. Pour exécuter vous-même un modèle local, utilisez le carnet de Demander une décision, pas du texte. Environ 30 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Les requêtes du LLM, le schéma et la vérification des réponses, dans Classification zéro exemple avec un LLM.
- La requête avec des exemples et ses résultats, dans Exemples dans la requête et descriptions d’étiquettes.
- L’encodeur réglé finement, dans Régler finement un petit encodeur sur CPU.
Ce qu’il vous faut sur votre ordinateur
- Rien pour suivre la leçon dans le carnet. Ce module ne modifie aucun fichier de votre projet
larkroute.
Les exécutions du cours ont été testées sur macOS (Apple silicon, 16 Go) avec Python 3.12, Transformers 5.22.2 et PyTorch 2.15.0 (CPU). Le carnet a été testé avec pandas 3.1.1. Colab, Kaggle, Windows et Linux n’ont pas été testés.
Un commis au tri qui ne quitte jamais le bâtiment
Section intitulée « Un commis au tri qui ne quitte jamais le bâtiment »Certains bureaux de poste ne peuvent pas envoyer les lettres ailleurs pour les trier : les lettres sont privées. Ils embauchent donc leur propre commis, qui travaille dans une salle à l’arrière. Il ne facture rien par lettre. Mais il travaille seul à un bureau. Il est plus lent que la grande entreprise de tri et a beaucoup moins lu.
Un LLM local est ce commis. Il fonctionne sur l’ordinateur de Larkfield. La question est de savoir à quel point il est plus lent et moins exact. Et si ce prix vaut la confidentialité obtenue.
Le problème : chaque message quitte Larkfield
Section intitulée « Le problème : chaque message quitte Larkfield »Le LLM hébergé de la dernière leçon est exact sur cette boîte de réception : 0,970. Mais chaque appel envoie le message complet du client aux ordinateurs d’un fournisseur, avec le numéro de commande et parfois une adresse. Les règles de Larkfield sur les données peuvent l’interdire. Le fournisseur limite aussi le nombre d’appels par minute et facture chaque jeton (token).
Tomás demande : « On ne peut pas exécuter un LLM sur notre propre machine? » Oui. Il existe de petits modèles à poids ouverts (open-weight) : tout le monde peut télécharger leurs fichiers et les exécuter. Le modèle n’envoie jamais rien à l’extérieur. Nous devons connaître les compromis.
L’idée : un petit modèle d’instructions sur le CPU
Section intitulée « L’idée : un petit modèle d’instructions sur le CPU »Un modèle d’instructions est un LLM entraîné à suivre des demandes comme « Choisissez une destination pour ce message ». Les petits modèles comptent de 0,5 à 4 milliards de paramètres : les nombres que le modèle a appris. Les modèles hébergés en ont beaucoup plus. Les petits modèles tiennent dans la mémoire d’un portable. Ils fonctionnent sur son CPU, le processeur principal, sans carte graphique.
Le cours en a exécuté deux avec la bibliothèque Hugging Face Transformers, sur le CPU d’un portable (Apple M4, 16 Go, 4 fils d’exécution) :
| Modèle | Paramètres | Format des nombres | Licence |
|---|---|---|---|
| Qwen3-0.6B | 0,6 milliard | float32 : 4 octets par nombre | Apache-2.0 |
| Qwen2.5-1.5B-Instruct | 1,5 milliard | bfloat16 : 2 octets par nombre | Apache-2.0 |
Petit exemple détaillé : combien de mémoire?
Section intitulée « Petit exemple détaillé : combien de mémoire? »Les nombres du modèle doivent tenir en mémoire. Multipliez le nombre de paramètres par le nombre d’octets par nombre :
- Qwen3-0.6B : 0,6 milliard × 4 octets = environ 2,4 Go pour les poids;
- Qwen2.5-1.5B : 1,5 milliard × 2 octets = environ 3,0 Go pour les poids.
Pendant son exécution, le programme a besoin de mémoire en plus des poids. Le cours a mesuré un maximum d’environ 3,8 Go pour Qwen2.5-1.5B. Pour Qwen3-0.6B, le maximum était de 3,7 à 4,6 Go. Le plus grand modèle utilise donc environ la même mémoire, car chacun de ses nombres occupe la moitié de l’espace. Sur un portable de 16 Go avec un navigateur et un éditeur ouverts, la limite est un seul modèle à la fois.
Deux façons d’obtenir une destination
Section intitulée « Deux façons d’obtenir une destination »Le cours a demandé une destination à chaque modèle de deux façons :
- Une réponse JSON, comme le LLM hébergé : le modèle écrit une destination, une confiance et une raison. La requête est la même que pour le LLM hébergé, avec seulement les noms des destinations.
- Des scores de destination : le modèle n’écrit rien. Pour chacun des sept noms de destination, le code lit la probabilité que le modèle lui attribue comme réponse. Le score le plus élevé gagne. Cette requête était courte et contenait les descriptions des destinations. Demander une décision, pas du texte explique cette méthode en détail; ici, nous examinons seulement les résultats.
Gardez ceci en tête : les deux façons utilisaient aussi des requêtes différentes. Un écart entre elles combine les deux changements.
Larkfield : les modèles locaux sur les messages de test
Section intitulée « Larkfield : les modèles locaux sur les messages de test »Qwen3-0.6B sur les 2 000 messages de test
Section intitulée « Qwen3-0.6B sur les 2 000 messages de test »Le petit modèle a traité chaque message de test :
| Qwen3-0.6B, 2 000 messages de test | Réponses valides | Exactitude | Prises de contrôle de compte trouvées | Coût par 1 000 | Temps par message |
|---|---|---|---|---|---|
| Réponse JSON | 97,2 % | 0,282 | 0 sur 12 | 7 198,3 $ US | 2,1 s |
| Scores de destination | 100 % | 0,194 | 7 sur 12 | 3 410,0 $ US | 453 ms |
Il échoue sur cette boîte de réception. Avec la réponse JSON, il a choisi orders pour 1 395 des 2 000 messages. Les 2,8 % de réponses restantes se sont arrêtées au milieu, à la limite de 60 jetons, et ont été envoyées en révision. Les deux façons coûtent plus du double de « tout transférer à une personne » (1 500 $ US par 1 000 messages). Ce modèle est trop petit pour les sept destinations de Larkfield.
Qwen2.5-1.5B sur un échantillon de 500 messages
Section intitulée « Qwen2.5-1.5B sur un échantillon de 500 messages »Le plus grand modèle a pris de 5 à 8 secondes par message. Les 2 000 messages de test auraient occupé un portable partagé pendant plus de quatre heures pour chaque façon. Le cours l’a donc exécuté sur un échantillon de 500 messages des données de test. L’échantillon comprend les 500 premiers messages de test selon leur identifiant, de M-100001 à M-102554. Cet échantillon est facile à choisir, mais il n’est pas stratifié : personne n’a fixé la proportion de chaque destination. Il contient un peu plus de messages delivery et orders, et moins de messages account et billing, que l’ensemble des données de test.
Un score sur 500 messages est moins certain qu’un score sur 2 000. Un intervalle à 95 % donne l’étendue des exactitudes compatibles avec le résultat. Ici, nous utilisons l’intervalle de Wilson, qui convient bien à une proportion. Pour une comparaison équitable, le graphique présente chaque méthode sur les mêmes 500 messages :
Description textuelle du graphique
Exactitude sur les mêmes 500 messages de test, avec des intervalles de Wilson à 95 % : Qwen3-0.6B, scores des destinations 18,2 % (de 15,1 à 21,8); Qwen3-0.6B, réponse JSON 27,4 % (de 23,7 à 31,5); Qwen2.5-1.5B, réponse JSON 36,8 % (de 32,7 à 41,1); Qwen2.5-1.5B, scores des destinations 73,4 % (de 69,4 à 77,1); LLM hébergé, noms des destinations seulement 75,4 % (de 71,4 à 79); LLM hébergé, avec exemples 97 % (de 95,1 à 98,2); Encodeur réglé finement 97,2 % (de 95,4 à 98,3).
Sur cet échantillon, Qwen2.5-1.5B avec les scores de destination obtient 367 bonnes réponses sur 500 : 0,734 (intervalle à 95 % de 0,694 à 0,771). Avec une réponse JSON, il en obtient 184 : 0,368 (de 0,327 à 0,411). Les intervalles ne se chevauchent pas : les scores de destination sont vraiment meilleurs ici, avec une requête et une méthode différentes. Qwen3-0.6B, sur les mêmes 500 messages, obtient 0,182 et 0,274. Le plus grand modèle est bien meilleur que le plus petit.
Mais regardez le haut du graphique. Sur les mêmes 500 messages, le LLM hébergé avec des exemples obtient 0,970, et l’encodeur réglé finement, 0,972. Le meilleur résultat local vaut à peu près celui du LLM hébergé avec seulement les noms des destinations (0,754). Il est loin des méthodes qui connaissent les règles de Larkfield. L’échantillon contient seulement 2 des 12 prises de contrôle de compte. Qwen2.5-1.5B n’en a envoyé aucune à account, quelle que soit la façon utilisée.
Pourquoi les réponses JSON échouent
Section intitulée « Pourquoi les réponses JSON échouent »Avec la réponse JSON, 101 des 500 réponses étaient invalides : seulement 79,8 % étaient valides. La plupart n’étaient pas du JSON. Voici une vraie réponse, au complet :
{l3.invalid_examples[0].answer}La destination et la confiance sont présentes, sur des lignes distinctes, mais la vérification ne peut pas les lire. Et parmi les réponses valides, une destination a dominé :
Description textuelle du graphique
Un graphique à colonnes des destinations choisies par Qwen2.5-1.5B avec une réponse JSON, sur l’échantillon de 500 messages. Returns_refunds 287, révision (réponses invalides) 101, delivery 50, account 25, billing 17, orders 9, product 6, needs_person 5. L’échantillon contient en réalité 103 messages returns_refunds.
L’échantillon contient 103 messages returns_refunds, et le modèle a choisi cette destination 287 fois. Le schéma du LLM hébergé empêchait les réponses mal formées. Un modèle local exécuté ainsi n’a aucun schéma, à moins d’en ajouter un. Le décodage contraint (dans la leçon sur les modèles de décision) est une façon de le faire.
Temps, mémoire et confidentialité côte à côte
Section intitulée « Temps, mémoire et confidentialité côte à côte »Description textuelle du diagramme
La rangée du haut montre le LLM hébergé : le message quitte Larkfield. Premièrement, le serveur de Larkfield envoie le texte du message et la requête, environ 717 jetons, par Internet. Deuxièmement, sur les ordinateurs du fournisseur, chat-small les lit et écrit une réponse JSON d’environ 32 jetons. D’autres clients partagent ces ordinateurs, donc une limite de débit plafonne les appels par minute. Troisièmement, la réponse revient en 1,7 seconde par message (médiane), et en 5,3 secondes pour les 10 % les plus lents. Elle coûte 0,088 $ US par 1 000 messages en jetons et obtient 0,970 sur les 2 000 messages de test. La rangée du bas montre le petit LLM local : le message reste chez Larkfield. Premièrement, l’ordinateur de Larkfield charge Qwen2.5-1.5B-Instruct une fois, avec une mémoire maximale d’environ 3,8 Go. Deuxièmement, sur le CPU, il attribue un score aux 7 noms de destination ou écrit une réponse JSON. Rien ne quitte l’ordinateur, il n’y a aucune limite de débit ni aucun prix par appel. Troisièmement, la réponse prend 7,7 secondes par message avec les scores de destination et 5,2 secondes pour écrire du JSON. Elle coûte environ 0,11 $ US par 1 000 messages en temps de calcul, selon une hypothèse. Le modèle obtient 0,734 sur un échantillon de 500 messages avec les scores de destination.
Le temps de calcul n’est pas gratuit. Le cours fixe son prix selon une hypothèse de 0,05 $ US par heure de CPU. À 7,7 secondes par message, cela donne environ 0,108 $ US par 1 000 messages. C’est plus que les jetons du LLM hébergé (0,088 $ US). Pour les 65 messages quotidiens de Larkfield, le modèle local utilise environ 8 minutes de CPU par jour. Une boutique recevant 50 000 messages par jour aurait besoin d’environ 107 heures de CPU par jour : plusieurs machines.
Où un LLM local dépasse l’encodeur réglé finement, et où il échoue
Section intitulée « Où un LLM local dépasse l’encodeur réglé finement, et où il échoue »L’encodeur réglé finement du module 4 fonctionne aussi sur l’ordinateur de Larkfield. C’est la comparaison équitable pour « garder les messages chez nous ».
| Sur cette boîte de réception | Encodeur réglé finement | Qwen2.5-1.5B, scores de destination |
|---|---|---|
| Exactitude sur l’échantillon de 500 messages | 0,972 | 0,734 |
| Temps par message | 6,7 ms | 7,7 s, environ 1 150 fois plus lent |
| Messages étiquetés nécessaires | 6 000 | aucun |
| Taille des fichiers du modèle | 470,6 Mo (base) + 43,3 Mo | environ 3 Go de poids |
| Peut expliquer sa réponse en mots | non | oui, avec une réponse JSON (moins exacte ici) |
Ici, l’encodeur gagne donc sur l’exactitude, la vitesse et la taille. Un petit LLM local peut quand même aider :
- Sans aucune étiquette. Au premier jour d’une nouvelle destination, il peut trier les messages pour une personne, sans entraînement. L’encodeur a d’abord besoin d’étiquettes.
- Avec une tête de classification. Un petit LLM peut aussi recevoir une couche entraînée avec une sortie par destination, comme l’encodeur. Le cours n’en a pas entraîné : l’encodeur montre déjà cette idée à un coût bien moindre. Si vous l’essayez, ajoutez une ligne et mesurez-le de la même façon.
- Quand la confidentialité interdit un modèle hébergé et que vous avez peu d’étiquettes. Un modèle local plus grand, ou la méthode des scores de destination du module 6, peut alors être le meilleur départ.
Exercices guidés : lire les résultats locaux
Section intitulée « Exercices guidés : lire les résultats locaux »- Ouvrez le carnet dans l’encadré Faites cette leçon dans un carnet Jupyter en haut de cette page.
- Exécutez les cellules de préparation. La cellule de données se termine par
Ready: 10000 messages (6000 train, 2000 validation, 2000 test), all synthetic.(prêt : 10 000 messages, dont 6 000 d’entraînement, 2 000 de validation et 2 000 de test, tous synthétiques). - Dans la section 1, réexécutez les réponses de Qwen3-0.6B. Vous voyez
valid answers: 97.2%(réponses valides : 97,2 %) et l’exactitude0.282. - Lisez le tableau des étiquettes et des choix. Trouvez la ligne
orders: le modèle a choisi cette destination 1 395 fois. - Dans la section 2, faites des prédictions, puis évaluez le modèle sur les 500 premiers messages de test. Il obtient
0.274. - Dans la section 4, exécutez la cellule. Vous voyez
0.14 CPU-hours a day; US$0.1076 per 1,000 messages(0,14 heure de CPU par jour; 0,1076 $ US par 1 000 messages).
À vous de jouer : quelle certitude donne un score sur 500 messages?
Section intitulée « À vous de jouer : quelle certitude donne un score sur 500 messages? »Dans la section 3 du carnet, complétez la fonction wilson(k, n). Elle renvoie l’intervalle à 95 % pour k bonnes réponses sur n. Testez-la sur les 367 bonnes réponses de Qwen2.5-1.5B sur 500. Faites d’abord une prédiction : l’intervalle sera-t-il plus étroit ou plus large que de 0,70 à 0,77?
Afficher la réponse
def wilson(k, n, z=1.96): p = k / n centre = (p + z * z / (2 * n)) / (1 + z * z / n) half = z * np.sqrt(p * (1 - p) / n + z * z / (4 * n * n)) / (1 + z * z / n) return (round(float(centre - half), 3), round(float(centre + half), 3))
print(wilson(367, 500), wilson(137, 500))(0.694, 0.771) (0.237, 0.315)Un peu plus large : de 0,694 à 0,771. Avec 500 messages, un score de 0,734 pourrait réellement se situer n’importe où dans cet intervalle. Sur les 2 000 messages, l’intervalle serait environ deux fois plus étroit. Les intervalles des deux modèles sont bien séparés : le plus grand modèle est donc vraiment meilleur que le plus petit.
Erreur courante
Un score tiré d'un échantillon que personne n'a choisi
Symptôme : un collègue exécute un modèle local sur « les 500 premiers messages » et rapporte 0,734 comme exactitude du modèle. Plus tard, sur les 2 000 messages, le nombre diffère, et personne ne sait auquel se fier.
Cause : les 500 premiers messages selon leur identifiant forment un échantillon pratique, pas un échantillon conçu. Sa répartition des destinations diffère de celle de toutes les données de test. Ici, il contient 8,0 % de messages account au lieu de 9,8 %, et seulement 2 des 12 prises de contrôle de compte. Un modèle faible sur une destination obtient un score différent dans un échantillon contenant moins de ces messages. Et 500 messages donnent un intervalle large : environ ±4 points ici.
Solution : dites « sur un échantillon de 500 messages » chaque fois que vous citez le nombre, avec son intervalle. Comparez les méthodes seulement sur les mêmes messages, comme le fait le graphique ci-dessus. Quand vous devez échantillonner, stratifiez par destination et par langue, comme pour les divisions des données du cours. Exécutez toutes les données de test avant de choisir un modèle.
Conséquence dans le travail en IA : un nombre provenant d’un échantillon pratique circule sans son contexte. Il finit sur une diapositive sous la forme « le modèle local obtient 73 % ». Chaque nombre doit être accompagné de son échantillon et de son intervalle.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Qwen2.5-1.5B a 2,5 fois plus de paramètres que Qwen3-0.6B, mais utilise environ autant de mémoire. Pourquoi?
Afficher la réponse
La mémoire dépend du nombre de paramètres et du nombre d’octets par nombre. Qwen3-0.6B utilisait float32, avec 4 octets par nombre : 0,6 milliard × 4 = environ 2,4 Go de poids. Qwen2.5-1.5B utilisait bfloat16, avec 2 octets par nombre : 1,5 milliard × 2 = environ 3,0 Go. Les pics mesurés étaient d’environ 3,8 Go pour le grand modèle et de 3,7 à 4,6 Go pour le petit.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Sur l'échantillon de 500 messages, Qwen2.5-1.5B obtient 0,734 avec les scores de destination et 0,368 avec une réponse JSON. Donnez deux raisons de cette baisse avec la réponse JSON, et une raison d'interpréter la comparaison avec prudence.
Afficher la réponse
D’abord, 101 des 500 réponses JSON n’étaient pas valides (79,8 % étaient valides). Le modèle écrivait la destination et la confiance sur des lignes séparées, pas en JSON. Ces réponses étaient donc envoyées en révision. Ensuite, parmi les réponses valides, il a choisi returns_refunds 287 fois, alors que seulement 103 messages correspondaient vraiment à cette destination. Attention : les deux méthodes utilisaient aussi des requêtes différentes. La réponse JSON avait seulement les noms des destinations, tandis que les scores de destination avaient leurs descriptions. L’écart combine les effets de la méthode et de la requête.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Les règles de Larkfield sur les données interdisent d'envoyer des messages à un modèle hébergé. Devrait-elle utiliser Qwen2.5-1.5B comme routeur? Appuyez-vous sur les chiffres.
Afficher la réponse
Non, pas pour cette boîte de réception. L’encodeur réglé finement fonctionne aussi sur l’ordinateur de Larkfield, donc les messages restent également sur place. Sur les mêmes 500 messages, il obtient 0,972 contre 0,734. Il prend 6,7 ms par message contre 7,7 s, et ses fichiers sont beaucoup plus petits. Sur l’échantillon, Qwen2.5-1.5B avec les scores de destination coûte 3 232,1 $ US par 1 000 messages. C’est plus que de tout transférer à une personne (1 500 $ US). Un LLM local pourrait aider dès le premier jour d’une nouvelle destination sans étiquettes. Il ferait un tri qu’une personne vérifierait.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Un LLM local garde chaque message sur l’ordinateur de Larkfield : aucun fournisseur, aucune limite de débit, aucun prix par appel.
- La mémoire correspond environ aux paramètres × octets par nombre : 1,5 milliard × 2 octets (bfloat16) donne environ 3 Go; l’exécution a atteint un pic d’environ 3,8 Go.
- Qwen3-0.6B est trop petit ici : 0,282 avec une réponse JSON, 0,194 avec les scores de destination, sur les 2 000 messages de test.
- Qwen2.5-1.5B, sur un échantillon de 500 messages : scores de destination de 0,734 (de 0,694 à 0,771), à 7,7 s par message. Réponse JSON : 0,368, avec seulement 79,8 % de réponses valides. Les requêtes différaient aussi.
- Sur les mêmes 500 messages, le LLM hébergé avec des exemples et l’encodeur réglé finement obtiennent environ 0,97. L’encodeur est le meilleur choix pour « garder les messages sur place » : 6,7 ms par message.
- Présentez le score d’un échantillon avec cet échantillon et son intervalle à 95 %.
Ensuite, nous allons dans l’autre direction : un modèle plus grand et plus lent qui réfléchit avant de répondre. Il traitera seulement les messages que toutes les méthodes trouvent difficiles.
Leçon suivante : Modèles de raisonnement pour les cas difficiles