Les étapes de l'entraînement

Ce que vous saurez faire

Comprenez ce que chaque étape de l’entraînement ajoute à un modèle de langage. Vous pourrez ensuite dire ce qu’un modèle a appris et pourquoi deux modèles répondent différemment à la même question. Vous pourrez aussi expliquer pourquoi un modèle n’est pas une base de données de faits.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 45 minutes

Ce que vous devez savoir

• Les jetons et leur décompte, dans Du texte aux jetons.
• Les probabilités du prochain jeton, la génération et la température, dans Prédire la suite.

Ce qu’il vous faut

• Un navigateur. Cette leçon n’a pas de carnet (notebook) Jupyter : les sorties ci-dessous sont enregistrées.

Les modèles hébergés changent souvent : vos propres résultats seront différents.

Comment Camille a appris le travail

À son arrivée chez Larkfield, Camille ne savait pas comment répondre aux billets de soutien. D’abord, il y avait eu des années de lecture et d’écoute, en français et en anglais : école, livres, conversations. Camille avait ainsi appris les langues et beaucoup de connaissances générales, mais pas le travail.

Ensuite, quelques semaines de formation avec des exemples : voici un billet, voici une bonne réponse. Camille a appris la forme d’une réponse, le ton et quand s’arrêter. Enfin, Grace lisait les brouillons de Camille et répétait : « Cette réponse est meilleure que celle-là. » Les réponses de Camille se sont rapprochées de ce que Grace et les clients préfèrent.

Un modèle de langage suit les mêmes trois étapes d’entraînement. Chaque étape ajoute quelque chose de différent et explique un comportement que vous verrez dans ce cours.

Le problème : un outil qui prédit du texte n’est pas un assistant

La leçon précédente montrait qu’un modèle prédit le prochain jeton. Est-ce suffisant pour l’assistant de Larkfield? Amira l’a testé avec deux versions d’un même modèle ouvert, Llama 3.2 3B de Meta. Une version avait seulement suivi la première étape d’entraînement; l’autre avait suivi les trois. Elle a envoyé le même texte aux deux, à une température de 0, et arrêté chaque réponse après 80 jetons. Le signe … indique une réponse coupée par cette limite.

Amira a envoyé : Translate into French: Your refund is on its way.

Après l'étape 1 seulement (modèle de base) : We will send you an email when your refund has been processed, including the date the refund will be issued. Translate into French: We will send you an email when your refund has been processed, including the date the refund will be issued. Translate into French: We will send you an email when your refund has been processed, including the date the refund will be issued.

Après les trois étapes : Your refund is on its way. Here's the translation: "Votre remboursement est en route."

Amira a envoyé : My order arrived late and the ceramic pot was broken. Can I get a replacement or a refund?

Après l'étape 1 seulement (modèle de base) : I am very disappointed. I am sorry to hear that your order arrived late and the ceramic pot was broken. We will be happy to replace the broken pot for you. Please contact us at 1-800-227-3528 and we will be happy to assist you.

Après les trois étapes : I'm so sorry to hear that your order arrived late and the ceramic pot was broken. I'd be happy to help you with a replacement or refund. To proceed, could you please provide me with the following information: 1. Your order number (if you have it) 2. A photo of the broken ceramic pot 3. A description of the issue and how it occurred Once I have …

Le modèle de base n’a pas traduit. Il a continué le texte comme une liste de phrases d’exercice : une nouvelle phrase anglaise, puis « Traduisez en français : », à répétition. Au billet, il a d’abord ajouté une phrase du client (« Je suis très déçu. »). Puis il a ajouté une réponse avec un numéro de téléphone inventé. Il fait ce qu’il a appris : il continue le texte de la façon la plus probable. L’autre version a répondu directement à l’instruction et au billet, sous la forme d’une réponse d’assistant.

La prédiction du prochain jeton donne donc un modèle qui connaît bien la langue, mais qui ne suit pas les instructions. Les deuxième et troisième étapes en font un assistant.

Les trois étapes

Les trois étapes de l'entraînement. Les étapes 2 et 3 forment ensemble le post-entraînement.

Description textuelle du diagramme

Quatre cases de gauche à droite. Étape 1, préentraînement : le modèle apprend à prédire le prochain jeton d’une immense collection de pages Web, de livres et de code. Pour Llama 3.2, cette collection compte jusqu’à 9 000 milliards de jetons. La flèche qui en sort porte l’étiquette « modèle de base » : un modèle qui continue n’importe quel texte. L’étape 2, l’ajustement aux instructions, poursuit son entraînement avec des exemples d’instructions et de bonnes réponses. L’étape 3, l’entraînement aux préférences, utilise des choix entre deux réponses, faits par des personnes ou des règles. La dernière case est l’assistant, qui répond dans le format et le ton que les gens préfèrent.

Étape 1 : préentraînement

Le préentraînement est la première étape, et de loin la plus grande : le modèle apprend à prédire le prochain jeton d’une immense collection de textes. Il voit un morceau de texte et prédit le prochain jeton. Il compare sa prédiction au véritable prochain jeton et ajuste très légèrement ses nombres. Il répète cela des milliers de milliards de fois. Meta affirme avoir préentraîné Llama 3.2 sur jusqu’à 9 000 milliards de jetons de textes publics. Ses connaissances s’arrêtent en décembre 2023 (fiche du modèle Llama 3.2).

Pour bien prédire le prochain jeton, le modèle doit apprendre beaucoup de choses. Il apprend la grammaire de plusieurs langues, les faits qui apparaissent souvent ensemble et le style d’une réponse de soutien. Il apprend même le code des pages Web. Vous avez vu ce dernier cas dans la leçon précédente, quand Gemma 3 a écrit une balise HTML après « remboursement? ». Le résultat est un modèle de base : il continue n’importe quel texte de la façon dont ce texte continue habituellement. On parle de « préentraînement » parce que les étapes suivantes s’appuient sur lui.

Étape 2 : ajustement aux instructions

L’ajustement aux instructions poursuit l’entraînement du modèle de base avec de nombreux exemples d’une instruction et d’une bonne réponse. Par exemple : « Traduisez en français : … » suivi de la traduction, ou une question suivie de sa réponse. La méthode reste la même : prédire le prochain jeton. Mais le texte contient maintenant toujours une requête suivie d’une réponse utile. La suite la plus probable d’une requête devient donc sa réponse.

Les exemples enseignent aussi le format d’une conversation : où finit le message de l’utilisateur, où commence la réponse et quand s’arrêter. Chaque famille de modèles marque ces limites avec ses propres jetons spéciaux, dans son gabarit de conversation. Les fournisseurs l’appliquent pour vous; avec un modèle local, l’outil (ici Ollama) l’applique.

Étape 3 : post-entraînement fondé sur les préférences

Deux réponses peuvent suivre l’instruction, mais l’une peut être nettement meilleure. L’entraînement aux préférences exploite cette différence. Un modèle écrit deux réponses ou plus à la même requête. Des personnes, des règles ou un autre modèle choisissent la meilleure. On entraîne ensuite le modèle pour rendre les réponses semblables à celle choisie plus probables, et les autres moins probables.

Voici un exemple de ce choix, avec deux vraies réponses de Gemma 3 au billet S01 (7 jours ouvrables de retard). Elles viennent des cinq essais de la leçon précédente :

Réponse A (graine 0) : « … Selon notre politique, les commandes ayant plus de 15 jours ouvrables de retard sont considérées comme perdues. Nous procéderons à un remplacement ou à un remboursement complet, selon votre préférence. »

Réponse B (graine 2) : « … Puisque la commande a maintenant 7 jours ouvrables de retard, nous pouvons vous offrir la livraison gratuite. Si vous ne la recevez pas dans les 8 prochains jours ouvrables, nous procéderons à un remplacement ou à un remboursement complet … »

Grace préfère B : cette réponse applique la bonne règle. Des milliers de choix semblables enseignent au modèle ce que les gens préfèrent : les bons faits, un format utile, un ton poli et le refus des requêtes nuisibles. La fiche de Meta décrit plusieurs cycles de post-entraînement pour la version de Llama 3.2 ajustée aux instructions. Chaque cycle combinait l’ajustement aux instructions avec une méthode fondée sur les préférences.

Tout ce qui suit le préentraînement s’appelle le post-entraînement : l’ajustement aux instructions et l’entraînement aux préférences ensemble. Le post-entraînement est beaucoup plus petit que le préentraînement, mais il détermine comment le modèle se comporte avec vous.

Ce que le modèle a appris, et ce qu’il n’a pas appris

Tomás a une idée : « Le modèle a lu tout Internet. Demandons-lui simplement des renseignements sur nos commandes. » Amira a fait l’essai avec deux modèles assistants. Elle a posé les mêmes deux questions sur Larkfield à chacun. Aucun modèle n’a vu Larkfield pendant son entraînement : la boutique et ses billets sont inventés pour ce cours.

Amira a demandé : What is Larkfield's refund policy for orders that arrive late? Answer in two sentences.

Llama 3.2 3B (ajusté aux instructions) : I couldn't find any information on Larkfield's refund policy for orders that arrive late. However, I can suggest checking their official website or contacting their customer service directly for the most up-to-date and accurate information on their return and refund policies.

Gemma 3 4B : Larkfield’s policy states that if your order arrives later than the estimated delivery date, you’ll receive a 10% refund on the shipping cost. However, we do not offer refunds on the product itself if it arrives on time.

Amira a demandé : What is the status of Larkfield order L-20431?

Llama 3.2 3B (ajusté aux instructions) : I cannot verify the status of Larkfield order L-20431.

Gemma 3 4B : Okay, let's check the status of Larkfield order L-20431. According to Larkfield's website, order L-20431 is **Shipped**! Here's the tracking link: [https://www.shipments.larkfield.com/track/L-20431](https://www.

Gemma 3 a répondu aux deux questions avec assurance. Il a proposé un « remboursement de 10 % des frais de livraison » absent de la politique de Larkfield. Il a aussi donné le statut « Expédiée » avec un lien de suivi qui n’existe pas. Llama 3.2 a dit qu’il ne pouvait pas trouver l’information. Aucun des deux modèles n’a consulté de source. Aucune recherche n’a eu lieu, et aucun enregistrement de Larkfield n’existe dans ces modèles.

C’est la clé du modèle mental. L’entraînement change des millions ou des milliards de nombres dans un modèle : ses poids. Le modèle stocke ce qu’il a appris dans ces nombres sous forme de régularités : quels jetons tendent à suivre quels autres. Il n’a aucune liste de faits avec leurs sources, aucune ligne à consulter, aucun moyen d’ajouter la commande de demain. Quand vous posez une question, il génère la suite la plus probable, comme dans la leçon précédente. Si la réponse apparaissait souvent dans ses textes d’entraînement, la suite probable est souvent correcte. Sinon, le modèle peut quand même produire un texte fluide et assuré.

La même question à une base de données et à un modèle de langage. Une base de données renvoie un enregistrement stocké ou rien. Un modèle génère toujours du texte.

Description textuelle du diagramme

Deux parcours, l’un au-dessus de l’autre. Le premier est une base de données, comme le système de commandes de Larkfield. Une question, « statut de L-20431? », mène à une recherche dans les lignes. Si une ligne est trouvée, la réponse est l’enregistrement stocké, avec sa source. Si aucune ligne n’est trouvée, la réponse est « aucun résultat ». Le deuxième parcours est un modèle de langage. La même question mène aux poids du modèle, les régularités qu’il a apprises pendant l’entraînement. Les poids génèrent toujours du texte, qui peut être exact ou inventé. Il n’y a pas de branche « aucun résultat ».

La différence entre les deux modèles vient du post-entraînement. L’entraînement de Llama a rendu « Je n’ai pas pu trouver l’information » probable pour ce type de question. Celui de Gemma a rendu une réponse qui semble utile plus probable. Aucun de ces comportements n’est garanti pour toutes les questions. Vous le découvrez seulement par des tests, ce que fait Évaluer pour votre tâche.

D’où viennent donc les faits de Larkfield? L’application les place dans la requête : la politique de soutien, puis les données des commandes. Capacités et limites montre comment.

Quand ces étapes comptent pour choisir un modèle

• Choisissez un modèle ajusté aux instructions pour un assistant. Les modèles ouverts existent souvent en deux versions, par exemple llama3.2:3b-text-q4_K_M (de base) et llama3.2:3b-instruct-q4_K_M dans Ollama. Un modèle de base sert à poursuivre votre propre entraînement, pas à l’utiliser directement.
• Attendez-vous à des différences de comportement, pas seulement de connaissances. Deux modèles au préentraînement semblable peuvent se comporter très différemment : refus, longueur des réponses et reconnaissance de leurs limites. Testez leur comportement sur vos propres billets.
• N’oubliez pas la date limite. Le préentraînement se termine à une date précise. Le modèle ignore tout ce qui est plus récent, comme un nouveau produit ou une nouvelle politique, sauf si l’application le fournit.
• Ce que cela vous coûte : rien directement; le fournisseur paie l’entraînement. Mais une mauvaise supposition vous coûte cher. Un modèle qui semble sûr de lui n’est pas une source de faits.

Exercice guidé : quelle étape a ajouté ce comportement?

1. Lisez chaque comportement ci-dessous.
2. Écrivez l’étape qui l’a ajouté : préentraînement, ajustement aux instructions ou entraînement aux préférences.
3. Comparez avec la réponse.

• (a) Le modèle écrit en français avec une grammaire correcte.
• (b) À la demande « Traduisez en français : … », le modèle traduit au lieu d’écrire d’autres phrases.
• (c) Entre deux réponses correctes, le modèle tend à écrire la plus courte et la plus polie.
• (d) Le modèle écrit une balise HTML après « remboursement? ».
• (e) Le modèle s’arrête après la réponse, au lieu d’écrire le prochain message du client.

Afficher la réponse

(a) Préentraînement : la grammaire vient de la prédiction d’une immense quantité de textes français. (b) Ajustement aux instructions : les exemples d’instructions et de réponses ont fait de la réponse la suite probable. (c) Entraînement aux préférences : des personnes ou des règles préféraient ces réponses. (d) Préentraînement : la collection comprenait des pages Web avec leur code. (e) Ajustement aux instructions : les exemples enseignent le format d’une conversation et où une réponse se termine; l’entraînement aux préférences peut renforcer ce comportement.

À vous : aidez le modèle de base avec un format

Amira a essayé autre chose avec le modèle de base. Elle n’a pas donné d’instruction. Elle a écrit le début d’un document dont la suite probable est une réponse :

Customer: My order arrived late and the ceramic pot was broken. Can I get a replacement or a refund?
Support agent:

Faites une prédiction : le modèle de base écrit-il maintenant une réponse? Et s’arrête-t-il après cette réponse?

Afficher la réponse

La véritable suite produite par le modèle de base, coupée à 80 jetons :

We are sorry to hear that. We will send you a replacement pot. Please send us a message with your order number and we will send you a replacement pot.
Customer: I ordered a product and it was not delivered. Can I get a refund?
Support agent: We are sorry to hear that. We will send you a replacement product. Please send us a message with your order number and we

Il a écrit une réponse, parce que « Agent de soutien : » est habituellement suivi d’une réponse. Mais il ne s’est pas arrêté : il a continué le document avec un nouveau message du client et une nouvelle réponse. Le préentraînement lui a appris à quoi ressemblent les dialogues de soutien. Il ne lui a pas appris à répondre une fois puis à s’arrêter : cela vient de l’ajustement aux instructions.

Erreur courante

Demander au modèle de chercher une commande

Symptôme : Tomás demande à Gemma 3 : « Quel est le statut de la commande L-20431 de Larkfield? » Le modèle répond que la commande est « Expédiée » et donne un lien de suivi. Tomás copie cette réponse dans un message au client. Le lien ne fonctionne pas, et la commande n’a pas été expédiée.

Cause : le modèle n’a aucun accès au système de commandes de Larkfield, ni aucun enregistrement de la commande dans ses poids. Il a généré une réponse probable à une question de cette forme. Son post-entraînement a rendu une réponse qui semble utile plus probable que « Je ne sais pas ».

Solution : ne demandez jamais à un modèle des faits que seuls vos systèmes possèdent. L’application cherche la commande et place les faits dans la requête. Une personne ou un programme vérifie la réponse avant son envoi. Capacités et limites explique ce qu’un contexte plus riche peut corriger et ce qui exige une vérification externe.

Ce que cela signifie pour un vrai service d’IA : une réponse fluide et précise n’est pas une preuve. Les détails précis, comme un statut, un nombre ou un lien, sont justement ce qu’un modèle invente de façon convaincante.

Vérification des connaissances

Vérifiez votre compréhension

Qu'ajoute chaque étape d'entraînement : préentraînement, ajustement aux instructions, entraînement aux préférences? Une phrase pour chacune.

Afficher la réponse

Le préentraînement donne au modèle ses connaissances de la langue et du monde en prédisant le prochain jeton d’une immense collection de textes. Le résultat continue n’importe quel texte. L’ajustement aux instructions utilise des exemples d’instructions et de bonnes réponses pour faire de la réponse la suite probable d’une requête, dans un format de conversation. L’entraînement aux préférences utilise des choix entre deux réponses pour rendre plus probables celles que les gens ou les règles préfèrent : exactes, utiles, polies et sûres.

Vérifiez votre compréhension

Omar demande pourquoi deux modèles assistants ont répondu différemment à la même question sur Larkfield, alors qu'aucun ne connaît Larkfield. Que répondez-vous?

Afficher la réponse

Aucun modèle n’a consulté de source; les deux ont généré une suite probable. Ce qui est probable dépend de l’entraînement, surtout du post-entraînement. Pour Llama 3.2, l’entraînement a rendu « Je n’ai pas pu trouver l’information » probable pour une telle question. Gemma 3 a produit une réponse qui semble utile, mais inventée. Les modèles diffèrent donc par leur comportement, pas seulement par leurs connaissances. Vous découvrez leur comportement seulement en les testant sur vos propres questions.

Exercices du module

Ce module a montré ce qu’un modèle lit (des jetons) et comment il écrit (un jeton probable à la fois). Il a aussi montré d’où vient son comportement (les étapes de l’entraînement). Les exercices utilisent la première idée, car le nombre de jetons détermine le coût, l’espace disponible et le temps.

Exercice guidé : comparer deux billets de commande en retard

Le billet de soutien S01 (anglais) et le billet S07 (français) signalent tous deux une commande en retard.

1. Comptez les mots. S01 compte 20 mots, S07 en compte 21.
2. Prédisez lequel contient le plus de jetons, et pourquoi.
3. Comparez avec les vrais nombres : S01 compte 27 jetons avec o200k_base et 30 avec Gemma 3; S07 en compte 31 avec o200k_base et 36 avec Gemma 3.
4. Écrivez la raison en une phrase.

Afficher un exemple de réponse

S07 contient plus de jetons, même s’il compte presque autant de mots. Les mots français comme ouvrables et toujours sont moins fréquents dans les textes d’entraînement des segmenteurs en jetons. Leurs équivalents anglais sont plus fréquents. Les segmenteurs découpent donc davantage de ces mots en morceaux. Les numéros de commande coûtent autant dans les deux cas (« L », « - », puis des chiffres par groupes de trois au maximum).

Votre tâche : classer sept entrées par nombre de jetons

Avant d’ouvrir la réponse, classez ces sept entrées du plus petit au plus grand nombre de jetons avec o200k_base. Pour chacune, dites ce qui la rend courte ou longue.

1. Billet A01 : « It doesn’t work. Please help. » (Ça ne fonctionne pas. Aidez-moi, s’il vous plaît.)
2. Billet A02 : « Je veux annuler. »
3. Billet S01, en anglais, 20 mots (ci-dessus).
4. Billet S07, en français, 21 mots (ci-dessus).
5. Billet M01 : « Allô, mon order est late de 6 jours, c’est pas correct. Je veux mon shipping back. »
6. Une réponse JSON (JSON est un format de données en texte brut : des noms entre guillemets, chacun suivi d’une valeur) : {"language": "fr", "category": "delivery", "needs_human": false, "reply": "Bonjour, nous sommes désolés du retard."}
7. Toute la politique de soutien de Larkfield, 275 mots.

Afficher les vrais nombres

Comptés avec tiktoken 0.14.0 et Ollama 0.40.1 (les modèles locaux sans leur jeton de début).

Entrée	Mots	o200k_base	cl100k_base	Gemma 3	Mistral 7B	Qwen3 4B
Ticket A02 (French, short)	3	5	6	5	6	6
Ticket A01 (English, short)	5	7	8	9	9	8
Ticket M01 (French and English mixed)	16	23	24	24	25	24
Ticket S01 (English, late order)	20	27	27	30	30	30
Ticket S07 (French, late order)	21	31	35	36	46	38
A JSON answer with a French reply	13	34	33	34	39	33
The whole support policy (policy.md)	275	349	348	363	386	354

L’ordre avec o200k_base : A02 (5), A01 (7), M01 (23), S01 (27), S07 (31), la réponse JSON (34), la politique (349). Trois points à expliquer :

• La réponse JSON compte 13 mots, mais 34 jetons, plus que chacun des deux billets. Les guillemets, les deux-points, les accolades, les traits de soulignement et la réponse française représentent tous des jetons. Une sortie structurée coûte plus de jetons que son nombre de mots le laisse croire.
• Le français coûte plus par mot, et l’écart dépend du modèle : S07 compte 31 jetons avec o200k_base et 46 avec Mistral 7B. Le vocabulaire de ce dernier ne contient que 32 768 jetons.
• La politique est de loin l’entrée la plus volumineuse. Elle accompagne chaque requête et représente donc la majeure partie du coût de chaque billet. C’est pourquoi la même requête comptait 796 jetons d’entrée sur Claude : l’essentiel vient de la politique et des instructions, pas du billet.

Vérification des connaissances du module

Vérifiez votre compréhension

Rappel : définissez jeton, vocabulaire et identifiant de jeton en une phrase chacun.

Afficher la réponse

Un jeton est un morceau de texte qu’un modèle lit ou écrit comme une unité. Ce peut être un mot courant entier, une partie d’un mot plus rare, un signe de ponctuation ou même un octet. Le vocabulaire est la liste fixe de tous les jetons qu’un modèle connaît. L’identifiant d’un jeton est son numéro dans cette liste; le modèle calcule avec les identifiants, pas avec le texte.

Vérifiez votre compréhension

Expliquer ou prédire : l'assistant utilise une température de 1 et donne deux réponses différentes au même billet. Tomás dit que le modèle a « changé d'idée ». Expliquez ce qui s'est vraiment passé et ce qui change à une température de 0.

Afficher la réponse

Rien n’a changé dans le modèle : ses poids restent fixes après l’entraînement. À chaque étape, il donne les mêmes probabilités pour le même texte. À une température de 1, le modèle tire le prochain jeton au hasard selon ces probabilités. Un tirage différent au début mène donc à une réponse différente. À une température de 0, il choisit toujours le jeton le plus probable. Le même texte donne donc la même réponse. Cette réponse est reproductible, mais pas forcément juste.

Vérifiez votre compréhension

Vérification finale : Omar demande : « Alors, qu'est-ce que le modèle sait vraiment? C'est une grosse base de données de tout ce qu'il a lu? » Répondez-lui sans le décrire comme une base de données où l'on peut faire des recherches.

Afficher la réponse

Non. Pendant l’entraînement, le modèle a ajusté ses poids, des milliards de nombres. Il l’a fait pour bien prédire le prochain jeton dans une immense quantité de texte. Ces nombres conservent ce qu’il a appris sous forme de régularités du langage et de faits qui apparaissent souvent ensemble. Ce ne sont pas des enregistrements. Il ne peut ni dresser la liste de ce qu’il a lu, ni y faire des recherches, ni montrer une source. Il ne connaît rien après sa date limite, ni aucune information privée, comme les commandes de Larkfield. Quand on lui pose une question, il génère la suite la plus probable. Elle est souvent juste pour les faits courants, mais parfois c’est une invention bien formulée. Le post-entraînement a ensuite façonné sa façon de répondre : suivre les instructions, respecter le format et le ton, parfois reconnaître son ignorance. Les faits importants doivent donc venir de nos propres systèmes, être ajoutés à la requête et être vérifiés.

Fin du module 1

Vous avez maintenant un modèle mental d’un modèle de langage qui suffit pour en choisir un. Le texte devient des jetons, dont le nombre dépend de la langue et du segmenteur en jetons. Le modèle attribue une probabilité à chaque prochain jeton possible et écrit un jeton à la fois. La température contrôle le choix du jeton. L’entraînement donne au modèle sa langue et ses connaissances (préentraînement), puis son comportement d’assistant (post-entraînement), mais pas une base de données factuelles.

Les modèles et les nombres de ce module donnent un portrait à un moment précis. Les modèles changent vite. Les nouvelles versions découperont le texte en jetons, prédiront et se comporteront différemment. La méthode reste valable : comptez les jetons avec le segmenteur du modèle et examinez les probabilités quand vous le pouvez. Exécutez le modèle plusieurs fois et testez son comportement sur votre propre tâche.

Revenir à un état connu

Ce module nécessite seulement un navigateur. Si un outil d’exploration affiche un état étrange, rechargez la page. Si vous avez utilisé les carnets (notebooks) Jupyter facultatifs et modifié une cellule par erreur, ouvrez une nouvelle copie. Utilisez pour cela l’encadré du carnet dans la leçon. Colab et Kaggle ouvrent toujours une nouvelle copie.

Récapitulatif

• Le préentraînement apprend au modèle à prédire le prochain jeton d’une immense collection de textes. Le résultat, un modèle de base, poursuit n’importe quel texte; il ne suit pas les instructions.
• Le post-entraînement façonne le comportement : réglage sur les instructions avec des exemples d’instructions et de bonnes réponses, puis entraînement par préférences avec des choix entre deux réponses.
• Le modèle conserve ce qu’il a appris dans ses poids, sous forme de régularités, pas d’enregistrements. Il ne peut rien rechercher. Interrogé sur Larkfield, Gemma 3 a inventé une politique et un lien de suivi. Llama 3.2 a dit qu’il ne pouvait pas trouver l’information.
• Le module 1 en bref : un modèle lit des jetons, écrit un jeton probable à la fois et se comporte selon son entraînement. Comptez les jetons par langue, exécutez le modèle plusieurs fois et ne prenez jamais une réponse bien formulée pour un fait.

Ensuite, le module 2 montre ce qu’un modèle peut et ne peut pas faire avec le texte que vous lui donnez : la fenêtre de contexte, la mémoire, le raisonnement et les erreurs courantes.

Leçon suivante : Contexte et mémoire