Prédire la suite

Ce que vous saurez faire

Comprenez comment un modèle écrit : un jeton (token) à la fois, chacun choisi selon une liste de probabilités. Vous pourrez alors expliquer pourquoi un même billet de soutien peut recevoir deux réponses différentes. Vous pourrez aussi régler le paramètre qui change ce comportement.

Carnet JupyterLa température appliquée à de vraies probabilités, dans un carnet Jupyter (facultatif)Colab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter utilise les probabilités enregistrées pour cette leçon. Il les repondère selon la température et tire des échantillons pour vous permettre de vérifier les nombres de l’explorateur. Il ne nécessite ni modèle ni clé d’API.

Ouvrir dans ColabOuvrir dans KaggleVoir sur GitHub

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 40 minutes

Ce que vous devez savoir

• Les jetons, le vocabulaire et les identifiants de jetons, présentés dans Du texte aux jetons.
• Une probabilité est un nombre de 0 à 1, comme l’explique Événements et incertitude. Une distribution associe chaque valeur à sa probabilité, comme l’explique Les distributions en pratique. Ces deux leçons font partie de Mathématiques et statistiques essentielles pour l’IA.

Ce qu’il vous faut

• Un navigateur. Le carnet facultatif s’ouvre dans Colab ou Kaggle et ne nécessite aucune clé d’API.

Les modèles hébergés changent souvent : vos propres résultats seront différents.

Le prochain mot sur votre téléphone

Tapez « À bientôt » sur un téléphone. Le clavier suggère trois mots : « demain », « alors », « peut-être ». Il ne sait pas ce que vous voulez dire. Il sait ce que les gens tapent souvent après « À bientôt » et affiche les mots les plus probables en premier. Touchez un mot, et il suggère les trois suivants.

Un modèle de langage fait la même chose, à une échelle beaucoup plus grande. Il a lu une énorme quantité de texte. À partir du texte déjà présent, il indique la probabilité de chaque jeton suivant possible. Ensuite, un jeton est choisi, puis ajouté au texte, et le modèle recommence.

Le problème : il n’y a pas un seul bon mot suivant

Lisez cette phrase incomplète : « Le colis est arrivé en retard, alors le client a demandé un… ». Quel mot vient ensuite? « Remboursement » est le mot évident. Mais « rabais », « remplacement » et « remboursement complet » sont tous corrects en français et tous possibles. Un programme qui conserve une seule bonne réponse par phrase ne peut pas gérer cela. Le modèle doit pouvoir dire : « remboursement est très probable, rabais est possible, banane est presque impossible ».

L’idée : une probabilité pour chaque jeton

Une probabilité est un nombre de 0 à 1 qui indique à quel point quelque chose est probable. La somme des probabilités de tous les résultats possibles vaut 1. À chaque étape, le modèle attribue une probabilité à chaque jeton de son vocabulaire. Ensemble, elles forment une distribution sur le vocabulaire.

Commencez par un minuscule vocabulaire pour voir tous les nombres. Imaginez que le modèle ne connaît que six suites possibles : cinq mots et « tout autre jeton ». Voici les vraies probabilités que Gemma 3 4B a données pour la phrase ci-dessus, en anglais. Gemma 3 est un modèle ouvert. Le cours l’exécute sur un petit ordinateur avec Ollama, un outil gratuit pour les modèles locaux.

Prochain jeton	Probabilité
·refund	91.3%
·full	3.4%
·discount	1.9%
·partial	1.8%
·return	0.5%
tout autre jeton	1,1 %

Le point médian marque l’espace au début de chaque jeton. Les cinq mots représentent 98,9 % de la probabilité. Les 262 139 autres jetons du vocabulaire de Gemma se partagent les 1,1 % restants. Le modèle est très sûr, mais pas certain.

Voici maintenant tout le parcours, du texte au prochain mot. Lisez-le de 1 à 7.

Du texte à un nouveau jeton, puis on recommence. Ces nombres sont les vrais identifiants et probabilités de Gemma 3 4B pour cette phrase, obtenus avec Ollama.

Description textuelle du diagramme

Sept étapes dans une boucle. Étape 1, le texte : « The parcel arrived late, so the customer asked for a » (le colis est arrivé en retard, alors le client a demandé un). Étape 2, le segmenteur découpe ce texte en onze jetons : The, parcel, arrived, late, une virgule, so, the, customer, asked, for, a. Étape 3, les identifiants de jetons : 669, 38396, 12208, 5226, 236764, 834, 506, 5602, 4733, 573 et 496. Étape 4, le modèle, Gemma 3 4B, calcule un score pour chacun des 262 144 jetons de son vocabulaire. Étape 5, les scores deviennent des probabilités : refund 91,3 %, full 3,4 %, discount 1,9 %, partial 1,8 %, return 0,5 %. Les 262 139 autres jetons se partagent les 1,1 % restants. Étape 6, un jeton est choisi : refund, identifiant de jeton 19527, le plus probable à la température 0. Étape 7, le jeton est ajouté au texte : « …asked for a refund » (…a demandé un remboursement). Une flèche pointillée revient de l’étape 7 à l’étape 1 : le nouveau texte entre à nouveau, pour un jeton de plus.

À l’étape 6, le jeton le plus probable gagne. C’est une façon de choisir. Les sections sur l’échantillonnage et la température ci-dessous présentent les autres. Le modèle n’écrit jamais une réponse entière d’un seul coup. Il écrit un jeton. Le suivant dépend de tout ce qui le précède, y compris les jetons que le modèle a lui-même écrits. Cette boucle, un jeton après l’autre, s’appelle la génération. Utiliser un modèle entraîné de cette façon pour obtenir des résultats s’appelle l’inférence. L’entraînement permet au modèle d’apprendre ses probabilités; l’inférence se produit chaque fois que vous l’utilisez. La leçon 3 de ce module traite de l’entraînement.

La boucle, étape par étape

Voici les dix premières étapes de la boucle pour la même phrase. À chaque étape, le modèle prend son jeton le plus probable. Le tableau montre les trois jetons les plus probables et celui qui a été choisi.

Étape	Texte jusqu’ici (fin)	Les trois prochains jetons les plus probables	Jeton choisi
1	…o the customer asked for a	·refund 91.3%, ·full 3.4%, ·discount 1.9%	·refund
2	…ustomer asked for a refund	. 83.5%, ·or 4.7%, , 3.4%	.
3	…stomer asked for a refund.	·The 33.4%, (new paragraph) 25.9%, (new line) 20.0%	·The
4	…er asked for a refund. The	·company 37.2%, ·store 13.9%, ·customer 7.9%	·company
5	… for a refund. The company	·decided 11.6%, ' 10.8%, ·agreed 7.8%	·decided
6	…efund. The company decided	·to 96.4%, ·not 1.9%, ·that 0.9%	·to
7	…nd. The company decided to	·offer 32.9%, ·give 20.7%, ·honor 14.5%	·offer
8	…e company decided to offer	·a 75.7%, ·the 15.2%, ·him 4.2%	·a
9	…company decided to offer a	·partial 79.3%, ·discount 13.4%, · 4.3%	·partial
10	…decided to offer a partial	·refund 99.8%, ·reimbursement 0.1%, ·one <0.1%	·refund

Il y a trois choses à remarquer. D’abord, le modèle n’est pas toujours aussi sûr qu’à l’étape 1. À l’étape 3, il donne seulement 33,4 % à « ·The » et 25,9 % à un nouveau paragraphe. Plusieurs suites conviennent. Ensuite, chaque jeton choisi change la liste suivante. Après « ·offer a » (offrir un), le modèle donne 79,3 % à « ·partial » (partiel), puis 99,8 % à « ·refund » (remboursement). Enfin, rien dans le texte ne dit que l’entreprise a offert un remboursement partiel. Le modèle a écrit une histoire probable, pas un fait. Il poursuit le texte; il ne consulte aucune source.

Comment choisir le jeton : choix glouton ou échantillonnage

Le tableau prend chaque fois le jeton le plus probable. C’est le choix glouton. Il est simple, et le même texte donne toujours la même suite. Mais ce n’est pas la seule façon. Toujours prendre le mot le plus probable peut aussi rendre le texte monotone ou répétitif.

L’autre façon est l’échantillonnage : choisir le jeton au hasard, selon les probabilités du modèle. Pensez à une roulette avec une section par jeton, dont la taille correspond à sa probabilité. « ·refund » occupe 91,3 % du cercle et gagne donc la plupart des tours. Mais « ·discount » (rabais) gagne environ 2 tours sur 100. L’échantillonnage rend le texte plus varié. Il signifie aussi que la même requête (prompt) peut donner une réponse différente chaque fois.

Amira a demandé à Gemma 3 de poursuivre la même phrase sept fois, avec 12 jetons chaque fois. Deux fois avec un choix glouton, et cinq fois avec l’échantillonnage. Une graine est un nombre qui initialise les choix aléatoires; la même graine donne les mêmes choix.

Choix	Graine	Suite
greedy	1	refund. The company decided to offer a partial refund instead of
greedy	2	refund. The company decided to offer a partial refund instead of
sampling, temperature 1	1	free repair. After reviewing the damage, our repair technician determined
sampling, temperature 1	2	refund?</h1>\n\nHere are some ways to respond to a
sampling, temperature 1	3	refund. The store owner, Mr. Smith, decided to
sampling, temperature 1	4	refund. \nThe customer was dissatisfied with the product,
sampling, temperature 1	5	refund.\n\nLet's break down how this situation is

Les deux exécutions avec choix glouton sont identiques, mot pour mot. Les cinq exécutions avec échantillonnage sont toutes différentes. La graine 1 a choisi « ·free » (gratuit), un jeton dont la probabilité n’était que de 0,05 %. La graine 2 a écrit « refund? » (remboursement?), puis une balise HTML, </h1>. Le modèle a lu de nombreuses pages Web, et leur code fait partie de ce qu’il a appris.

La température : l’audace du choix

Un paramètre contrôle l’audace de l’échantillonnage : la température. Le nom vient de la physique, où un système plus chaud bouge davantage au hasard. À basse température, le jeton le plus probable reçoit une part encore plus grande. Le choix est donc presque toujours le même. À haute température, les parts deviennent plus égales, et les jetons moins probables gagnent plus souvent. À la température 0, le choix est glouton.

Faites d’abord une prédiction, puis déplacez le curseur. L’explorateur utilise les vraies probabilités des 20 jetons les plus probables de Gemma. Il répartit 100 % entre ces 20 jetons seulement. À la température 1, « ·refund » a donc 91,7 %, un peu plus que les 91,3 % du tableau ci-dessus.

Explorer

Repondérer le prochain jeton selon la température

Texte jusqu’ici : The parcel arrived late, so the customer asked for a▢

Chance du jeton le plus probable

91,7 %

Chance d’un autre jeton

8,3 %

Jetons à 1 % ou plus

4

·refund91,7 %

·full3,4 %

·discount1,9 %

·partial1,8 %

·return0,5 %

les 15 autres0,6 %

La fine marque foncée sur chaque barre est la part à la température 1, soit les probabilités propres du modèle. La dernière barre regroupe les 15 autres des 20 jetons les plus probables.

À la température 1,0, « ·refund » a 91,7 % de chances, donc un autre mot vient environ 1 fois sur 12. À 1, ce sont les probabilités propres du modèle.

Les vraies probabilités de Gemma 3 4B pour le prochain jeton (Ollama 0.40.1), réparties entre ses 20 jetons les plus probables et repondérées selon la température.

Description textuelle de l’explorateur

L’explorateur affiche le texte « The parcel arrived late, so the customer asked for a ». En dessous, des barres représentent les cinq prochains jetons les plus probables. Une autre barre représente les 15 autres parmi les 20 jetons les plus probables. Un curseur règle la température de 0 à 2, par pas de 0,1. Un trait fin sur chaque barre indique sa part à la température 1. L’affichage indique la probabilité du premier jeton, celle de tout autre jeton et le nombre de jetons ayant au moins 1 %.

À la température 1 : refund 91,7 %, full 3,4 %, discount 1,9 %, partial 1,8 %, return 0,5 %, les 15 autres ensemble 0,6 %; 4 jetons ont au moins 1 %. À 0,5 : refund 99,8 %. À 0,7 : refund 98,3 %. À 1,5 : refund 72,8 %, full 8,1 %, discount 5,6 %, partial 5,3 %, return 2,3 %, les 15 autres ensemble 6,0 %. À 2 : refund 54,2 %, full 10,4 %, discount 7,9 %, partial 7,6 %, return 4,1 %, les 15 autres ensemble 15,9 %; 12 jetons ont au moins 1 %. À 0, refund a 100 % : le choix est glouton.

À la température 2, « ·refund » passe de 91,7 % à 54,2 %. Presque la moitié des exécutions commencent maintenant par un autre mot. À 0,5, sa probabilité monte à 99,8 %. L’échantillonneur de ces exécutions ne conservait lui aussi que les 20 jetons les plus probables. La plupart des échantillonneurs ne gardent ainsi que les premiers jetons. Cela empêche une température élevée de choisir un jeton absurde parmi les très nombreux jetons peu probables.

La règle, sur deux jetons

Voici l’effet de la température sur le plus petit vocabulaire : seulement « ·refund » et « ·full » (complet). Leurs probabilités sont 0,913 et 0,034. « ·refund » est donc 0,913 ÷ 0,034 ≈ 27 fois plus probable. Avec ces deux jetons seulement, les parts sont 27 ÷ 28 = 96 % et 1 ÷ 28 = 4 %.

À la température 2, prenez la racine carrée de ce rapport : √27 ≈ 5,2. « ·refund » n’est maintenant que 5,2 fois plus probable. Les parts sont donc 5,2 ÷ 6,2 = 84 % et 1 ÷ 6,2 = 16 %. À la température 0,5, élevez plutôt le rapport au carré : 27² = 729. « ·refund » reçoit alors 99,9 %. En général, la température T élève chaque probabilité à la puissance 1/T. Ensuite, les parts sont ajustées pour que leur somme vaille 1 :

$$p_i(T) = \frac{p_i^{1/T}}{\sum_j p_j^{1/T}}$$

Lisez ainsi : la nouvelle part du jeton i à la température T est sa probabilité à la puissance 1/T. On la divise par la somme de ce même calcul pour tous les jetons. T = 1 ne change rien. T inférieur à 1 accentue la distribution; T supérieur à 1 l’aplatit.

Est-ce vraiment ce que fait l’échantillonneur? Amira a vérifié. Elle a tiré 200 échantillons d’un jeton à la température 2, chacun avec une graine différente, puis compté les jetons. La formule prévoyait 108 « ·refund », 21 « ·full », 16 « ·discount », 15 « ·partial » et 8 « ·return » (retour). Elle a compté 103, 16, 23, 18, 9. Avec 200 tirages, des écarts de quelques unités sont normaux. L’échantillonneur suit donc la formule.

L’exemple suivi : un billet, cinq réponses

Les étiquettes et les réponses pour Larkfield proviennent de la même boucle. Dans les exécutions enregistrées pour ce cours, Amira a fourni à Gemma 3 les instructions de l’assistant et la politique de soutien. Elle a aussi fourni le billet S01 : « Ma commande L-20431 devait arriver la semaine dernière. Elle a maintenant 7 jours ouvrables de retard. » Elle l’a exécuté cinq fois à la température 0,8, avec les graines 0 à 4. La politique prévoit la livraison gratuite au-delà de 5 jours ouvrables de retard. Au-delà de 15 jours, la commande est considérée comme perdue.

Les étiquettes étaient identiques dans les cinq exécutions : anglais, livraison, aucune personne nécessaire. Les réponses ne l’étaient pas. La graine 2 a écrit la bonne réponse : « Comme la commande a maintenant 7 jours ouvrables de retard, nous pouvons vous offrir la livraison gratuite. » Les quatre autres graines ont écrit, par exemple : « Selon notre politique, les commandes ayant plus de 15 jours ouvrables de retard sont considérées comme perdues. Nous procéderons à un remplacement ou à un remboursement complet. » Cette règle existe, mais elle ne s’applique pas à un retard de 7 jours. Un choix aléatoire différent au début de la réponse a mené à une réponse différente et incorrecte.

Omar demande : « Donc, on règle la température à 0, et le problème disparaît? » En partie. À la température 0, le même modèle donne la même réponse au même texte. Vous pouvez donc la tester et répéter le test. Mais une réponse incorrecte sera alors incorrecte chaque fois. De plus, certains modèles ne vous laissent pas choisir. Les modèles Claude, par exemple, refusent actuellement le réglage de la température. Leurs réponses peuvent donc varier entre les exécutions. Le module 2 montre d’autres façons dont les réponses changent.

Quand utiliser chaque température

• Basse (0 à 0,3) pour les étiquettes, l’extraction, le JSON et tout ce qu’un programme lit. Vous voulez la même réponse à la même entrée, et un test que vous pouvez répéter.
• Moyenne (environ 0,7 à 1) pour les brouillons qu’une personne lit et révise, comme des réponses, quand varier la formulation aide.
• Haute (au-dessus de 1) pour proposer de nombreuses idées différentes. Attendez-vous à plus d’erreurs et à plus de jetons étranges.

Le coût : une température plus élevée ne coûte ni argent ni temps, mais réduit la prévisibilité. Une température plus basse rend la sortie reproductible, mais pas nécessairement correcte.

Exemple détaillé : Amira lit les probabilités

Vous n’avez pas besoin d’exécuter ceci. Amira a demandé à Ollama, sur son propre ordinateur, les cinq prochains jetons les plus probables. "raw": true envoie le texte tel quel. "logprobs": true demande les logarithmes naturels des probabilités, que math.exp reconvertit en probabilités.

next_token.py

import math
import requests

body = {
    "model": "gemma3:4b",
    "prompt": "The parcel arrived late, so the customer asked for a",
    "raw": True, "stream": False,
    "logprobs": True, "top_logprobs": 5,
    "options": {"temperature": 0, "num_predict": 1},
}
answer = requests.post("http://localhost:11434/api/generate", json=body).json()
for item in answer["logprobs"][0]["top_logprobs"]:
    print(f"{item['token']!r:12} {math.exp(item['logprob']):.3f}")

La sortie :

' refund'    0.913
' full'      0.034
' discount'  0.019
' partial'   0.018
' return'    0.005

Ce sont les nombres du minuscule vocabulaire au début de cette leçon. Le carnet suit les mêmes étapes avec les nombres enregistrés. Vous n’avez donc pas besoin d’Ollama.

Exercice guidé : lire l’explorateur

1. Faites votre prédiction dans l’explorateur, puis sélectionnez I have made my prediction (j’ai fait ma prédiction).
2. Réglez la température à 1,0. Vous devriez voir « ·refund » à 91,7 % et 4 jetons ayant au moins 1 %.
3. Réglez-la à 2,0. Vous devriez voir « ·refund » à 54,2 % et 12 jetons ayant au moins 1 %.
4. Réglez-la à 0,5. Vous devriez voir « ·refund » à 99,8 %.
5. Réglez-la à 0. Vous devriez voir « ·refund » à 100 % : un choix glouton.
6. Écrivez une phrase pour Grace : quelle température l’assistant devrait-il utiliser pour les étiquettes language, category et needs_human, et pourquoi?

Afficher un exemple de réponse

« Utilisez la température 0, ou la plus basse permise par le modèle, pour les étiquettes. Le même billet reçoit alors les mêmes étiquettes chaque fois, et nous pouvons les tester et répéter le test. Une basse température ne rend pas une étiquette correcte; seul un test sur de vrais billets le montre. »

À vous de jouer : une phrase en français

Voici la même phrase en français : « Le colis est arrivé en retard, alors le client a demandé un … ». Avant de déplacer le contrôle, faites une prédiction. Gemma 3 est-il plus sûr ou moins sûr de son premier choix en français qu’en anglais? À quelle température le jeton le plus probable passe-t-il sous 90 %?

Explorer

La même idée en français

Texte jusqu’ici : Le colis est arrivé en retard, alors le client a demandé un▢

Chance du jeton le plus probable

99,4 %

Chance d’un autre jeton

0,6 %

Jetons à 1 % ou plus

1

·remboursement99,4 %

·retour0,3 %

·remplacement<0,1 %

·dé<0,1 %

·reembolso<0,1 %

les 15 autres0,2 %

La fine marque foncée sur chaque barre est la part à la température 1, soit les probabilités propres du modèle. La dernière barre regroupe les 15 autres des 20 jetons les plus probables.

À la température 1,0, « ·remboursement » a 99,4 % de chances, donc un autre mot vient environ 1 fois sur 156. À 1, ce sont les probabilités propres du modèle.

Les probabilités réelles de Gemma 3 4B pour le prochain jeton de la phrase française (Ollama 0.40.1), réparties entre ses 20 jetons les plus probables.

Description textuelle de l’explorateur

Le même outil d’exploration pour la phrase française « Le colis est arrivé en retard, alors le client a demandé un ». À la température 1 : remboursement 99,4 %, retour 0,3 %, remplacement 0,1 %, les autres jetons moins. À 1,5 : remboursement 93,2 %. À 2 : remboursement 78,9 %, retour 4,7 %, remplacement 1,8 %; 9 jetons ont 1 % ou plus.

Afficher la réponse

Gemma 3 est encore plus sûr en français : « ·remboursement » a une probabilité de 99,4 % à la température 1. C’est 91,7 % pour « ·refund » (remboursement) en anglais. Il reste au-dessus de 90 % jusqu’à la température 1,5 (93,2 %) et descend à 78,9 % à 2. En français, « un remboursement » est l’expression habituelle après « a demandé un ». En anglais, on trouve « a refund » (un remboursement), « a full refund » (un remboursement complet), « a discount » (un rabais) et d’autres possibilités. Le degré de certitude d’un modèle dépend du texte, pas seulement de la langue.

Erreur courante

Une bonne réponse prise pour une preuve

Symptôme : Tomás essaie l’assistant une fois sur le billet de soutien S01 et lit une réponse correcte : livraison gratuite pour un retard de 7 jours. Il dit à Grace : « Il gère les commandes en retard. » Dès la première semaine, l’assistant dit aux clients ayant un retard de 7 jours que leur commande est considérée comme perdue.

Cause : la réponse est un échantillon tiré d’une distribution. Dans les essais enregistrés à la température 0,8, Gemma 3 a donné la bonne réponse à S01 dans 1 essai sur 5. Tomás a vu un tirage chanceux.

Correction : pour tout ce que vous évaluerez, testez plusieurs billets, pas un seul, à la température minimale permise par le modèle. Enregistrez chaque réponse. Si une réponse peut encore changer d’un essai à l’autre, testez quelques billets plusieurs fois. Évaluez la proportion de bonnes réponses, pas une seule réponse. Le module Évaluer pour votre tâche construit un tel test : 24 billets, chacun envoyé une fois à chaque modèle, et chaque réponse lue.

Ce que cela signifie pour un vrai service d’IA : une démonstration montre ce qu’un modèle peut dire, pas ce qu’il dit habituellement. Pour choisir un modèle, il faut plusieurs essais sur plusieurs entrées, évalués de la même façon chaque fois.

Vérification des connaissances

Vérifiez votre compréhension

Dans vos mots : que produit un modèle de langage à chaque étape de génération, et comment cela donne-t-il une réponse complète?

Afficher la réponse

À chaque étape, le modèle produit une probabilité pour chaque jeton de son vocabulaire. Elle indique la probabilité que chaque jeton vienne ensuite, compte tenu de tout le texte jusqu’ici. Un jeton est choisi : le plus probable, ou un tirage aléatoire selon ces probabilités. Il est ajouté au texte, puis le modèle s’exécute à nouveau. Une réponse vient de cette boucle répétée, un jeton à la fois. Elle continue jusqu’à ce que le modèle choisisse un jeton de fin ou atteigne une limite.

Vérifiez votre compréhension

Faites une prédiction : deux jetons ont des probabilités de 0,6 et de 0,3, et le reste est minime. À la température 0,5, l'écart entre eux augmente-t-il ou diminue-t-il? Et à la température 2?

Afficher la réponse

À la température 0,5, le rapport est élevé au carré : 0,6 ÷ 0,3 = 2 devient 4. Le premier jeton reçoit donc une plus grande part : environ 80 % du total des deux, contre 67 % auparavant. L’écart augmente. À la température 2, on prend la racine carrée : 2 devient environ 1,41. Le premier jeton reçoit donc environ 59 % du total des deux. L’écart diminue, et le deuxième jeton est choisi plus souvent.

Vérifiez votre compréhension

Omar dit : « À la température 0, l'assistant a toujours raison, parce qu'il prend toujours le mot le plus probable. » Qu'est-ce qui ne va pas dans cette affirmation?

Afficher la réponse

La température 0 rend la réponse identique chaque fois, pas correcte. Le jeton le plus probable est celui qui correspond le mieux au texte, selon ce que le modèle a appris. Cela peut quand même mener à un fait erroné ou à une mauvaise règle. Une réponse incorrecte à la température 0 est incorrecte chaque fois. Seul un test sur de vrais billets montre à quelle fréquence les réponses sont correctes.

Récapitulatif

• À chaque étape, un modèle de langage donne une probabilité à chaque jeton de son vocabulaire. Un jeton est choisi, ajouté au texte, puis la boucle se répète : c’est la génération. Utiliser un modèle entraîné de cette façon, c’est l’inférence.
• Le choix glouton prend le jeton le plus probable : le même texte donne la même suite. L’échantillonnage tire un jeton au hasard selon les probabilités du modèle. La même requête peut donc donner différentes réponses.
• La température modifie les probabilités : sous 1, le jeton le plus probable reçoit une plus grande part. Au-dessus de 1, les parts deviennent plus égales, et à 0, le choix est glouton. Pour « ·refund » de Gemma 3 : 99,8 % à 0,5, 91,7 % à 1, 54,2 % à 2 (parmi les 20 jetons les plus probables).
• Une réponse représente un tirage. Évaluez un modèle sur plusieurs essais, et rappelez-vous qu’une réponse reproductible n’est pas forcément correcte.

Découvrez ensuite d’où viennent les probabilités : les étapes de l’entraînement qui transforment un prédicteur de texte en assistant.

Leçon suivante : Les étapes de l'entraînement