Structure des exemples et autorisations
- Leçon 3
- 40 min
- Module 2 : Préparer des données d'entraînement fiables
Où nous en sommes
Dans le module 1, nous avons classé les défaillances et rédigé une note de décision : aller de l'avant pour une expérience. Maintenant, il nous faut des exemples d'entraînement. Mais un modèle copie toutes les habitudes de ses exemples, même le désordre, et certains enregistrements ne nous appartiennent peut-être pas. Dans cette leçon, nous transformons les billets en exemples de même structure, et nous notons l'origine de chacun et ses utilisations permises, comme un dossier de billets résolus pour une nouvelle employée.
Leçon 3 sur 12 · Réglage fin et adaptation des modèles d'IAStructure des exemples et autorisations
1. Décider s'il faut adapter le modèle
2. Préparer des données d'entraînement fiables
3. Comprendre les méthodes d'adaptation
4. Mener une expérience contrôlée
5. Évaluer au-delà de la perte d'entraînement
6. Empaqueter et maintenir l'adaptation
7. Études de cas
Ce que vous saurez faire
Transformez les billets en exemples d’entraînement de même structure. Notez l’origine de chaque enregistrement et ses utilisations permises. Un modèle copie toutes les habitudes de ses exemples.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- La tâche précise, un billet en entrée et
{"team", "needs_human"}en sortie au format JSON exact, et la vérification stricte des réponses, de Préciser la défaillance. - Les cibles que l’équipe a écrites avant tout entraînement, de Définir la réussite et les contraintes.
- Les règles H1 à H5 de Grace, et pourquoi les cas de développement et les cas réservés restent exclus du réglage fin, de Éviter la contamination dans Évaluer et tester les systèmes d’IA.
- Les rôles des messages dans une requête de conversation (système, utilisateur, assistant), de Les éléments d’une requête dans Créer des applications fiables avec les API de LLM.
Ce qu’il vous faut sur votre ordinateur
- Votre projet
~/projects/ticket-adapterà la fin du module 1, avec son.venvactif :python -m pytestaffiche9 passed(9 tests réussis). Sinon, copiez l’instantanéend-of-m01, comme l’explique la page des instantanés. - Le dépôt des exercices dans
~/projects/nextia-learning-labs, présenté sur la même page.
Aucun téléchargement de modèle et pas encore de PyTorch. Testé avec Python 3.12 sur macOS. Les commandes Windows (PowerShell) sont écrites, mais non testées.
Un dossier de billets résolus
Section intitulée « Un dossier de billets résolus »Une nouvelle employée du soutien apprend avec un dossier de billets résolus. Chaque feuille contient le message d’un client et la réponse de l’équipe. Elle copie ce qu’elle voit. Si la moitié des feuilles nomment l’équipe « Payment » et l’autre moitié « billing », elle utilise les deux noms.
Certaines feuilles viennent aussi de son examen final. D’autres viennent du classeur d’une autre entreprise que Larkfield n’a pas le droit de copier. Personne n’a noté lesquelles. Maintenant, personne ne peut dire si son résultat d’examen signifie quelque chose, ni si le dossier peut être utilisé. Un modèle apprend de la même façon, mais encore plus littéralement. Cette leçon règle les deux problèmes : une structure unique pour chaque exemple et un registre de l’origine de chacun.
Le problème : le modèle apprend aussi le désordre
Section intitulée « Le problème : le modèle apprend aussi le désordre »La tâche précise exige un seul format de réponse, et Préciser la défaillance a créé une vérification stricte pour ce format. Voici trois façons d’écrire la même réponse et le résultat de la vérification pour chacune. Lancez python dans le dossier du projet et collez le code :
from adapt.answer import format_answer, parse_answer
replies = [ '{"team": "payment", "needs_human": false}', '{"needs_human": "no", "team": "Payment"}', "Team: payment. No person needed.",]for reply in replies: answer, problem = parse_answer(reply) print(f"{reply:42s} -> {answer or problem}")print(format_answer("payment", False)){"team": "payment", "needs_human": false} -> {'team': 'payment', 'needs_human': False}{"needs_human": "no", "team": "Payment"} -> unknown teamTeam: payment. No person needed. -> not JSON{"team": "payment", "needs_human": false}Les trois signifient la même chose pour une personne, mais seule la première réussit la vérification. Si les exemples d’entraînement mélangent les trois, le modèle apprend qu’elles sont toutes acceptables et utilise parfois chacune. Le modèle a fait exactement ce que les données montraient.
L’idée : une structure unique, écrite par une seule fonction
Section intitulée « L’idée : une structure unique, écrite par une seule fonction »Un exemple d’entraînement comprend une entrée et la sortie que le modèle doit apprendre à écrire : sa cible. Pour un modèle de conversation, l’exemple est une courte conversation dans le format prévu pour ce modèle. Le message système donne l’instruction, le message utilisateur contient le billet et le message assistant contient la réponse.
Trois conventions garantissent que seuls le billet et ses étiquettes changent d’un exemple à l’autre :
- Le message système contient la même courte instruction dans chaque enregistrement. Le modèle de base est aussi testé avec elle.
- Une seule fonction,
format_answer, écrit toutes les réponses. Sa sortie est la dernière ligne ci-dessus : le même ordre des clés, les noms d’équipes en minuscules,trueoufalse, et rien d’autre. - Les détails destinés aux personnes restent à côté des messages : la source, la méthode d’étiquetage, le style d’écriture.
Description textuelle du diagramme
Le diagramme présente le billet source T-60001 comme exemple d’entraînement. Le premier encadré contient le message système : la courte instruction, identique dans chaque enregistrement. Le deuxième contient le message utilisateur : le billet, qui constitue l’entrée et diffère dans chaque enregistrement. Le troisième encadré, en vert, contient le message assistant : la réponse {"team": "payment", "needs_human": false}, la cible que le modèle apprend à écrire. Une seule fonction l’écrit, ce qui garantit un format unique. Un encadré en pointillé, en bas, contient les champs destinés aux personnes, que le modèle ne voit jamais. Ce sont la source (tickets, billets), la méthode d’étiquetage (not read: no safety word, non lu : aucun mot lié à la sécurité) et le style (plain, simple).
L’origine de chaque enregistrement
Section intitulée « L’origine de chaque enregistrement »La provenance répond par écrit à trois questions. D’où viennent ces données? Qui a créé leurs étiquettes, et comment? À quoi pouvons-nous les utiliser? La dernière réponse est l’utilisation permise. Dans une entreprise, elle découle des contrats, des licences, des lois sur la vie privée et du consentement des clients. Une personne responsable de la protection des données en décide, pas l’ingénieur qui veut entraîner le modèle.
Le projet conserve la provenance dans data/sources.toml : l’origine, la licence, l’utilisation permise et l’empreinte SHA-256 de chaque source. Une empreinte est un long nombre calculé à partir des octets du fichier; un seul octet modifié la change. Un modèle de langage a inventé les billets pour les cours; aucun client réel ne les a écrits. La licence est donc simple (CC0, libre pour toute utilisation).
Les étiquettes needs_human demandent le plus d’attention, car elles ont été créées pour le cours. L’auteur du cours a lu seulement les 98 billets d’entraînement contenant un mot de la liste de sécurité du cours d’évaluation. Il a appliqué la règle H1, sur la sécurité. Parmi ces billets, 89 nécessitent une personne et 9 n’en nécessitent pas. Un des 9 dit seulement que « la boîte contenant le filet de sécurité manque ». Les 4 598 autres billets n’ont pas été lus. Leur étiquette est false parce qu’ils ne contiennent aucun mot de sécurité : une hypothèse, pas une vérification.
Description textuelle du diagramme
Les 4 696 billets d’entraînement passent par une seule question. Le texte contient-il un mot de la liste de sécurité, comme feu, fumée ou sécurité? Pour 98 billets, la réponse est oui. L’auteur du cours a lu chacun selon la règle H1 : 89 nécessitent une personne et 9 n’en nécessitent pas. Pour 4 598 billets, la réponse est non. Personne ne les a lus, et ils sont étiquetés false. C’est une hypothèse, affichée en orange. Un encadré en pointillé en dessous indique ce que ces données n’étiquettent jamais. Ce sont les menaces juridiques (H2), les demandes hors politique (H3), les commandes d’une autre personne (H4), les demandes illisibles (H5) et les billets en français.
La colonne label_how rend cette différence visible dans chaque enregistrement. Un réviseur voit ainsi quelles étiquettes une personne a vérifiées. Le diagramme montre aussi une lacune : aucun billet d’entraînement n’est étiqueté selon les règles H2 à H5, ni écrit en français.
Exercice guidé : ajouter les sources à votre projet
Section intitulée « Exercice guidé : ajouter les sources à votre projet »-
Dans
~/projects/ticket-adapter, avec.venvactif, copiez les fichiers de cette leçon depuis l’instantanéend-of-m02. Le nouveau__main__.pyajoutesources,recordetprepare(pour la prochaine leçon).Fenêtre de terminal S=../nextia-learning-labs/C12/snapshots/end-of-m02mkdir -p data/sourcecp "$S/adapt/records.py" "$S/adapt/__main__.py" adapt/cp "$S"/data/source/* data/source/cp "$S/data/sources.toml" "$S/data/SHA256SUMS" data/cp "$S/tests/test_records.py" tests/Fenêtre de terminal $S = "..\nextia-learning-labs\C12\snapshots\end-of-m02"New-Item -ItemType Directory -Force data\source | Out-NullCopy-Item "$S\adapt\records.py", "$S\adapt\__main__.py" adapt\Copy-Item "$S\data\source\*" data\source\Copy-Item "$S\data\sources.toml", "$S\data\SHA256SUMS" data\Copy-Item "$S\tests\test_records.py" tests\ -
Lancez les tests :
Fenêtre de terminal python -m pytestLa dernière ligne indique
12 passed(12 tests réussis). Les trois nouveaux tests vérifient le format de conversation, les empreintes et les 89 étiquettes. -
Lisez la provenance de chaque source :
Fenêtre de terminal python -m adapt sourcestickets: data/source/tickets.csv4,696 ticket messages with a team: the TRAINING split of the deep learning courselicence CC0 1.0; permitted use: training, validation and teachingneeds_human: data/source/needs_human.csvneeds_human for each of the 4,696 ticketslicence CC0 1.0; permitted use: training, validation and teachingknown_wrong_labels: data/source/known_wrong_labels.txt70 ticket IDs whose team is wrong on purpose (1.5% label noise, put in by the deep learning course)licence CC0 1.0; permitted use: removing wrong labelsevaluation: data/eval/cases.jsonl271 labelled cases of the evaluation course: dev 102, holdout 98, contaminated 71licence CC0 1.0; permitted use: EVALUATION ONLY: never training. dev for choices, holdout for the final decision.Trois utilisations permises : les 70 étiquettes erronées servent uniquement à retirer des enregistrements. Les cas d’évaluation ne peuvent jamais servir de données d’entraînement.
-
Affichez un billet de sécurité comme exemple d’entraînement :
Fenêtre de terminal python -m adapt record T-60003{"id": "T-60003","messages": [{"role": "system","content": "You sort support tickets for Larkfield, a home and garden shop. Reply with JSON only, in this form: {\"team\": \"delivery\" or \"returns\" or \"payment\" or \"warranty\" or \"account\", \"needs_human\": true or false}"},{"role": "user","content": "Hello, I hope I'm writing to the right place. Last weekend I was cleaning the gutters at the back of the house using the step ladder I bought from you a few months ago. Everything was fine until I climbed to the third rung and the left leg made a loud cracking noise and slid outwards on the patio. I managed to grab the gutter and stay upright, but it was quite a scare and my wife was very upset when she saw me. Afterwards I looked at the ladder and found a hairline crack in the metal near the hinge on that same leg, and the rubber foot is also loose. I haven't used it since and it's standing in the garage now. Could you please advise how I should report this safety problem, and whether the ladder should be inspected or replaced? Thank you for your help."},{"role": "assistant","content": "{\"team\": \"warranty\", \"needs_human\": true}"}],"team": "warranty","needs_human": true,"style": "long","source": "tickets","label_how": "read: a safety concern or an injury (H1)"}Comparez-le avec
python -m adapt record T-60001, le court billet de paiement du diagramme. Sonlabel_howestnot read: no safety word. -
Vérifiez que les fichiers de données correspondent aux fichiers consignés. Sur macOS et Linux, ouvrez
data/et comparez chaque empreinte :Fenêtre de terminal cd data && shasum -a 256 -c SHA256SUMS; cd ..Chacune des cinq lignes se termine par
OK(conforme). Sur Windows, comparezGet-FileHash data\source\needs_human.csvavec la lignesha256dansdata/sources.toml. Sur tous les systèmes, un test effectue la même vérification.
Erreur courante
Une étiquette corrigée à la main
Symptôme : après qu’un collègue a « corrigé » une étiquette, python -m pytest affiche 3 failed (3 tests échoués), avec assert 90 == 89. shasum -a 256 -c SHA256SUMS affiche source/needs_human.csv: FAILED (échec).
Cause : dans le test de l’auteur, T-60001 est passé à true,H1, mais a conservé not read: no safety word. Le fichier ne correspond plus à son empreinte.
Diagnostic : la vérification d’empreinte échouée nomme le fichier. Comparez-le au fichier de l’instantané pour trouver la ligne modifiée.
Correction : si la modification est erronée, copiez de nouveau le fichier de l’instantané. Si elle est correcte, consignez une nouvelle version des données. Écrivez la méthode d’étiquetage dans la colonne how. Ensuite, mettez à jour l’empreinte dans data/sources.toml et data/SHA256SUMS.
Quand le faire et combien cela coûte
Section intitulée « Quand le faire et combien cela coûte »Faites les deux avant chaque entraînement, même un petit. Une fonction de formatage et un fichier de provenance prennent environ une heure. Sans eux, vous ne pouvez pas expliquer un mauvais résultat ni répondre à la première question d’une révision : « Pouvons-nous utiliser ces données? »
Les données réelles demandent plus de travail. Les billets réels contiennent des noms, des adresses et des historiques de commandes. Les utiliser pour l’entraînement exige donc une base juridique et une décision sur les données personnelles. Pour un jeu de données public, lisez la licence à la source, car certaines licences interdisent l’utilisation commerciale.
Discussion : peut-on entraîner le modèle sur les cas d’évaluation?
Section intitulée « Discussion : peut-on entraîner le modèle sur les cas d’évaluation? »Tomás regarde l’encadré en pointillé du diagramme des étiquettes et a une idée.
- Tomás : « Les données d’entraînement n’ont aucun billet en français et rien pour les règles H2 à H5. Mais les cas d’évaluation ont exactement ça. Les cas de développement seuls ont 10 billets en français et 13 nécessitant une personne selon H2 à H5. Grace les a déjà étiquetés. Ajoutons-les aux données d’entraînement. »
- Priya : « Alors les cas de développement et les cas réservés ne mesurent plus rien. On testerait l’adaptateur sur ses propres devoirs. »
- Grace : « J’ai écrit ces étiquettes pour tester l’assistant. Le fichier indique : évaluation seulement. »
- Kwame : « Écrire de nouveaux billets en français et pour H2 à H5 prend des heures à Grace. La règle vaut-elle ce coût? »
Avant de continuer, répondez à ces questions :
- Après un entraînement sur les cas de développement, que vous dirait le score de développement de l’adaptateur?
- Si les 13 cas H2 à H5 et les 10 cas en français passaient à l’entraînement, que resterait-il pour mesurer ces sous-groupes?
- Que pourrait faire l’équipe à la place pour obtenir des exemples de ces règles?
La réponse du cours. Non. La première raison est l’utilisation permise dans data/sources.toml : le propriétaire de ces étiquettes les a fournies uniquement pour l’évaluation. Les nombres donnent la deuxième raison. Les données de développement contiennent seulement 13 cas H2 à H5 et 10 billets en français. S’ils passent à l’entraînement, aucun cas ne reste pour montrer si l’adaptateur a appris ces règles. Un score qui ne peut pas échouer n’est pas une preuve. La prochaine leçon ajoute une vérification qui rejette tout enregistrement d’entraînement copiant presque un cas d’évaluation.
Ce qui changerait la réponse : de nouveaux enregistrements écrits pour l’entraînement, avec leur propre entrée dans sources.toml. L’exercice du module vous demande d’en écrire quelques-uns. Ou un ensemble étiqueté plus grand, séparé en données d’entraînement et de test avant que quelqu’un le consulte.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Un collègue écrit 100 réponses d'entraînement à la main, certaines comme {"team": "Payment", ...} et d'autres au bon format. Prédisez le résultat de l'adaptateur à la vérification stricte des réponses et expliquez comment le projet évite ce problème.
Afficher la réponse
L’adaptateur apprend que les deux formes sont acceptables. Il écrit donc parfois le nom d’équipe avec une majuscule. La vérification stricte rejette ces réponses avec unknown team (équipe inconnue), ce qui réduit la proportion de réponses valides. Le projet évite ce problème : une seule fonction, format_answer, écrit toutes les réponses. Les données d’entraînement montrent donc un seul format.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Le label_how de T-60001 est « not read : no safety word ». Que vous indique-t-il sur son needs_human = false? Quel type de billet d'entraînement pourrait recevoir une étiquette erronée de cette façon?
Afficher la réponse
Personne n’a lu le billet. Son étiquette est false uniquement parce qu’il ne contient aucun mot de la liste de sécurité : une hypothèse, pas une vérification. Un billet nécessitant une personne selon une autre règle n’a souvent aucun mot de sécurité. Par exemple, une menace juridique (H2) ou une question sur la commande d’une autre personne (H4). Il serait donc étiqueté false, même si la politique de Grace indique true. La colonne label_how rend cela visible, pour qu’un réviseur sache quelles étiquettes sont fiables.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Vérification pratique : quelles sources de votre projet peuvent servir de données d'entraînement? Comment montrez-vous que data/source/needs_human.csv est le fichier décrit par la provenance?
Afficher la réponse
python -m adapt sources liste l’utilisation permise de chaque source. tickets et needs_human peuvent servir à l’entraînement, à la validation et à l’enseignement. known_wrong_labels sert uniquement à retirer des enregistrements, et les cas d’évaluation servent uniquement à l’évaluation. La vérification d’empreinte confirme le fichier : shasum -a 256 -c SHA256SUMS dans data/ affiche source/needs_human.csv: OK. Et python -m pytest réussit test_every_data_file_matches_its_recorded_source (12 tests réussis au total).
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Un exemple d’entraînement comprend une entrée et sa cible : ici, la même instruction, le billet et une réponse écrite par
format_answer. Un modèle copie toutes les habitudes de ses exemples. - La provenance indique l’origine des données, la méthode d’étiquetage et les utilisations permises :
data/sources.toml, avec une empreinte par fichier. - 98 étiquettes
needs_humanont été vérifiées par lecture selon la règle H1; 4 598 ne l’ont pas été. Aucun enregistrement d’entraînement ne montre les règles H2 à H5 ni le français. - Les cas d’évaluation restent réservés à l’évaluation, même lorsqu’ils contiennent les exemples qui manquent aux données d’entraînement.
- Votre projet contient
sources,recordet les données sources :12 passed.
Leçon suivante : Nettoyer, séparer et chercher les fuites