Aller au contenu
English

Structure des exemples et autorisations

  • Leçon 3
  • 40 min
  • Module 2 : Préparer des données d'entraînement fiables

Où nous en sommes

Dans le module 1, nous avons classé les défaillances et rédigé une note de décision : aller de l'avant pour une expérience. Maintenant, il nous faut des exemples d'entraînement. Mais un modèle copie toutes les habitudes de ses exemples, même le désordre, et certains enregistrements ne nous appartiennent peut-être pas. Dans cette leçon, nous transformons les billets en exemples de même structure, et nous notons l'origine de chacun et ses utilisations permises, comme un dossier de billets résolus pour une nouvelle employée.

Leçon 3 sur 12 · Réglage fin et adaptation des modèles d'IAStructure des exemples et autorisations

Ce que vous saurez faire

Transformez les billets en exemples d’entraînement de même structure. Notez l’origine de chaque enregistrement et ses utilisations permises. Un modèle copie toutes les habitudes de ses exemples.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 40 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

  • Votre projet ~/projects/ticket-adapter à la fin du module 1, avec son .venv actif : python -m pytest affiche 9 passed (9 tests réussis). Sinon, copiez l’instantané end-of-m01, comme l’explique la page des instantanés.
  • Le dépôt des exercices dans ~/projects/nextia-learning-labs, présenté sur la même page.

Aucun téléchargement de modèle et pas encore de PyTorch. Testé avec Python 3.12 sur macOS. Les commandes Windows (PowerShell) sont écrites, mais non testées.

Une nouvelle employée du soutien apprend avec un dossier de billets résolus. Chaque feuille contient le message d’un client et la réponse de l’équipe. Elle copie ce qu’elle voit. Si la moitié des feuilles nomment l’équipe « Payment » et l’autre moitié « billing », elle utilise les deux noms.

Certaines feuilles viennent aussi de son examen final. D’autres viennent du classeur d’une autre entreprise que Larkfield n’a pas le droit de copier. Personne n’a noté lesquelles. Maintenant, personne ne peut dire si son résultat d’examen signifie quelque chose, ni si le dossier peut être utilisé. Un modèle apprend de la même façon, mais encore plus littéralement. Cette leçon règle les deux problèmes : une structure unique pour chaque exemple et un registre de l’origine de chacun.

La tâche précise exige un seul format de réponse, et Préciser la défaillance a créé une vérification stricte pour ce format. Voici trois façons d’écrire la même réponse et le résultat de la vérification pour chacune. Lancez python dans le dossier du projet et collez le code :

from adapt.answer import format_answer, parse_answer
replies = [
'{"team": "payment", "needs_human": false}',
'{"needs_human": "no", "team": "Payment"}',
"Team: payment. No person needed.",
]
for reply in replies:
answer, problem = parse_answer(reply)
print(f"{reply:42s} -> {answer or problem}")
print(format_answer("payment", False))
{"team": "payment", "needs_human": false} -> {'team': 'payment', 'needs_human': False}
{"needs_human": "no", "team": "Payment"} -> unknown team
Team: payment. No person needed. -> not JSON
{"team": "payment", "needs_human": false}

Les trois signifient la même chose pour une personne, mais seule la première réussit la vérification. Si les exemples d’entraînement mélangent les trois, le modèle apprend qu’elles sont toutes acceptables et utilise parfois chacune. Le modèle a fait exactement ce que les données montraient.

L’idée : une structure unique, écrite par une seule fonction

Section intitulée « L’idée : une structure unique, écrite par une seule fonction »

Un exemple d’entraînement comprend une entrée et la sortie que le modèle doit apprendre à écrire : sa cible. Pour un modèle de conversation, l’exemple est une courte conversation dans le format prévu pour ce modèle. Le message système donne l’instruction, le message utilisateur contient le billet et le message assistant contient la réponse.

Trois conventions garantissent que seuls le billet et ses étiquettes changent d’un exemple à l’autre :

  1. Le message système contient la même courte instruction dans chaque enregistrement. Le modèle de base est aussi testé avec elle.
  2. Une seule fonction, format_answer, écrit toutes les réponses. Sa sortie est la dernière ligne ci-dessus : le même ordre des clés, les noms d’équipes en minuscules, true ou false, et rien d’autre.
  3. Les détails destinés aux personnes restent à côté des messages : la source, la méthode d’étiquetage, le style d’écriture.
Billet T-60001 comme exemple d'entraînement : trois messages empilés. Système : la courte instruction, identique dans chaque enregistrement. Utilisateur : le billet sur un sécateur facturé 39,49 $ au lieu de 34,99 $, l'entrée, différente dans chaque enregistrement. Assistant : la réponse JSON team payment, needs_human false, la cible, écrite par format_answer. En dessous, un encadré en pointillé contient les champs destinés aux personnes, à côté des messages : source tickets, label_how not read : no safety word, style plain.
Un exemple d'entraînement. Seuls le billet et sa réponse changent d'un enregistrement à l'autre; les champs de provenance restent à côté des messages.
Description textuelle du diagramme

Le diagramme présente le billet source T-60001 comme exemple d’entraînement. Le premier encadré contient le message système : la courte instruction, identique dans chaque enregistrement. Le deuxième contient le message utilisateur : le billet, qui constitue l’entrée et diffère dans chaque enregistrement. Le troisième encadré, en vert, contient le message assistant : la réponse {"team": "payment", "needs_human": false}, la cible que le modèle apprend à écrire. Une seule fonction l’écrit, ce qui garantit un format unique. Un encadré en pointillé, en bas, contient les champs destinés aux personnes, que le modèle ne voit jamais. Ce sont la source (tickets, billets), la méthode d’étiquetage (not read: no safety word, non lu : aucun mot lié à la sécurité) et le style (plain, simple).

La provenance répond par écrit à trois questions. D’où viennent ces données? Qui a créé leurs étiquettes, et comment? À quoi pouvons-nous les utiliser? La dernière réponse est l’utilisation permise. Dans une entreprise, elle découle des contrats, des licences, des lois sur la vie privée et du consentement des clients. Une personne responsable de la protection des données en décide, pas l’ingénieur qui veut entraîner le modèle.

Le projet conserve la provenance dans data/sources.toml : l’origine, la licence, l’utilisation permise et l’empreinte SHA-256 de chaque source. Une empreinte est un long nombre calculé à partir des octets du fichier; un seul octet modifié la change. Un modèle de langage a inventé les billets pour les cours; aucun client réel ne les a écrits. La licence est donc simple (CC0, libre pour toute utilisation).

Les étiquettes needs_human demandent le plus d’attention, car elles ont été créées pour le cours. L’auteur du cours a lu seulement les 98 billets d’entraînement contenant un mot de la liste de sécurité du cours d’évaluation. Il a appliqué la règle H1, sur la sécurité. Parmi ces billets, 89 nécessitent une personne et 9 n’en nécessitent pas. Un des 9 dit seulement que « la boîte contenant le filet de sécurité manque ». Les 4 598 autres billets n’ont pas été lus. Leur étiquette est false parce qu’ils ne contiennent aucun mot de sécurité : une hypothèse, pas une vérification.

Flux : 4 696 billets d'entraînement passent par la question : un mot de la liste de sécurité? Oui : 98 billets lus par l'auteur du cours selon la règle H1, donnant 89 true et 9 false. Non : 4 598 billets non lus, tous étiquetés false, ce qui est une hypothèse. Un encadré en pointillé indique que les menaces juridiques (H2), les demandes hors politique (H3), les commandes d'une autre personne (H4), les demandes illisibles (H5) et les billets en français n'ont jamais été étiquetés dans ces données.
Comment les étiquettes needs_human ont été créées. Chaque étiquette consigne son parcours dans la colonne label_how.
Description textuelle du diagramme

Les 4 696 billets d’entraînement passent par une seule question. Le texte contient-il un mot de la liste de sécurité, comme feu, fumée ou sécurité? Pour 98 billets, la réponse est oui. L’auteur du cours a lu chacun selon la règle H1 : 89 nécessitent une personne et 9 n’en nécessitent pas. Pour 4 598 billets, la réponse est non. Personne ne les a lus, et ils sont étiquetés false. C’est une hypothèse, affichée en orange. Un encadré en pointillé en dessous indique ce que ces données n’étiquettent jamais. Ce sont les menaces juridiques (H2), les demandes hors politique (H3), les commandes d’une autre personne (H4), les demandes illisibles (H5) et les billets en français.

La colonne label_how rend cette différence visible dans chaque enregistrement. Un réviseur voit ainsi quelles étiquettes une personne a vérifiées. Le diagramme montre aussi une lacune : aucun billet d’entraînement n’est étiqueté selon les règles H2 à H5, ni écrit en français.

Exercice guidé : ajouter les sources à votre projet

Section intitulée « Exercice guidé : ajouter les sources à votre projet »
  1. Dans ~/projects/ticket-adapter, avec .venv actif, copiez les fichiers de cette leçon depuis l’instantané end-of-m02. Le nouveau __main__.py ajoute sources, record et prepare (pour la prochaine leçon).

    Fenêtre de terminal
    S=../nextia-learning-labs/C12/snapshots/end-of-m02
    mkdir -p data/source
    cp "$S/adapt/records.py" "$S/adapt/__main__.py" adapt/
    cp "$S"/data/source/* data/source/
    cp "$S/data/sources.toml" "$S/data/SHA256SUMS" data/
    cp "$S/tests/test_records.py" tests/
  2. Lancez les tests :

    Fenêtre de terminal
    python -m pytest

    La dernière ligne indique 12 passed (12 tests réussis). Les trois nouveaux tests vérifient le format de conversation, les empreintes et les 89 étiquettes.

  3. Lisez la provenance de chaque source :

    Fenêtre de terminal
    python -m adapt sources
    tickets: data/source/tickets.csv
    4,696 ticket messages with a team: the TRAINING split of the deep learning course
    licence CC0 1.0; permitted use: training, validation and teaching
    needs_human: data/source/needs_human.csv
    needs_human for each of the 4,696 tickets
    licence CC0 1.0; permitted use: training, validation and teaching
    known_wrong_labels: data/source/known_wrong_labels.txt
    70 ticket IDs whose team is wrong on purpose (1.5% label noise, put in by the deep learning course)
    licence CC0 1.0; permitted use: removing wrong labels
    evaluation: data/eval/cases.jsonl
    271 labelled cases of the evaluation course: dev 102, holdout 98, contaminated 71
    licence CC0 1.0; permitted use: EVALUATION ONLY: never training. dev for choices, holdout for the final decision.

    Trois utilisations permises : les 70 étiquettes erronées servent uniquement à retirer des enregistrements. Les cas d’évaluation ne peuvent jamais servir de données d’entraînement.

  4. Affichez un billet de sécurité comme exemple d’entraînement :

    Fenêtre de terminal
    python -m adapt record T-60003
    {
    "id": "T-60003",
    "messages": [
    {
    "role": "system",
    "content": "You sort support tickets for Larkfield, a home and garden shop. Reply with JSON only, in this form: {\"team\": \"delivery\" or \"returns\" or \"payment\" or \"warranty\" or \"account\", \"needs_human\": true or false}"
    },
    {
    "role": "user",
    "content": "Hello, I hope I'm writing to the right place. Last weekend I was cleaning the gutters at the back of the house using the step ladder I bought from you a few months ago. Everything was fine until I climbed to the third rung and the left leg made a loud cracking noise and slid outwards on the patio. I managed to grab the gutter and stay upright, but it was quite a scare and my wife was very upset when she saw me. Afterwards I looked at the ladder and found a hairline crack in the metal near the hinge on that same leg, and the rubber foot is also loose. I haven't used it since and it's standing in the garage now. Could you please advise how I should report this safety problem, and whether the ladder should be inspected or replaced? Thank you for your help."
    },
    {
    "role": "assistant",
    "content": "{\"team\": \"warranty\", \"needs_human\": true}"
    }
    ],
    "team": "warranty",
    "needs_human": true,
    "style": "long",
    "source": "tickets",
    "label_how": "read: a safety concern or an injury (H1)"
    }

    Comparez-le avec python -m adapt record T-60001, le court billet de paiement du diagramme. Son label_how est not read: no safety word.

  5. Vérifiez que les fichiers de données correspondent aux fichiers consignés. Sur macOS et Linux, ouvrez data/ et comparez chaque empreinte :

    Fenêtre de terminal
    cd data && shasum -a 256 -c SHA256SUMS; cd ..

    Chacune des cinq lignes se termine par OK (conforme). Sur Windows, comparez Get-FileHash data\source\needs_human.csv avec la ligne sha256 dans data/sources.toml. Sur tous les systèmes, un test effectue la même vérification.

Erreur courante

Une étiquette corrigée à la main

Symptôme : après qu’un collègue a « corrigé » une étiquette, python -m pytest affiche 3 failed (3 tests échoués), avec assert 90 == 89. shasum -a 256 -c SHA256SUMS affiche source/needs_human.csv: FAILED (échec).

Cause : dans le test de l’auteur, T-60001 est passé à true,H1, mais a conservé not read: no safety word. Le fichier ne correspond plus à son empreinte.

Diagnostic : la vérification d’empreinte échouée nomme le fichier. Comparez-le au fichier de l’instantané pour trouver la ligne modifiée.

Correction : si la modification est erronée, copiez de nouveau le fichier de l’instantané. Si elle est correcte, consignez une nouvelle version des données. Écrivez la méthode d’étiquetage dans la colonne how. Ensuite, mettez à jour l’empreinte dans data/sources.toml et data/SHA256SUMS.

Faites les deux avant chaque entraînement, même un petit. Une fonction de formatage et un fichier de provenance prennent environ une heure. Sans eux, vous ne pouvez pas expliquer un mauvais résultat ni répondre à la première question d’une révision : « Pouvons-nous utiliser ces données? »

Les données réelles demandent plus de travail. Les billets réels contiennent des noms, des adresses et des historiques de commandes. Les utiliser pour l’entraînement exige donc une base juridique et une décision sur les données personnelles. Pour un jeu de données public, lisez la licence à la source, car certaines licences interdisent l’utilisation commerciale.

Discussion : peut-on entraîner le modèle sur les cas d’évaluation?

Section intitulée « Discussion : peut-on entraîner le modèle sur les cas d’évaluation? »

Tomás regarde l’encadré en pointillé du diagramme des étiquettes et a une idée.

  • Tomás : « Les données d’entraînement n’ont aucun billet en français et rien pour les règles H2 à H5. Mais les cas d’évaluation ont exactement ça. Les cas de développement seuls ont 10 billets en français et 13 nécessitant une personne selon H2 à H5. Grace les a déjà étiquetés. Ajoutons-les aux données d’entraînement. »
  • Priya : « Alors les cas de développement et les cas réservés ne mesurent plus rien. On testerait l’adaptateur sur ses propres devoirs. »
  • Grace : « J’ai écrit ces étiquettes pour tester l’assistant. Le fichier indique : évaluation seulement. »
  • Kwame : « Écrire de nouveaux billets en français et pour H2 à H5 prend des heures à Grace. La règle vaut-elle ce coût? »

Avant de continuer, répondez à ces questions :

  1. Après un entraînement sur les cas de développement, que vous dirait le score de développement de l’adaptateur?
  2. Si les 13 cas H2 à H5 et les 10 cas en français passaient à l’entraînement, que resterait-il pour mesurer ces sous-groupes?
  3. Que pourrait faire l’équipe à la place pour obtenir des exemples de ces règles?

La réponse du cours. Non. La première raison est l’utilisation permise dans data/sources.toml : le propriétaire de ces étiquettes les a fournies uniquement pour l’évaluation. Les nombres donnent la deuxième raison. Les données de développement contiennent seulement 13 cas H2 à H5 et 10 billets en français. S’ils passent à l’entraînement, aucun cas ne reste pour montrer si l’adaptateur a appris ces règles. Un score qui ne peut pas échouer n’est pas une preuve. La prochaine leçon ajoute une vérification qui rejette tout enregistrement d’entraînement copiant presque un cas d’évaluation.

Ce qui changerait la réponse : de nouveaux enregistrements écrits pour l’entraînement, avec leur propre entrée dans sources.toml. L’exercice du module vous demande d’en écrire quelques-uns. Ou un ensemble étiqueté plus grand, séparé en données d’entraînement et de test avant que quelqu’un le consulte.

Vérifiez votre compréhension

Un collègue écrit 100 réponses d'entraînement à la main, certaines comme {"team": "Payment", ...} et d'autres au bon format. Prédisez le résultat de l'adaptateur à la vérification stricte des réponses et expliquez comment le projet évite ce problème.

Afficher la réponse

L’adaptateur apprend que les deux formes sont acceptables. Il écrit donc parfois le nom d’équipe avec une majuscule. La vérification stricte rejette ces réponses avec unknown team (équipe inconnue), ce qui réduit la proportion de réponses valides. Le projet évite ce problème : une seule fonction, format_answer, écrit toutes les réponses. Les données d’entraînement montrent donc un seul format.

Vérifiez votre compréhension

Le label_how de T-60001 est « not read : no safety word ». Que vous indique-t-il sur son needs_human = false? Quel type de billet d'entraînement pourrait recevoir une étiquette erronée de cette façon?

Afficher la réponse

Personne n’a lu le billet. Son étiquette est false uniquement parce qu’il ne contient aucun mot de la liste de sécurité : une hypothèse, pas une vérification. Un billet nécessitant une personne selon une autre règle n’a souvent aucun mot de sécurité. Par exemple, une menace juridique (H2) ou une question sur la commande d’une autre personne (H4). Il serait donc étiqueté false, même si la politique de Grace indique true. La colonne label_how rend cela visible, pour qu’un réviseur sache quelles étiquettes sont fiables.

Vérifiez votre compréhension

Vérification pratique : quelles sources de votre projet peuvent servir de données d'entraînement? Comment montrez-vous que data/source/needs_human.csv est le fichier décrit par la provenance?

Afficher la réponse

python -m adapt sources liste l’utilisation permise de chaque source. tickets et needs_human peuvent servir à l’entraînement, à la validation et à l’enseignement. known_wrong_labels sert uniquement à retirer des enregistrements, et les cas d’évaluation servent uniquement à l’évaluation. La vérification d’empreinte confirme le fichier : shasum -a 256 -c SHA256SUMS dans data/ affiche source/needs_human.csv: OK. Et python -m pytest réussit test_every_data_file_matches_its_recorded_source (12 tests réussis au total).

Récapitulatif

  • Un exemple d’entraînement comprend une entrée et sa cible : ici, la même instruction, le billet et une réponse écrite par format_answer. Un modèle copie toutes les habitudes de ses exemples.
  • La provenance indique l’origine des données, la méthode d’étiquetage et les utilisations permises : data/sources.toml, avec une empreinte par fichier.
  • 98 étiquettes needs_human ont été vérifiées par lecture selon la règle H1; 4 598 ne l’ont pas été. Aucun enregistrement d’entraînement ne montre les règles H2 à H5 ni le français.
  • Les cas d’évaluation restent réservés à l’évaluation, même lorsqu’ils contiennent les exemples qui manquent aux données d’entraînement.
  • Votre projet contient sources, record et les données sources : 12 passed.

Leçon suivante : Nettoyer, séparer et chercher les fuites