Aller au contenu
English

Préciser la défaillance

  • Leçon 1
  • 40 min
  • Module 1 : Décider s'il faut adapter le modèle

Où nous en sommes

Dans Évaluer et tester les systèmes d'IA, vous avez évalué un assistant hébergé sur des cas fixes et trouvé où il échoue. Quand un assistant échoue, quelqu'un dit vite : « Faisons le réglage fin de notre propre modèle, et il connaîtra nos politiques. » Mais le réglage fin est la solution la plus chère, et la mauvaise pour la plupart des défaillances. Dans cette leçon, nous déterminons d'abord ce qui ne fonctionne pas exactement, comme un bon mécanicien qui demande ce qui se passe quand vous tournez la clé.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité
Leçon 1 sur 12 · Réglage fin et adaptation des modèles d'IAPréciser la défaillance

Ce que vous saurez faire

Déterminez exactement ce qui ne fonctionne pas avant de choisir une solution. Le réglage fin coûte le plus cher et ne convient pas à la plupart des défaillances.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 40 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

  • Python 3.12 ou plus récent, un terminal, un éditeur et environ 35 Mo d’espace disque. Aucun compte, clé, téléchargement de modèle ou paiement.

Testé sur macOS avec Python 3.12.13. Les commandes Windows et Linux sont fournies, mais n’ont pas été testées.

Votre voiture ne démarre pas, et un ami dit : « Achetez un nouveau moteur. » Mais un bon mécanicien demande d’abord : que se passe-t-il quand vous tournez la clé? Aucun son indique un problème de batterie. Le moteur tourne, mais ne démarre pas : vérifiez le carburant. Chaque symptôme a sa propre solution peu coûteuse. Vous remplacez le moteur seulement quand les solutions peu coûteuses ne peuvent pas fonctionner.

Le problème : « faites un réglage fin, et il connaîtra nos politiques »

Section intitulée « Le problème : « faites un réglage fin, et il connaîtra nos politiques » »

L’assistant de soutien de Larkfield lit chaque billet de soutien. Il choisit l’équipe qui le reçoit et détermine s’il faut une personne (needs_human). Grace, la responsable du soutien, a écrit cinq règles pour cela, H1 à H5. Par exemple, une inquiétude liée à la sécurité (H1) ou une menace juridique (H2). L’assistant utilise chat-small, un grand modèle hébergé, avec une longue requête (prompt). Tomás, un ingénieur en IA, veut un changement : « Faisons le réglage fin de notre propre petit modèle. Il coûte moins cher, répond plus vite et protège la confidentialité. Et il connaîtra nos politiques. »

Le petit modèle du cours est SmolLM2-135M-Instruct, du cours sur l’apprentissage profond. Dans le billet T-64707, un client a été facturé deux fois. La tâche demande exactement un objet JSON :

Système Sa réponse à T-64707
Assistant hébergé {"team": "payment", "needs_human": false}
Petit modèle, consigne courte You have ordered the bathroom cabinet last Tuesday, order LK-561208. It came Friday, all fine, put it up Saturday.

Le petit modèle a continué l’histoire du client au lieu de répondre. Tomás dit : « C’est pour ça qu’on fait un réglage fin. » Peut-être. Mais « il échoue » ne dit pas comment il échoue, et chaque type de défaillance demande une solution différente.

L’idée : classer la défaillance, puis choisir la solution

Section intitulée « L’idée : classer la défaillance, puis choisir la solution »

Le réglage fin consiste à entraîner un modèle existant un peu plus, sur vos propres exemples, pour modifier ses poids. Un adaptateur LoRA est un petit ensemble de poids supplémentaires que vous entraînez et ajoutez au modèle. Le module 3 montre comment faire. Commencez donc par classer chaque erreur dans l’un de ces quatre types :

  1. Connaissances manquantes. Le modèle ne peut pas connaître un fait, comme les délais de livraison d’aujourd’hui ou une politique modifiée la semaine dernière. Le réglage fin ne convient pas, car les faits changent, mais pas les poids. La récupération (chercher le fait et l’ajouter à la requête) ou un outil (appeler une fonction qui le connaît) garde la réponse à jour.
  2. Format incohérent. La réponse n’a pas la forme requise. La sortie structurée impose cette forme. Choisir dans une liste fixe de réponses fait aussi l’affaire : ici, seules 10 réponses sont valides (5 équipes × vrai ou faux).
  3. Langage du domaine. Le modèle utilise des mots que l’entreprise n’utilise pas, par exemple une équipe appelée « billing » (facturation). Nommez les cinq équipes et expliquez ce que chacune fait dans la requête.
  4. Comportement dans la tâche. La réponse a la bonne forme et les bons mots, mais la décision est mauvaise. Essayez d’abord une meilleure requête avec des règles et des exemples. Si cela ne suffit pas, des exemples d’entraînement et le réglage fin peuvent enseigner le comportement.
Un arbre de décision. La question en haut : de quel type d'erreur s'agit-il? Classez d'abord les erreurs sur les cas de développement. Quatre branches. Connaissances manquantes : récupération ou outil, pas de réglage fin, car les faits changent; chez Larkfield, cela ne fait pas partie de cette tâche. Format incohérent : sortie structurée ou choix parmi les 10 réponses valides, réglage fin seulement si ces options sont impossibles; le modèle hébergé en a 1, le petit modèle 102 sur 102. Langage du domaine : nommez les cinq équipes dans la requête; 0 pour les deux. Comportement dans la tâche : d'abord une meilleure requête avec des règles et des exemples, puis des exemples d'entraînement et du réglage fin; le modèle hébergé a 2 mauvaises équipes, 9 fausses alertes et 0 billet manqué, et pour le petit modèle, ce comportement est masqué. En bas : faites un réglage fin seulement pour le format ou le comportement dans la tâche, après avoir mesuré les solutions moins coûteuses, et seulement avec des exemples du bon comportement.
Chaque type d'erreur a sa propre solution la moins coûteuse. Les encadrés en pointillés montrent les comptes mesurés de Larkfield sur les 102 cas de développement, que vous reproduisez ci-dessous.
Description textuelle du diagramme

L’arbre commence par une question : de quel type d’erreur s’agit-il? Il a quatre branches, chacune indiquant la solution la moins coûteuse. Les connaissances manquantes mènent à la récupération ou à un outil, jamais au réglage fin, car les faits changent. Le format incohérent mène à la sortie structurée ou à un choix parmi les 10 réponses valides. Le réglage fin intervient seulement si ces options sont impossibles. Le langage du domaine mène à une requête qui nomme les cinq équipes. Le comportement dans la tâche mène d’abord à une meilleure requête, puis à des exemples d’entraînement et au réglage fin. Sous chaque branche, un encadré en pointillés donne le compte de Larkfield sur les cas de développement. Les connaissances manquantes ne font pas partie de cette tâche. Format : 1 pour le modèle hébergé (une réponse interrompue), 102 sur 102 pour le petit modèle. Langage du domaine : 0 pour les deux. Comportement dans la tâche : le modèle hébergé a 2 mauvaises équipes, 9 fausses alertes et 0 billet manqué. Pour le petit modèle, le format masque ce comportement. Un encadré rouge en bas donne la règle. Faites un réglage fin seulement pour le format ou le comportement dans la tâche, après avoir mesuré les solutions moins coûteuses. Et utilisez seulement des exemples du bon comportement.

Le projet du cours est ticket-adapter. Il provient du dépôt d’exercices du cours sous forme d’instantanés : des copies du projet au début et à la fin de chaque module.

  1. Ouvrez un terminal et allez dans votre dossier de projets : cd ~/projects.

  2. Si vous avez Git, clonez le dépôt d’exercices. Si vous l’avez cloné pour un cours précédent, exécutez plutôt git -C nextia-learning-labs pull.

    Fenêtre de terminal
    git clone https://github.com/Nextia-Intelligence/nextia-learning-labs.git

    Sans Git, téléchargez le fichier ZIP du dépôt et décompressez-le dans ~/projects. Son dossier est nextia-learning-labs-main : utilisez ce nom dans les prochaines étapes.

  3. Copiez l’instantané start (début) dans un nouveau dossier, puis allez dans ce dossier :

    Fenêtre de terminal
    cp -R nextia-learning-labs/C12/snapshots/start ticket-adapter
    cd ticket-adapter
  4. Créez et activez un environnement virtuel, puis installez les deux paquets :

    Fenêtre de terminal
    python3 -m venv .venv
    source .venv/bin/activate
    python -m pip install -r requirements-dev.txt

    Une ligne de la sortie commence par Successfully installed (installation réussie) et nomme pytest-9.1.1 et ruff-0.17.0. Vous pouvez ignorer l’avis concernant une nouvelle version de pip.

  5. Exécutez les tests, puis comptez les cas :

    Fenêtre de terminal
    python -m pytest
    python -m adapt cases

    La sortie se termine par ces lignes :

    tests/test_cases.py ... [100%]
    ============================== 3 passed in 0.01s ===============================
    271 cases, version 69bc4c1c556f (the evaluation course's set)
    dev 102 needs a person 23 boundary 14, difficult 30, french 10, needs_person 22, normal 12, unanswerable 14
    holdout 98 needs a person 24 boundary 14, difficult 29, french 10, needs_person 21, normal 11, unanswerable 13
    contaminated 71 needs a person 10 contaminated 71

Ce sont les 271 cas du cours d’évaluation : dev (développement) pour les choix courants, holdout (réserve) pour la décision finale seulement. Si vous ne voyez pas 3 passed (3 tests réussis), vérifiez que l’invite commence par (.venv). Pour repartir à zéro, copiez à nouveau l’instantané start.

Un petit exemple : quatre réponses, quatre décisions

Section intitulée « Un petit exemple : quatre réponses, quatre décisions »

Le projet impose une règle stricte pour une réponse valide : un objet JSON avec exactement les clés team et needs_human, une équipe connue, et true ou false. Tout le reste est invalide, même du texte ajouté après le JSON. Avant de poursuivre, classez ces quatre vraies réponses de développement dans les quatre types :

Cas Résultat attendu Réponse
T-64707 payment, false (petit modèle) You have ordered the bathroom cabinet last Tuesday…
T-65450 returns, false (hébergé) une réponse vide : il a utilisé ses 1 000 jetons (tokens) de sortie et a été interrompu
T-65388 returns, false (hébergé) {"team": "delivery", "needs_human": false}
T-64720 payment, false (hébergé) {"team": "payment", "needs_human": true}

T-64707 et T-65450 sont des erreurs de format : aucune réponse valide. T-65388 concerne le comportement dans la tâche : la réponse est valide, mais l’équipe est mauvaise. T-64720 concerne aussi le comportement dans la tâche : aucune règle n’envoie ce billet à une personne. C’est une fausse alerte.

adapt/failures.py classe chaque cas de cette façon. Copiez les fichiers de cette leçon depuis l’instantané end-of-m01. La variable de l’interpréteur de commandes S contient le long chemin :

Fenêtre de terminal
S=../nextia-learning-labs/C12/snapshots/end-of-m01
cp $S/adapt/answer.py $S/adapt/predictions.py $S/adapt/failures.py $S/adapt/scoring.py $S/adapt/__main__.py adapt/
cp -R $S/runs .
cp $S/tests/test_failures.py tests/

answer.py contient la vérification stricte. runs/predictions/ contient les réponses enregistrées des deux systèmes. Celles du modèle hébergé proviennent de l’exécution enregistrée du cours d’évaluation. Celles du petit modèle proviennent du modèle du module 4. Vous n’avez besoin d’aucun modèle pour le moment. La prochaine leçon explique scoring.py.

  1. Exécutez les tests. Vous voyez 6 passed (6 tests réussis).

  2. Listez les systèmes enregistrés :

    Fenêtre de terminal
    python -m adapt systems
    chat-small the hosted assistant: chat-small with the long policy prompt and strict structured output (recorded in the evaluation course)
    base-short SmolLM2-135M-Instruct, the short instruction only
  3. Classez les erreurs de l’assistant hébergé sur les cas de développement :

    Fenêtre de terminal
    python -m adapt failures chat-small

    Les premières lignes de la sortie :

    chat-small on dev: 12 of 102 cases have at least one mistake
    1 inconsistent format: no valid answer
    0 domain language: a team that Larkfield does not have
    2 task behaviour: valid answer, wrong team
    0 task behaviour: needs a person, not sent to one
    9 task behaviour: sent to a person, no rule applies

    Des exemples de chaque type suivent.

  4. Avant d’exécuter la commande, prédisez le même tableau pour le petit modèle. Puis exécutez python -m adapt failures base-short :

    base-short on dev: 102 of 102 cases have at least one mistake
    102 inconsistent format: no valid answer
    0 domain language: a team that Larkfield does not have
    0 task behaviour: valid answer, wrong team
    0 task behaviour: needs a person, not sent to one
    0 task behaviour: sent to a person, no rule applies
  • Both decisions right, needs a person : 23
  • Both decisions right : 67
  • False alarm: sent to a person, no rule applies : 9
  • Wrong team : 2
  • No valid answer : 1
L'assistant hébergé sur les 102 cas de développement, un carré par cas. Les deux décisions sont bonnes pour 90 cas, dont les 23 qui nécessitent une personne (points). Ses 12 erreurs : 9 fausses alertes, 2 mauvaises équipes et 1 réponse interrompue.
Description textuelle du graphique

Une grille de 102 carrés, un par cas de développement. Les deux décisions sont bonnes dans les 90 carrés bleu pâle. Parmi eux, 23 portent un point : ces billets nécessitent une personne, et l’assistant hébergé les a tous envoyés à une personne. Puis 9 carrés orange : des fausses alertes, des billets envoyés à une personne alors qu’aucune règle ne s’applique. Puis 2 carrés turquoise : une réponse valide avec la mauvaise équipe. Puis 1 contour gris : aucune réponse valide, car la réponse a été interrompue.

  • No valid answer, needs a person : 23
  • No valid answer : 79
Le petit modèle avec la consigne courte sur les mêmes 102 cas. Chaque carré est un contour : aucune réponse valide. Les 23 billets qui nécessitent une personne (points) ne parviennent à personne.
Description textuelle du graphique

Une grille de 102 carrés, tous en contours gris : aucun cas n’a de réponse valide. Parmi eux, 23 portent un point, car ces billets nécessitent une personne. Sans réponse valide, aucun ne parvient à une personne.

Les grilles répondent à la question du mécanicien. L’assistant hébergé échoue rarement, et surtout du côté sûr : des billets supplémentaires pour une personne, aucun billet manqué. Le petit modèle échoue seulement sur le format. On ignore s’il acheminerait bien les billets : aucune réponse ne permet de le juger.

Erreur courante

Zéro billet manqué, mais aucun n'est parvenu à qui que ce soit

Symptôme : le tableau du petit modèle indique 0 task behaviour: needs a person, not sent to one (comportement dans la tâche : nécessite une personne, mais pas envoyé à une personne). Sam, qui vient de rejoindre l’équipe, demande : « Donc, il ne manque jamais un billet de sécurité? »

Cause : une réponse sans résultat valide compte uniquement comme une erreur de format, car il n’y a aucune décision à juger. Les 23 billets qui nécessitent une personne sont masqués parmi les 102 erreurs de format.

Solution : lisez le tableau des défaillances avec le score, qui compte ce que chaque billet reçoit réellement. Exécutez python -m adapt score base-short :

base-short on dev: answers 0/102 | team 0/100 | needs a person: caught 0/23, false alarms 0 | decisions 0/102

L’absence de réponse compte comme un « non » : le billet ne parvient à personne.

Conséquence dans le travail en IA : un tableau des types d’erreurs sert à choisir une solution, pas à rapporter la sécurité.

Discussion : Larkfield doit-elle faire un réglage fin?

Section intitulée « Discussion : Larkfield doit-elle faire un réglage fin? »

L’équipe se réunit pour discuter de l’idée de Tomás, avec les deux tableaux de défaillances à l’écran.

  • Tomás : « Le petit modèle prend 0,40 seconde par billet contre 2,98, et les billets restent sur nos ordinateurs. Faisons un réglage fin, et il apprend le format et nos politiques en même temps. »
  • Priya, la scientifique des données : « La seule défaillance mesurée du petit modèle est le format, et il existe des solutions moins coûteuses. Et les politiques sont des faits qui changent. Si le délai de remboursement passe de 14 à 30 jours, on entraîne à nouveau? »
  • Kwame, l’architecte de solutions : « L’assistant hébergé coûte 0,35 $ US par 1 000 billets. Combien coûte un projet d’entraînement, et qui le maintient en marche? »
  • Grace : « Les clients remarquent d’abord une chose : un billet de sécurité qui ne parvient à personne. L’assistant hébergé a envoyé les 23 à une personne. »

Avant de poursuivre, répondez à ces questions :

  1. Quel type de défaillance le réglage fin corrige-t-il ici, et lequel ne corrige-t-il pas?
  2. « Il connaîtra nos politiques » est-il une bonne raison?
  3. Qu’essaieriez-vous avant tout entraînement?

La réponse du cours. L’assistant hébergé n’est pas défectueux : 9 fausses alertes (sûres, mais du travail supplémentaire), 2 mauvaises équipes et 1 réponse interrompue ne nécessitent aucun réglage fin. La défaillance du petit modèle concerne le format. Essayez donc d’abord la sortie structurée ou un choix fixe, puis mesurez à nouveau. « Connaître nos politiques » relève des connaissances manquantes : une politique apprise par entraînement devient périmée. Une vraie raison demeure : un petit modèle local pourrait être plus rapide, moins coûteux et plus confidentiel, s’il décide aussi bien. Cela relève du comportement dans la tâche, et seule une expérience peut le montrer.

Ce qui changerait la réponse : si l’assistant hébergé manquait des billets de sécurité, la qualité serait aussi une raison. Si la loi interdisait aux billets de quitter Larkfield, l’assistant hébergé ne serait tout simplement pas une option.

Faites un réglage fin pour un comportement dans la tâche ou un format que les solutions moins coûteuses n’ont pas corrigé. Utilisez beaucoup de bons exemples. Ne faites pas de réglage fin pour des faits qui changent, ni avant de mesurer les solutions moins coûteuses sur les mêmes cas. Cela coûte des exemples étiquetés, du temps d’entraînement, une nouvelle évaluation et une version de modèle à maintenir. Les modules 2 à 6 couvrent chacun de ces coûts.

Vérifiez votre compréhension

Pour chaque défaillance, nommez son type et la solution la moins coûteuse à essayer d'abord : (a) l'assistant annonce une livraison en 3 à 5 jours, mais Larkfield l'a changée à 2 à 4 jours la semaine dernière; (b) le modèle écrit l'objet JSON, puis « Hope this helps! » (j'espère que cela vous aide); (c) le modèle répond avec l'équipe « billing » (facturation).

Afficher la réponse

(a) Connaissances manquantes : un fait qui a changé. Mettez la politique actuelle dans la requête, ou utilisez la récupération ou un outil. Au prochain changement, le fait appris par réglage fin serait encore périmé. (b) Format incohérent : la vérification stricte rejette le texte ajouté après le JSON. Utilisez une sortie structurée, ou choisissez parmi les 10 réponses valides. (c) Langage du domaine : Larkfield n’a pas d’équipe de facturation. Nommez les cinq équipes dans la requête et expliquez ce que chacune fait.

Vérifiez votre compréhension

Le tableau des défaillances du petit modèle indique 0 billet « nécessite une personne, mais ne lui est pas transmis ». Tomás dit : « Bon, il est sûr. » Que répondez-vous, et quelle commande le montre?

Afficher la réponse

Le petit modèle n’a donné aucune réponse valide. Chaque cas compte donc seulement comme une erreur de format, et les autres types affichent 0. python -m adapt score base-short montre le résultat réel : caught 0/23 (0 cas détecté sur 23). Un billet de soutien sans réponse valide est traité comme un « non » et n’est donc transmis à personne. Un tableau des types d’erreurs vous aide à choisir une solution; ce n’est pas un rapport de sécurité.

Vérifiez votre compréhension

Quelles preuves vous feraient recommander le réglage fin d'un petit modèle pour l'acheminement chez Larkfield? Nommez deux résultats favorables et un résultat qui l'empêcherait.

Afficher la réponse

Favorables : une méthode moins coûteuse corrige le format, mais beaucoup d’erreurs d’acheminement ou de besoin d’intervention humaine restent. Une meilleure requête ne les corrige pas (comportement dans la tâche). Et vous avez assez de bons exemples autorisés montrant les bonnes décisions. Un besoin d’affaires, comme la rapidité, le coût ou la conservation des données chez Larkfield, appuie aussi ce choix. Empêcherait : les erreurs viennent surtout de connaissances manquantes. Ou une meilleure requête ou une sortie structurée permet déjà au petit modèle d’atteindre les cibles. Toute version qui manque un billet nécessitant une personne empêche aussi ce choix, quels que soient les autres résultats.

Études de cas de ce cours

À la fin du cours, vous appliquez ce que vous avez appris à un projet réaliste, des données jusqu’à la recommandation. Terminez-en au moins une pour obtenir le certificat; les autres sont facultatives.

  • Cette équipe doit-elle faire un réglage fin?De bout en bout sur un jeu de données public sous licence claire : une référence avec une requête seulement, un petit adaptateur entraîné sur le processeur, la même comparaison sur des cas réservés et une note de décision écrite.

Récapitulatif

  • Classez d’abord la défaillance. Connaissances manquantes : récupération ou outil. Format incohérent : sortie structurée ou choix fixe. Langage du domaine : étiquettes dans la requête. Comportement dans la tâche : meilleure requête, puis réglage fin.
  • L’assistant hébergé échoue dans 12 des 102 cas de développement : 9 fausses alertes, 2 mauvaises équipes, 1 réponse coupée. Il ne manque aucun billet nécessitant une personne.
  • Le petit modèle ne donne aucune réponse valide dans les 102 cas et détecte donc 0 cas sur 23.
  • Les politiques sont des faits qui changent. « Il connaîtra nos politiques » n’est donc pas une raison de faire un réglage fin. La rapidité, le coût et la vie privée sont des raisons de le tester.
  • Les modèles changent vite : ces nombres décrivent un moment précis; la méthode reste valable.

Ensuite, vous notez les cibles qu’un modèle adapté doit atteindre et son coût acceptable, avant que quiconque l’entraîne.

Leçon suivante : Définir la réussite et les contraintes