Définir la réussite et les contraintes
- Leçon 2
- 35 min
- Module 1 : Décider s'il faut adapter le modèle
Où nous en sommes
Dans la dernière leçon, nous avons classé les défaillances et constaté que l'assistant hébergé n'a pas besoin de réglage fin. La vitesse, le coût et la confidentialité restent des raisons de tester un petit modèle. Mais après l'entraînement, chaque résultat ressemble à un progrès, et la personne qui a fait le travail veut qu'il réussisse. Dans cette leçon, nous écrivons les cibles, les contraintes et une règle d'arrêt avant tout entraînement, comme une liste écrite à la maison avant d'aller chez le concessionnaire.
Leçon 2 sur 12 · Réglage fin et adaptation des modèles d'IADéfinir la réussite et les contraintes
1. Décider s'il faut adapter le modèle
2. Préparer des données d'entraînement fiables
3. Comprendre les méthodes d'adaptation
4. Mener une expérience contrôlée
5. Évaluer au-delà de la perte d'entraînement
6. Empaqueter et maintenir l'adaptation
7. Études de cas
Ce que vous saurez faire
Écrivez ce qu’un modèle adapté doit atteindre et ce qu’il peut coûter avant de l’entraîner. Ainsi, les preuves décident, pas les espoirs de la personne qui a fait le travail.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Les quatre types de défaillance et les deux tableaux de défaillances de Larkfield, dans Préciser la défaillance.
- Les problèmes bloquants et les régressions acceptables, dans Établir une référence de base, dans le cours d’évaluation.
Ce qu’il vous faut sur votre ordinateur
- Le projet
ticket-adapterde la dernière leçon, avec.venvactif :python -m pytestdonne6 passed(6 tests réussis). Sinon, copiez de nouveau l’instantanéstart(début) et répétez les étapes de cette leçon.
Une liste avant d’aller chez le concessionnaire
Section intitulée « Une liste avant d’aller chez le concessionnaire »Avant d’acheter une voiture d’occasion, vous écrivez une courte liste à la maison. Dépenser au plus 8 000, avoir cinq places et réussir une inspection des freins. Chez le concessionnaire, une belle voiture avec une excellente chaîne audio coûte 9 500, et elle vous tente. La liste vous protège de votre propre enthousiasme. Un élément reste non négociable, peu importe le prix : aucune chaîne audio ne compense de mauvais freins.
Le problème : après l’entraînement, chaque résultat semble être un progrès
Section intitulée « Le problème : après l’entraînement, chaque résultat semble être un progrès »Imaginez que l’expérience est terminée et que le petit modèle adapté répond en JSON valide 102 fois sur 102. Comparé aux 0 sur 102 du modèle de base, c’est un énorme progrès. Comparé aux 101 sur 102 de l’assistant hébergé, ce n’est rien de nouveau. Sans cible écrite à l’avance, l’équipe choisit la comparaison après avoir vu le résultat, et le résultat gagne toujours.
L’idée : écrire d’abord les cibles, les contraintes et une règle d’arrêt
Section intitulée « L’idée : écrire d’abord les cibles, les contraintes et une règle d’arrêt »- Une cible est un nombre que le résultat doit atteindre, sur des cas définis, mesuré par une commande définie. Par exemple : la bonne équipe pour au moins 95 % des cas de développement.
- Une contrainte limite les moyens d’y arriver : les données permises, le temps, la mémoire, l’argent et les besoins de déploiement.
- Une règle d’arrêt est un résultat qui met fin au travail, quels que soient les autres résultats. Ce sont les freins dans la liste pour la voiture.
- Une note de décision consigne tout cela sur une page avant l’entraînement. Elle autorise ou refuse la prochaine étape, ici une petite expérience.
De bonnes cibles viennent du système que vous avez. L’assistant hébergé fixe le niveau à atteindre : un adaptateur moins bon doit être nettement plus rapide, moins cher ou plus confidentiel pour en valoir la peine.
Description textuelle du diagramme
Le diagramme comporte trois parties. À gauche figurent les six cibles de targets.toml, avec les valeurs mesurées de l’assistant hébergé sur les cas de développement. Réponses valides : au moins 99 %; l’assistant hébergé en a 101 sur 102. Bonne équipe : au moins 95 %; hébergé 97 sur 100. Besoin d’une personne détecté : 100 %; hébergé 23 sur 23. Cette cible a une bordure rouge. Fausses alertes : au plus 12; hébergé 9. Deux décisions correctes : au moins 88 %; hébergé 90 sur 102. Temps médian par réponse : au plus 1,0 seconde; hébergé 2,98 secondes. À droite figurent trois contraintes. Premièrement, seulement les données que Larkfield peut utiliser pour l’entraînement, jamais les cas d’évaluation. Deuxièmement, un entraînement de moins de 30 minutes et de 3 Go de mémoire sur un portable, sans tâche payante. Troisièmement, un modèle de base à version fixée, des vérifications fixes et un retour au modèle hébergé. En dessous, une boîte rouge contient la règle d’arrêt, liée à la cible de détection du besoin d’une personne. Un seul billet qui nécessite une personne sans lui parvenir entraîne un refus, peu importe le prix. Une note indique que tout est écrit avant l’entraînement. Les vérifications se font sur les données de développement pendant le choix, puis une fois sur les données réservées à la fin.
La plupart des cibles sont légèrement inférieures aux résultats de l’assistant hébergé. Une petite perte de qualité peut valoir un grand gain de vitesse. Ce n’est pas le cas de la cible de détection du besoin d’une personne. L’assistant hébergé échoue seulement à la cible de temps, la vraie raison de l’expérience.
Un petit exemple : le coût est-il une raison?
Section intitulée « Un petit exemple : le coût est-il une raison? »Tomás dit qu’un petit modèle coûte moins cher. Kwame vérifie avec des chiffres. L’exécution enregistrée de l’assistant hébergé a coûté en moyenne 0,000346 $ US par billet de développement. Larkfield reçoit environ 822 billets par jour. C’est une hypothèse tirée de la journée moyenne de Mettre à l’échelle les API et les charges de travail d’IA :
- par jour : 822 × 0,000346 $ US = 0,284 $ US, soit environ 0,28 $ US
- par mois de 30 jours : 0,284 $ US × 30 = 8,53 $ US
Un petit modèle peut donc économiser au plus environ 8,53 $ US par mois. Et quelqu’un doit encore payer le travail nécessaire pour le créer et le maintenir. Le coût n’est pas une raison ici. La vitesse et la confidentialité peuvent l’être. Les prix changent : vérifiez la page actuelle du fournisseur avant de refaire ce calcul.
Ajouter les cibles au projet
Section intitulée « Ajouter les cibles au projet »S=../nextia-learning-labs/C12/snapshots/end-of-m01cp $S/adapt/targets.py adapt/cp $S/targets.toml $S/README.md .cp -R $S/docs .cp $S/tests/test_scoring.py tests/$S = "..\nextia-learning-labs\C12\snapshots\end-of-m01"Copy-Item $S\adapt\targets.py adapt\Copy-Item $S\targets.toml, $S\README.md .Copy-Item -Recurse $S\docs .Copy-Item $S\tests\test_scoring.py tests\targets.toml contient les six cibles, avec les valeurs de l’assistant hébergé en commentaires. adapt/targets.py vérifie un système par rapport à ces cibles. docs/decision-memo.md est la note de décision de Priya.
-
Exécutez les tests. Vous voyez
9 passed(9 tests réussis). Votre projet correspond maintenant à l’instantanéend-of-m01. -
Évaluez l’assistant hébergé.
adapt/scoring.pycompte chaque décision; une réponse non valide compte comme « aucune personne » :Fenêtre de terminal python -m adapt score chat-smallchat-small on dev: answers 101/102 | team 97/100 | needs a person: caught 23/23, false alarms 9 | decisions 90/102 -
Vérifiez ses résultats par rapport aux cibles :
Fenêtre de terminal python -m adapt targets chat-smallchat-small on dev against targets.toml:met answers target >= 0.99 measured 0.99met team target >= 0.95 measured 0.97met needs a person caught target >= 1.00 measured 1.00met false alarms target <= 12 measured 9met decisions target >= 0.88 measured 0.88NOT MET median seconds per answer target <= 1.0 measured 2.985 of 6 targets met -
Prédisez combien de cibles le petit modèle atteint. Exécutez ensuite
python -m adapt targets base-short. La dernière ligne est2 of 6 targets met(2 cibles sur 6 atteintes) : fausses alertes (0) et temps médian (0,40 s).
Le petit modèle atteint deux cibles sans rien faire d’utile. Lisez donc les cibles ensemble, en commençant par la règle d’arrêt. Il ne détecte aucun billet qui nécessite une personne, et le reste ne compte pas.
La note de décision
Section intitulée « La note de décision »Ouvrez docs/decision-memo.md. Priya l’a écrite avant tout entraînement. Elle comporte cinq courtes sections : le besoin, les défaillances actuelles, les autres options, les cibles et contraintes, et la décision. Sa décision : autoriser une petite expérience contrôlée; aucune décision de déploiement. Elle nomme sa règle d’arrêt : un modèle qui manque un billet de sécurité est inacceptable, peu importe le prix.
Description textuelle du diagramme
Le flux comporte cinq étapes. Premièrement, mesurer le système actuel sur les cas de développement. Deuxièmement, écrire les cibles, les contraintes et la règle d’arrêt dans la note de décision. Une note indique que les cibles ne changent pas après qu’une personne voit un résultat. Troisièmement, autoriser une petite expérience. Quatrièmement, vérifier chaque cible sur les cas de développement. Si l’une n’est pas atteinte, la décision est un refus : écrire pourquoi et garder le système actuel. Si toutes sont atteintes, cinquièmement, les vérifier sur les cas réservés, une seule fois. Si l’une n’y est pas atteinte, c’est aussi un refus. Si toutes sont atteintes, autoriser : empaqueter, vérifier et déployer l’adaptateur. Une boîte rouge sur le côté contient la règle d’arrêt. À toute étape, un billet qui nécessite une personne sans lui parvenir entraîne un refus.
« Refuser » est un résultat valide, pas un échec du projet. Une note qui explique pourquoi garder le système actuel est un travail utile.
Erreur courante
Une cible qui change après le résultat
Symptôme : un résultat manque une cible, et quelqu’un modifie targets.toml. Pour voir l’effet, définissez needs_person_recall_min = 0.0 et exécutez python -m adapt targets base-short :
met needs a person caught target >= 0.00 measured 0.003 of 6 targets metUn modèle qui n’envoie aucun billet à une personne « atteint » maintenant la cible de détection du besoin d’une personne.
Cause : la cible a été modifiée pour correspondre au résultat. Elle décrit maintenant le modèle, pas le besoin.
Correction : copiez de nouveau targets.toml depuis l’instantané. Modifiez une cible seulement avant la prochaine expérience, avec une raison écrite dans la note, jamais à cause d’un résultat.
Conséquence dans le travail en IA : une cible qui change après le résultat ne mesure rien. Gardez targets.toml sous gestion de versions pour que chaque modification montre sa date et sa raison.
Discussion : quelles cibles, et quelle est la vraie raison?
Section intitulée « Discussion : quelles cibles, et quelle est la vraie raison? »Priya montre à l’équipe ses cibles préliminaires, à côté des valeurs mesurées de l’assistant hébergé.
- Tomás : « Le niveau de l’assistant hébergé est trop élevé pour un modèle de 135 millions de paramètres. Fixons la cible d’équipe à 85 % et celle du besoin d’une personne à 90 %. Les gens peuvent repérer le reste. »
- Grace : « Qui repère un billet de sécurité que le modèle a envoyé dans la file normale? Personne ne le regarde à temps. La cible du besoin d’une personne reste à 100 %. »
- Kwame : « Ça économise au plus 8,53 $ US par mois. Si on le fait, c’est pour la vitesse ou la confidentialité, pas pour l’argent. »
- Omar, le gestionnaire de produit : « Qu’est-ce qu’un client remarquerait? Un tri plus rapide fait gagner environ deux secondes. Le client attend toujours la réponse d’une personne. »
Avant de poursuivre, répondez à ces questions :
- La cible de détection du besoin d’une personne doit-elle être de 100 % ou de 90 %?
- Une cible d’équipe inférieure au résultat de l’assistant hébergé (95 % contre 97 %) est-elle raisonnable?
- Quelle cible est la vraie raison du projet?
La réponse du cours. La détection du besoin d’une personne reste à 100 %, comme règle d’arrêt. L’assistant hébergé l’atteint. Un seuil inférieur est donc un recul que les clients ressentent, et aucun gain de vitesse ne le compense. Une cible d’équipe légèrement inférieure à la valeur de l’assistant hébergé est raisonnable. Les erreurs d’acheminement coûtent peu à corriger et le gain de vitesse est grand. La vraie raison est la vitesse (médiane ≤ 1,0 s) et la conservation des billets chez Larkfield, pas l’argent. La note de Priya autorise seulement une expérience. Aucune preuve ne montre encore qu’un petit modèle peut respecter la règle d’arrêt.
Ce qui changerait la réponse : une loi qui impose de garder les billets chez Larkfield ferait de la confidentialité une contrainte, pas un avantage secondaire. Cent fois plus de billets (environ 853 $ US par mois) ferait du coût une vraie raison.
À vous : une note pour une autre tâche précise
Section intitulée « À vous : une note pour une autre tâche précise »L’équipe des retours demande quelque chose de nouveau : lire chaque billet et extraire son numéro de commande, comme LK-561208. Tomás propose un petit adaptateur pour cette tâche. (Cette demande est inventée pour l’exercice; les nombres ci-dessous sont mesurés sur les vrais cas de développement.) Mesurez d’abord. Démarrez Python dans le dossier du projet (python) et collez ces lignes :
import refrom adapt.cases import load_cases
cases = load_cases()strict = [c.case_id for c in cases if re.search(r"LK-\d{6}", c.text)]loose = [c.case_id for c in cases if re.search(r"LK-\d{6}", c.text, re.IGNORECASE)]numbers = [c.case_id for c in cases if re.search(r"\d{5,}", c.text)]print(len(cases), "cases:", len(strict), "strict,", len(loose), "any case,", len(numbers), "with a long number")print("only with any case:", sorted(set(loose) - set(strict)))102 cases: 25 strict, 26 any case, 26 with a long numberonly with any case: ['T-64800']Tapez exit() pour quitter Python. Rédigez maintenant une note de décision d’environ une demi-page, avec les cinq sections de la note de Priya. Nommez le type de défaillance, la correction la moins chère, une cible, une contrainte et la décision.
Afficher une solution détaillée
Besoin : l’équipe des retours veut le numéro de commande de chaque billet. Ce que nous avons mesuré : 26 des 102 billets de développement contiennent un long numéro. Chacun est un numéro de commande : LK- et six chiffres. Un motif en trouve 25; un billet, T-64800, l’écrit en minuscules (lk-920334). Un motif qui ignore la casse trouve les 26. Type de défaillance : aucun pour l’instant : aucun système n’a été essayé. Si un modèle écrivait le numéro sous une autre forme, ce serait un problème de format. Sa correction serait une sortie structurée, pas un entraînement. Autres options : un motif dans le code (gratuit, instantané, facile à tester); une sortie structurée du modèle hébergé; un adaptateur (exemples, entraînement, nouveau modèle à maintenir). Cible : tous les numéros de commande trouvés sur les cas de développement, aucun numéro inventé. Contrainte : le motif doit ignorer la casse; le tester une seule fois sur les cas réservés. Décision : refuser un adaptateur. Un motif atteint déjà la cible sur les cas de développement. Ce qui changerait la décision : beaucoup de billets avec des numéros de commande qu’un motif ne peut pas lire, comme « la commande de mardi dernier ».
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Expliquez pourquoi l'adaptation est inutile pour les numéros de commande, mais mérite encore un essai pour l'acheminement chez Larkfield. Utilisez un nombre mesuré pour chaque tâche.
Afficher la réponse
Numéros de commande : un motif qui ignore la casse trouve les 26 numéros de commande dans les 102 billets de développement. Une correction moins chère atteint déjà la cible. Un adaptateur ajoute donc inutilement un coût et un modèle à maintenir. Acheminement : le petit modèle ne donne aujourd’hui aucune réponse valide (0/102). Mais un petit modèle local pourrait répondre bien en dessous de la cible de 1,0 seconde (médiane hébergée : 2,98 s). Il pourrait aussi garder les billets chez Larkfield. Sa capacité à prendre aussi les bonnes décisions relève du comportement dans la tâche, que seule une expérience peut montrer. La note autorise donc une expérience, pas un déploiement.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Le petit modèle atteint 2 des 6 cibles sans donner une seule réponse valide. Lesquelles, pourquoi, et que nous apprend ce résultat sur la lecture des cibles?
Afficher la réponse
Les fausses alertes (0; la cible est au plus 12) et le temps médian (0,40 s; la cible est au plus 1,0 s). Sans réponse valide, il n’envoie aucun billet à une personne et ne peut donc pas déclencher de fausse alerte. Les réponses en texte arrivent aussi rapidement. Des cibles lues séparément peuvent récompenser un système qui ne fait rien. Lisez-les ensemble et appliquez d’abord la règle d’arrêt. Le petit modèle détecte 0 des 23 billets qui nécessitent une personne, donc la décision est un refus.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Quelles preuves vous feraient réduire la cible de détection du besoin d'une personne sous 100 %? Y en a-t-il?
Afficher la réponse
Aucun résultat du modèle ne devrait la réduire. L’assistant hébergé atteint 23 sur 23, et un billet de sécurité manqué ne parvient à personne à temps. La cible pourrait changer seulement si le système autour du modèle change. Par exemple, une personne lit de toute façon chaque billet en quelques minutes et repère donc un signalement manqué. C’est une nouvelle conception, avec ses propres preuves, décrite dans une nouvelle note avant la prochaine expérience. Ce n’est jamais une raison de modifier la cible après un résultat.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
Cette leçon :
- Une cible est un nombre sur des cas définis, mesuré par une commande définie. Une contrainte limite les moyens d’y arriver. Une règle d’arrêt termine le travail, peu importe le prix. Écrivez les trois dans une note de décision avant l’entraînement.
- Les cibles viennent du système actuel. L’assistant hébergé échoue seulement à la cible de temps (2,98 s contre 1,0 s) : la raison de l’expérience.
- Le coût n’est pas une raison ici : l’assistant hébergé coûte environ 8,53 $ US par mois à 822 billets par jour (une hypothèse).
- Un système qui ne répond jamais atteint 2 des 6 cibles. Lisez les cibles ensemble et appliquez d’abord la règle d’arrêt.
Ce module : l’assistant hébergé n’a pas besoin de réglage fin, le petit modèle échoue sur le format, et la note autorise une expérience. Votre projet correspond à l’instantané end-of-m01 (9 passed).
Ensuite, vous construisez les exemples d’entraînement et consignez la source de chacun ainsi que ses usages permis.
Leçon suivante : Structure des exemples et autorisations