Aller au contenu
English

Définir la réussite et les contraintes

  • Leçon 2
  • 35 min
  • Module 1 : Décider s'il faut adapter le modèle

Où nous en sommes

Dans la dernière leçon, nous avons classé les défaillances et constaté que l'assistant hébergé n'a pas besoin de réglage fin. La vitesse, le coût et la confidentialité restent des raisons de tester un petit modèle. Mais après l'entraînement, chaque résultat ressemble à un progrès, et la personne qui a fait le travail veut qu'il réussisse. Dans cette leçon, nous écrivons les cibles, les contraintes et une règle d'arrêt avant tout entraînement, comme une liste écrite à la maison avant d'aller chez le concessionnaire.

Leçon 2 sur 12 · Réglage fin et adaptation des modèles d'IADéfinir la réussite et les contraintes

Ce que vous saurez faire

Écrivez ce qu’un modèle adapté doit atteindre et ce qu’il peut coûter avant de l’entraîner. Ainsi, les preuves décident, pas les espoirs de la personne qui a fait le travail.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 35 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

  • Le projet ticket-adapter de la dernière leçon, avec .venv actif : python -m pytest donne 6 passed (6 tests réussis). Sinon, copiez de nouveau l’instantané start (début) et répétez les étapes de cette leçon.

Avant d’acheter une voiture d’occasion, vous écrivez une courte liste à la maison. Dépenser au plus 8 000, avoir cinq places et réussir une inspection des freins. Chez le concessionnaire, une belle voiture avec une excellente chaîne audio coûte 9 500, et elle vous tente. La liste vous protège de votre propre enthousiasme. Un élément reste non négociable, peu importe le prix : aucune chaîne audio ne compense de mauvais freins.

Le problème : après l’entraînement, chaque résultat semble être un progrès

Section intitulée « Le problème : après l’entraînement, chaque résultat semble être un progrès »

Imaginez que l’expérience est terminée et que le petit modèle adapté répond en JSON valide 102 fois sur 102. Comparé aux 0 sur 102 du modèle de base, c’est un énorme progrès. Comparé aux 101 sur 102 de l’assistant hébergé, ce n’est rien de nouveau. Sans cible écrite à l’avance, l’équipe choisit la comparaison après avoir vu le résultat, et le résultat gagne toujours.

L’idée : écrire d’abord les cibles, les contraintes et une règle d’arrêt

Section intitulée « L’idée : écrire d’abord les cibles, les contraintes et une règle d’arrêt »
  • Une cible est un nombre que le résultat doit atteindre, sur des cas définis, mesuré par une commande définie. Par exemple : la bonne équipe pour au moins 95 % des cas de développement.
  • Une contrainte limite les moyens d’y arriver : les données permises, le temps, la mémoire, l’argent et les besoins de déploiement.
  • Une règle d’arrêt est un résultat qui met fin au travail, quels que soient les autres résultats. Ce sont les freins dans la liste pour la voiture.
  • Une note de décision consigne tout cela sur une page avant l’entraînement. Elle autorise ou refuse la prochaine étape, ici une petite expérience.

De bonnes cibles viennent du système que vous avez. L’assistant hébergé fixe le niveau à atteindre : un adaptateur moins bon doit être nettement plus rapide, moins cher ou plus confidentiel pour en valoir la peine.

Trois parties. Les cibles, ce que le résultat doit atteindre, viennent de targets.toml. Chacune montre la valeur mesurée de l'assistant hébergé sur les cas de développement : réponses valides au moins 99 %, hébergé 101 sur 102; bonne équipe au moins 95 %, hébergé 97 sur 100; besoin d'une personne détecté 100 %, hébergé 23 sur 23, marqué en rouge; fausses alertes au plus 12, hébergé 9; deux décisions correctes au moins 88 %, hébergé 90 sur 102; temps médian au plus 1,0 seconde, hébergé 2,98 secondes. Les contraintes, comment nous pouvons y arriver : données autorisées pour l'entraînement, jamais les cas d'évaluation; un entraînement de moins de 30 minutes et de 3 Go sur un portable, aucune tâche payante; un modèle de base à version fixée, des vérifications fixes et un retour au modèle hébergé. Une règle d'arrêt rouge, liée à la cible de détection du besoin d'une personne : un seul billet qui nécessite une personne sans lui parvenir entraîne un refus, peu importe le prix. Une note : écrit avant tout entraînement; vérifié sur les données de développement pendant le choix, puis une seule fois sur les données réservées à la fin.
Les cibles, les contraintes et la règle d'arrêt de Larkfield, avec les mesures de l'assistant hébergé sur les cas de développement.
Description textuelle du diagramme

Le diagramme comporte trois parties. À gauche figurent les six cibles de targets.toml, avec les valeurs mesurées de l’assistant hébergé sur les cas de développement. Réponses valides : au moins 99 %; l’assistant hébergé en a 101 sur 102. Bonne équipe : au moins 95 %; hébergé 97 sur 100. Besoin d’une personne détecté : 100 %; hébergé 23 sur 23. Cette cible a une bordure rouge. Fausses alertes : au plus 12; hébergé 9. Deux décisions correctes : au moins 88 %; hébergé 90 sur 102. Temps médian par réponse : au plus 1,0 seconde; hébergé 2,98 secondes. À droite figurent trois contraintes. Premièrement, seulement les données que Larkfield peut utiliser pour l’entraînement, jamais les cas d’évaluation. Deuxièmement, un entraînement de moins de 30 minutes et de 3 Go de mémoire sur un portable, sans tâche payante. Troisièmement, un modèle de base à version fixée, des vérifications fixes et un retour au modèle hébergé. En dessous, une boîte rouge contient la règle d’arrêt, liée à la cible de détection du besoin d’une personne. Un seul billet qui nécessite une personne sans lui parvenir entraîne un refus, peu importe le prix. Une note indique que tout est écrit avant l’entraînement. Les vérifications se font sur les données de développement pendant le choix, puis une fois sur les données réservées à la fin.

La plupart des cibles sont légèrement inférieures aux résultats de l’assistant hébergé. Une petite perte de qualité peut valoir un grand gain de vitesse. Ce n’est pas le cas de la cible de détection du besoin d’une personne. L’assistant hébergé échoue seulement à la cible de temps, la vraie raison de l’expérience.

Tomás dit qu’un petit modèle coûte moins cher. Kwame vérifie avec des chiffres. L’exécution enregistrée de l’assistant hébergé a coûté en moyenne 0,000346 $ US par billet de développement. Larkfield reçoit environ 822 billets par jour. C’est une hypothèse tirée de la journée moyenne de Mettre à l’échelle les API et les charges de travail d’IA :

  • par jour : 822 × 0,000346 $ US = 0,284 $ US, soit environ 0,28 $ US
  • par mois de 30 jours : 0,284 $ US × 30 = 8,53 $ US

Un petit modèle peut donc économiser au plus environ 8,53 $ US par mois. Et quelqu’un doit encore payer le travail nécessaire pour le créer et le maintenir. Le coût n’est pas une raison ici. La vitesse et la confidentialité peuvent l’être. Les prix changent : vérifiez la page actuelle du fournisseur avant de refaire ce calcul.

Fenêtre de terminal
S=../nextia-learning-labs/C12/snapshots/end-of-m01
cp $S/adapt/targets.py adapt/
cp $S/targets.toml $S/README.md .
cp -R $S/docs .
cp $S/tests/test_scoring.py tests/

targets.toml contient les six cibles, avec les valeurs de l’assistant hébergé en commentaires. adapt/targets.py vérifie un système par rapport à ces cibles. docs/decision-memo.md est la note de décision de Priya.

  1. Exécutez les tests. Vous voyez 9 passed (9 tests réussis). Votre projet correspond maintenant à l’instantané end-of-m01.

  2. Évaluez l’assistant hébergé. adapt/scoring.py compte chaque décision; une réponse non valide compte comme « aucune personne » :

    Fenêtre de terminal
    python -m adapt score chat-small
    chat-small on dev: answers 101/102 | team 97/100 | needs a person: caught 23/23, false alarms 9 | decisions 90/102
  3. Vérifiez ses résultats par rapport aux cibles :

    Fenêtre de terminal
    python -m adapt targets chat-small
    chat-small on dev against targets.toml:
    met answers target >= 0.99 measured 0.99
    met team target >= 0.95 measured 0.97
    met needs a person caught target >= 1.00 measured 1.00
    met false alarms target <= 12 measured 9
    met decisions target >= 0.88 measured 0.88
    NOT MET median seconds per answer target <= 1.0 measured 2.98
    5 of 6 targets met
  4. Prédisez combien de cibles le petit modèle atteint. Exécutez ensuite python -m adapt targets base-short. La dernière ligne est 2 of 6 targets met (2 cibles sur 6 atteintes) : fausses alertes (0) et temps médian (0,40 s).

Le petit modèle atteint deux cibles sans rien faire d’utile. Lisez donc les cibles ensemble, en commençant par la règle d’arrêt. Il ne détecte aucun billet qui nécessite une personne, et le reste ne compte pas.

Ouvrez docs/decision-memo.md. Priya l’a écrite avant tout entraînement. Elle comporte cinq courtes sections : le besoin, les défaillances actuelles, les autres options, les cibles et contraintes, et la décision. Sa décision : autoriser une petite expérience contrôlée; aucune décision de déploiement. Elle nomme sa règle d’arrêt : un modèle qui manque un billet de sécurité est inacceptable, peu importe le prix.

Un flux de haut en bas. 1 Mesurer le système actuel sur les cas de développement. 2 Écrire les cibles, les contraintes et la règle d'arrêt : la note de décision. Une note : les cibles ne changent pas après qu'une personne voit un résultat. 3 Autoriser une petite expérience. 4 Toutes les cibles sont-elles atteintes sur les cas de développement? Non : refuser, écrire pourquoi et garder le système actuel. Oui : 5 toutes les cibles sont-elles atteintes sur les cas réservés, examinés une seule fois? Non : refuser. Oui : autoriser, empaqueter, vérifier et déployer l'adaptateur. Une règle d'arrêt rouge, à toute étape : un billet nécessite une personne sans lui parvenir, ce qui entraîne un refus.
La note est l'étape 2. Chaque étape suivante respecte ce qu'elle a fixé, et la règle d'arrêt peut terminer le travail à toute étape.
Description textuelle du diagramme

Le flux comporte cinq étapes. Premièrement, mesurer le système actuel sur les cas de développement. Deuxièmement, écrire les cibles, les contraintes et la règle d’arrêt dans la note de décision. Une note indique que les cibles ne changent pas après qu’une personne voit un résultat. Troisièmement, autoriser une petite expérience. Quatrièmement, vérifier chaque cible sur les cas de développement. Si l’une n’est pas atteinte, la décision est un refus : écrire pourquoi et garder le système actuel. Si toutes sont atteintes, cinquièmement, les vérifier sur les cas réservés, une seule fois. Si l’une n’y est pas atteinte, c’est aussi un refus. Si toutes sont atteintes, autoriser : empaqueter, vérifier et déployer l’adaptateur. Une boîte rouge sur le côté contient la règle d’arrêt. À toute étape, un billet qui nécessite une personne sans lui parvenir entraîne un refus.

« Refuser » est un résultat valide, pas un échec du projet. Une note qui explique pourquoi garder le système actuel est un travail utile.

Erreur courante

Une cible qui change après le résultat

Symptôme : un résultat manque une cible, et quelqu’un modifie targets.toml. Pour voir l’effet, définissez needs_person_recall_min = 0.0 et exécutez python -m adapt targets base-short :

met needs a person caught target >= 0.00 measured 0.00
3 of 6 targets met

Un modèle qui n’envoie aucun billet à une personne « atteint » maintenant la cible de détection du besoin d’une personne.

Cause : la cible a été modifiée pour correspondre au résultat. Elle décrit maintenant le modèle, pas le besoin.

Correction : copiez de nouveau targets.toml depuis l’instantané. Modifiez une cible seulement avant la prochaine expérience, avec une raison écrite dans la note, jamais à cause d’un résultat.

Conséquence dans le travail en IA : une cible qui change après le résultat ne mesure rien. Gardez targets.toml sous gestion de versions pour que chaque modification montre sa date et sa raison.

Discussion : quelles cibles, et quelle est la vraie raison?

Section intitulée « Discussion : quelles cibles, et quelle est la vraie raison? »

Priya montre à l’équipe ses cibles préliminaires, à côté des valeurs mesurées de l’assistant hébergé.

  • Tomás : « Le niveau de l’assistant hébergé est trop élevé pour un modèle de 135 millions de paramètres. Fixons la cible d’équipe à 85 % et celle du besoin d’une personne à 90 %. Les gens peuvent repérer le reste. »
  • Grace : « Qui repère un billet de sécurité que le modèle a envoyé dans la file normale? Personne ne le regarde à temps. La cible du besoin d’une personne reste à 100 %. »
  • Kwame : « Ça économise au plus 8,53 $ US par mois. Si on le fait, c’est pour la vitesse ou la confidentialité, pas pour l’argent. »
  • Omar, le gestionnaire de produit : « Qu’est-ce qu’un client remarquerait? Un tri plus rapide fait gagner environ deux secondes. Le client attend toujours la réponse d’une personne. »

Avant de poursuivre, répondez à ces questions :

  1. La cible de détection du besoin d’une personne doit-elle être de 100 % ou de 90 %?
  2. Une cible d’équipe inférieure au résultat de l’assistant hébergé (95 % contre 97 %) est-elle raisonnable?
  3. Quelle cible est la vraie raison du projet?

La réponse du cours. La détection du besoin d’une personne reste à 100 %, comme règle d’arrêt. L’assistant hébergé l’atteint. Un seuil inférieur est donc un recul que les clients ressentent, et aucun gain de vitesse ne le compense. Une cible d’équipe légèrement inférieure à la valeur de l’assistant hébergé est raisonnable. Les erreurs d’acheminement coûtent peu à corriger et le gain de vitesse est grand. La vraie raison est la vitesse (médiane ≤ 1,0 s) et la conservation des billets chez Larkfield, pas l’argent. La note de Priya autorise seulement une expérience. Aucune preuve ne montre encore qu’un petit modèle peut respecter la règle d’arrêt.

Ce qui changerait la réponse : une loi qui impose de garder les billets chez Larkfield ferait de la confidentialité une contrainte, pas un avantage secondaire. Cent fois plus de billets (environ 853 $ US par mois) ferait du coût une vraie raison.

L’équipe des retours demande quelque chose de nouveau : lire chaque billet et extraire son numéro de commande, comme LK-561208. Tomás propose un petit adaptateur pour cette tâche. (Cette demande est inventée pour l’exercice; les nombres ci-dessous sont mesurés sur les vrais cas de développement.) Mesurez d’abord. Démarrez Python dans le dossier du projet (python) et collez ces lignes :

import re
from adapt.cases import load_cases
cases = load_cases()
strict = [c.case_id for c in cases if re.search(r"LK-\d{6}", c.text)]
loose = [c.case_id for c in cases if re.search(r"LK-\d{6}", c.text, re.IGNORECASE)]
numbers = [c.case_id for c in cases if re.search(r"\d{5,}", c.text)]
print(len(cases), "cases:", len(strict), "strict,", len(loose), "any case,", len(numbers), "with a long number")
print("only with any case:", sorted(set(loose) - set(strict)))
102 cases: 25 strict, 26 any case, 26 with a long number
only with any case: ['T-64800']

Tapez exit() pour quitter Python. Rédigez maintenant une note de décision d’environ une demi-page, avec les cinq sections de la note de Priya. Nommez le type de défaillance, la correction la moins chère, une cible, une contrainte et la décision.

Afficher une solution détaillée

Besoin : l’équipe des retours veut le numéro de commande de chaque billet. Ce que nous avons mesuré : 26 des 102 billets de développement contiennent un long numéro. Chacun est un numéro de commande : LK- et six chiffres. Un motif en trouve 25; un billet, T-64800, l’écrit en minuscules (lk-920334). Un motif qui ignore la casse trouve les 26. Type de défaillance : aucun pour l’instant : aucun système n’a été essayé. Si un modèle écrivait le numéro sous une autre forme, ce serait un problème de format. Sa correction serait une sortie structurée, pas un entraînement. Autres options : un motif dans le code (gratuit, instantané, facile à tester); une sortie structurée du modèle hébergé; un adaptateur (exemples, entraînement, nouveau modèle à maintenir). Cible : tous les numéros de commande trouvés sur les cas de développement, aucun numéro inventé. Contrainte : le motif doit ignorer la casse; le tester une seule fois sur les cas réservés. Décision : refuser un adaptateur. Un motif atteint déjà la cible sur les cas de développement. Ce qui changerait la décision : beaucoup de billets avec des numéros de commande qu’un motif ne peut pas lire, comme « la commande de mardi dernier ».

Vérifiez votre compréhension

Expliquez pourquoi l'adaptation est inutile pour les numéros de commande, mais mérite encore un essai pour l'acheminement chez Larkfield. Utilisez un nombre mesuré pour chaque tâche.

Afficher la réponse

Numéros de commande : un motif qui ignore la casse trouve les 26 numéros de commande dans les 102 billets de développement. Une correction moins chère atteint déjà la cible. Un adaptateur ajoute donc inutilement un coût et un modèle à maintenir. Acheminement : le petit modèle ne donne aujourd’hui aucune réponse valide (0/102). Mais un petit modèle local pourrait répondre bien en dessous de la cible de 1,0 seconde (médiane hébergée : 2,98 s). Il pourrait aussi garder les billets chez Larkfield. Sa capacité à prendre aussi les bonnes décisions relève du comportement dans la tâche, que seule une expérience peut montrer. La note autorise donc une expérience, pas un déploiement.

Vérifiez votre compréhension

Le petit modèle atteint 2 des 6 cibles sans donner une seule réponse valide. Lesquelles, pourquoi, et que nous apprend ce résultat sur la lecture des cibles?

Afficher la réponse

Les fausses alertes (0; la cible est au plus 12) et le temps médian (0,40 s; la cible est au plus 1,0 s). Sans réponse valide, il n’envoie aucun billet à une personne et ne peut donc pas déclencher de fausse alerte. Les réponses en texte arrivent aussi rapidement. Des cibles lues séparément peuvent récompenser un système qui ne fait rien. Lisez-les ensemble et appliquez d’abord la règle d’arrêt. Le petit modèle détecte 0 des 23 billets qui nécessitent une personne, donc la décision est un refus.

Vérifiez votre compréhension

Quelles preuves vous feraient réduire la cible de détection du besoin d'une personne sous 100 %? Y en a-t-il?

Afficher la réponse

Aucun résultat du modèle ne devrait la réduire. L’assistant hébergé atteint 23 sur 23, et un billet de sécurité manqué ne parvient à personne à temps. La cible pourrait changer seulement si le système autour du modèle change. Par exemple, une personne lit de toute façon chaque billet en quelques minutes et repère donc un signalement manqué. C’est une nouvelle conception, avec ses propres preuves, décrite dans une nouvelle note avant la prochaine expérience. Ce n’est jamais une raison de modifier la cible après un résultat.

Récapitulatif

Cette leçon :

  • Une cible est un nombre sur des cas définis, mesuré par une commande définie. Une contrainte limite les moyens d’y arriver. Une règle d’arrêt termine le travail, peu importe le prix. Écrivez les trois dans une note de décision avant l’entraînement.
  • Les cibles viennent du système actuel. L’assistant hébergé échoue seulement à la cible de temps (2,98 s contre 1,0 s) : la raison de l’expérience.
  • Le coût n’est pas une raison ici : l’assistant hébergé coûte environ 8,53 $ US par mois à 822 billets par jour (une hypothèse).
  • Un système qui ne répond jamais atteint 2 des 6 cibles. Lisez les cibles ensemble et appliquez d’abord la règle d’arrêt.

Ce module : l’assistant hébergé n’a pas besoin de réglage fin, le petit modèle échoue sur le format, et la note autorise une expérience. Votre projet correspond à l’instantané end-of-m01 (9 passed).

Ensuite, vous construisez les exemples d’entraînement et consignez la source de chacun ainsi que ses usages permis.

Leçon suivante : Structure des exemples et autorisations