Travail final
- Après les études de cas
- environ 3 h
Où nous en sommes
Dans ce cours, vous avez appris à décider avec des preuves s'il faut adapter un modèle : classer la défaillance, écrire d'abord les cibles, préparer des données fiables, entraîner petit et de façon contrôlée, juger sur les mêmes cas réservés, puis empaqueter ou expliquer le résultat. Maintenant, vous choisissez l'un des deux parcours. Dans ce travail, vous prenez une décision d'adaptation par vous-même, du début à la fin, et vous la défendez.
Ce que vous saurez faire
Prenez vous-même une décision d’adaptation, du début à la fin, et défendez-la avec des preuves. Écrivez d’abord les cibles, préparez des données propres, entraînez ou examinez un petit adaptateur. Comparez-le ensuite à un système par requête seule sur les mêmes cas réservés. La décision peut être « aller de l’avant » ou « ne pas aller de l’avant ». Les deux conviennent, si les preuves les appuient.
Avant de commencerCe qu’il faut savoir et avoir sous la main
- Vous avez terminé les modules 1 à 6. Chaque élément exigé ci-dessous indique les leçons qu’il utilise.
- Le certificat exige aussi l’étude de cas Cette équipe doit-elle faire un réglage fin?. C’est le meilleur modèle pour ce travail, alors lisez-la d’abord.
- Le projet du cours,
ticket-adapterà la fin du module 6, ou l’instantanéend-of-m06(voir Utiliser un instantané). Ses commandesprepare,train,predict,compare,bundleetverifyfonctionnent pour une nouvelle tâche. Seuls le format de réponse et la source de données sont propres aux billets de soutien. - Parcours A (entraîner) : le modèle téléchargé et environ 2 Go de mémoire libre, comme dans Planifier et configurer l’entraînement. Gardez chaque entraînement sous 30 minutes et 3 Go, comme dans le cours.
- Parcours B (analyser) : aucun entraînement ni téléchargement de modèle. Vous utilisez seulement les entraînements enregistrés et les réponses sauvegardées dans
runs/. - Aucun compte ni argent n’est nécessaire. Si vous appelez un modèle hébergé, fixez une limite de dépenses avant de commencer. Consignez chaque appel et son coût.
Choisir un parcours
Section intitulée « Choisir un parcours »Les deux parcours exigent les mêmes quatre types de preuves. La différence est la provenance de l’adaptateur.
Parcours A : adaptez un petit modèle à une nouvelle tâche précise. Choisissez une tâche de soutien précise avec une seule réponse correcte par entrée. Par exemple :
- Un autre domaine de CLINC150 (banque, cuisine ou automobile), comme le suggère l’étude de cas. Sa licence est CC BY 3.0, alors citez la source.
- Une tâche de Larkfield que le cours n’a pas utilisée pour l’entraînement. Par exemple : « ce billet est-il en français? » ou « sur quelle partie de la politique porte ce billet? ». Rédigez et étiquetez vous-même les enregistrements avec des données inventées.
N’utilisez pas les cas d’évaluation du cours comme données d’entraînement. N’utilisez pas BANKING77 : deux cours précédents l’utilisent déjà.
Parcours B : analysez l’entraînement fourni sur CPU. Utilisez les deux adaptateurs du cours et leurs réponses sauvegardées pour trancher une question laissée ouverte : la conception limitée au routage. Dans cette conception, l’adaptateur choisit l’équipe, et l’assistant hébergé conserve la décision needs_human (intervention humaine nécessaire). La note de résultats et les sections de discussion du module 5 nomment cette conception, mais personne ne l’a mesurée. Construisez le système combiné à partir des réponses sauvegardées dans runs/predictions/. Évaluez-le avec la vérification stricte du projet, puis décidez.
Élément exigé 1 : la note de décision sur l’adaptation
Section intitulée « Élément exigé 1 : la note de décision sur l’adaptation »Utilise Préciser la défaillance, Définir la réussite et les contraintes et Régressions et valeur opérationnelle.
- Mesurez d’abord le système existant sur les cas de développement. Classez ses erreurs selon les quatre types de défaillance, avec les nombres.
- Nommez les corrections moins coûteuses : une meilleure requête, une sortie structurée, un choix fixe, la récupération ou un outil. Dites pourquoi chacune convient ou non.
- Rédigez
docs/decision-memo.mdavant tout entraînement ou toute nouvelle évaluation. Cette note contient les cibles detargets.toml, les contraintes et une règle d’arrêt. Enregistrez-la dans un commit (enregistrement des modifications), pour que sa date montre qu’elle précède le reste. - Après la comparaison, rédigez
docs/result-memo.md: vos essais, les résultats sur les mêmes cas, les raisons, la décision et ce qui la changerait. - Étiquetez chaque nombre. Mesure provient d’une exécution sauvegardée. Prix provient d’une liste de prix, qui change. Hypothèse est un nombre que vous avez choisi, avec sa raison.
Élément exigé 2 : des données d’entraînement, de validation et de test propres
Section intitulée « Élément exigé 2 : des données d’entraînement, de validation et de test propres »Utilise Structure des exemples et autorisations et Nettoyer, séparer et chercher les fuites.
Parcours A :
- Consignez chaque source dans
data/sources.toml: son origine, sa licence, l’utilisation permise et son SHA-256. Décrivez comment chaque étiquette a été créée. - Donnez à chaque exemple un même format, produit par une seule fonction.
- Retirez les étiquettes incorrectes, les secrets et les doublons. Rejetez toute copie presque identique d’un cas de test. Rapportez chaque nombre et montrez quelques enregistrements rejetés avec leurs raisons.
- Séparez les données en entraînement, validation, développement et test réservé avant que quiconque regarde un résultat. Montrez la couverture de chaque type de cas rare dans les données d’entraînement et les cas de test. Signalez chaque zéro.
Parcours B : montrez avec des commandes que les données du cours sont propres, sans simplement le croire. Utilisez python -m adapt prepare (les rejets et l’empreinte des données d’entraînement 73f29c94b022). Utilisez aussi le test qui vérifie qu’aucun billet n’est partagé entre l’entraînement, la validation et l’évaluation, et la ligne de couverture. Dites ensuite ce que cette couverture laisse prévoir pour votre conception. Quelle décision l’adaptateur prend-il encore, et quels sous-groupes n’a-t-il jamais vus pendant l’entraînement?
Élément exigé 3 : une configuration reproductible
Section intitulée « Élément exigé 3 : une configuration reproductible »Utilise Planifier et configurer l’entraînement, Surveiller et reprendre et Empaqueter et déployer un adaptateur.
- Parcours A : utilisez un fichier de configuration par entraînement, avec sa graine aléatoire. Exécutez
planavanttrain, et conservezlog.jsonletsummary.json. Rapportez la durée, la mémoire maximale et l’ordinateur utilisé. Si vous faites un deuxième entraînement, changez un seul réglage. Justifiez ce changement par la courbe ou le résultat de développement du premier entraînement. - Parcours B : rédigez le compte rendu des deux entraînements du cours à partir de
configs/et deruns/*/summary.json. Il contient la configuration, les empreintes des données, le modèle et sa révision, les versions des bibliothèques et l’ordinateur utilisé. Faites de votre système combiné un script du projet. Une seule commande doit construire ses réponses sauvegardées à partir des autres. - Les deux parcours : créez un paquet et exécutez
verify. Rapportez quelles vérifications fixes réussissent et ce que le code de sortie signifie pour un déploiement.
Élément exigé 4 : une comparaison sur des cas réservés avec la référence de base par requête seule
Section intitulée « Élément exigé 4 : une comparaison sur des cas réservés avec la référence de base par requête seule »Utilise Comparer aux références de base et Régressions et valeur opérationnelle.
- Construisez une échelle de références de base sur les mêmes cas, évalués par une seule vérification stricte. Elle comprend un système par requête seule et le classificateur classique le moins coûteux que vous pouvez construire. Le parcours B utilise les réponses sauvegardées de l’assistant hébergé. Dans le parcours A sans compte hébergé, vos systèmes par requête seule sont le petit modèle de base avec votre meilleure requête et le choix fixe. Indiquez qu’aucun modèle hébergé n’a été mesuré.
- Choisissez entre vos systèmes uniquement sur les données de développement. Consultez ensuite les données de test réservées une seule fois et rapportez les résultats tels quels.
- Rapportez les sous-groupes rares et la mesure de la règle d’arrêt, pas seulement les totaux. Cherchez les compétences perdues, comme le fait
regressions. - Ajoutez la durée, la mémoire et le coût par réponse, chacun avec son étiquette.
Le parcours B et les données de test réservées. Le cours a consulté ces cas une fois pour sa note de résultats. Ils ne sont donc plus inconnus. Choisissez votre conception sur les données de développement. Vous pouvez ensuite rapporter les résultats sur les données de test réservées, mais indiquez que le cours les a déjà consultées. Une vraie équipe demanderait d’abord à Grace une nouvelle version, comme l’explique Planifier le cycle de vie.
Exécution dans un environnement neuf
Section intitulée « Exécution dans un environnement neuf »Avant de remettre votre travail, copiez le projet dans un nouveau dossier sans .venv, bundle/ ni les points de contrôle dans runs/. Créez un nouvel environnement virtuel, installez les dépendances depuis requirements-dev.txt, puis exécutez python -m pytest. Exécutez ensuite les commandes qui affichent les principaux nombres de votre rapport : compare sur les données de développement et de test réservées, puis verify. Collez les commandes et leurs sorties dans votre rapport.
Quoi remettre
Section intitulée « Quoi remettre »Votre dossier de projet (sans .venv, les points de contrôle et les poids du modèle), avec vos notes, configurations, scripts et REPORT.md :
# Should we adapt? <your task>## The question and the track (the narrow task, the system that exists, why adaptation is asked for)## What fails today (the four kinds of failure, with counts on dev)## Targets and stop rule (written first: link the commit of the decision memo)## Data (sources, permitted use, cleaning counts, splits, coverage and its zeros)## Runs (configurations, plan, curves, time and peak memory; or the run record)## Comparison (the ladder on dev, the holdout read once, slices, regressions, cost)## Decision (go or no-go, its evidence, and what would change it)## Fresh-environment run (the commands and their outputs)## Limits (made-up or crowd-written data, one computer, what you did not test)Comment le travail est évalué
Section intitulée « Comment le travail est évalué »Un réviseur attribue à chaque élément exigé la mention démontré, partiellement démontré ou pas encore démontré, avec une raison concrète. Pour terminer le cours, les quatre éléments doivent être démontrés. Vous pouvez améliorer un élément et le remettre à nouveau.
| Élément exigé | Démontré | Partiellement démontré, par exemple | Pas encore démontré, par exemple |
|---|---|---|---|
| Note de décision sur l’adaptation | La défaillance est classée par type, avec les nombres, et les corrections moins coûteuses sont nommées. Les cibles et la règle d’arrêt ont été enregistrées dans un commit avant tout entraînement ou évaluation. La note de résultats fonde sa décision sur elles, étiquette chaque nombre et précise ce qui changerait la décision. | La décision suit les preuves, mais les cibles ont été écrites après les résultats. Ou les corrections moins coûteuses ne sont pas discutées. | « Faire un réglage fin, parce que le modèle connaîtra nos politiques. » Ou la décision ignore une règle d’arrêt non respectée. |
| Données séparées propres | Chaque source a sa licence et son utilisation permise. Les doublons, les secrets et les copies presque identiques des cas de test sont retirés. Chaque nombre est rapporté. La couverture des cas rares est montrée, avec ses zéros. | Les données séparées sont propres, mais personne n’a cherché les copies presque identiques. Ou la couverture n’est pas montrée. | Des cas de test, ou leurs copies presque identiques, sont dans les données d’entraînement. Ou l’utilisation permise des données est inconnue. |
| Configuration reproductible | Un fichier contient tous les réglages de chaque entraînement, avec la graine aléatoire. Le modèle est fixé à une révision, et les versions des bibliothèques sont consignées. Un deuxième entraînement change une seule chose, avec une raison. Le paquet réussit la vérification, ou ses échecs sont expliqués. | L’entraînement est consigné, mais le modèle n’a pas de révision. Ou deux réglages ont changé entre les entraînements. | Aucun fichier de configuration : les réglages ont été modifiés à la main dans un carnet (notebook) Jupyter. Ou le travail remis ne permet pas de répéter l’entraînement. |
| Comparaison sur des cas réservés | Chaque système répond aux mêmes cas, avec une seule vérification stricte. La référence de base par requête seule et un classificateur peu coûteux sont inclus. Les choix se font sur les données de développement, et les données de test réservées sont consultées une fois. Les sous-groupes, la règle d’arrêt et une vérification des compétences perdues sont rapportés. | La comparaison est équitable, mais montre seulement les totaux. Ou le classificateur peu coûteux manque. | L’adaptateur est comparé seulement au modèle de base non entraîné. Ou les données de test réservées ont servi à choisir entre les systèmes. |
Une perte plus faible, un JSON parfait ou une réponse plus rapide ne suffit pas à démontrer un élément. Les résultats du cours montrent pourquoi. Son adaptateur entraîné pendant 6 époques a atteint une perte de validation de 0,0193 et une réponse valide pour chaque cas de développement. Pourtant, il n’a dirigé vers une personne aucun des 23 billets de développement qui en avaient besoin. L’assistant hébergé en a dirigé 23 sur 23. Une décision de « ne pas aller de l’avant » appuyée par des preuves claires constitue un travail démontré, comme la note de l’étude de cas.
Erreur courante
Une comparaison décidée par les données de test réservées
Symptôme : deux adaptateurs sont proches sur les données de développement. La personne qui apprend consulte les données de test réservées pour les deux. Elle garde celui qui obtient le meilleur score sur ces données et rapporte ce score comme résultat final.
Cause : les données de test réservées ont servi à faire un choix. Elles ne constituent donc plus un test final équitable. Le score rapporté est trop bon, comme un score de développement après de nombreux choix.
Correction : choisissez uniquement selon les données de développement et la perte de validation. Consultez ensuite les données de test réservées une seule fois, pour le système choisi. Si vous les avez déjà utilisées pour choisir, dites-le dans le rapport. Traitez leurs nombres comme des nombres de développement.
Récapitulatif
Dans ce cours, vous avez appris à décider, avec des preuves, s’il faut adapter un modèle :
- Classez d’abord la défaillance. Les connaissances manquantes exigent de la récupération ou un outil. Le format et les étiquettes exigent souvent seulement une meilleure requête ou un choix fixe.
- Écrivez les cibles et la règle d’arrêt avant l’entraînement, dans une note de décision pour aller de l’avant ou non.
- Préparez des données permises et fiables : provenance, format unique, aucun doublon, aucune fuite et couverture avec ses zéros.
- Faites un entraînement petit et contrôlé : LoRA sur CPU, un fichier de configuration, versions fixes, courbes, points de contrôle et un seul changement à la fois.
- Évaluez sur les mêmes cas réservés : une échelle de références de base, des sous-groupes, des compétences perdues et des coûts. Consultez les données de test réservées une seule fois.
- Empaquetez ou expliquez : un paquet qui vérifie son modèle de base, un retour arrière qui fonctionne et un plan de cycle de vie. Prévoyez aussi le cas « ne pas livrer ».