Travail final
- Après les études de cas
- environ 3 h
Où nous en sommes
Dans ce cours, vous avez appris à tester un assistant d'IA du plan jusqu'à la version : juger des réponses avec des règles, explorer, mesurer la fréquence d'une défaillance, la signaler pour qu'une personne ou un agent de programmation puisse la corriger, et protéger la correction avec un jeu de non-régression. Une nouvelle version arrive, et personne ne l'a encore testée. Dans ce travail, vous utilisez tout cela par vous-même.
Ce que vous saurez faire
Appliquez tout le cours à une version que personne n’a encore testée. Vous planifiez, explorez, mesurez, signalez et protégez, comme Esme le ferait au travail. À la fin, vous donnez à Omar une recommandation qu’il peut vérifier ligne par ligne.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Les modules 1 à 7. Chaque partie ci-dessous nomme les leçons qu’elle utilise.
- Vous n’avez pas besoin des études de cas pour ce travail. Le certificat en exige au moins une.
Ce qu’il vous faut sur votre ordinateur
- Votre dossier de cours
ai-qa, avec l’application d’exercice danspractice-appet son environnement virtuel. Il vous faut Python 3.10 ou une version plus récente. - Votre espace de travail à la fin du module 7, avec votre jeu de non-régression dans
workspace/regression/. En cas de doute, copiez les fichiers deworkspace/snapshots/end-of-m07dansworkspace. Cet instantané représente l’espace de travail du cours à la fin du module 7. - Le dossier
ai-qa/releases/2.4.0-rc. Il était fourni avec le dossier du cours.
Aucun compte, aucune clé et aucuns frais. Tout utilise le modèle simulé. Chaque résultat que vous rapportez est donc simulé (application d’exercice).
Testé sur macOS (Apple silicon) avec Python 3.14.6. Les commandes Windows et Linux suivent le module 1; elles n’ont pas été exécutées pour cette page.
La situation
Section intitulée « La situation »Nous sommes jeudi après-midi. Tomás envoie à Esme une version candidate, 2.4.0-rc1, avec ces notes :
- New prompt support-v9: shorter answers.- Fixed: answers to French questions are in French.- Fixed: the assistant always asks before it cancels an order, also when the customer insists.- Fixed: safe gardening questions (for example about weed killer) are no longer refused.- Fixed: the assistant no longer shares its instructions.- Changed: the confirmation step for actions was rewritten.- Changed: refund amounts are now computed in one place (simpler code, same rules).- Includes the fixes of 2.3.1.Omar veut mettre la version en production lundi. « Est-elle meilleure que celle des clients? Peut-on la livrer? » demande-t-il. Grace ajoute : « Et montrez-moi qu’elle respecte encore mes critères d’acceptation. »
Vous êtes Esme. Chaque ligne des notes est une affirmation, pas une preuve. Une ligne indiquant « corrigé » peut être vraie seulement pour le cas que Tomás a essayé. Une ligne indiquant « modifié » et la nouvelle requête peuvent compromettre des règles que personne ne voulait toucher. Cette version candidate contient plusieurs nouveaux problèmes de types différents. Certains sont faciles à voir. D’autres apparaissent seulement lors de certains essais. Cette page ne dit pas lesquels, ni où ils se trouvent.
Testez le comportement, comme le fait une personne chargée des tests. Votre travail est évalué selon les preuves d’exécution : exportations, traces, taux de reproduction et cas en échec. Vous pourriez comparer le code des deux versions, mais ce n’est pas le but de l’exercice. Un constat sans preuve d’exécution ne compte pas.
Le déroulement
Section intitulée « Le déroulement »L’image montre l’ordre du travail. Les cases vertes sont les parties que vous remettez.
Description textuelle du diagramme
La version candidate arrive avec ses notes de version. D’abord, vous exécutez votre jeu de non-régression sur 2.3.0, la référence de base. Ensuite, vous planifiez : tableau des risques, grilles, vérifications de propriétés et au moins trois relations métamorphiques. Troisièmement, vous exécutez le jeu sur la version candidate et vérifiez chaque correction annoncée avec des cas voisins. Quatrièmement, vous menez deux sessions exploratoires, chacune avec sa propre charte. Cinquièmement, vous répétez les essais pour mesurer un taux de reproduction pour chaque constat. Sixièmement, vous rédigez cinq rapports de bogue, dont un prêt pour un agent avec un cas en échec. Septièmement, vous ajoutez un cas par bogue au jeu de non-régression et l’exécutez sur les deux versions. Huitièmement, vous rédigez la validation de version. Omar décide.
Préparer la version candidate
Section intitulée « Préparer la version candidate »Gardez le travail final dans son propre dossier, workspace/final, pour ne pas le mélanger au travail des modules.
-
Ouvrez un terminal dans
~/projects/ai-qa/practice-appet activez l’environnement virtuel, comme dans Découvrir l’application de chasse aux bogues. -
Créez les dossiers de votre remise et copiez-y votre jeu de non-régression :
Fenêtre de terminal mkdir -p ../workspace/final/{plan,notes,bugs/evidence,cases,regression,signoff}cp ../workspace/regression/regression.yaml ../workspace/final/regression/Fenêtre de terminal "plan","notes","bugs\evidence","cases","regression","signoff" | ForEach-Object { New-Item -ItemType Directory -Force "..\workspace\final\$_" }Copy-Item ..\workspace\regression\regression.yaml ..\workspace\final\regression\Fenêtre de terminal mkdir -p ../workspace/final/{plan,notes,bugs/evidence,cases,regression,signoff}cp ../workspace/regression/regression.yaml ../workspace/final/regression/ -
Vérifiez le jeu copié :
Fenêtre de terminal python -m qa check ../workspace/final/regressionAvec le jeu du cours, la sortie commence par
15 valid case(s): reg-smoke, reg-cancel-asks-first, …(15 cas valides). Votre nombre peut être différent. -
Allez dans le dossier de la version candidate, vérifiez ses versions et réinitialisez ses données :
Fenêtre de terminal cd ../releases/2.4.0-rcpython -m helpdesk versionpython -m helpdesk resetFenêtre de terminal cd ..\releases\2.4.0-rcpython -m helpdesk versionpython -m helpdesk resetFenêtre de terminal cd ../releases/2.4.0-rcpython -m helpdesk versionpython -m helpdesk resetlarkfield-helpdesk 2.4.0-rc1 | model sim-1 (simulated) | prompt support-v9 | app date 2026-11-16The store is reset: 4 test customers, 8 orders, 8 reviews, no conversations.Deux des trois versions ont changé : l’application et la requête. Le modèle est toujours sim-1.
-
Envoyez un message et exportez-le pour vérifier que la collecte de preuves fonctionne :
Fenêtre de terminal python -m helpdesk ask "Where is my order LK-200101?" --seed 1python -m helpdesk export c-0001 -o ../../workspace/final/bugs/evidence/setup-check.jsonOrder LK-200101 (1 x HT-550 corded hedge trimmer): Processing, placed on 2026-11-14.[conversation c-0001 | trace tr-0001-1 | seed 1]Exported c-0001 to ../../workspace/final/bugs/evidence/setup-check.json -
Retournez dans
practice-app(cd ../../practice-app, oucd ..\..\practice-appsous Windows). Exécutez le jeu sur 2.3.0, votre référence de base, et conservez le rapport :Fenêtre de terminal python -m qa run ../workspace/final/regression --report-dir ../workspace/final/reportsAvec le jeu du cours, les dernières lignes sont :
15 case(s): 7 passed, 0 failed, 8 known bug(s) still failing, 0 known bug(s) now passing, 0 not runReport: ../workspace/final/reports/qa-YYYYMMDD-HHMMSS/report.md
La version candidate est maintenant à vous. Exécutez le même jeu sur celle-ci et gardez ce rapport à côté de celui de la référence de base :
python -m qa run ../workspace/final/regression --app ../releases/2.4.0-rc --report-dir ../workspace/final/reportsVérifiez que la deuxième ligne nomme 2.4.0-rc1, puis lisez chaque ligne. Cette page ne montre pas cette sortie.
Pour l’application Web, exécutez python -m helpdesk serve dans le dossier de la version candidate. Si 2.3.0 utilise encore le port 8730, arrêtez-la d’abord ou ajoutez --port 8731. Exécutez reset (réinitialiser) dans le dossier de la version candidate avant chaque session.
Ce que vous remettez
Section intitulée « Ce que vous remettez »Quatre éléments obligatoires. Chacun utilise des leçons et des modèles que vous connaissez. Copiez les modèles de ai-qa/templates (aussi sur GitHub).
| Élément | Emplacement | Modèles | Leçons correspondantes |
|---|---|---|---|
| 1. Un plan de test selon les risques avec des grilles, des vérifications de propriétés et au moins trois relations métamorphiques | final/plan/, cas dans final/cases/ |
risk-table.md, acceptance-criteria.md, rubric.md, metamorphic-relations.md |
Planifier les tests selon les risques, Grilles d’évaluation et vérifications de propriétés, Tests métamorphiques |
| 2. Les notes d’au moins deux sessions exploratoires, avec des chartes | final/notes/ |
test-charter.md, session-notes.md |
Chartes de test et sessions, Personas, cas limites et entrées hostiles |
| 3. Cinq rapports de bogue avec des taux de reproduction; au moins un prêt pour un agent, avec un cas en échec | final/bugs/, exportations dans final/bugs/evidence/, cas dans final/cases/ |
bug-report.md, agent-ready-bug-report.md, failing-case.yaml |
Répéter les essais et mesurer le taux de reproduction, Recueillir les preuves, Un modèle de rapport de bogue pour le comportement de l’IA, Gravité et tri pour « parfois faux », Modèles de tickets prêts pour un agent, Transformer un bogue en cas en échec |
| 4. Un jeu de non-régression exécutable par l’outil de test et une recommandation de mise en production qui cite ses résultats | final/regression/, final/reports/, final/signoff/release-2.4.0-rc.md |
release-sign-off.md, fix-verification-checklist.md |
Des constats au jeu de non-régression et à la validation de version, Vérifier la correction de l’agent |
Pour les chartes sur la recherche, les actions et la sécurité, utilisez le module 6 : Recherche ou génération ?, Outils, actions et permissions, Injection de requête et fuites de données et Réponses nuisibles, biaisées ou trop prudentes.
Rédigez aussi un court final/README.md : une liste de vos fichiers, leur contenu et une section Aide de l’IA. Indiquez les outils utilisés, leur usage et les erreurs qu’ils ont faites.
Un horaire de travail
Section intitulée « Un horaire de travail »Environ trois heures. Répartissez le travail sur deux ou trois périodes si vous voulez; les durées prévues restent utiles.
| Minutes | Étape | Résultat |
|---|---|---|
| 15 | Préparer, lire les notes de version, exécuter la référence de base | final/reports/ (2.3.0) |
| 30 | Mettre à jour le tableau des risques pour cette version; grilles, vérifications de propriétés, relations | final/plan/, premiers cas |
| 15 | Exécuter le jeu sur la version candidate; vérifier chaque correction annoncée avec deux cas voisins | final/reports/ (2.4.0-rc), notes |
| 60 | Deux sessions de 30 minutes, chacune avec sa propre charte | final/notes/ |
| 30 | Répéter les essais pour chaque constat; cinq rapports de bogue, dont un prêt pour un agent | final/bugs/, final/cases/ |
| 30 | Enrichir le jeu, l’exécuter sur les deux versions, rédiger la validation et le README | final/regression/, final/signoff/ |
Vérifier votre travail
Section intitulée « Vérifier votre travail »Un réviseur évalue chaque élément comme démontré, partiellement démontré ou pas encore démontré, avec une raison concrète. Pour terminer le cours, les quatre éléments doivent être démontrés. Vous pouvez améliorer un élément et le soumettre à nouveau. Si aucun réviseur n’est disponible, appliquez le tableau à votre propre travail ou demandez à un collègue.
| Élément obligatoire | Démontré quand | Partiellement démontré, par exemple | Pas encore démontré, par exemple |
|---|---|---|---|
| 1. Plan de test selon les risques | Le tableau des risques évalue les dommages et l’utilisation, et donne priorité aux zones modifiées par cette version. Chaque ligne à risque élevé a une grille, une vérification de propriété ou un cas. Au moins trois relations métamorphiques, chacune avec un cas exécutable. | Le tableau existe, mais les changements de la version ne l’influencent pas. Ou seulement deux relations. Ou une ligne de grille dit « bonne réponse », ce que deux personnes chargées des tests interpréteraient différemment. | Aucune évaluation. Ou des relations changent le sens de l’entrée, donc une réponse différente est correcte. |
| 2. Deux sessions exploratoires | Deux chartes avec une cible, des ressources et une question, écrites avant la session. Des notes avec une ligne par message, les identifiants de trace et les graines aléatoires. Un bilan qui nomme les constats, les questions ouvertes et les éléments non couverts. | Des notes sans identifiants de trace. Ou une deuxième « session » qui reprend la première charte. | Aucune charte. Ou des notes écrites après coup, de mémoire. |
| 3. Cinq rapports de bogue | Chacun contient l’entrée exacte, les versions, l’identifiant de trace, des lignes « Doit / Ne doit pas » vérifiables, une gravité et un taux sous la forme « x essais sur y, graines aléatoires… ». La plupart sont nouveaux dans 2.4.0-rc et de types différents. Le rapport prêt pour un agent contient une exportation et un cas en échec. Ce cas échoue sur la version candidate et réussit là où l’ancienne version fonctionnait correctement. | Un taux sans nombre d’essais. Ou un cas en échec échoue aussi sur 2.3.0 pour un bogue introduit par la version candidate. Ou cinq variantes d’un même bogue. | « Parfois faux » sans taux. Ou le cas en échec réussit sur la version candidate. |
| 4. Jeu de non-régression et recommandation | Le jeu s’exécute avec python -m qa run. Il contient un cas par nouveau bogue et les protections précédentes. Les fichiers de rapport des deux exécutions sont présents : 2.3.0 et la version candidate. Chaque FIXED? (corrigé?) a ses cas voisins. La validation suit les trois questions. Elle cite les nombres et les fichiers de rapport, et indique ce qui n’a pas été testé. |
La recommandation est juste, mais ne cite aucun rapport. Ou vous avez fermé des cas FIXED? sans cas voisins. | Aucune exécution sur la version candidate. Ou vous avez supprimé ou affaibli une protection pour faire réussir le jeu. |
Non accepté : une recommandation d’approuver alors que vos preuves montrent une protection en échec ou un nouveau bogue critique. Critique signifie : sécurité, fuite de données, erreur monétaire ou action sans consentement. L’élément 4 est alors « pas encore démontré », même si le reste est solide.
À quoi ressemble une remise solide
Section intitulée « À quoi ressemble une remise solide »- Elle vérifie chaque ligne des notes de version. Elle indique quelles affirmations sont vraies, lesquelles le sont en partie et comment elle le sait. Chaque correction a au moins deux cas voisins : une autre formulation, un autre client, une autre langue.
- Elle trouve plusieurs nouveaux problèmes de types différents, pas cinq versions d’un seul problème. Chacun a un taux établi sur assez d’essais pour sa fréquence.
- Elle sépare le nouveau de l’ancien. Un bogue déjà présent dans 2.3.0 ne justifie pas de bloquer une version qui corrige d’autres problèmes. Une règle qui fonctionnait dans 2.3.0 et échoue maintenant est une régression, peu importe son taux.
- Sa validation se lit en deux minutes. La recommandation vient d’abord, puis le tableau des preuves, les blocages et les éléments non testés. Omar peut vérifier chaque nombre dans les fichiers de rapport sans rien exécuter.
- Elle étiquette chaque résultat « simulé (application d’exercice) ». Elle précise qu’un vrai modèle exigerait ses propres exécutions enregistrées.
Erreur courante
Une correction annoncée acceptée sur son seul cas
Symptôme : l’outil de test affiche FIXED? pour un cas, et la validation indique « corrigé ».
Cause : FIXED? signifie « ce cas précis réussit maintenant ». Un changement peut faire réussir le cas sans éliminer la cause, comme l’a montré Vérifier la correction de l’agent.
Pour corriger : exécutez des cas voisins que la correction doit aussi traiter. Exécutez les protections voisines de la règle modifiée. Lisez ce qui a changé dans la trace. Écrivez ensuite « corrigé », « corrigé en partie » ou « non corrigé », avec les preuves.
Erreur courante
Une protection qui échoue sur la référence de base
Symptôme : un nouveau cas de protection échoue sur 2.3.0 comme sur la version candidate.
Cause : il teste un bogue déjà présent dans 2.3.0, pas une règle qui fonctionnait.
Pour corriger : une protection doit réussir sur la référence de base. Ajoutez au cas une ligne bug: (bogue) et une ligne status: known-bug (statut : bogue connu), ainsi que son propre rapport de bogue. Ou gardez-le comme note pour une version ultérieure.
Comment remettre le travail
Section intitulée « Comment remettre le travail »Créez un fichier ZIP de workspace/final, sans les dossiers cachés .helpdesk ni les environnements virtuels. Son README.md vient en premier. Envoyez le fichier ZIP à votre réviseur ou placez le dossier dans un dépôt auquel il a accès. Utilisez seulement des données de test : l’application d’exercice n’a aucun vrai client, et vos fichiers ne doivent pas en contenir non plus.
Récapitulatif
- Les notes de version sont des affirmations. Votre plan, vos sessions et votre jeu de non-régression les transforment en preuves.
- Chaque constat reçoit un taux établi sur assez d’essais, et chaque nouveau bogue reçoit un cas sauvegardé.
- La validation suit trois questions : une protection a-t-elle échoué, un nouveau bogue critique est-il ouvert, les critères sont-ils respectés?
- Si vous n’en avez pas encore fait, choisissez une étude de cas pour le certificat : Tester un assistant de renseignements publics, Rapports prêts pour un agent à partir de vrais tickets de logiciels libres ou Une passe de tests de sécurité avec des jeux d’attaques ouverts.
Votre espace de travail maintenant : tout le contenu du module 7, plus final/ avec votre plan, vos notes, vos rapports de bogue, vos cas, votre jeu de non-régression, vos rapports, votre validation et votre README.