Travail final
- Après les études de cas
- environ 3 h
Où nous en sommes
Dans ce cours, vous avez créé un produit d'IA, d'un problème précis jusqu'à une démo reproductible, et vous avez gardé les preuves à chaque étape. Dans les études de cas, vous avez aussi vu comment un réviseur vérifie un tel projet. Maintenant, vous remettez votre propre assistant de soutien documentaire. Dans ce travail, un réviseur qui ne l'a jamais vu doit pouvoir l'exécuter, vérifier chaque affirmation et faire confiance à ce que vous en dites.
Ce que vous saurez faire
Remettez votre propre assistant de soutien documentaire, créé avec la méthode de ce cours. Un réviseur qui ne l’a jamais vu doit pouvoir l’exécuter, vérifier chaque affirmation et faire confiance à votre description. Le travail comprend le produit créé module par module, les preuves de son fonctionnement et une liste honnête de ses limites.
Avant de commencerCe qu’il faut savoir et avoir sous la main
- Vous avez terminé les modules 1 à 7. Les 180 minutes servent aux dernières vérifications, au rapport et à la remise. Vous avez construit le produit dans les modules.
- Vous n’avez pas besoin des études de cas pour ce travail. Le certificat en exige au moins une : Projet intégrateur sur une collection publique de documents ou Évaluer un projet intégrateur faible. La deuxième évalue un projet intégrateur faible avec la grille ci-dessous. C’est donc un bon exercice avant d’évaluer le vôtre.
- Votre dossier de projet et son dépôt Git, avec les preuves de chaque module : le dossier de conception,
reports/,docs/evaluation-report.md, le README, la liste de vérification du portfolio, le scénario de démo et la réflexion. - Docker en marche et un dossier vierge pour le test par une personne externe de Remise du dépôt.
- Aucun compte ni argent dans le parcours standard : les réponses sont enregistrées. Si vous avez utilisé un modèle en direct dans le parcours avec votre propre idée, votre clé reste dans
.env. Elle ne doit jamais entrer dans le dépôt.
La tâche
Section intitulée « La tâche »Créez un assistant de soutien documentaire synthétique avec ingestion, réponses fondées sur les documents, citations, contrôle d’accès pour deux locataires et rapport d’évaluation. Choisissez un prolongement facultatif (un modèle personnalisé, un agent ou un serveur MCP) seulement après avoir fait fonctionner le cœur du produit.
Vous pouvez suivre l’un des deux parcours de Préparer le dépôt du projet intégrateur :
- Parcours standard : le même type de produit que l’exemple de projet intégrateur, avec l’ensemble de données synthétiques fourni pour Larkfield et Bramble Books. Vos chiffres peuvent égaler ceux de Sam. C’est acceptable si vous avez exécuté chaque vérification vous-même.
- Parcours avec votre propre idée : les mêmes étapes avec votre propre domaine restreint, deux locataires de ce domaine et des documents synthétiques ou autorisés. Vous avez réservé vos questions avant tout ajustement, comme dans Planifier les preuves.
Dans les deux parcours, le produit est évalué selon vos propres critères d’acceptation, avec les seuils écrits avant les mesures.
Les quatre éléments obligatoires
Section intitulée « Les quatre éléments obligatoires »Chaque élément est une affirmation sur votre produit. Chacun exige des preuves qu’un réviseur peut ouvrir ou exécuter. Les leçons qui construisent chaque élément sont indiquées pour vous permettre de revenir à l’étape exacte.
-
Parcours utilisateur fonctionnel. Un membre d’un locataire se connecte, téléverse un document et voit son état passer à indexé (ou à échec avec une raison). Il pose une question et obtient une réponse dont les affirmations citent les passages de son propre locataire. Un clic sur une citation affiche le passage. Une question sans réponse dans les documents reçoit un message clair : « aucune réponse ». Construit dans le module 3 (Fondations du backend, Fondations du frontend, Intégrer la récupération) et sécurisé dans le module 4 (Appliquer les autorisations, Gérer les défaillances, Révision par l’utilisateur et nettoyage).
Preuves : la section Quick start (démarrage rapide) du README, votre test de bon fonctionnement avec connexion et de vraies captures d’écran de chaque état.
-
Dépôt et déploiement reproductibles. Sur un ordinateur vierge, les étapes du README démarrent le produit, les tests réussissent et le test de bon fonctionnement réussit. Les versions sont fixées, aucun secret ne fait l’objet d’un commit (enregistrement dans Git) et une procédure de réinitialisation est écrite. Une démonstration locale avec Compose suffit; un déploiement dans le nuage est facultatif. Construit dans le module 6 (Pipeline de construction, Mettre la démo en production, Reprise et maîtrise des coûts) et vérifié dans Remise du dépôt.
Preuves : la sortie du test par une personne externe depuis un dossier vierge, le flux de travail CI (intégration continue) ou son exécution locale, l’exercice de retour arrière et
git check-ignore -v .env. -
Évaluation sur des données réservées et vérifications d’isolation. Les questions réservées ont été mises de côté et verrouillées avant les ajustements, puis exécutées une fois par version comparée. Le rapport présente la récupération, la justesse des réponses, la validité des citations, l’abstention, les injections suivies, le temps et le coût. Il montre aussi les échecs. Les vérifications d’isolation tentent d’accéder aux données de l’autre locataire à chaque couche et trouvent 0 fuite. Construit dans le module 5 (Exécuter les tests sur des données réservées, Examiner les catégories d’erreurs, Documenter les compromis).
Preuves :
docs/evaluation-report.md, les exécutions sauvegardées dansreports/,python -m scripts.holdout check, la sortie des vérifications d’isolation et l’historique Git du verrouillage. -
Démo, architecture et limites claires. Une démo de cinq minutes montre le problème de l’utilisateur, le parcours fonctionnel, un cas d’échec et un compromis avec ses preuves. L’architecture montre les frontières de confiance et les endroits où les données de chaque locataire sont séparées. Les limites sont précises, et le travail terminé est séparé du travail prévu. Vous pouvez expliquer chaque partie quand on vous le demande. Construit dans le module 2 (Architecture et contrats, Revue des menaces et des coûts) et le module 7 (Le récit de la démo, Réflexion et prolongements).
Preuves :
docs/demo-script.md, la démo elle-même, le dossier de conception et les sections Limitations (limites) et Status (état) du README.
Les parcours d’échec font partie des éléments; ce ne sont pas des ajouts. Le réviseur exécute vos cas d’échec et le parcours normal : identifiant d’un autre locataire, rôle insuffisant, fichier invalide, fournisseur lent et document supprimé.
Ce que vous remettez
Section intitulée « Ce que vous remettez »Remettez les cinq parties construites dans le module 7, dans un seul message ou un seul dossier :
- Le dépôt : un lien vers celui-ci ou un ZIP sans
.venv,.envni les clés du fournisseur. Son README suit Remise du dépôt.docs/portfolio-checklist.mdliste chaque affirmation avec ses preuves, indiquées comme étant en direct, enregistrées ou dans l’historique. - La démo :
docs/demo-script.md, répété, et la démo elle-même. Présentez-la en direct au réviseur ou envoyez un enregistrement de cinq minutes ou moins. Dites dès la première minute si les réponses sont produites en direct ou enregistrées. - Le plan des captures d’écran : une vraie capture d’écran du produit en marche pour chaque étape de la démo, avec l’étape correspondante. Ne dessinez ni ne modifiez jamais un écran.
- Le rapport final : une page, décrite ci-dessous.
- La réflexion :
docs/reflection.md, avec les trois réponses rétrospectives. Ajoutez un seul prolongement proposé, uniquement si les éléments 1 à 4 sont démontrés.
Le rapport final
Section intitulée « Le rapport final »Le rapport final est une page que le réviseur lit en premier. Ce n’est pas un fichier du projet. Vous remettez cette page avec le dépôt, comme l’exemple détaillé de Sam dans Réflexion et prolongements. Elle comporte trois parties :
## What it isTwo sentences: the users, the decision that the product supports, and the documents (synthetic or permitted).
## Required items, with evidence and my own mark1. Working user journey: <demonstrated | partially demonstrated | not yet demonstrated>. <evidence and reason>2. Reproducible repository and deployment: <mark>. <evidence and reason; what was not run, e.g. the cloud>3. Held-out evaluation and isolation checks: <mark>. <held-out numbers, unmet criteria by question ID, leaks>4. Demo, architecture and limitations: <mark>. <files, the failure case, the trade-off>
## Completed and plannedCompleted: <what works now, with its evidence>. Planned, not done: <each item, and why it is not done>.Évaluez-vous avec la grille ci-dessous. Le réviseur vérifie que chacune de vos évaluations correspond à ses preuves. Un « partiellement démontré » honnête avec une raison claire vaut plus qu’un « démontré » sans preuves suffisantes.
Comment le travail est évalué
Section intitulée « Comment le travail est évalué »Le réviseur évalue chaque élément obligatoire comme démontré, partiellement démontré ou pas encore démontré, toujours avec une raison concrète. Pour terminer le cours, les quatre éléments doivent être démontrés. Vous pouvez améliorer un élément et le soumettre de nouveau.
| Élément obligatoire | Démontré | Partiellement démontré, par exemple | Pas encore démontré, par exemple |
|---|---|---|---|
| 1. Parcours utilisateur fonctionnel | Un nouvel utilisateur se connecte, téléverse un document et voit son état passer à indexé (ou à échec avec une raison). Il pose une question et obtient une réponse dont les affirmations citent les passages de ses propres documents. Un clic sur une citation affiche le passage. Une question sans réponse reçoit un message clair : « aucune réponse ». | Le parcours fonctionne, mais un état manque ou reste flou : aucun état d’indexation visible, erreurs affichées en texte brut ou en traces de pile, citations impossibles à ouvrir ou message « aucune réponse » qui ressemble à une réponse. | Le parcours ne fonctionne pas avec les étapes du README. Ou il exige des étapes non écrites. Ou les réponses n’ont aucune citation. |
| 2. Dépôt et déploiement reproductibles | Sur un ordinateur vierge, les étapes du README démarrent le produit (une démonstration locale avec Compose suffit). Les tests et le test de bon fonctionnement réussissent. Une procédure de réinitialisation est écrite. Les versions sont fixées. Aucun secret n’est dans le dépôt. Un flux de travail CI exécute les tests. | Le produit fonctionne, mais le réviseur a dû corriger un élément (une étape manquante, un paquet sans version fixée, un port). Ou le flux de travail CI n’exécute pas les tests. | Le produit ne démarre pas avec le README. Ou un secret (une clé ou un mot de passe qui n’est pas un exemple) fait l’objet d’un commit. |
| 3. Évaluation sur des données réservées et vérifications d’isolation | Les questions réservées ont été mises de côté avant les ajustements (verrouillage ou commit avant tout ajustement). Elles couvrent chaque type de question et ont été exécutées une fois par version comparée. Le rapport présente la récupération, la justesse des réponses, la validité des citations, l’abstention, l’injection et le coût, avec les échecs. Les vérifications d’isolation contre l’accès au mauvais locataire ont testé la récupération, l’API et la base de données, avec 0 fuite. | Les chiffres sont présents, mais le jeu de données réservées a changé après les ajustements. Ou le rapport montre seulement les réussites. Ou les vérifications d’isolation couvrent une seule couche. | Aucun jeu de données réservées. Ou une vérification d’isolation trouve une fuite. Ou les chiffres ne peuvent pas être reproduits à partir du dépôt. |
| 4. Démo, architecture et limites claires | Une démo de cinq minutes (en direct ou enregistrée) montre le problème de l’utilisateur, le parcours fonctionnel, un cas d’échec et un compromis avec ses preuves. L’architecture montre les frontières de confiance et les endroits où les données de chaque locataire sont séparées. Les limites sont précises et honnêtes. Le travail terminé est séparé des prolongements prévus. Vous pouvez expliquer chaque partie du code quand on vous le demande. | La démo omet le cas d’échec ou le compromis. Ou les limites sont générales (« pourrait être amélioré »). | Des affirmations sans preuves (par exemple « prêt pour la production », « sécuritaire » ou des affirmations sur des emplois ou des utilisateurs). Ou de vrais documents privés dans une démo publique. Ou vous ne pouvez pas expliquer vos propres décisions. |
Un parcours normal fonctionnel ne suffit pas. Si une vérification enseignée du contrôle d’accès, de l’intégrité des données ou d’une action irréversible échoue, l’élément concerné est pas encore démontré. La qualité du reste n’y change rien. Une fuite entre locataires, une suppression qui laisse des passages ou un membre en lecture seule qui peut téléverser : chacun bloque son élément.
Un seuil de qualité non atteint n’est pas une vérification échouée. L’exemple de projet intégrateur de Sam n’atteint pas son critère « toujours dire aucune réponse quand il le faut » (5 sur 6, à cause de la question réservée B34). L’élément 3 reste démontré, car le rapport le dit et nomme la question. Un échec caché ou un seuil déplacé après la mesure rendrait l’élément partiellement démontré.
La décision concernant votre unique amélioration vous appartient. Sam a conservé la recherche hybride : elle n’était pas moins bonne, coûtait autant et corrigeait une question servant d’appât à une injection. Sam n’a pas affirmé qu’elle était meilleure. Vos preuves peuvent plutôt vous amener à conserver votre référence de base. La grille accepte les deux décisions si le rapport les justifie avec la comparaison sur les questions réservées.
Prolongement facultatif. Un modèle personnalisé, un agent ou un serveur MCP, avec ses premières preuves, comme dans Les prolongements de Sam. Il compte seulement après la démonstration des éléments 1 à 4 et ne remplace jamais un élément obligatoire dans l’évaluation.
Erreur courante
Le rapport final et les preuves se contredisent
Symptôme : le rapport dit « Évaluation sur des données réservées : démontré, 38 sur 41 ». Mais python -m scripts.holdout check indique que heldout.jsonl a changé après sa réservation. Ou le rapport dit « 0 fuite », et l’exécution des vérifications d’isolation par le réviseur en trouve une.
Cause : le rapport a été écrit de mémoire, ou le jeu de données réservées a été modifié après la lecture des échecs.
Correction : exécutez de nouveau chaque commande citée dans le rapport, depuis une copie vierge, et copiez les chiffres de cette exécution. Si le jeu de données réservées a changé, dites-le dans le rapport et évaluez l’élément 3 comme « partiellement démontré ». Réservez ensuite un nouveau jeu de données pour la prochaine version, comme dans Documenter les compromis. Si une fuite apparaît, corrigez-la avant tout le reste : l’élément 3 ne peut pas être démontré avec une fuite.
Récapitulatif
Dans ce cours, vous avez créé un produit d’IA, depuis un problème restreint jusqu’à une démo reproductible. Vous avez conservé les preuves à chaque étape :
- Le périmètre d’abord : un utilisateur, une décision, une collection restreinte de documents, des exclusions, des critères d’acceptation et un jeu de données réservées verrouillé avant les ajustements.
- Un parcours, puis la sécurité : téléversement, indexation, réponse avec citations ou message clair « aucune réponse »; puis connexion, rôles, sécurité au niveau des lignes, gestion des défaillances et suppression.
- Des mesures honnêtes : un tableau de résultats sur les questions réservées, des tests d’isolation avec 0 fuite, des catégories d’erreurs sur les questions d’ajustement et un changement comparé question par question.
- Une mise en production reproductible par d’autres : vérifications sur un ordinateur vierge, une image, un démarrage qui attend que les services soient prêts, un test de bon fonctionnement, un retour arrière et des limites d’utilisation.
- Une remise : un README pour une personne externe, une liste de vérification du portfolio, une démo de cinq minutes avec un échec et un compromis, et une réflexion.
À titre de comparaison seulement, l’exemple de projet intégrateur de Sam s’est terminé avec 108 tests, 36 réponses correctes sur 41 questions réservées, 0 fuite et un test de bon fonctionnement réussi à 7 sur 7. Vos chiffres seront différents. Ils n’ont pas besoin d’être plus élevés : ils doivent être vrais et vérifiables.
Si vous n’en avez pas encore fait, choisissez une étude de cas pour le certificat : Projet intégrateur sur une collection publique de documents ou Évaluer un projet intégrateur faible.