Aller au contenu
English

Travail final

  • Après les études de cas
  • environ 3 h

Où nous en sommes

Chaque module a ajouté un élément et l'a essayé seul : le cadrage, les références de base, les plongements, les détecteurs, les zones d'inspection et le service. Dans ce travail, vous les utilisez tous ensemble. Larkfield ouvre un deuxième entrepôt avec une nouvelle caméra et une nouvelle catégorie de produits.

Ce que vous saurez faire

Appliquez chaque module du cours à une nouvelle situation et livrez un dossier de vision que Hamid et Omar peuvent utiliser. Les photos ressemblent à celles du cours, mais une nouvelle caméra et une nouvelle catégorie de produits les changent. Vous devez donc tester chaque choix à nouveau, pas le copier.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 180 minutes
  • Vous avez terminé les modules 1 à 8. Chaque partie ci-dessous nomme les leçons qu’elle utilise.
  • Vous n’avez pas besoin des études de cas du module 9 pour ce travail. (Le certificat en exige au moins une.) Pour voir d’abord une inspection semblable sur des données réelles, ouvrez Inspection visuelle avec peu de défauts. Cette étude compare quatre méthodes d’inspection sur les mêmes photos et fixe les seuils à partir d’un budget.
  • Votre projet larkvision fonctionne à la fin du module 8, avec son environnement .venv et 32 passed (32 tests réussis), selon Le décalage de domaine : préparer le projet pour ce module. Le dossier nextia-learning-labs se trouve à côté, comme dans Découvrir les images de Larkfield.
  • Pour les parties 2 et 3, vous avez besoin de PyTorch, timm, open_clip et Transformers, comme dans les carnets (notebooks) Jupyter des modules 2 et 3. Vous pouvez faire ces parties dans un carnet (local, Colab ou Kaggle). Les parties 4 et 5 exigent le projet et un terminal.
  • Environ 3 h de travail, plus le temps d’exécution. Dans la solution de l’auteur, l’exécution la plus longue a pris moins de 2 minutes sur le processeur d’un portable.
  • Testé sur macOS avec Python 3.12.13, les versions fixées des paquets du projet, torch 2.15.0, timm 1.0.31, open-clip-torch 4.2.1 et transformers 5.22.2. Les commandes Windows sont fournies, mais elles n’ont pas été exécutées.

La situation : un deuxième entrepôt et une nouvelle catégorie

Section intitulée « La situation : un deuxième entrepôt et une nouvelle catégorie »

Larkfield grandit de deux façons à la fois.

  • Un deuxième entrepôt des retours a ouvert le 1er avril. Sa caméra n’est pas celle du premier entrepôt. Hamid, le responsable de l’entrepôt des retours, dirige les deux entrepôts. Le deuxième reçoit aussi environ 600 retours par jour, et son équipe sur place peut faire 100 vérifications par jour. Ces deux nombres sont des hypothèses du cours.
  • Une nouvelle catégorie de produits. Omar, le gestionnaire de produit, ajoute des bouilloires au catalogue. Les photos viennent de la classe « Kettle » (bouilloire) d’Open Images, qui contient aussi des théières et des cafetières. La catégorie d’Omar est donc plutôt « bouilloires et théières ». Les clients envoient des photos de ces produits prises avec leur téléphone, et le magasin doit trouver le bon article du catalogue.

Hamid demande un dossier de vision avant de faire confiance à une machine dans le deuxième entrepôt. Omar pose la question qui détermine la partie catalogue : « Que coûte une erreur à nos clients? » Tomás, l’ingénieur en IA, a une réponse prête : « Envoyez chaque photo au modèle vision-langage hébergé. Il peut voir les bouilloires et les dommages. » Amira est responsable du service d’images. Elle pose une seule question : « Le service fonctionne-t-il encore avec la nouvelle caméra? »

Priya vous demande de leur répondre à tous avec des preuves. Voici les types de photos avec lesquels vous travaillez :

Cinq photos en rangée. D'abord, quatre lampions (bougies chauffe-plat) blancs sur un tissu foncé : un retour du premier entrepôt. Ensuite, quatre lampions qui semblent jaunes, plus petits, avec une bordure grise unie autour du tissu : un retour du deuxième entrepôt. Puis, une bouilloire électrique chromée sur un comptoir de cuisine. Ensuite, une théière blanche avec un motif vert et une anse en bambou. Enfin, une théière argentée photographiée en biais sur une table brune, sous un mauvais éclairage : une photo de client.
À gauche : retours R-fb5f129e du premier entrepôt et W2-003 du deuxième entrepôt (jeu de données VisA, Amazon, CC BY 4.0; la lumière jaune, le champ plus large et le bruit de la deuxième caméra sont synthétiques, créés par notre code). Au centre : photos de bouilloires du catalogue K-001 (photo : Perry Goh) et K-005 (photo : Nikita), CC BY 2.0, via Open Images. À droite : photo de client KC-007, simulée par notre code à partir d'une des photos de bouilloires (auteurs dans credits.csv). Trouver quelle bouilloire elle montre fait partie du travail.
Description textuelle du diagramme

Cinq photos en rangée (deux rangées sur un téléphone). La photo du premier entrepôt montre quatre lampions blancs vus du dessus, sur un tissu foncé. Celle du deuxième entrepôt montre le même type de lampions, mais jaunes, plus petits et entourés d’une bordure grise unie : la caméra voit une zone plus large. Viennent ensuite deux photos de la nouvelle catégorie du catalogue : une bouilloire électrique chromée et une théière blanche avec une anse en bambou. La dernière est une photo de client montrant une théière argentée. Elle est tournée, plus petite dans le cadre, sur une table brune texturée, sous un éclairage faible.

Une personne voit encore des lampions en bon état dans la deuxième photo. Un modèle entraîné avec la première caméra pourrait ne pas les reconnaître. Et la nouvelle catégorie est moins précise que son nom : les photos de bouilloires contiennent aussi des théières, des pichets et des cafetières.

Notre code modifie ou crée toutes les photos de retours et de clients, et Larkfield est fictive. Aucune photo ne montre une personne réelle.

Les données se trouvent dans le dépôt des laboratoires, dans C42/final/data/. Les données du cours, dans C42/data/, restent inchangées : le premier entrepôt et les huit catégories précédentes.

Fichier ou dossier Lignes Ce que représente une ligne Colonnes
returns/W2-*.jpg, returns_manifest.csv 95 Une photo de lampions retournés au deuxième entrepôt, 320 × 291 pixels, du 1er au 30 avril. Sans étiquettes. item_id, file, day, licence, author, source_url, synthetic, note
catalogue/kettle/K-*.jpg, catalogue_manifest.csv 102 Une photo du catalogue de la nouvelle catégorie, 256 × 256 : 64 train (entraînement), 38 test (test) image_id, file, split, label (toujours kettle, bouilloire), source_url, licence, author, synthetic, note
customer_photos/KC-*.jpg, customer_photos_manifest.csv 102 Une photo de bouilloire prise par un client, 320 × 240. La bouilloire montrée n’est pas indiquée. photo_id, file, licence, synthetic, note
credits.csv 102 L’auteur et la licence de chaque photo source de bouilloire, dans un ordre qui ne révèle pas les correspondances source_url, author, licence

Le dossier contient aussi dataset-card.md et SHA256SUMS, et fait environ 5 Mo. Les identifiants sont nouveaux : un identifiant ne révèle ni les dommages ni la bouilloire montrée sur une photo de client. L’équipe du cours conserve ces réponses ainsi qu’une copie cachée des statuts du deuxième entrepôt. Personne ne s’en sert pour faire des choix.

Vérifiez les fichiers. Exécutez ceci dans votre dossier larkvision :

Fenêtre de terminal
git -C ../nextia-learning-labs pull
(cd ../nextia-learning-labs/C42/final/data && shasum -a 256 -c SHA256SUMS | grep -vc ': OK$')

Le nombre affiché est le nombre de fichiers incorrects. Il doit être 0.

Créez un dossier vision-pack/ dans votre dossier larkvision. Placez-y tous les fichiers du travail. Quoi remettre donne la liste des fichiers. Dans chaque nouveau terminal, activez .venv et définissez à nouveau LARKVISION_DATA et LARKVISION_MODELS, comme au module 8.

Le dossier suit le cours, un module après l’autre.

L'encadré des données en haut : 95 photos de retours du deuxième entrepôt sans étiquettes, 102 photos de bouilloires, 102 photos de clients. En dessous, six encadrés dans l'ordre : 1 Cadrage, 2 Catalogue, 3 Recherche (vert, remettre kettle_matches.csv), 4 Inspection (vert, remettre w2_zones.csv), 5 Service, 6 Page de Hamid. Un encadré orange en bas : l'équipe du cours évalue les deux fichiers verts une seule fois, avec les réponses qu'elle conserve; aucun choix ne repose sur ce résultat; vous testez vous-même le catalogue une seule fois.
Les six parties du dossier. Deux fichiers vont à l'équipe du cours, car elle seule possède leurs réponses. Vous testez vous-même le catalogue, une seule fois, car ses étiquettes de test sont publiques.
Description textuelle du diagramme

En haut, un encadré gris : les données, 95 photos de retours du deuxième entrepôt sans étiquettes, 102 photos de bouilloires et 102 photos de clients. En dessous, six encadrés reliés par des flèches, sur deux rangées de trois. 1 Cadrage : types de réponse, deux caméras, coûts, budget de révision. 2 Catalogue : neuf classes, une référence de base et trois familles, par classe. 3 Recherche, en vert : photo de client vers bouilloire, rappel à 1 et à 5; remettre kettle_matches.csv. 4 Inspection, en vert : trouver le décalage, le corriger, fixer les seuils à partir du budget; remettre w2_zones.csv. 5 Service : le mois, avec révision, visages, latence et alarmes. 6 Page de Hamid : la décision, son coût, ce qu’une personne vérifie encore. En bas, un encadré orange : l’équipe du cours évalue les deux fichiers verts une seule fois, avec les réponses qu’elle conserve. Aucun choix ne repose sur ce résultat. Vous testez vous-même le catalogue une seule fois.

Leçons utilisées : Le retour qui a coûté deux fois, Cinq types de réponse et Quand ne pas le construire.

Rédigez vision-pack/FRAMING.md. Utilisez les coûts du cours. Ce sont des hypothèses : présentez-les comme telles.

  1. Nommez les trois demandes : inspecter les retours du deuxième entrepôt, trier le catalogue avec la nouvelle catégorie et trouver la bouilloire d’un client. Pour chacune, indiquez le type de réponse (étiquette, boîte englobante, masque, correspondance ou texte) et qui l’utilise.
  2. Décrivez la configuration de la caméra de chaque entrepôt, selon les photos : l’éclairage, la portion de table visible, la netteté. Dites ce que vous demanderiez à l’entrepôt de corriger avant d’utiliser un modèle.
  3. Indiquez le coût de chaque erreur : vendre un article endommagé comme neuf coûte 45 $ US, déclarer endommagé un bon article coûte 28 $ US, une vérification humaine coûte 0,50 $ US.
  4. Indiquez le budget de révision quotidien : 100 vérifications pour environ 600 retours par jour, soit environ 1 retour sur 6. Dites ce qui arrive à un retour que l’équipe ne peut pas vérifier.
  5. Décrivez les coûts d’Omar pour le catalogue et la recherche : une bouilloire classée comme vase, et la mauvaise bouilloire montrée à un client. Le cours ne donne aucun montant pour ces erreurs. Dites-le et indiquez comment vous en établiriez un.
  6. Répondez à Tomás en deux ou trois phrases, avant toute mesure : pour quelle demande un modèle vision-langage pourrait-il aider, et que vérifieriez-vous d’abord?

Leçons utilisées : Règles et histogrammes de couleurs, Caractéristiques faites à la main, Les plongements d’images, CLIP en zéro exemple, Sondes linéaires et quelques exemples et Les étiquettes : combien, et de quelle qualité.

Le catalogue compte maintenant neuf classes : les huit du cours et kettle. Les fichiers de plongements du cours, data/embeddings/*.npz, ne contiennent aucune photo de bouilloire. Créez donc les plongements des 102 photos de bouilloires (et, pour la partie 3, des 102 photos de clients) avec les mêmes versions fixées des modèles que dans les carnets.

  1. Vérifiez d’abord vos plongements. Créez les plongements de trois anciennes photos du catalogue avec votre code. Comparez-les au fichier du cours : la similarité cosinus doit être de 1,000 (à trois décimales). Sinon, votre prétraitement diffère, et tous les nombres suivants sont faux.
  2. Regardez les photos de bouilloires. Créez une planche-contact des 64 photos d’entraînement. Rédigez un court guide d’étiquetage pour la catégorie d’Omar : ce qui compte comme bouilloire ou théière, et ce qui n’en est pas (un pichet, une cafetière, une tasse). Ne supprimez pas de photos pour améliorer les résultats. Notez les photos dont le guide changerait l’étiquette.
  3. Créez des données de validation pour les bouilloires. Les bouilloires ont seulement train et test. Réservez certaines bouilloires d’entraînement avec une graine fixe (par exemple 16 sur 64), ou utilisez la validation croisée sur les photos d’entraînement. Ne faites jamais de choix avec les 38 bouilloires de test.
  4. Exécutez une référence de base et au moins trois familles de méthodes sur les mêmes photos avec la même évaluation. Par exemple : un histogramme de couleurs ou HOG (la référence de base), et CLIP en zéro exemple avec une requête pour la nouvelle classe. Puis des sondes linéaires sur les plongements de CLIP, DINOv2 ou ResNet-18, avec et sans classes équilibrées.
  5. Écrivez votre règle de choix dans REPORT.md, avant d’exécuter le test : par exemple « la meilleure exactitude de validation, sauf si le rappel des bouilloires est plus faible ». Choisissez ensuite avec les données de validation.
  6. Testez une seule fois. Entraînez la méthode choisie sur toutes les photos d’entraînement, puis évaluez les 198 photos de test : 160 anciennes et 38 bouilloires. Indiquez l’exactitude, le rappel et la précision de chaque classe, la pire classe et la matrice de confusion. Créez vision-pack/catalogue_predictions.csv avec image_id, predicted.
  7. Par caméra. Le catalogue a aussi une deuxième « caméra » : le nouveau studio du module 8 (160 photos, éclairage plus chaud). Évaluez-y votre méthode choisie, sur les huit anciennes classes.

Leçons utilisées : Trouver le même produit et Vérifier ce que dit un modèle vision-langage.

Un client envoie une photo de bouilloire prise avec son téléphone. La recherche doit montrer la bonne photo du catalogue parmi ses cinq premiers résultats. Vous n’avez pas les réponses. L’équipe du cours évalue votre fichier une seule fois.

  1. Utilisez tout le catalogue comme galerie : les 733 photos publiques du cours et les 102 photos de bouilloires (835 photos). Une recherche qui trouve seulement des bouilloires parce qu’elle voit seulement des bouilloires n’est pas un test.
  2. Exécutez une référence de base (un histogramme de couleurs ou un hachage perceptuel) et au moins deux modèles de plongements.
  3. Vérifiez sans réponses. Pour chaque méthode, calculez la proportion de photos de clients dont la première correspondance est une photo de bouilloire. C’est une limite supérieure du rappel à 1. Une première correspondance qui n’est pas une bouilloire est toujours fausse, mais une bouilloire peut être la mauvaise.
  4. Regardez 10 photos de clients et leurs 5 meilleurs résultats pour votre meilleure méthode. Notez ce que les mauvaises correspondances ont en commun, s’il y a lieu.
  5. Choisissez une méthode et notez votre raison avant l’évaluation de l’équipe du cours. Créez vision-pack/kettle_matches.csv : photo_id, match_1, match_2, match_3, match_4, match_5, une ligne pour chacune des 102 photos de clients, la meilleure correspondance en premier.

Le cours sur l’appariement d’enregistrements, pas encore publié, traite en profondeur des paires et des groupes d’enregistrements. Vous n’en avez pas besoin ici.

Leçons utilisées : Deux façons de trouver les dommages, L’inspection par détection d’anomalies, Fixer les seuils avec l’entrepôt et Le décalage de domaine.

C’est la partie difficile. Les modèles d’inspection du cours ont appris avec la première caméra. Le deuxième entrepôt n’a aucune photo étiquetée. Vous devez découvrir l’effet de la nouvelle caméra sur chaque modèle d’inspection. Corrigez ce que vous pouvez et fixez les seuils sans étiquettes de la nouvelle caméra.

D’abord, le premier entrepôt, où vous avez des étiquettes

Section intitulée « D’abord, le premier entrepôt, où vous avez des étiquettes »
  1. Prenez une référence de base et au moins trois familles de modèles d’inspection du module 6. Par exemple : aucune inspection et « une personne vérifie 100 retours au hasard » (les références de base), le petit PatchCore du service (par détection d’anomalies), un classificateur supervisé sur des plongements et la requête CLIP.
  2. Choisissez les seuils de chaque modèle sur les photos de validation du premier entrepôt avec choose_lines, pour un budget de 100 vérifications. Évaluez-les sur ses photos de test : AUROC, coût par jour, vérifications par jour. Vos lignes doivent correspondre à celles du cours. Sinon, corrigez d’abord votre code.
  1. Trouvez le décalage. Calculez les scores des 95 photos avec chaque modèle d’inspection. Comparez-les aux scores de validation du premier entrepôt. Utilisez le PSI (indice de stabilité de la population) et les proportions de photos rejetées et à vérifier avec les anciens seuils. Ajoutez un classificateur de domaine sur les plongements, avec un témoin.
  2. Écrivez votre règle de choix dans REPORT.md, avant d’essayer une correction. Elle ne doit utiliser aucune étiquette de la nouvelle caméra. Par exemple : « la correction qui ramène les proportions des zones près de leur niveau de validation, sans dépasser le budget de vérification ».
  3. Choisissez une correction et justifiez-la. Lisez les corrections dans Le décalage de domaine : les corrections, de la moins coûteuse à la plus coûteuse. Essayez-en au moins deux. Puis choisissez-en une avec votre règle de l’étape 2. Expliquez dans REPORT.md pourquoi elle convient au deuxième entrepôt et ce qu’elle coûte. Ne mettez jamais de photo contenant un visage dans un modèle ou sa mémoire.
  4. Fixez les seuils à partir du budget de révision. Vous n’avez aucun dommage étiqueté de la nouvelle caméra, donc choose_lines ne peut pas s’exécuter. Décidez comment fixer les deux seuils sans ces étiquettes. Justifiez-les avec le budget de Hamid de 100 vérifications par jour. Indiquez les jours utilisés pour les fixer et gardez-les pour le reste du mois.
  5. Écrivez quelles photos vous étiquetteriez d’abord et pourquoi. La zone à vérifier fournit des étiquettes sans coût supplémentaire. Un échantillon aléatoire de la zone acceptée révèle les dommages qui passent.
  6. Écrivez vision-pack/w2_zones.csv : item_id, day, score, zone, une ligne pour chacune des 95 photos. L’équipe du cours l’évalue une fois avec les coûts du cours. Ne changez pas votre méthode après avoir vu ce résultat.

Leçons utilisées : Assez rapide sur un processeur, Le service d’images et sa file de révision et Les personnes dans les images.

La commande vision replay lit le mois du cours. Pour le deuxième entrepôt, appelez la même fonction dans un court script. Enregistrez-le sous vision-pack/replay_w2.py :

import csv
from pathlib import Path
from larkvision import data as D
from larkvision.commands.replay import replay
from larkvision.inspector import Inspector
from larkvision.paths import data_dir, models_dir
from larkvision.privacy import default_finder
final = Path("../nextia-learning-labs/C42/final/data")
with open(final / "returns_manifest.csv", encoding="utf-8") as f:
month = list(csv.DictReader(f)) # each row has item_id, file and day
inspector = Inspector(models_dir() / "inspector")
results, summary = replay(final, month, inspector, default_finder(models_dir()),
"vision-pack/review-w2", D.costs(data_dir()))
for week in summary:
print(week["week"], week["photos"], week["pass"], week["check"], week["fail"],
week["mean_score"], round(week["psi"], 2), week["alarms"], week["cost_alarms"])

Exécutez-le depuis votre dossier larkvision avec python vision-pack/replay_w2.py. Chaque résultat contient la zone, le score, les visages, l’indicateur de révision et la latence.

  1. Réexécutez le mois avec le service tel quel. Notez les zones de chaque semaine, les alarmes et le temps par photo. C’est ce qui arriverait si Amira ne changeait rien.
  2. Créez un nouveau dossier de modèle d’inspection pour le deuxième entrepôt, par exemple vision-pack/models-w2/inspector/, avec votre correction de la partie 4. La classe Inspector lit trois fichiers : model.onnx, bank.npy (la mémoire) et config.json. La configuration contient version, check_line, fail_line, validation_good_scores (la référence pour le PSI) et validation_shares. Donnez-lui un nouveau nom de version.
  3. Réexécutez le mois avec le nouveau dossier. Vérifiez que le dossier de révision contient toutes les photos incertaines et toutes les photos contenant un visage. Vérifiez aussi que chaque visage est flouté.
  4. Notez la latence sur votre portable : la médiane et le 95e centile par photo, avec le détecteur de visages. Comparez-la à une cible explicite, par exemple « moins de 100 ms par photo sur un seul cœur de processeur ».
  5. Examinez chaque alarme. Pour chacune, dites s’il s’agit d’un vrai changement ou de bruit, avec le nombre de photos qui l’expliquent. Dites ce que l’équipe de Hamid devrait faire quand elle se déclenche.
  6. Enregistrez la sortie des deux exécutions dans vision-pack/replay.txt.

Leçons utilisées : Fixer les seuils avec l’entrepôt : ce que Hamid en fait et Quand ne pas le construire.

Écrivez vision-pack/HAMID.md : une page pour Hamid, qui ne lit pas de code. Terminez par une courte partie pour Omar.

  1. Commencez par la décision : ce que le système fera dans le deuxième entrepôt dès demain et ce qu’une personne fera.
  2. Donnez le coût prévu par jour, avec les coûts du cours comme hypothèses et un intervalle honnête. Vos seuils ont été fixés sur quelques dizaines de photos. Dites-le.
  3. Nommez ce que le système ne peut pas voir : au moins un type de dommage ou une condition, avec des preuves. Par exemple : une tache plus petite qu’un pixel à 224, un nouveau type de dommage, une caméra qui bouge encore.
  4. Dites ce qu’une personne vérifie encore : la zone à vérifier, un échantillon aléatoire de la zone acceptée, chaque semaine avec une alarme et les premières semaines d’une nouvelle caméra.
  5. Répondez à Omar : le rappel des bouilloires dans le catalogue, le résultat de recherche et le coût d’une mauvaise correspondance pour un client, en mots. Répondez à Tomás avec un nombre de votre tableau.
  6. Vérifiez chaque nombre de la page dans vos fichiers. Si un assistant d’IA a rédigé une partie, dites-le. Vérifiez vous-même ses nombres et le sens de son texte.

Le dossier vision-pack/ dans votre dossier larkvision :

vision-pack/
FRAMING.md Part 1
comparison.json Parts 2 to 4: the course's columns, one row for each method and setting
catalogue_predictions.csv Part 2: image_id, predicted (198 test photos)
kettle_matches.csv Part 3: photo_id, match_1 ... match_5 (102 customer photos)
w2_zones.csv Part 4: item_id, day, score, zone (95 photos)
replay_w2.py Part 5, with any other script or notebook that you used
models-w2/inspector/ Part 5: model.onnx, bank.npy, config.json
replay.txt Part 5: both replays
REPORT.md Parts 1 to 5, with the commands that make every number
HAMID.md Part 6
requirements.txt exact versions

Construisez comparison.json avec le Table du cours et ses fonctions auxiliaires de lignes (classification_row, inspection_row, match_row dans larkvision/compare.py). Mettez la caméra ou le jeu de données dans setting, par exemple catalogue test (9 classes), new studio, returns test (first warehouse) et second warehouse (scored by the course team). Une ligne pour le deuxième entrepôt n’a aucun coût avant son évaluation par l’équipe du cours. Laissez la valeur vide et remplissez-la une seule fois.

REPORT.md contient ces sections :

# Vision pack for the second warehouse and the kettles
## Framing (short; the full text is in FRAMING.md)
## Data checks (files, checksums, what you saw in the photos, the labelling guide)
## Catalogue: rule, table, test (Part 2: the rule written first, validation, the one test, per class, new studio)
## Kettle search (Part 3: the methods, the check without answers, the 10 photos you looked at)
## Inspection: first camera (Part 4: your rows against the course's rows)
## Inspection: the new camera (Part 4: the shift, the rule written first, the fixes, the lines from the budget)
## The service over the month (Part 5: both replays, latency, review folder, faces, each alarm)
## Scores from the course team (filled in once; no change after it)
## Limits (what the pack cannot see, and what you would label next)
## How to reproduce (commands, versions, run times, a fresh environment)

Un réviseur marque chaque élément démontré, partiellement démontré ou pas encore démontré, avec une raison concrète. Sans réviseur, utilisez le tableau sur votre propre dossier ou demandez à un collègue. Chaque élément vaut des points : tous s’il est démontré, la moitié s’il est partiellement démontré, aucun sinon. Les points montrent les faiblesses de votre dossier. Mais le cours est terminé seulement quand les six éléments sont démontrés : 100 points. Vous pouvez améliorer un élément et le soumettre de nouveau.

Élément requis Points Démontré quand Partiellement démontré, par exemple Pas encore démontré, par exemple
1. Note de cadrage (module 1) 10 Chaque demande a son type de réponse et son utilisateur. Les deux caméras sont décrites. Les coûts et le budget sont présents, indiqués comme hypothèses. Tomás reçoit une première réponse. La configuration des caméras manque, ou les coûts ne sont pas indiqués comme hypothèses. Aucun type de réponse, ou aucun budget.
2. Tableau comparatif (modules 2, 3, 6 et 7) 25 Une référence de base et au moins trois familles pour le catalogue et l’inspection, puis une référence de base et deux modèles pour la recherche. Mêmes photos, même évaluation, colonnes du cours. Résultats par classe et par caméra (ancien et nouveau studio, premier et deuxième entrepôt). La règle du catalogue est écrite avant le test unique. Les résultats par classe manquent pour une tâche. Ou les lignes de la première caméra ne correspondent pas à celles du cours. Aucune référence de base. Ou seulement l’exactitude. Ou les photos de test des bouilloires servent à choisir.
3. Méthode d’inspection (modules 6 et 8) 20 Le décalage est montré avec au moins deux signaux. Au moins deux corrections sont essayées, avec une règle sans étiquettes écrite d’abord. Les seuils viennent du budget de révision et sont fixés seulement sur les premiers jours. Le dossier indique quoi étiqueter d’abord. Une seule correction, ou des seuils fixés sur le mois entier. Les anciens seuils sont conservés sans vérification. Ou les seuils sont ajustés sur des photos étiquetées à l’œil.
4. Le service sur le mois (module 8) 20 Deux réexécutions : le service tel quel et le nouveau dossier de modèle d’inspection. Les photos incertaines et celles contenant un visage vont en révision, floutées. La latence est mesurée et comparée à une cible. Chaque alarme est examinée, avec le nombre de photos qui l’expliquent. Aucune cible de latence. Ou les alarmes sont listées mais pas examinées. Aucune réexécution. Ou un visage conservé sans floutage.
5. Recommandation pour Hamid (modules 6, 7 et 8) 15 Une page, sans code. La décision et son coût avec un intervalle viennent d’abord. Elle nomme ce que le système ne peut pas voir, avec des preuves, et ce qu’une personne vérifie encore. Omar et Tomás reçoivent des réponses chiffrées. Les limites sont générales, sans preuves. Aucune limite. Ou une affirmation que le système trouve chaque article endommagé.
6. Une exécution que quelqu’un d’autre peut reproduire 10 REPORT.md contient les commandes, les versions et les temps d’exécution. Les scripts ou carnets Jupyter s’exécutent dans un environnement neuf et donnent les mêmes nombres. La vérification des plongements donne 1,000. Une étape demande un fichier absent du dossier. Les nombres ne peuvent pas être reproduits.

Non accepté, quels que soient les autres résultats (l’élément est « pas encore démontré ») :

  • Un modèle jugé seulement sur l’exactitude globale. Les bouilloires représentent 38 des 198 photos de test, et les dommages sont rares. Donnez la pire classe et le coût. (Éléments 2 et 3.)
  • Des seuils ajustés sur le test caché. Cela comprend les seuils changés après le résultat de l’équipe du cours et ceux ajustés sur des bougies annotées à l’œil. (Élément 3.)
  • Une méthode choisie sans référence de base dans la comparaison. (Élément 2.)
  • Une photo contenant une personne stockée ou envoyée à un modèle hébergé sans floutage. Cela comprend une photo contenant un visage dans le dossier de révision, la mémoire du modèle d’inspection ou un appel au modèle de Tomás. (Éléments 3 et 4.)

Un bon dossier est honnête avant d’être impressionnant. Il contient trois choses.

  • Des mesures honnêtes avec les coûts du cours. Le coût par jour, les vérifications par jour, la pire classe et le rappel. Chacun porte une indication : mesuré, supposé ou évalué une fois par l’équipe du cours. Les hypothèses sont à côté.
  • Une référence de base simple dans la comparaison. Pour l’inspection, « aucune inspection » et « une personne vérifie 100 retours au hasard ». Pour le catalogue et la recherche, un histogramme de couleurs. Si un modèle ne dépasse pas sa référence de base, le dossier le dit.
  • Une décision avec son coût. « Dès demain, le service fait ceci. Cela coûte environ ce montant par jour, dans cet intervalle. Une personne vérifie encore ceci. »

Ces intervalles viennent de la solution de l’auteur. L’auteur l’a construite seulement à partir des données publiques, avec le code du cours. Puis l’équipe du cours l’a évaluée une fois avec les réponses qu’elle conserve. Vos méthodes peuvent différer. Comparez alors la méthode et l’ordre de grandeur du résultat, pas le nombre exact.

  • Le catalogue garde son exactitude. Avec neuf classes, les sondes CLIP et DINOv2 obtenaient environ 0,89 à 0,94 au test. Une sonde trouvait environ neuf bouilloires sur dix ou plus. CLIP en zéro exemple avec une requête pour les bouilloires n’en trouvait qu’environ trois sur quatre. Les autres devenaient des vases et des tasses. Sur les anciennes classes, la même méthode donnait le nombre du cours.
  • Un petit jeu de validation ne peut pas départager des méthodes proches. Dans l’exécution de l’auteur, la règle a choisi la méthode en zéro exemple grâce à deux photos de validation. Au test, la sonde équilibrée était meilleure d’environ cinq points. Écrivez une règle qui tient aussi compte du rappel de la nouvelle classe.
  • Le bon modèle résout presque la recherche. DINOv2 trouvait la bonne bouilloire parmi ses cinq premiers résultats pour presque chaque photo de client. Elle arrivait première pour plus de 95 % des photos. CLIP la trouvait en premier pour seulement environ 6 photos sur 10. L’histogramme de couleurs et le hachage perceptuel n’y arrivaient presque jamais.
  • La nouvelle caméra fait complètement échouer le service. Avec l’ancienne mémoire et les anciens seuils, chaque photo est rejetée et les deux alarmes se déclenchent chaque semaine. Cela coûte environ trois fois plus cher qu’aucune inspection.
  • Une règle pour la caméra peut aggraver les choses. Les règles de couleur et de bordure de l’auteur ont fait baisser les scores. Mais le modèle d’inspection classait alors les bougies endommagées et intactes à peu près aussi bien que le hasard. Mesurez chaque correction.
  • De nouvelles photos dans la mémoire et des seuils issus du budget aident beaucoup. Les meilleures corrections sans étiquettes de l’auteur coûtaient environ la moitié aux deux tiers d’« aucune inspection ». C’est aussi moins qu’« une personne vérifie 100 retours au hasard ». Après la même correction avec les anciens seuils, la plupart des dommages passaient. Le coût était presque celui d’aucune inspection.
  • Aucune famille n’est à l’abri avec la nouvelle caméra. Sans correction, chaque famille classait les dommages moins bien qu’avec la première caméra. La requête CLIP est tombée près du hasard. Les classificateurs supervisés ont perdu davantage que PatchCore.
  • Les seuils issus de quelques dizaines de photos ne tiennent pas exactement. La proportion à vérifier de l’auteur a dépassé le budget pendant deux semaines. Le PSI, comparé à une référence d’environ 25 photos, a déclenché une alarme chaque semaine. Une photo endommagée de plus ou de moins change le coût d’environ 280 $ US par jour (600 ÷ 95 × 45). Dites-le dans l’intervalle.
  • Le service reste rapide. Environ 20 à 30 ms par photo sur le portable du cours, avec le détecteur de visages, avant et après la nouvelle mémoire.

Erreur courante

Déplacer le seuil au lieu de corriger les photos

Symptôme : le 1er avril, toutes les photos du deuxième entrepôt sont rejetées. Quelqu’un augmente le seuil de rejet jusqu’à obtenir une proportion normale de rejets.

Cause : chaque fragment de la nouvelle caméra est loin de l’ancienne mémoire. Le score a augmenté pour les bougies intactes comme pour les bougies endommagées.

Correction : corrigez la référence de comparaison de l’inspecteur (photos de la nouvelle caméra en mémoire, vérifiées par une personne). Fixez ensuite les seuils à nouveau selon le budget. Mesurez les résultats sur des photos qui n’ont pas servi à fixer les seuils.

Conséquence pour le travail en IA : déplacer le seuil masque le décalage. Les bougies endommagées sont remises en vente comme neuves, et la prochaine alarme ne se déclenche jamais.

Erreur courante

Une photo évaluée par rapport à elle-même

Symptôme : vous ajoutez les photos de la première semaine à la mémoire et fixez les seuils selon leurs scores. Durant le reste du mois, beaucoup plus de photos que prévu sont à vérifier ou rejetées.

Cause : chaque photo de la première semaine retrouve certains de ses propres fragments en mémoire. Sa plus grande distance diminue, donc son score est trop bas, tout comme les seuils. Dans l’exécution de l’auteur, ces seuils ont envoyé environ 43 % des photos suivantes en vérification ou au rejet, plutôt qu’environ 20 %.

Correction : calculez le score de chaque photo avec une mémoire qui exclut ses propres fragments. Vous pouvez aussi fixer les seuils sur d’autres photos.

Conséquence pour le travail en IA : des seuils issus de scores trop bas dépassent le budget de vérification dès la première semaine chargée. L’équipe de Hamid cesse alors de faire confiance aux zones.

  • Les photos de test des bouilloires servent à choisir. Il n’y a pas de données de validation pour les bouilloires. Créez-en à partir des photos d’entraînement.
  • Une galerie de recherche contenant seulement des bouilloires. Le client ne peut pas dire « c’est une bouilloire » au préalable. Cherchez dans tout le catalogue.
  • Une catégorie prise au pied de la lettre. « Bouilloire » contient des théières, des pichets et des cafetières. Rédigez le guide et dites à Omar ce que sa catégorie contient réellement.
  • Un visage dans la mémoire ou dans le dossier de révision. Le détecteur de visages doit s’exécuter avant tout stockage. Un visage peint donne aussi un score très élevé et déplace les seuils.
  • Des alarmes quotidiennes. Avec environ 3 photos par jour, une seule photo fait varier la proportion quotidienne de 33 points. Consultez les chiffres hebdomadaires, avec le nombre de photos.
  • Un coût sans intervalle. Avec 95 photos, une seule photo de dommage fait beaucoup varier le coût. Donnez un intervalle ou précisez sur combien de photos le coût repose.
  • L’exactitude pour la recherche. La recherche n’a pas de classes dont on peut mesurer l’exactitude. Utilisez le rappel à 1 et à 5.
Afficher les valeurs publiques de vérification

Ouvrez cette section seulement après avoir obtenu vos propres chiffres. Ces valeurs proviennent des données publiques, vous pouvez donc les vérifier. Ce ne sont pas les réponses au travail.

  • Données : 95 photos de retours du 1er au 30 avril 2026; les semaines de réexécution comptent 26, 24, 24 et 21 photos. 102 photos de bouilloires (64 train (entraînement), 38 test (test)) et 102 photos de clients. Tous les fichiers dans SHA256SUMS sont conformes.
  • Vérification des plongements : vos plongements CLIP, DINOv2 et ResNet-18 des photos du cours ont une similarité cosinus de 1,000 avec data/embeddings/*.npz.
  • Catalogue (198 photos de test) : histogramme de couleurs + 5 voisins environ 0,25, HOG + régression logistique environ 0,35. La sonde CLIP équilibrée, entraînée avec les 64 bouilloires : 0,939 sur les neuf classes, et 0,944 sur les 160 anciennes photos, comme dans la ligne du cours.
  • Recherche, vérification sans réponses (galerie de 835 photos) : la proportion de premières correspondances qui sont des photos de bouilloires est d’environ 0,99 pour DINOv2, 0,86 pour CLIP, 0,74 pour ResNet-18 et moins de 0,05 pour l’histogramme de couleurs et le hachage perceptuel.
  • Premier entrepôt, comme dans le cours : petit PatchCore 988,1 $ US par jour (AUROC 0,836), ResNet-18 supervisé 1 106,4 (0,914), requête CLIP 1 012,8 (0,808).
  • Le service tel quel, sur le deuxième entrepôt : les 95 photos sont rejetées. Le score moyen est d’environ 21 chaque semaine, contre environ 7 pour les photos de validation d’articles intacts. Le PSI est de 8,28 et les deux alarmes se déclenchent durant chacune des quatre semaines.

Récapitulatif

Vous pouvez maintenant mener un problème de vision de la demande à la décision. Vous cadrez chaque demande selon son type de réponse et ses coûts. Vous comparez une référence de base et plusieurs familles de méthodes sur les mêmes photos, par classe et par caméra. Vous remarquez quand une nouvelle caméra perturbe un bon inspecteur, corrigez le problème sans étiquettes et fixez les seuils selon le budget de révision. Vous exploitez le service avec son dossier de révision, son floutage des visages et ses alarmes. Vous expliquez à Hamid son coût et ce qu’une personne doit encore vérifier. Les études de cas du module 9 suivent les mêmes étapes sur des données réelles : Inspection visuelle avec peu de défauts, Classer des produits et des animaux à partir de photos et Compter et détecter dans des scènes encombrées.