Inspection visuelle avec peu de défauts
- Étude de cas 1
- 120 min
- Facultative · 1 étude de cas requise pour le certificat
Où nous en sommes
En huit modules, nous avons inspecté les retours de Larkfield avec et sans étiquettes. Cette étude de cas utilise de vraies images d'inspection ouvertes. Nous comparons un classificateur supervisé, PatchCore et une requête CLIP, puis choisissons les seuils selon un budget.
Étude de cas 1 sur 3 · IA de vision : voir, compter et inspecterInspection visuelle avec peu de défauts
1. Voir est un problème d'affaires
2. Références de base et classificateurs préentraînés
3. Plongements, CLIP et peu d'étiquettes
4. Détecter et compter
5. Segmenter
6. Inspecter pour trouver les défauts
7. Apparier, chercher et décrire
8. Exploiter la vision en production
Ce que vous saurez faire
Construisez un inspecteur visuel pour deux types de cartes de circuit imprimé à partir de vraies photos ouvertes. Vous n’avez que 10 photos de cartes endommagées de chaque type. Vous comparez quatre inspecteurs sur les mêmes photos, avec une seule mesure. Vous choisissez les seuils accepter, vérifier et rejeter selon un budget d’inspection. Vous testez une seule fois, puis rédigez la décision pour la responsable de la qualité. Le résultat est une réalisation pour votre portfolio.
Le carnet (notebook) Jupyter exécute chaque étape de cette page, avec le même code et les mêmes sorties. Il ajoute trois tâches avec des vérifications. Ses cellules de configuration installent les paquets et téléchargent les photos (37 Mo), ResNet-18 (47 Mo) et CLIP (605 Mo). Après les téléchargements, il s’exécute en environ 2 minutes sur le processeur d’un portable.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
Cette étude de cas utilise surtout le module 6. Ces leçons sont importantes :
- L’inspection supervisée et par détection d’anomalies, l’AUROC et le coût par jour, dans Deux façons de trouver les dommages.
- Les fragments, le petit PatchCore et les cartes de chaleur, dans L’inspection par détection d’anomalies.
- Deux seuils et trois zones, choisis sur les données de validation et mesurés une fois, dans Fixer les seuils avec l’entrepôt.
- CLIP et les requêtes, dans CLIP en zéro exemple, et les plongements, dans Les plongements d’images.
Ce qu’il vous faut sur votre ordinateur
Rien pour le carnet dans Colab ou Kaggle. Pour l’exécuter localement, utilisez un environnement virtuel avec Python 3.12 et Jupyter, comme dans Découvrir les images de Larkfield. Le carnet travaille dans un nouveau dossier visa-boards. Pour recommencer, supprimez ce dossier. Cette étude de cas n’utilise pas le projet larkvision.
Testé sur macOS avec Python 3.12.13, PyTorch 2.15.0, timm 1.0.31, open_clip 4.2.1 et scikit-learn 1.9.1. Nous l’avons exécuté dans Jupyter à partir d’un démarrage neuf. Colab, Kaggle, Windows et Linux n’ont pas été testés.
La situation
Section intitulée « La situation »Fernhill Circuits est un petit fabricant de produits électroniques (une entreprise fictive). Il fabrique deux types de cartes de circuit imprimé : un capteur de distance à ultrasons et un chargeur de batterie. Une caméra au-dessus de la chaîne prend une photo de chaque carte terminée.
Aujourd’hui, Ayumi, la responsable de la qualité, a un vérificateur : une personne qui examine les cartes à la main. Il peut vérifier 100 cartes sur 1 000. Toutes les autres sont expédiées sans examen. Certaines cartes défectueuses arrivent chez les clients, qui les retournent.
Ayumi a fixé un prix pour chaque erreur. Ce sont des hypothèses, ses estimations, et non des faits mesurés :
- Une carte défectueuse expédiée coûte 60 $ US : le retour du client, une nouvelle carte et l’expédition.
- Une bonne carte mise au rebut coûte 15 $ US : ses pièces et le temps d’assemblage.
- Une vérification par le vérificateur coûte 0,50 $ US : une minute à 30 $ US l’heure.
Une carte défectueuse expédiée coûte quatre fois plus qu’une bonne carte mise au rebut. Ayumi demande à Mateus, un scientifique des données : « La caméra peut-elle indiquer à mon vérificateur quelles cartes examiner? Nous avons très peu de photos de cartes défectueuses. »
C’est le problème du module 6 dans une nouvelle usine. Dans le cours, le comptoir des retours de Hamid avait 25 photos de bougies endommagées. Ici, chaque type de carte n’en a que 10.
Ce que vous allez construire
Section intitulée « Ce que vous allez construire »Vous allez construire quatre inspecteurs. Sur cette page, un inspecteur est une méthode, pas une personne. Il donne un score à chaque photo : un score élevé signifie « probablement endommagé ». Puis deux seuils sur le score répartissent chaque carte dans trois zones, comme dans Fixer les seuils avec l’entrepôt :
- accepter : la carte est expédiée;
- vérifier : le vérificateur l’examine et a toujours raison;
- rejeter : la carte est mise au rebut.
Vous comparez les inspecteurs avec une seule mesure : le coût par 1 000 cartes, avec un budget de 100 vérifications par 1 000. Vous choisissez la méthode et les seuils sur les photos de validation. Vous testez une fois, puis appliquez votre choix à de nouvelles cartes. À la fin, vous rédigez la décision pour Ayumi : la méthode, les seuils, ce que le vérificateur vérifie encore et le coût.
Les données
Section intitulée « Les données »Les photos viennent de VisA, le jeu de données Visual Anomaly d’Amazon. Il contient 12 types d’objets, chacun avec environ 500 à 1 000 bonnes photos et 100 photos d’objets endommagés. Chaque dommage a un masque : une image en noir et blanc qui indique son emplacement. Les lampions du cours sont la classe candle de VisA. Ici, nous utilisons deux autres classes, les cartes de circuit imprimé que VisA appelle pcb1 et pcb4. Sur cette page, ce sont le carte 1 et le carte 4.

Description textuelle du diagramme
Deux rangées de quatre photos. La rangée du haut montre la carte 1, une carte de capteur à ultrasons. Elle est bleue, avec deux capteurs ronds argentés et quatre broches, sur un tissu gris. La première photo montre une bonne carte, tournée d’un demi-tour par rapport aux autres. La deuxième a une broche pliée, encerclée en bas à gauche des broches. La troisième a une petite zone fondue près des broches. La quatrième n’a plus les deux grilles des capteurs. Il reste deux disques blancs plats, et le cercle couvre toute la carte. La rangée du bas montre la carte 4, une petite carte de chargeur sur un tissu noir. Elle a un port USB et une puce noire. La première photo montre une bonne carte. La deuxième a une pièce en trop sur le port. La troisième a une petite pièce manquante, et la quatrième une zone brûlée en bas.
Chaque type de carte a 800 photos, réparties en cinq groupes :
| Groupe | Par type de carte | Utilité |
|---|---|---|
train (entraînement) |
200 bonnes + 10 endommagées | ce dont les inspecteurs apprennent |
val (validation) |
100 bonnes + 20 endommagées | choisir la méthode et les seuils |
test (test) |
300 bonnes + 40 endommagées | mesurer une fois, à la fin |
new (nouveaux) |
100 bonnes + 10 endommagées | l’exécution de bout en bout sur de nouvelles cartes |
extra (supplémentaires) |
20 endommagées | une expérience : ce qu’apporteraient plus d’étiquettes |
La cellule de configuration du carnet télécharge l’échantillon et vérifie sa somme de contrôle. Mateus charge le manifeste. Il contient une ligne par photo :
boards = pd.read_csv("data/visa-pcb/manifest.csv")PARTS = ["pcb1", "pcb4"]SPLITS = ["train", "val", "test", "new", "extra"]print(boards.groupby(["part", "split", "status"]).size().unstack(fill_value=0))La sortie :
status damaged goodpart splitpcb1 extra 20 0 new 10 100 test 40 300 train 10 200 val 20 100pcb4 extra 20 0 new 10 100 test 40 300 train 10 200 val 20 100Premières vérifications
Section intitulée « Premières vérifications »Deux vérifications avant tout modèle : une photo apparaît-elle deux fois dans l’échantillon? Les photos d’un type de carte ont-elles toutes la même taille?
print("photos:", len(boards), "| different source files:", boards["source_sha256"].nunique())print(boards.groupby("part")[["source_width", "source_height"]].agg(["min", "max"]))sizes = {Image.open("data/visa-pcb/" + f).size for f in boards["file"]}print("sizes in the sample:", sorted(sizes))photos: 1600 | different source files: 1600 source_width source_height min max min maxpartpcb1 1404 1404 1070 1070pcb4 1358 1358 1104 1104sizes in the sample: [(320, 244), (320, 260)]Ce que cela nous apprend. Chaque photo vient d’un fichier source différent, donc aucune photo n’est dans deux groupes. Les photos de VisA sont grandes (environ 1 400 × 1 100 pixels). L’échantillon fait 320 pixels de large pour limiter la taille du téléchargement. Les photos de cartes endommagées présentent de un à sept types de dommages par type de carte. Plusieurs types peuvent apparaître sur une carte, comme « fondu; rayure ».
Plus facile et plus difficile qu’une vraie chaîne
Section intitulée « Plus facile et plus difficile qu’une vraie chaîne »Soyez honnête sur ce que ces données peuvent montrer :
- Plus facile : une caméra fixe, un éclairage fixe, une carte par photo, près du centre. Une vraie chaîne a de nouveaux lots, de la poussière et, un jour, une nouvelle caméra (comme dans Le décalage de domaine).
- Plus difficile : une carte de test sur 8,5 est endommagée. Une vraie chaîne a beaucoup moins de cartes défectueuses. Les coûts par 1 000 cartes sont donc plus élevés ici que sur une vraie chaîne.
- Peu d’exemples : 20 photos de cartes endommagées pour la validation, par type de carte. Déplacez une photo de carte endommagée du mauvais côté d’un seuil. Le coût de validation change de 1 000 ÷ 120 × 60 = 500 $ US par 1 000 cartes. Sur les photos de test, une photo le fait varier de 176 $ US. Les petites différences sont du bruit.
Définir le problème
Section intitulée « Définir le problème »- Un article est une photo d’une carte.
- La réponse est une zone : accepter, vérifier ou rejeter.
- La mesure est le coût par 1 000 cartes d’un type, selon les prix d’Ayumi. Le pire cas est le type de dommage accepté le plus souvent.
- Le budget est de 100 vérifications par 1 000 cartes. Les seuils qui demandent plus de vérifications sont interdits.
- Les seuils sont choisis uniquement sur les photos de validation, séparément pour chaque type de carte, car leur apparence diffère.
- La méthode est la même pour les deux types : celle dont le coût moyen de validation est le plus bas. Une seule méthode est plus simple à exécuter et à entretenir.
- Les photos de test sont ouvertes une seule fois, après le choix.
Le carnet transforme les prix d’Ayumi en tableau des coûts pour le fichier compare.py du cours. Ses noms de clés viennent du comptoir des retours. Ainsi, « endommagé vendu comme neuf » signifie ici « carte défectueuse expédiée » :
COSTS = { "damaged_sold_as_new": 60.0, # a faulty board shipped: the customer's return, a new board, shipping "good_marked_damaged": 15.0, # a good board scrapped: its parts and the assembly time "check_by_a_person": 0.5, # one minute of the checker at 30 dollars an hour "checks_per_day": 100, # the checker's budget: 100 checks per 1,000 boards "returns_per_day": 1000, # costs are given per 1,000 boards}La fonction board_row évalue une méthode sur un type de carte, comme compare.inspection_row au module 6. cp.choose_lines trouve la paire de seuils la moins coûteuse sur les données de validation, dans le budget. cp.inspection_costs mesure leur coût sur les données de test. Le carnet contient tout le code.
Trois lignes de référence encadrent chaque résultat. Chaque type de carte a les mêmes nombres, car chacun compte 40 cartes endommagées dans 340 photos de test :
| Référence | Coût par 1 000 cartes |
|---|---|
| Aucune inspection : chaque carte défectueuse est expédiée | 7 059 |
| Le vérificateur examine 100 cartes au hasard | 6 403 |
| Un inspecteur parfait : il vérifie seulement les cartes endommagées | 59 |
Quatre inspecteurs sur les mêmes photos
Section intitulée « Quatre inspecteurs sur les mêmes photos »Chaque inspecteur reçoit les mêmes photos et les mêmes groupes. Ils diffèrent par ce dont ils apprennent.
Description textuelle du diagramme
En haut, une case : les mêmes photos de chaque type de carte. Quatre lignes descendent vers quatre inspecteurs. La référence de base compare chaque photo à la bonne carte moyenne et apprend des bonnes photos. L’inspecteur supervisé utilise ResNet-18 et la régression logistique. Il apprend de 200 photos de bonnes cartes et de 10 photos de cartes endommagées. PatchCore garde une mémoire de bons fragments et apprend seulement des bonnes photos. La requête CLIP compare « sans défaut » à « endommagé » et n’apprend de rien. En dessous, trois cases en colonne. D’abord, validation (100 photos de bonnes cartes et 20 de cartes endommagées) : choisir la méthode et les seuils accepter, vérifier et rejeter, avec le budget de 100 vérifications par 1 000 cartes. Ensuite, test (300 bonnes et 40 endommagées), ouvert une fois : le coût par 1 000 cartes et le pire type de dommage. Enfin, nouvelles cartes (100 bonnes et 10 endommagées), où la décision s’applique : accepter, vérifier ou rejeter.
Une référence de base : la différence avec la bonne carte moyenne
Section intitulée « Une référence de base : la différence avec la bonne carte moyenne »Imaginez un employé qui tient une carte parfaite à côté de chaque nouvelle carte et cherche les différences. La référence de base fait cela avec des nombres. Elle réduit chaque photo et la passe en niveaux de gris (64 × 48 pixels). Elle calcule la moyenne des 200 bonnes photos d’entraînement. Le score de chaque photo est sa différence moyenne avec cette moyenne. Aucun modèle n’est nécessaire.
Prédisez. La carte 1 se trouve à peu près au même endroit dans chaque photo (parfois tournée d’un demi-tour). La carte 4 bouge un peu plus. Sur quelle carte la référence de base de la carte moyenne fera-t-elle mieux?
pcb1 AUROC on test: 0.916pcb4 AUROC on test: 0.531L’AUROC est la probabilité qu’une photo de carte endommagée ait un score supérieur à une bonne photo (Deux façons de trouver les dommages). Une valeur de 0,5 correspond au hasard. Sur la carte 1, la règle simple est forte : 0,916. Sur la carte 4, elle ne fait pas mieux que le hasard. Un petit déplacement de la carte change beaucoup de pixels. La moyenne des bonnes cartes est donc floue.
Supervisé : apprendre de 10 photos de cartes endommagées
Section intitulée « Supervisé : apprendre de 10 photos de cartes endommagées »ResNet-18, le réseau des modules 2 et 6, transforme chaque photo en plongement : 512 nombres qui décrivent toute la photo. Une régression logistique apprend ensuite à distinguer les bonnes cartes des cartes endommagées. Elle utilise les 200 bonnes photos et les 10 photos de cartes endommagées d’entraînement de chaque type. class_weight="balanced" donne autant de poids aux 10 photos de cartes endommagées qu’aux 200 bonnes photos.
def supervised_scores(part, train_splits=("train",)): """Supervised: logistic regression on the ResNet-18 embeddings of the labelled training photos.""" rows = boards[boards["part"] == part] tr = rows[rows["split"].isin(train_splits)] X = np.stack([EMBEDDING[i] for i in tr["item_id"]]) model = LogisticRegression(C=1.0, max_iter=5000, class_weight="balanced").fit(X, tr["status"] == "damaged") p = model.predict_proba(np.stack([EMBEDDING[i] for i in rows["item_id"]]))[:, 1] return dict(zip(rows["item_id"], p.astype(float)))Le risque est celui du module 6 : 10 exemples ne peuvent pas montrer tous les types de dommages. Un nouveau type peut lui sembler « bon ».
Détection d’anomalies : le petit PatchCore
Section intitulée « Détection d’anomalies : le petit PatchCore »PatchCore apprend seulement des bonnes photos. Un passage de ResNet-18 donne aussi 784 fragments par photo. C’est une grille de 28 × 28 petits carrés, chacun décrit par 384 nombres. Le petit PatchCore du cours garde une mémoire de 20 000 fragments des 200 bonnes photos d’entraînement de chaque type. Le score d’une photo est la distance entre son fragment le plus inhabituel et le bon fragment le plus proche. L’idée complète se trouve dans L’inspection par détection d’anomalies.
Il n’a besoin d’aucune photo de carte endommagée. Il peut donc détecter un type de dommage que personne n’a vu. Son risque : toute nouveauté semble inhabituelle, même une bonne carte dans une nouvelle position.
Zéro exemple : une requête CLIP sans étiquettes
Section intitulée « Zéro exemple : une requête CLIP sans étiquettes »CLIP (CLIP en zéro exemple) compare une photo à des textes. Mateus écrit deux ensembles de textes. L’un contient quatre mots « bons » en anglais : flawless, perfect, intact, good (sans défaut, parfait, intact, bon). L’autre contient quatre mots « mauvais » : damaged, defective, broken, scratched (endommagé, défectueux, cassé, rayé). Chaque mot entre dans quatre modèles de phrases, comme « a photo of a damaged circuit board. » (une photo d’une carte de circuit imprimé endommagée). Le score est la part qu’accorde CLIP à « damaged » entre les deux ensembles. Aucune photo de carte ne sert à apprendre.
Prédisez. Sur les bougies du cours, ce type de requête donnait une AUROC de 0,808. Fera-t-il mieux ou moins bien sur les cartes de circuit imprimé?
Une comparaison équitable
Section intitulée « Une comparaison équitable »La validation d’abord
Section intitulée « La validation d’abord »Chaque inspecteur a maintenant un score pour chaque photo. Mateus les compare uniquement sur les photos de validation. Pour chaque méthode et type de carte, voici les seuils les moins coûteux qui respectent le budget, et leur coût :
METHODS = {"baseline": base, "supervised": sup, "patchcore": pc, "clip": clip}rows = [board_row(name, part, scores[part]) | {"part": part} for name, scores in METHODS.items() for part in PARTS]validation = pd.DataFrame([{"method": r["method"], "part": r["part"], "validation cost": r["validation_cost"]} for r in rows])print(validation.pivot(index="method", columns="part", values="validation cost").assign(mean=lambda t: t.mean(axis=1)).round(0).astype(int))part pcb1 pcb4 meanmethodbaseline 1175 8425 4800clip 9175 4292 6733patchcore 2421 1300 1860supervised 1788 671 1229Ce que cela nous apprend. Le classificateur supervisé a le coût moyen de validation le plus bas : 1 229 $ US par 1 000 cartes. Mateus le choisit maintenant, avant d’ouvrir une seule photo de test.
Regardez aussi les lignes par type de carte. Pour la carte 1 seulement, la référence de base coûte le moins cher en validation (1 175). Un choix par type de carte retiendrait la référence de base pour la carte 1. Gardez cela en tête pour le test.
Erreur courante
Un seuil à 0,5 pour CLIP
Symptôme : CLIP donne une proportion pour « endommagée », de 0 à 1. Première idée : rejeter chaque carte au-dessus de 0,5. Pour la carte 1, cela coûte 7 059 dollars par 1 000 cartes : exactement le coût sans inspection.
Cause : tous les scores CLIP de la carte 1 se situent entre 0,008 et 0,056. Un seuil à 0,5 accepte chaque carte. Le score ressemble à une probabilité, mais rien n’en a fait une.
Correction : choisissez les seuils à partir des scores des photos de validation, comme le fait cp.choose_lines. Ne choisissez jamais un seuil selon l’apparence des nombres.
Le test, une seule fois
Section intitulée « Le test, une seule fois »Mateus ouvre maintenant les photos de test pour chaque méthode, avec les seuils de validation :
method part AUROC test cost checks per 1,000 faulty shipped good scrapped worst type baseline pcb1 0.916 2058.8 147.1 4 29 melt 0.864 baseline pcb4 0.531 9094.1 100.0 2 197 extra 0.833supervised pcb1 0.956 1025.0 108.8 4 6 scratch 0.75supervised pcb4 0.913 2239.7 67.6 6 26 scratch 0.714 patchcore pcb1 0.876 3666.2 97.1 7 54 melt 0.682 patchcore pcb4 0.975 1354.4 61.8 0 30 burnt 1.0 clip pcb1 0.416 6452.9 111.8 34 9 scratch 0.0 clip pcb4 0.678 5670.6 47.1 23 36 missing 0.231mean test cost: {'baseline': 5576, 'clip': 6062, 'patchcore': 2510, 'supervised': 1632}« Faulty shipped » (défectueuses expédiées) et « good scrapped » (bonnes mises au rebut) sont des décomptes parmi les 340 photos de test. Le pire type est le type de dommage le moins souvent trouvé, avec la proportion trouvée (et non « acceptée »).
Description textuelle du graphique
Un diagramme à colonnes avec six colonnes. Aucune inspection : 7 059 $ US par 1 000 cartes. 100 vérifications au hasard : 6 403. Requête CLIP : 6 062. Référence de base : 5 576. PatchCore : 2 510. Supervisé : 1 632.
Ce que cela nous apprend.
- Le classificateur supervisé gagne aussi au test : 1 632 $ US par 1 000 cartes, contre 7 059 sans inspection. C’est 77 % de moins.
- PatchCore arrive deuxième (2 510), et c’est le meilleur pour la carte 4 (1 354) : il a trouvé les 40 cartes 4 endommagées du test. Pour la carte 1, il met au rebut 54 bonnes cartes. Nous n’avons pas trouvé pourquoi; les cartes de chaleur de ces bonnes cartes sont le point de départ.
- Le choix par type de carte aurait été moins bon. La référence de base coûtait le moins cher sur les photos de validation de la carte 1. Sur ses photos de test, elle coûte 2 059 : deux fois le coût du classificateur supervisé.
- CLIP a échoué. Son AUROC pour la carte 1 est de 0,416 : pire qu’un choix à pile ou face. Il a trouvé 0 rayure sur 8. CLIP a appris à partir de photos du Web avec des légendes. Dans une légende, « une carte de circuit imprimé endommagée » désigne rarement une zone fondue d’un millimètre.
Le classificateur supervisé exige 108,8 vérifications par 1 000 photos de carte 1 au test : un peu au-dessus du budget. Les seuils respectaient le budget en validation. Attendez-vous à ce que le nombre de vérifications varie, et prévoyez une marge.
La validation comparée au test
Section intitulée « La validation comparée au test »Description textuelle du graphique
Un diagramme à colonnes avec quatre colonnes. Supervisé : 1 229 en validation, 1 632 au test. PatchCore : 1 860 en validation, 2 510 au test.
Les deux inspecteurs coûtent environ un tiers de plus au test qu’en validation. C’est normal : les seuils ont été choisis pour les photos de validation, ce qui embellit les résultats de validation. Le nombre à communiquer est celui du test. Avec 20 photos de validation endommagées, un tel écart est attendu. Dans le module 6, les seuils de Hamid établis sur 12 photos endommagées ont beaucoup moins bien tenu.
Les pires cas par type de dommage
Section intitulée « Les pires cas par type de dommage »Combien de cartes de test endommagées de chaque type les deux meilleurs inspecteurs ont-ils trouvées (zone à vérifier ou rejetée)?
| Carte | Type de dommage | Supervisé | PatchCore |
|---|---|---|---|
| 1 | plié | 7 sur 7 | 7 sur 7 |
| 1 | zone fondue | 19 sur 22 | 15 sur 22 |
| 1 | pièce manquante | 8 sur 8 | 8 sur 8 |
| 1 | rayure | 6 sur 8 | 8 sur 8 |
| 4 | brûlure | 4 sur 4 | 4 sur 4 |
| 4 | dommage | 6 sur 7 | 7 sur 7 |
| 4 | saleté | 15 sur 16 | 16 sur 16 |
| 4 | pièce en trop | 11 sur 12 | 12 sur 12 |
| 4 | pièce manquante | 10 sur 13 | 13 sur 13 |
| 4 | rayure | 5 sur 7 | 7 sur 7 |
| 4 | mauvais emplacement | 5 sur 6 | 6 sur 6 |
Une carte peut avoir plusieurs types de dommage, donc le total des lignes dépasse 40. Le classificateur supervisé manque certaines cartes de chaque type de dommage sur la carte 4, sauf les brûlures : il n’a vu que 10 photos de carte 4 endommagée. PatchCore manque des zones fondues sur la carte 1 : elles sont petites et leur couleur ressemble à celle de la carte. Les deux inspecteurs échouent sur des cartes différentes. C’est une piste pour la prochaine étape.
Cartes de chaleur : où PatchCore regarde
Section intitulée « Cartes de chaleur : où PatchCore regarde »Une carte de chaleur montre à quel point chaque fragment est inhabituel. Elle indique au vérificateur où regarder sur une carte dans la zone à vérifier.

Description textuelle du diagramme
Rangée du haut : trois photos de cartes endommagées avec un cercle orange autour du vrai dommage. Première : carte 1 avec les deux grilles des capteurs manquantes; le cercle couvre toute la carte. Deuxième : carte 4 avec une pièce en trop près du coin supérieur gauche, petit cercle. Troisième : carte 1 avec une zone fondue près des broches. Rangée du bas : les mêmes photos sous une carte de chaleur, violet foncé là où les fragments semblent bons et orange à jaune là où ils semblent inhabituels. Première : deux disques jaune très vif exactement sur les grilles manquantes. Deuxième : une tache orange en haut à gauche, sur la pièce en trop, et une faible lueur ailleurs. Troisième : une faible lueur orange autour des deux capteurs et des bords, et rien de lumineux sur la zone fondue. Cette carte a obtenu un score inférieur au seuil de vérification et a été acceptée.
Sur les deux premières cartes, les fragments lumineux se trouvent sur le dommage. Sur la troisième, PatchCore regarde les capteurs, pas la zone fondue, et la carte est acceptée.
Quelle est la qualité générale des cartes de chaleur? Nous avons comparé les parties lumineuses (les 2 % de valeurs les plus élevées) aux vrais masques des 80 cartes de test endommagées. La mesure Dice moyenne est de 0,182 : 0,101 pour la carte 1 et 0,263 pour la carte 4. Dice mesure le chevauchement de deux formes : 1 signifie la même forme, 0 aucun chevauchement (Mesurer à partir des masques). Les bougies du cours donnaient 0,175. Une carte de chaleur indique une zone. Elle ne trace pas le contour du dommage.
La recommandation
Section intitulée « La recommandation »Mateus écrit à Ayumi avec les mots qu’elle emploie :
- Utilisez l’inspecteur supervisé, un par type de carte, avec ces seuils. Carte 1 : vérifier à partir de 0,352, rejeter à partir de 0,592. Carte 4 : vérifier à partir de 0,112, rejeter à partir de 0,202.
- Les cartes dans la zone à vérifier vont au vérificateur, environ 70 à 110 par 1 000 cartes. Montrez-lui la carte de chaleur PatchCore avec chaque carte, pour lui indiquer où regarder.
- Le coût attendu est d’environ 1 632 $ US par 1 000 cartes, contre 7 059 aujourd’hui sans inspection. Cela correspond à la proportion de cartes défectueuses des données de test (une sur 8,5). Avec moins de cartes défectueuses, les deux nombres baissent.
- Toujours vérifiées par une personne : chaque carte dans la zone à vérifier, plus un petit échantillon aléatoire de cartes acceptées chaque semaine. L’échantillon révèle les cartes défectueuses que l’inspecteur supervisé accepte, et chacune devient une nouvelle étiquette.
- Étiquetez chaque carte que le vérificateur examine. Fixez les seuils de nouveau quand chaque type de carte aura 30 photos endommagées (voir ci-dessous).
Et les usages à exclure :
- Pas pour un nouveau type de carte ou une nouvelle caméra sans nouvelles photos et nouveaux seuils. Les scores changent, comme dans Le décalage de domaine.
- Pas comme preuve qu’une carte expédiée est bonne. Il manque environ 1 carte défectueuse sur 8 dans les photos de test.
De bout en bout : un lot de nouvelles cartes
Section intitulée « De bout en bout : un lot de nouvelles cartes »La décision s’applique maintenant à 110 nouvelles cartes de chaque type : 100 bonnes et 10 endommagées. Aucune étape n’a vu ces photos. Chaque carte est acceptée, à vérifier ou rejetée selon les seuils ci-dessus :
for part in PARTS: r = next(x for x in rows if x["method"] == "supervised" and x["part"] == part) new = boards[(boards["part"] == part) & (boards["split"] == "new")] zone = cp.zones([sup[part][i] for i in new["item_id"]], *r["lines"]) print(part, f"lines {r['lines'][0]:.3f} and {r['lines'][1]:.3f}:", pd.crosstab(new["status"].values, zone).to_dict("index"))pcb1 lines 0.352 and 0.592: {'damaged': {'check': 4, 'fail': 3, 'pass': 3}, 'good': {'check': 10, 'fail': 2, 'pass': 88}}pcb4 lines 0.112 and 0.202: {'damaged': {'check': 1, 'fail': 7, 'pass': 2}, 'good': {'check': 6, 'fail': 7, 'pass': 87}}Ce que cela nous apprend.
- L’inspecteur a arrêté 15 des 20 nouvelles cartes endommagées (à vérifier ou rejetées). 5 ont été acceptées : sur la carte 1, une rayure, une pièce manquante et une zone fondue; sur la carte 4, deux pièces manquantes.
- Pour la carte 1, 14 cartes sur 110 ont été envoyées au vérificateur : 127 par 1 000, au-dessus du budget de 100. Au test, c’était 108,8. Le nombre de vérifications par jour n’est pas fixe; il varie avec chaque lot.
- Pour la carte 4, 7 bonnes cartes sur 110 ont été mises au rebut. Chacune coûte 15 $ US, et Ayumi voudra peut-être aussi faire examiner certaines cartes rejetées par le vérificateur.
- 110 cartes forment un petit lot. Ces résultats donnent un premier aperçu de la décision en action, pas une nouvelle mesure.
Ce qu’apporteraient plus de photos endommagées
Section intitulée « Ce qu’apporteraient plus de photos endommagées »Ayumi pose deux questions. Premièrement : si le vérificateur est malade et que seulement 50 vérifications par 1 000 sont possibles? Les seuils changent pour respecter le budget. Le coût de test de l’inspecteur supervisé passe de 1 632 à 2 033 dollars par 1 000 cartes.
Deuxièmement : si son équipe étiquette 20 photos endommagées de plus pour chaque type de carte? Le carnet (notebook) Jupyter entraîne le classificateur supervisé sur 30 photos endommagées plutôt que 10. Il choisit de nouveau les seuils en validation, puis mesure les résultats au test. C’est une expérience pour planifier la prochaine étape, pas un nouveau choix.
Description textuelle du graphique
Un diagramme à colonnes avec deux colonnes. 10 photos d’entraînement endommagées : 1 632 $ US par 1 000 cartes. 30 photos d’entraînement endommagées : 784.
Vingt étiquettes de plus par type de carte divisent le coût par deux : de 1 632 à 784 dollars par 1 000 cartes (carte 1 : 808,8, carte 4 : 758,8). C’est le résultat le plus marquant de cette étude de cas. Avec peu de photos endommagées, les prochaines étiquettes peuvent valoir plus qu’un nouveau modèle. Elles coûtent peu si le vérificateur consigne ce qu’il trouve.
Constats et limites
Section intitulée « Constats et limites »- Comparaison avec les bougies du cours. Pour les lampions de Hamid, PatchCore d’anomalib avec un ResNet-50 élargi coûtait le moins cher. Le ResNet-18 supervisé avait une AUROC de 0,914. Ici, le classificateur supervisé gagne avec 0,956 et 0,913, et le petit PatchCore est performant seulement sur la carte 4 (0,975). La meilleure famille dépend du produit. Mesurez-la sur vos propres photos.
- Les requêtes CLIP ne sont pas des inspecteurs pour les petits dommages industriels : 0,416 et 0,678 ici, contre 0,808 sur les bougies. Utilisez CLIP pour trier des produits, pas pour trouver une zone fondue.
- Une référence de base simple peut être performante quand le produit reste au même endroit (0,916 pour la carte 1). L’essayer ne coûte rien, et elle indique ce qu’un modèle doit dépasser.
- Les seuils ont besoin d’une marge. Les vérifications au test et sur les nouvelles cartes ont dépassé le budget pour la carte 1.
- Non testés ici : PatchCore d’anomalib avec un ResNet-50 élargi (meilleur sur les bougies; 267 Mo de poids). Des photos plus grandes : 320 pixels de largeur, c’est petit pour une zone fondue de quelques millimètres. Un mélange des scores supervisés et PatchCore. Chacun est une bonne expérience à faire ensuite.
- Vitesse : sur le processeur d’un portable, ResNet-18 a lu les 1 600 photos en environ 27 secondes, chargement du modèle compris : environ 17 ms par photo. CLIP a pris environ 28 ms par photo de la même façon. Les deux sont assez rapides pour une chaîne qui fabrique une carte toutes les quelques secondes.
Utilisation responsable
Section intitulée « Utilisation responsable »- La licence. VisA est sous CC BY 4.0. Si vous partagez votre travail, nommez les auteurs et indiquez vos changements, comme le fait la fiche du jeu de données. N’utilisez pas MVTec AD, MPDD ou KolektorSDD2 pour un travail commercial : leurs licences l’interdisent.
- Les poids du modèle. Les poids de ResNet-18 sont sous Apache-2.0, mais ils ont appris à partir d’ImageNet. Comme l’explique Quand ne pas le construire, « poids sous Apache-2.0 » ne règle pas la question de l’utilisation dans un produit. Consultez votre équipe juridique avant de les livrer.
- Les coûts sont des hypothèses. Affichez les prix d’Ayumi à côté de chaque coût, et modifiez-les quand les vrais nombres seront disponibles. Les seuils changent avec eux.
- Les personnes restent dans le processus. Le vérificateur décide pour les cartes dans la zone à vérifier, et quelqu’un échantillonne les cartes acceptées. Dans un produit médical ou de sécurité, une carte défectueuse manquée coûte bien plus que 60 $ US. Dans ce cas, fixez les seuils avec beaucoup plus de photos endommagées et beaucoup plus de soin.
- Aucune personne dans les photos. Ce jeu montre seulement des cartes. Une vraie caméra de chaîne peut voir les mains ou les visages du personnel. Floutez-les par défaut, comme dans Les personnes dans les images.
Faites-en un projet de portfolio
Section intitulée « Faites-en un projet de portfolio »Cette étude de cas montre à un employeur que vous pouvez transformer quelques défauts étiquetés en une décision chiffrée. Personnalisez-la avec un changement : une autre classe VisA (par exemple pcb2 ou capsules), un autre budget, ou un mélange des scores supervisés et PatchCore. Rendez-la ensuite publique et facile à lire en cinq minutes.
Quoi mettre dans le dépôt :
README.md(modèle ci-dessous).- Le carnet, exécuté du début à la fin, avec ses sorties.
- Le tableau comparatif en CSV : méthode, type de carte, AUROC, coût de validation, coût de test, vérifications par 1 000, pire type de dommage.
MODEL_CARD.md: l’usage prévu (trier les cartes en acceptées, à vérifier et rejetées) et les usages exclus (nouveaux types de carte ou caméras sans nouveaux seuils). Ajoutez les données, les seuils, les hypothèses de coût et les limites.- La source et la licence des données avec l’attribution. CC BY 4.0 permet de partager l’échantillon, mais un lien et la somme de contrôle suffisent.
Un modèle de README :
# Visual inspection of circuit boards with 10 damaged photos
## ProblemAn electronics maker can check 100 boards in 1,000 by hand. A faulty board shippedcosts 60 dollars, a good board scrapped 15, a check 0.50 (assumptions).
## Data and licenceVisA (Zou et al., Amazon), classes pcb1 and pcb4, CC BY 4.0. Fixed sample:per board type 200+10 train, 100+20 validation, 300+40 test, 100+10 new.
## ApproachFour inspectors on the same photos: difference from the average good board,ResNet-18 + logistic regression (10 damaged photos), PatchCore (good photos only),CLIP prompt (no labels). Pass-check-fail lines chosen on validation inside thebudget; test used once.
## Results (test set, used once)Supervised 1,632 dollars per 1,000 boards (no inspection 7,059); PatchCore 2,510;CLIP 6,062. With 30 damaged photos: 784.
## LimitsOne fixed camera; one test board in 8.5 is faulty, far more than on areal line; 20 damaged validation photos per board type; costs are assumptions.Comment le décrire en entrevue : « J’ai comparé un classificateur supervisé, un détecteur d’anomalies et une requête CLIP en zéro exemple pour inspecter des cartes de circuit imprimé. J’avais seulement 10 photos endommagées par type de carte. J’ai choisi les seuils accepter, vérifier et rejeter à partir d’un budget d’inspection. Sur un test réservé, l’inspecteur choisi a réduit le coût attendu de 77 % par rapport à l’absence d’inspection. Vingt défauts étiquetés de plus ont encore divisé le coût par deux. La prochaine étape, c’est donc l’étiquetage, pas un plus gros modèle. »
Pour aller plus loin :
- Faites la moyenne des scores supervisés et PatchCore (après avoir ramené chacun à son intervalle de validation). Prédisez d’abord : dépassera-t-elle les deux?
- Répétez la comparaison à 448 pixels plutôt que 224, et mesurez le temps par photo.
- Exécutez PatchCore d’anomalib avec un ResNet-50 élargi, comme dans L’inspection par détection d’anomalies, et ajoutez sa ligne.
- Ramenez la proportion de cartes défectueuses à 1 % en pondérant les photos de test. Observez comment les seuils et les coûts changent.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Sur les photos de validation de la carte 1, la référence de base par carte moyenne coûtait le moins cher (1 175 contre 1 788 pour le classificateur supervisé). Mateus a quand même choisi le classificateur supervisé pour les deux cartes. Au test, la référence de base coûtait 2 059 et le classificateur supervisé, 1 025. Expliquez pourquoi le classement sur les données de validation n'était pas fiable ici.
Afficher la réponse
Les données de validation de la carte 1 contiennent seulement 20 photos de cartes endommagées. Déplacez une photo de carte endommagée du mauvais côté d’un seuil. Le coût de validation change alors de 1 000 ÷ 120 × 60 = 500 $ US par 1 000 cartes. Un écart d’environ 600 $ US représente donc environ une photo : du bruit. Les seuils sont aussi ajustés sur ces mêmes photos, ce qui rend chaque coût de validation trop avantageux. Choisir une seule méthode pour les deux cartes repose sur 40 photos de cartes endommagées plutôt que 20. Sur les deux cartes, le classificateur supervisé coûtait nettement moins cher (1 229 contre 4 800). Le test l’a confirmé. La leçon : avec peu de photos de cartes endommagées, choisissez à partir du plus grand nombre de photos possible. Ne vous fiez pas aux petits écarts.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
La requête de CLIP a atteint une AUROC de 0,808 sur les bougies du cours, mais de 0,416 sur la carte 1. Tomás dit que CLIP ne fonctionne pas. Que lui répondez-vous, et à quoi utiliseriez-vous CLIP dans cette usine?
Afficher la réponse
CLIP fonctionne : il fait ce qu’il a appris. Il a appris à partir de photos du Web et de leurs légendes. Les légendes décrivent des objets entiers (« une carte de circuit imprimé »), rarement une petite zone fondue ou une égratignure. Un dommage important sur une bougie, comme de la cire qui a coulé, peut mieux correspondre aux légendes qu’une broche pliée. Une requête trouve donc, au mieux, des dommages importants et visibles. Sur la carte 1, elle a trouvé 0 égratignure sur 8 et 1 zone fondue sur 22. Dans cette usine, utilisez CLIP pour classer les photos par produit ou pour chercher dans les archives de photos. Ne l’utilisez pas pour trouver de petits dommages. Pour les dommages, utilisez des photos étiquetées ou un modèle des cartes en bon état, puis mesurez ses résultats.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Ayumi peut payer un deuxième vérificateur (100 vérifications de plus par 1 000 cartes). Elle peut aussi demander au premier de noter ses observations pour obtenir 30 photos de cartes endommagées par type en quelques semaines. Que conseillez-vous en premier, selon les chiffres de cette étude de cas?
Afficher la réponse
L’étiquetage d’abord. Avec 30 photos de cartes endommagées par type, le coût au test de l’inspecteur supervisé est passé de 1 632 à 784 $ US par 1 000 cartes. C’est environ la moitié. Le vérificateur examine déjà les cartes dans la zone à vérifier. Noter ses observations coûte donc peu. Plus de vérifications aide aussi. Un budget de 200 vérifications par 1 000 cartes a réduit le coût de la carte 1 de 1 025 à 556. Mais les vérifications coûtent un salaire chaque jour. Les étiquettes se paient une seule fois. Après l’étiquetage, ajustez de nouveau les seuils sur les données de validation, puis testez une seule fois. Décidez ensuite si un deuxième vérificateur reste rentable.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Vous avez construit quatre inspecteurs pour deux cartes de circuit imprimé à partir de vraies photos ouvertes (VisA, CC BY 4.0). Vous aviez seulement 10 photos de cartes endommagées par type. Vous les avez comparés avec une seule mesure : le coût par 1 000 cartes, dans un budget de 100 vérifications.
- Sur les données de validation, le classificateur supervisé coûtait le moins cher (1 229). Sur les données de test, évalué une seule fois, il coûtait 1 632 dollars par 1 000 cartes, contre 7 059 sans inspection. PatchCore arrivait deuxième (2 510) et était le meilleur sur la carte 4.
- La référence de base par carte moyenne était performante seulement quand la carte restait immobile (AUROC de 0,916 sur la carte 1, de 0,531 sur la carte 4). La requête de CLIP échouait sur les petits dommages (0,416 et 0,678).
- Les cartes de chaleur indiquent la zone, pas le contour (Dice de 0,182). Utilisez-les pour indiquer au vérificateur où regarder.
- Sur de nouvelles cartes, 15 cartes défectueuses sur 20 ont été arrêtées. Les vérifications ont dépassé le budget pour la carte 1. Prévoyez une marge.
- 20 photos de cartes endommagées de plus par type ont réduit le coût de moitié (784). Avec peu de défauts, les étiquettes valent plus qu’un modèle plus gros.
Ensuite, un autre type de réponse : quel produit ou quelle race d’animal figure sur une photo, parmi plusieurs classes qui se ressemblent.
Leçon suivante : Classer des produits et des animaux à partir de photos