Le décalage de domaine
- Leçon 27
- 40 min
- Module 8 : Exploiter la vision en production
Où nous en sommes
Presque toutes les méthodes vues jusqu'ici ont été testées sur des photos d'un seul studio et d'une seule caméra. Le monde de Larkfield change : le catalogue déménage dans un nouveau studio, et le comptoir des retours reçoit une nouvelle caméra. Dans cette leçon, un bon inspecteur rejette toutes les photos. Nous repérons le décalage à trois endroits et essayons les corrections les moins coûteuses.
Leçon 27 sur 30 · IA de vision : voir, compter et inspecterLe décalage de domaine
1. Voir est un problème d'affaires
2. Références de base et classificateurs préentraînés
3. Plongements, CLIP et peu d'étiquettes
4. Détecter et compter
5. Segmenter
6. Inspecter pour trouver les défauts
7. Apparier, chercher et décrire
8. Exploiter la vision en production
Ce que vous saurez faire
Repérez les changements dans les photos soumises à un modèle avant que le coût change. Un modèle a appris à partir d’un seul studio et d’une seule caméra. Quand l’éclairage ou la caméra change, le modèle peut rejeter toutes les photos, même si le modèle n’a pas changé. Vous repérerez le décalage dans les photos, les scores et les décisions, puis choisirez une correction.
Carnet JupyterFaites cette leçon dans un carnet Jupyter
Le carnet (notebook) Jupyter compare l’ancien et le nouveau studio. Il trace les scores enregistrés de l’inspecteur pour un mois de retours. Ensuite, il mesure le changement avec l’indice de stabilité de la population. Il ne télécharge aucun modèle et s’exécute en quelques secondes. Environ 30 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Les scores d’anomalie et le petit PatchCore, vus dans L’inspection par détection d’anomalies.
- Les seuils pour accepter, vérifier et rejeter, vus dans Fixer les seuils avec l’entrepôt.
- Ce que sont un classificateur et l’AUROC, vus dans Données d’entraînement, de validation et de test du cours d’apprentissage automatique.
Ce qu’il vous faut sur votre ordinateur (pour les étapes du projet; le carnet n’en a pas besoin)
- Le dépôt des exercices avec les données et les modèles du cours, et votre dossier
larkvisionà côté. Vous les avez préparés dans Découvrir les images de Larkfield. - Votre projet
larkvisionà la fin du module 7 (instantanéC42/snapshots/end-of-m07), avec son environnement.venv.
Testé sur macOS avec Python 3.12.13, ONNX Runtime 1.31.1 et OpenCV 5.0.0. Les commandes Windows sont écrites, mais n’ont pas été exécutées.
Les nouvelles lunettes
Section intitulée « Les nouvelles lunettes »Une employée du comptoir des retours vérifie les bougies à l’œil chaque jour. Un matin, elle met de nouvelles lunettes teintées de jaune. Chaque bougie blanche lui semble maintenant jaune. Si elle juge selon la couleur, elle envoie chaque bougie au magasin de liquidation. Les bougies n’ont pas changé; sa vision, oui.
Un modèle de vision a le même problème. Il a appris ce qui semble « normal » à partir d’un ensemble de photos. Quand la caméra, l’éclairage ou les produits changent, les photos changent. C’est un décalage de domaine : les nouvelles photos viennent d’un « domaine » différent de celui des photos d’apprentissage.
Le problème : un bon inspecteur rejette toutes les photos
Section intitulée « Le problème : un bon inspecteur rejette toutes les photos »En mars, le comptoir des retours de Larkfield a remplacé sa caméra le jour 16. Personne n’a prévenu Priya. La nouvelle caméra produit des photos plus froides, plus sombres, moins nettes et plus bruitées. Dans ce cours, notre code a créé ce changement. Nous savons donc exactement quand il s’est produit.

Description textuelle du diagramme
Quatre photos sur une rangée (deux par deux sur un téléphone). Les deux premières montrent le même bol : dans l’ancien studio, le mur est gris pâle. Dans le nouveau studio, toute la photo est plus chaude et plus jaune. Les deux dernières montrent quatre lampions (bougies chauffe-plat) vus du dessus sur un tissu sombre. Le jour 14, les bougies sont nettes et blanches. Le jour 17, après le changement de caméra, elles sont grises et un peu floues, et la photo présente du grain.
Pour une personne, les bougies du jour 17 sont encore clairement en bon état. Pour l’inspecteur, elles ne le sont pas. Le petit PatchCore du module 6 compare chaque fragment d’une photo à une mémoire de fragments d’articles en bon état. Chaque fragment d’une photo de la nouvelle caméra est loin de cette mémoire. Chaque photo reçoit donc un score élevé.
- Jours 1 à 15 (ancienne caméra)
- Jours 16 à 30 (nouvelle caméra)
Description textuelle du graphique
Un nuage de points avec le jour du mois (1 à 30) à l’horizontale et le score d’anomalie à la verticale. Une ligne horizontale représente le seuil de rejet à 10,61. Du jour 1 au jour 15, la plupart des points se trouvent entre 5 et 10, sous le seuil de rejet. Quelques points le dépassent. À partir du jour 16, tous les points montent à environ 13 à 15, au-dessus du seuil de rejet. Trois points sont bien plus hauts que les autres, autour de 29 à 31, les jours 5, 19 et 29. Ce sont les photos avec un visage, que la dernière leçon de ce module explique. Le score moyen est de 7,65 les jours 1 à 15 et de 14,21 les jours 16 à 30.
Le score moyen passe de 7,65 à 14,21. Les jours 16 à 30, les 60 photos sont rejetées. Avec les coûts du cours, l’inspecteur coûte maintenant 14 560 $ US par jour : presque toutes les bonnes bougies vont au magasin de liquidation. La première semaine, le même inspecteur coûtait 994,3 $ US par jour.
Le modèle n’est pas devenu moins bon pour voir les dommages. Son monde a changé.
L’idée : surveiller trois endroits
Section intitulée « L’idée : surveiller trois endroits »Un décalage apparaît à trois endroits, du premier signe à celui qui touche le plus directement les coûts.
Description textuelle du diagramme
Trois encadrés sur une rangée (empilés sur un téléphone). Le premier, « Les photos », demande si un classificateur peut distinguer les anciennes photos des nouvelles. 0,5 signifie aucun décalage, 1,0 un décalage net. Le deuxième, « Les scores », demande si les scores ont changé. Le PSI mesure ce changement par rapport à la semaine de validation : au-dessus de 0,25, il est important. Le troisième, « Les décisions », demande si la proportion de rejets ou de vérifications a changé. Une alarme se déclenche à 10 points au-dessus de son niveau de validation. Des flèches relient les trois à un encadré orange : « Une alarme : arrêtez et regardez les photos du dossier review/ avant de changer quoi que ce soit ». Une note en dessous : les photos montrent un décalage en premier; les décisions touchent le plus directement les coûts.
1. Les photos : un classificateur de domaine
Section intitulée « 1. Les photos : un classificateur de domaine »Placez les anciennes photos dans un groupe et les nouvelles dans un autre. Entraînez un classificateur à deviner le groupe de chaque photo à partir de son plongement. Ce sont les nombres qu’un réseau produit à partir d’une photo, vus dans Les plongements d’images. C’est un classificateur de domaine. S’il ne fait pas mieux qu’un choix au hasard, l’AUROC est d’environ 0,5 : il ne voit aucun décalage. S’il devine toujours correctement, l’AUROC est de 1,0.
Cela fonctionne avec les photos seules, avant toute étiquette ou tout score. Priya l’a mesuré avec la validation croisée :
| Deux groupes de photos | AUROC du classificateur de domaine | Interprétation |
|---|---|---|
| Deux moitiés des photos de test du catalogue | 0,472 | aucun décalage (au hasard) |
| Retours : photos de validation contre jours 1 à 15 | 0,529 | aucun décalage |
| Photos de test du catalogue contre nouveau studio | 0,838 | un décalage net |
| Retours : jours 1 à 15 contre jours 16 à 30 | 1,000 | un décalage complet |
Les deux premières lignes servent de témoin : deux groupes du même endroit donnent environ 0,5. Mesurez toujours un témoin. Il montre à quoi ressemble « aucun décalage » sur vos photos.
2. Les scores : l’indice de stabilité de la population
Section intitulée « 2. Les scores : l’indice de stabilité de la population »L’indice de stabilité de la population (PSI) compare deux distributions d’un même nombre. Ici, ce nombre est le score d’anomalie. Nous divisons les scores des photos de validation d’articles en bon état en classes de proportions égales. Puis nous comptons quelle proportion des photos de cette semaine tombe dans chaque classe. Si les proportions restent les mêmes, le PSI est près de 0.
Pour chaque classe, le PSI additionne : (nouvelle proportion − ancienne proportion) × ln(nouvelle proportion ÷ ancienne proportion). L’interprétation habituelle : sous 0,1, le changement est faible; de 0,1 à 0,25, modéré; au-dessus de 0,25, important.
Un petit exemple avec quatre classes, chacune contenant 25 % des scores de validation :
| Classe | Ancienne proportion | Nouvelle proportion | (nouvelle − ancienne) × ln(nouvelle ÷ ancienne) |
|---|---|---|---|
| A (scores les plus bas) | 0,25 | 0,10 | −0,15 × ln 0,4 = 0,137 |
| B | 0,25 | 0,20 | −0,05 × ln 0,8 = 0,011 |
| C | 0,25 | 0,30 | 0,05 × ln 1,2 = 0,009 |
| D (scores les plus hauts) | 0,25 | 0,40 | 0,15 × ln 1,6 = 0,071 |
| PSI | 0,23 |
Les scores ont un peu augmenté : un changement modéré, sous 0,25. Passons au mois du changement de caméra. Avec dix classes, toutes les photos des jours 16 à 30 tombent dans la classe supérieure. Neuf classes passent de 10 % à presque 0, et une classe passe de 10 % à 100 %. Cela donne 8,28, la valeur maximale que ce PSI peut atteindre. Le carnet le calcule : environ 0,20 pour les jours 1 à 15 et 8,28 pour les jours 16 à 30.
3. Les décisions : l’alarme de coût
Section intitulée « 3. Les décisions : l’alarme de coût »Hamid ne lit pas le PSI. Il regarde les coûts. Dans le module 6, les seuils envoyaient environ 4 % des photos de validation au rejet et 16 % à la vérification. Si la proportion de rejets ou de vérifications dépasse son niveau de validation de plus de 10 points cette semaine, quelque chose a changé. C’est l’alarme de coût. Chaque semaine contient environ 35 photos dans la réexécution. Une proportion hebdomadaire est donc moins bruitée qu’une proportion quotidienne. Un jour contient environ 5 photos, et une seule photo fait varier la proportion quotidienne de 20 points.
Larkfield : la réexécution du mois
Section intitulée « Larkfield : la réexécution du mois »Le projet reçoit le service d’images dans ce module. Sa commande vision replay envoie les 135 photos du mois à l’inspecteur du service, semaine par semaine. Elle affiche les trois types d’alarme. Le service utilise le petit PatchCore avec des nombres sur 8 bits (int8, la prochaine leçon). Ses scores et ses seuils diffèrent donc un peu de la version 32 bits du graphique ci-dessus.
week photos pass check fail faces review mean score PSIdays 01-07 35 27 5 3 1 6 8.177 0.19days 08-15 40 34 4 2 0 4 7.394 0.45days 16-23 32 0 0 32 1 1 14.455 8.28days 24-30 28 0 0 28 1 1 14.458 8.28DRIFT ALARM days 08-15: scores moved (PSI 0.45 > 0.25). Look at the photos in review/ before you change anything.DRIFT ALARM days 16-23: scores moved (PSI 8.28 > 0.25). Look at the photos in review/ before you change anything.COST ALARM days 16-23: 100% of photos fail, validation level 4%. Stop the automatic decisions and ask Hamid's team to check by hand.DRIFT ALARM days 24-30: scores moved (PSI 8.28 > 0.25). Look at the photos in review/ before you change anything.COST ALARM days 24-30: 100% of photos fail, validation level 4%. Stop the automatic decisions and ask Hamid's team to check by hand.Lisez les résultats en trois étapes :
- Jours 16 à 30 : PSI de 8,28 et 100 % de rejets. Les deux alarmes se déclenchent. La correction n’est pas un nouveau seuil : les photos sont différentes.
- Jours 8 à 15 : une alarme de dérive (PSI de 0,45), mais aucune alarme de coût. La caméra était la même. Cette semaine ne contenait que 40 photos, dont 7 montraient des articles endommagés, plus que d’habitude. Un petit échantillon fait varier le PSI. C’est une fausse alerte, et la leçon est de regarder avant d’agir. Le budget d’alertes du cours de détection d’anomalies explique pourquoi les petits échantillons déclenchent plus souvent des alarmes.
- Aucune vérification après le changement : le dossier de révision ne reçoit presque rien les jours 16 à 30. L’inspecteur est certain : tout est rejeté. Un décalage peut rendre un modèle confiant alors qu’il se trompe. Voilà pourquoi l’alarme de coût surveille aussi la proportion de rejets, pas seulement les vérifications.
Le nouveau studio du catalogue : l’exactitude par tranche
Section intitulée « Le nouveau studio du catalogue : l’exactitude par tranche »L’équipe du catalogue a aussi déménagé dans un nouveau studio, avec un éclairage plus chaud. Ici, nous avons des étiquettes. Priya peut donc mesurer l’exactitude sur chaque tranche : des photos ayant une propriété commune, ici le studio. L’analyse par sous-groupes du cours d’apprentissage automatique explique les tranches en détail.
| Méthode (test du catalogue, 160 photos) | Ancien studio | Nouveau studio |
|---|---|---|
| Histogramme de couleurs + 5 plus proches voisins | 0,263 | 0,225 |
| HOG + régression logistique (sans couleur) | 0,356 | 0,356 |
| ResNet-18, dernière couche seulement | 0,812 | 0,794 |
| Sonde linéaire CLIP | 0,894 | 0,900 |
La méthode fondée sur la couleur perd environ 4 points, et ResNet-18 environ 2. HOG ne perd rien, car il n’utilise pas la couleur. La sonde de CLIP ne change pas : une différence d’une photo est du bruit (une photo vaut 0,6 point). Le même décalage fait donc échouer une méthode, mais pas une autre. Mesurez chaque méthode sur chaque tranche; ne présumez rien.
Les corrections, de la moins coûteuse à la plus coûteuse
Section intitulée « Les corrections, de la moins coûteuse à la plus coûteuse »Il existe trois types de correction :
- Une règle pour la caméra. Réglez la balance des blancs et l’exposition de la caméra, ou corrigez chaque photo par code. Le monde gris est une règle simple : ajustez chaque canal de couleur pour que la couleur moyenne de la photo soit grise. Cela retire une dominante de couleur.
- De nouvelles photos « normales ». Pour un modèle d’anomalie, ajoutez à sa mémoire des photos d’articles en bon état prises avec la nouvelle caméra. Pour un classificateur, ajoutez des photos étiquetées du nouveau domaine. Ou faites de l’augmentation de données sur les photos d’entraînement. Modifiez leur couleur, leur éclairage et leur flou par code pour que le modèle apprenne à les ignorer.
- De nouvelles étiquettes et de nouveaux seuils. Recueillez et étiquetez des photos du nouveau domaine. Puis choisissez à nouveau les seuils sur de nouvelles données de validation.
Priya a mesuré les deux premières corrections sur les jours 16 à 30 avec le petit PatchCore. Pour la deuxième correction, une personne a vérifié 30 photos d’articles en bon état prises avec la nouvelle caméra. Ces photos ont été ajoutées à la mémoire. Le coût est donc mesuré sur les 30 autres photos des jours 16 à 30, dont 4 montrent des articles endommagés.
Description textuelle du graphique
Un diagramme à colonnes avec quatre colonnes. Aucune correction : 14 560 $ US par jour. Règle du monde gris : 13 460. Trente photos de la nouvelle caméra dans la mémoire : 3 830. Pour comparaison, jours 1 à 7 avec l’ancienne caméra : 994,3.
| Correction les jours 16 à 30 | AUROC | Bons articles perdus (sur 26) | Articles endommagés vendus comme neufs (sur 4) | Coût par jour |
|---|---|---|---|---|
| Aucune correction | 0,49 | 26 : tous | 0 | 14 560 |
| Règle du monde gris | 0,538 | 24 | 0 | 13 460 |
| 30 photos de la nouvelle caméra dans la mémoire | 0,683 | 2 | 3 | 3 830 |
Dans le nouveau studio du catalogue, la même règle aide. Elle fait passer l’histogramme de couleurs de 0,225 à 0,281, car l’éclairage plus chaud n’est qu’une dominante de couleur. Pour les retours, le monde gris ne change presque rien. La nouvelle caméra produit des photos non seulement plus froides, mais aussi plus sombres, moins nettes et plus bruitées. Trente nouvelles photos aident beaucoup, mais maintenant 3 des 4 bougies endommagées sont acceptées. L’AUROC de 0,683 est faible. Les seuils ont été choisis pour l’ancienne caméra. Ils ne conviennent donc pas aux nouveaux scores.
Aucune des deux corrections ne suffit. Voici les conseils de Priya à Hamid pour le jour 16 :
- Arrêtez les décisions automatiques. Son équipe vérifie à la main pendant quelques jours.
- Recueillez des photos d’articles en bon état avec la nouvelle caméra : quelques centaines, vérifiées par une personne, pour la mémoire.
- Étiquetez des photos d’articles endommagés prises avec la nouvelle caméra et choisissez à nouveau les seuils sur celles-ci, comme au module 6.
- La prochaine fois, testez d’abord la caméra. Un changement de caméra est un événement planifié. Prenez 50 photos avec la nouvelle caméra avant le changement, puis lancez la réexécution sur celles-ci.
Le projet : la commande de réexécution
Section intitulée « Le projet : la commande de réexécution »L’instantané end-of-m08 ajoute le service d’images complet à end-of-m07 : l’inspecteur, les vérifications de dérive, le dossier de révision, le floutage des visages et trois commandes (vision inspect, vision serve, vision replay). Huit tests les accompagnent : 32 au total. Les autres leçons de ce module utilisent le même instantané.
Le cœur de la vérification de dérive, dans larkvision/drift.py :
def psi(expected, actual, bins=10): """Population stability index of `actual` against `expected` (bins from the quantiles of `expected`).""" e = np.asarray(expected, float) a = np.asarray(actual, float) edges = np.unique(np.quantile(e, np.linspace(0, 1, bins + 1))) edges[0], edges[-1] = -np.inf, np.inf pe = np.histogram(e, edges)[0] / len(e) pa = np.histogram(a, edges)[0] / len(a) pe, pa = np.clip(pe, 1e-4, None), np.clip(pa, 1e-4, None) return float(((pa - pe) * np.log(pa / pe)).sum())
def business_alarms(shares, reference, margin=0.10): out = [] for zone in ("fail", "check"): if shares[zone] > reference[zone] + margin: out.append(f"{shares[zone]:.0%} of photos {zone}, validation level {reference[zone]:.0%}") return outLes classes proviennent des scores de validation. Chaque classe en contient donc 10 %. np.clip empêche une classe vide de causer une division par zéro. Ce petit plancher explique pourquoi le PSI maximal est ici de 8,28, et non l’infini.
Préparer le projet pour ce module
Section intitulée « Préparer le projet pour ce module »Cette étape remplace les fichiers de votre projet par ceux de l’instantané. Si vous avez modifié un fichier, gardez-en d’abord une copie.
-
Ouvrez un terminal dans votre dossier
larkvision, à côté depyproject.toml. Le dossiernextia-learning-labsse trouve à côté. -
Activez l’environnement. Sur macOS et Linux, exécutez
source .venv/bin/activate. Sur Windows (PowerShell), exécutez.venv\Scripts\Activate.ps1. -
Copiez le code, les tests, la liste des paquets et le README de l’instantané dans votre projet. Sur macOS et Linux :
Fenêtre de terminal S=../nextia-learning-labs/C42/snapshots/end-of-m08cp -R "$S/larkvision" "$S/tests" "$S/requirements.txt" "$S/README.md" .Sur Windows (PowerShell) :
Fenêtre de terminal $S = "..\nextia-learning-labs\C42\snapshots\end-of-m08"Copy-Item -Recurse -Force "$S\larkvision", "$S\tests", "$S\requirements.txt", "$S\README.md" -Destination . -
Installez les nouveaux paquets (FastAPI, ONNX Runtime, OpenCV et trois autres) :
Fenêtre de terminal pip install -r requirements.txt -
Exécutez les tests :
Fenêtre de terminal python -m pytest -qLa dernière ligne indique
32 passed(32 tests réussis). Si elle indique24 passed(24 tests réussis), les nouveaux fichiers de tests manquent. -
Indiquez au projet où se trouvent les données et les modèles. Le service a aussi besoin du dossier des modèles. Sur macOS et Linux :
Fenêtre de terminal export LARKVISION_DATA="$(cd ../nextia-learning-labs/C42/data && pwd)"export LARKVISION_MODELS="$(cd ../nextia-learning-labs/C42/models && pwd)"Sur Windows (PowerShell) :
Fenêtre de terminal $env:LARKVISION_DATA = (Resolve-Path ..\nextia-learning-labs\C42\data).Path$env:LARKVISION_MODELS = (Resolve-Path ..\nextia-learning-labs\C42\models).Path -
Réexécutez le mois :
Fenêtre de terminal vision replayLa première ligne donne le modèle, ses seuils et le temps par photo sur votre ordinateur. Le tableau et les alarmes sont ceux présentés plus haut. Les dernières lignes sont :
Daily share of fail (validation level 4%) and check (16%), about 5 photos a day:01:0% 02:0% 03:20% 04:0% 05:20% 06:0% 07:20% 08:20% 09:0% 10:0% 11:0% 12:0% 13:20% 14:0% 15:0% 16:100% 17:100% 18:100% 19:100% 20:100% 21:100% 22:100% 23:100% 24:100% 25:100% 26:100% 27:100% 28:100% 29:100% 30:100%Wrote outputs/replay.csv and 12 photos to review/ (faces blurred).
Les deux variables restent définies seulement tant que le terminal est ouvert. Dans chaque nouveau terminal, activez l’environnement et définissez de nouveau les deux variables. Si une commande indique no data folder found (aucun dossier de données trouvé) ou no models folder found (aucun dossier de modèles trouvé), une variable manque. Sur le portable du cours, la réexécution a pris environ 3 secondes.
Lisez la courbe quotidienne : avant le jour 16, la proportion de rejets varie entre 0 % et 20 %. Une photo sur cinq représente 20 %. Une alarme quotidienne à 10 points se déclencherait à cause du bruit. L’alarme hebdomadaire ne le fait pas.
Quand surveiller un décalage, et combien cela coûte
Section intitulée « Quand surveiller un décalage, et combien cela coûte »Surveillez chaque modèle qui traite des photos du monde réel : caméras, lumière, saisons, emballages et produits changent tous. Vérifiez les photos avec un classificateur de domaine chaque fois qu’un changement est prévu (nouvelle caméra, nouveau studio, nouveau fournisseur). Surveillez les scores et les proportions des zones chaque semaine.
Ne réentraînez pas le modèle à chaque alarme. Regardez d’abord les photos. L’alarme de la semaine 2 venait du bruit.
Le coût : un petit échantillon de nouvelles photos pour chaque vérification, et du temps pour examiner le dossier de révision après une alarme. Quand le décalage est réel, il faut aussi de nouvelles étiquettes. Dérive des données et dérive conceptuelle, dans MLOps et LLMOps : exploiter l’IA en production, traite en profondeur du suivi de la dérive d’un service complet.
Exercice guidé : le décalage dans le carnet
Section intitulée « Exercice guidé : le décalage dans le carnet »- Ouvrez le carnet (notebook) Jupyter depuis l’encadré Faites cette leçon dans un carnet Jupyter en haut de cette page.
- Exécutez les cellules de préparation. La cellule des données se termine par une ligne
Ready:(prêt). - Dans la section 1, comparez les deux bols et les couleurs moyennes des deux studios. Le nouveau studio est plus chaud : plus de rouge, moins de bleu.
- Dans la section 2, faites les prédictions, puis tracez les scores du mois. Vous voyez le saut au jour 16.
- Dans la section 3, exécutez la cellule du PSI. Vous voyez environ
0.2pour les jours 1 à 15.
À vous de jouer : le PSI après le changement
Section intitulée « À vous de jouer : le PSI après le changement »Avant de l’exécuter, faites une prédiction : le PSI des jours 16 à 30 dépasse-t-il légèrement 0,25, ou largement? Dans la section 4 du carnet, placez-le dans psi_late, puis exécutez la cellule de vérification.
Afficher la réponse
late = month[month["day_number"] >= 16]["score"]psi_late = psi(reference, late)print(round(psi_late, 2))8.28Largement. Chaque photo des jours 16 à 30 obtient un score supérieur à celui de toute photo de validation sans dommage. Elles se retrouvent donc toutes dans la classe supérieure. C’est le PSI maximal avec dix classes : aucun nombre plus grand ne pourrait indiquer plus clairement « complètement différent ».
Erreur courante
Déplacer le seuil au lieu de corriger les photos
Symptôme : au jour 17, Tomás voit 100 % de rejets et relève le seuil de rejet de 10,6 à 16. Il veut que « les nombres aient de nouveau l’air normaux ». La proportion de rejets baisse.
Cause : les scores ont augmenté parce que chaque fragment (patch) semble inhabituel, pas parce que les bougies sont endommagées. Avec la nouvelle caméra, les bougies intactes et endommagées obtiennent des scores qui se mélangent. L’AUROC des jours 16 à 30 est de 0,49, comme un tirage à pile ou face. Un nouveau seuil sur un tirage à pile ou face classe toujours au hasard.
Correction : arrêtez les décisions automatiques, recueillez des photos sans dommage avec la nouvelle caméra, puis choisissez de nouveau les seuils sur ces photos.
Conséquence pour le travail en IA : déplacer un seuil pour faire taire une alarme masque le décalage. Les bougies endommagées sont remises en vente comme neuves, et la prochaine alarme ne se déclenche jamais.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Un classificateur de domaine distingue les photos de retours du mois dernier de celles de ce mois-ci avec une AUROC de 0,51. Deux moitiés du mois dernier donnent 0,49. Quelle conclusion tirez-vous, et que devez-vous encore vérifier?
Afficher la réponse
Le classificateur ne distingue pas mieux les deux mois que deux moitiés du même mois. Il n’y a donc aucun décalage que les plongements peuvent détecter. Le témoin (0,49) montre à quoi ressemble l’absence de décalage sur ces photos. Vous devez encore surveiller les scores et les décisions. Un changement que le plongement ignore peut quand même modifier les proportions des zones. Il peut s’agir d’un nouveau petit dommage ou d’un nouveau produit.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Avec quatre classes égales, les anciennes proportions sont de 0,25 chacune. Les nouvelles sont de 0,25, 0,25, 0,10 et 0,40. Calculez le PSI et dites s'il est faible, modéré ou élevé.
Afficher la réponse
Seules les classes C et D changent. C : (0,10 − 0,25) × ln(0,10 ÷ 0,25) = −0,15 × −0,916 = 0,137. D : (0,40 − 0,25) × ln(0,40 ÷ 0,25) = 0,15 × 0,470 = 0,071. A et B ajoutent 0. PSI = 0,21 : un changement modéré, sous 0,25. Avec un petit échantillon, regardez les photos avant d’agir.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
La réexécution montre une alarme de dérive aux jours 8 à 15 (PSI de 0,45). Elle montre une alarme de dérive et une alarme de coût aux jours 16 à 30. Pourquoi la première est-elle probablement une fausse alerte, et pourquoi la seconde exige-t-elle une intervention?
Afficher la réponse
Les jours 8 à 15 utilisaient la même caméra. La semaine ne comptait que 40 photos, dont 7 avec des dommages, plus que d’habitude. La distribution des scores a donc changé par hasard. Les proportions des zones sont restées proches de leurs niveaux de validation, donc aucune alarme de coût ne s’est déclenchée. Aux jours 16 à 30, chaque photo est rejetée (100 % contre un niveau de 4 %). Le PSI atteint son maximum. La caméra a changé, l’inspecteur classe au hasard (AUROC de 0,49), et cela coûte environ 14 560 $ US par jour. Arrêtez les décisions automatiques, recueillez des photos sans dommage avec la nouvelle caméra et fixez de nouveau les seuils.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Un décalage de domaine est un changement dans les photos (caméra, lumière, produits), pas dans le modèle. La nouvelle caméra des retours a fait rejeter les 60 photos des jours 16 à 30 par l’inspecteur : 14 560 $ US par jour.
- Surveillez trois éléments : les photos (classificateur de domaine : 0,5 sans décalage, 1,000 pour le changement de caméra), les scores (PSI : 8,28 pour le changement de caméra) et les décisions (alarme de coût : 100 % de rejets contre un niveau de 4 %).
- Mesurez un témoin et attendez-vous à des fausses alertes avec de petits échantillons : le PSI de 0,45 de la semaine 2 venait du bruit.
- Mesurez chaque méthode sur chaque tranche. Le nouveau studio a coûté 4 points à l’histogramme de couleurs, et aucun à HOG et CLIP.
- Les corrections peu coûteuses n’ont pas suffi : monde gris, 13 460 $ US par jour; 30 photos de la nouvelle caméra, 3 830 $ US. Arrêtez, recueillez des photos sans dommage avec la nouvelle caméra et fixez de nouveau les seuils.
vision replayfait passer le mois dans le service et affiche les alarmes.
Vous pouvez maintenant voir quand les photos changent sous un modèle. Ensuite, le modèle doit aussi être assez rapide sur l’ordinateur ordinaire de l’entrepôt. Vous modifiez la taille des images, exportez vers ONNX et utilisez des nombres sur 8 bits. Vous mesurez le temps et l’exactitude après chaque étape.
Leçon suivante : Assez rapide sur un processeur