Fixer les seuils avec l'entrepôt
- Leçon 22
- 40 min
- Module 6 : Inspecter pour trouver les défauts
Où nous en sommes
Dans la dernière leçon, PatchCore a donné un score d'anomalie et une carte de chaleur à chaque bougie retournée. Un score n'est pas une décision : Hamid doit savoir quoi faire de chaque article. Dans cette leçon, nous transformons les scores en décisions avec Hamid : accepter, vérifier ou rejeter. Nous utilisons le coût de chaque erreur et ses 100 vérifications par jour. Cela reprend le tri en trois bacs que son équipe utilise déjà.
Leçon 22 sur 30 · IA de vision : voir, compter et inspecterFixer les seuils avec l'entrepôt
1. Voir est un problème d'affaires
2. Références de base et classificateurs préentraînés
3. Plongements, CLIP et peu d'étiquettes
4. Détecter et compter
5. Segmenter
6. Inspecter pour trouver les défauts
7. Apparier, chercher et décrire
8. Exploiter la vision en production
Ce que vous saurez faire
Transformez les scores d’un système d’inspection en décisions que l’équipe de Hamid peut appliquer : remettre en vente, faire vérifier par une personne ou envoyer au magasin de liquidation. Les meilleurs seuils dépendent du coût de chaque erreur et du nombre de vérifications quotidiennes de l’équipe. On les fixe donc avec l’entrepôt, et non avec le scientifique des données seul.
Carnet JupyterFaites cette leçon dans un carnet Jupyter
Le carnet (notebook) Jupyter contient toutes les cellules de code, les tâches et les vérifications de cette leçon. Il utilise les scores enregistrés de PatchCore d’anomalib. Il ne télécharge donc aucun modèle et s’exécute en quelques secondes. Il fait trier dix retours à la main et choisir les seuils pour 100 et 50 vérifications par jour. Environ 30 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Les scores d’anomalie, l’AUROC et PatchCore, présentés dans L’inspection par détection d’anomalies.
- Le coût de chaque erreur et les 100 vérifications quotidiennes de Hamid, présentés dans Le retour qui a coûté deux fois.
- Pourquoi choisir sur les données de validation et mesurer une seule fois sur les données de test, présenté dans Données d’entraînement, de validation et de test du cours d’apprentissage automatique.
Ce qu’il vous faut sur votre ordinateur (pour les étapes du projet; le carnet n’en a pas besoin)
- Le dépôt des exercices avec les données du cours, présenté dans Découvrir les images de Larkfield.
- Votre projet
larkvisionà la fin du module 5 (instantanéend-of-m05), à côté denextia-learning-labs, avec son environnement.venv. Sivision masksne s’exécute pas, copiez de nouveau l’instantanéend-of-m05, comme dans Découvrir les images de Larkfield.
Testé sur macOS avec Python 3.12.13, NumPy 2.5.4 et pytest 9.2.0. Les commandes Windows sont écrites, mais n’ont pas été exécutées.
Trois bacs au comptoir des retours
Section intitulée « Trois bacs au comptoir des retours »L’équipe de Hamid trie déjà les retours de façon simple. Une employée regarde une bougie retournée. Si elle est clairement en bon état, la bougie retourne sur la tablette. Si elle est clairement cassée, elle va dans le bac du magasin de liquidation. Si l’employée hésite, elle la met dans un troisième bac. Une employée expérimentée examine ce bac à la fin de la journée.
Le troisième bac est l’idée astucieuse : les articles faciles passent vite, et les articles difficiles reçoivent plus d’attention. Mais l’employée expérimentée ne peut examiner qu’un nombre limité d’articles par jour.
Notre système d’inspection donne un score, pas un bac. Dans cette leçon, nous traçons les frontières des trois bacs sur le score.
Le problème : un seul seuil impose un mauvais choix
Section intitulée « Le problème : un seul seuil impose un mauvais choix »Avec un seul seuil, chaque article est accepté ou rejeté. Personne ne vérifie quoi que ce soit. Chaque erreur du système d’inspection atteint donc le client ou le magasin de liquidation.
Avec les scores de PatchCore et aucune vérification, le meilleur seuil unique sur les photos de validation est à 0,4106. Sur les photos de test, il fait vendre 5,5 articles endommagés par jour comme neufs. Il envoie aussi 74,3 articles en bon état par jour au magasin de liquidation :
patchcore_wide_resnet50: lines chosen on the validation photos for 0 checks a day: check from 0.4106, fail from 0.4106Test (218 photos, 18 damaged; AUROC 0.917), per day at 600 returns: 0 checks, 5.5 damaged sold as new, 74.3 good items lost; cost 2328 dollars a dayCela coûte 2 328 $ US par jour : plus qu’aucune inspection, qui coûte 2 229,4 $ US par jour sur les mêmes photos. Beaucoup de bougies en bon état ont un score supérieur aux scores les plus bas des bougies endommagées. Les scores se chevauchent, et ce chevauchement nécessite une personne.
L’idée : deux seuils et trois zones
Section intitulée « L’idée : deux seuils et trois zones »Utilisez deux seuils sur le score. Sous le seuil de vérification, l’article est accepté et remis en vente comme neuf. Au seuil de rejet ou au-dessus, l’article est rejeté et va au magasin de liquidation. Entre les seuils, une personne le vérifie. Ces trois intervalles sont les zones accepté–à vérifier–rejeté.
Description textuelle du diagramme
Une flèche horizontale va de « score faible » à gauche à « score élevé » à droite. Sous la flèche, trois encadrés sont alignés. Le premier encadré, vert, indique « ACCEPTÉ » : l’article est remis en vente comme neuf. Son erreur est un article endommagé vendu comme neuf, ce qui coûte 45 $ US. Une ligne pointillée, le seuil de vérification, mène au deuxième encadré, gris, « À VÉRIFIER » : une personne examine l’article. Chaque vérification coûte 0,50 $ US, et l’équipe peut en faire au plus 100 par jour. Une ligne pleine, le seuil de rejet, mène au troisième encadré, orange, « REJETÉ » : l’article va au magasin de liquidation. Son erreur est un article en bon état perdu, ce qui coûte 28 $ US. Sur un téléphone, les trois zones sont empilées de haut en bas.
Dans le modèle de ce cours, la personne qui vérifie a toujours raison. La zone de vérification n’a donc aucune erreur, seulement un coût : 0,50 $ US par vérification. Cela représente une minute de travail à 30 $ US l’heure. Un article endommagé dans la zone accepté est vendu comme neuf : 45 $ US. Un article en bon état dans la zone rejeté est perdu : 28 $ US.
Un petit exemple : dix retours
Section intitulée « Un petit exemple : dix retours »Voici dix retours avec leurs scores. Les seuils sont : vérifier à partir de 0,4, rejeter à partir de 0,6.
| Score | 0,12 | 0,25 | 0,31 | 0,38 | 0,45 | 0,52 | 0,58 | 0,63 | 0,71 | 0,90 |
|---|---|---|---|---|---|---|---|---|---|---|
| Endommagé? | non | non | oui | non | non | oui | non | non | oui | oui |
| Zone | accepté | accepté | accepté | accepté | à vérifier | à vérifier | à vérifier | rejeté | rejeté | rejeté |
L’article endommagé à 0,31 est accepté : il est vendu comme neuf. L’article en bon état à 0,63 est rejeté : il est perdu. Trois articles sont vérifiés. Chacun des dix articles représente 60 des 600 retours quotidiens de Hamid. Une journée coûte donc :
| Partie | Par jour | Prix | Dollars US par jour |
|---|---|---|---|
| Articles endommagés vendus comme neufs | 1 × 60 = 60 | 45 | 2 700 |
| Articles en bon état perdus | 1 × 60 = 60 | 28 | 1 680 |
| Vérifications | 3 × 60 = 180 | 0,50 | 90 |
| Total | 4 470 |
Et 180 vérifications par jour dépassent le budget de 100 de Hamid. Le carnet fait le même calcul avec les fonctions utilitaires du cours :
print(cp.inspection_costs(tiny["score"], tiny["damaged"], 0.4, 0.6)){'items': 10, 'damaged': 4, 'missed': 1, 'good_failed': 1, 'checks': 3, 'checks_per_day': 180.0, 'damaged_sold_as_new_per_day': 60.0, 'good_marked_damaged_per_day': 60.0, 'cost_per_day': 4470.0, 'over_budget': True}Comment choisir les seuils
Section intitulée « Comment choisir les seuils »Un seuil de vérification plus bas repère plus d’articles endommagés, mais envoie plus d’articles en bon état à une personne. Un seuil de rejet plus bas économise des vérifications, mais fait perdre plus d’articles en bon état. La fonction utilitaire choose_lines du cours prend 201 points répartis sur les scores de validation. Elle essaie chaque paire de points comme deux seuils. Elle garde la paire la moins chère dont les vérifications respectent le budget.
Nous choisissons sur les photos de validation et mesurons sur les photos de test. Les seuils choisis sur un jeu de données s’adaptent aux particularités de ce jeu. Leur coût sur ce même jeu paraît donc trop favorable.
Larkfield : les seuils de Hamid pour 100 vérifications par jour
Section intitulée « Larkfield : les seuils de Hamid pour 100 vérifications par jour »Priya et Hamid choisissent dans le carnet les seuils de PatchCore avec un ResNet-50 élargi :
lines = cp.choose_lines(sv, dv)on_test = cp.inspection_costs(st, dt, lines["check_line"], lines["fail_line"])check from 0.4106, fail from 0.6441validation: {'checks_per_day': 75.0, 'damaged_sold_as_new_per_day': 0.0, 'good_marked_damaged_per_day': 0.0, 'cost_per_day': 37.5}test: {'checks_per_day': 88.1, 'damaged_sold_as_new_per_day': 5.5, 'good_marked_damaged_per_day': 2.8, 'cost_per_day': 368.8}Sur les photos de validation, les seuils sont parfaits : aucun article endommagé n’est accepté, aucun article en bon état n’est rejeté. Les 75 vérifications quotidiennes coûtent 37,5 $ US. Sur les photos de test, deux bougies endommagées ont un score sous le seuil de vérification : 0,244 et 0,339. Les deux ont un coin de l’emballage endommagé. Et une bougie en bon état a un score au-dessus du seuil de rejet. Le coût est de 368,8 $ US par jour : dix fois le coût de validation, mais encore bien inférieur à aucune inspection.
Essayez maintenant les seuils vous-même dans l’explorateur.
Explorer
Zones accepté, à vérifier et rejeté pour les retours de Hamid
Prédisez d’abord : Si le budget de Hamid passe de 100 à 50 vérifications par jour, le coût sur les photos de test augmente-t-il un peu ou beaucoup?
| validation 112 photos | test 218 photos | |
|---|---|---|
| Vérifications par jour (budget de 100) | 75 | 88,1 |
| Articles endommagés vendus comme neufs par jour | 0 | 5,5 |
| Bons articles perdus par jour | 0 | 2,8 |
| Photos endommagées acceptées | 0 sur 12 | 2 sur 18 |
| Coût par jour (hypothèses) | 37,5 | 368,8 |
Sur les photos de test, ces seuils envoient 88,1 retours par jour à une personne (budget de 100), vendent comme neufs 5,5 articles endommagés par jour et envoient 2,8 bons articles par jour au magasin de liquidation : 368,8 $ US par jour. Sans inspection, les mêmes photos coûtent 2 229,4 $ US par jour. Ce sont les seuils les moins chers sur les photos de validation pour 100 vérifications par jour.
Les seuils sont choisis sur les photos de validation et mesurés sur les photos de test. Les coûts sont les hypothèses du cours : un article endommagé vendu comme neuf, 45 $ US; un bon article perdu, 28 $ US; une vérification, 0,50 $ US; une personne qui vérifie a toujours raison. Par jour, pour 600 retours.
Description textuelle de l’explorateur
L’explorateur montre deux panneaux sur un même axe des scores allant de 0,15 à 1. Le panneau du haut est un histogramme des retours en bon état. Celui du bas montre chaque retour endommagé comme un point. Derrière eux, trois zones colorées : accepté (vert) à gauche du seuil de vérification, à vérifier (gris) entre les seuils, et rejeté (orange) à droite du seuil de rejet. Un point endommagé dans la zone accepté a un anneau foncé : il est vendu comme neuf. Commandes : le système d’inspection (PatchCore ou le ResNet-18 supervisé), le budget (25 à 150 vérifications par jour), un curseur pour chaque seuil et les photos affichées. Un tableau a une colonne pour les photos de validation et une pour les photos de test. Ses lignes indiquent les vérifications par jour, les articles endommagés vendus comme neufs, les articles en bon état perdus, les photos endommagées acceptées et le coût par jour. Au départ, PatchCore avec 100 vérifications : vérifier à partir de 0,411, rejeter à partir de 0,644; validation à 37,5 $ US par jour, test à 368,8. Avec 50 vérifications : rejeter à partir de 0,486; test à 1 272,9 $ US par jour, avec 35,8 articles en bon état perdus par jour.
Ce que change le budget de 50
Section intitulée « Ce que change le budget de 50 »Le coût augmente beaucoup : de 368,8 à 1 272,9 $ US par jour sur les photos de test. La commande du projet donne les mêmes seuils :
patchcore_wide_resnet50: lines chosen on the validation photos for 50 checks a day: check from 0.4106, fail from 0.4859Test (218 photos, 18 damaged; AUROC 0.917), per day at 600 returns: 47 checks, 5.5 damaged sold as new, 35.8 good items lost; cost 1273 dollars a dayLe seuil de vérification reste à 0,4106, car le relever ferait vendre plus de bougies endommagées à 45 $ US chacune. La seule façon de réduire les vérifications de moitié est donc d’abaisser le seuil de rejet. Il passe de 0,6441 à 0,4859, dans les bougies en bon état. Les articles en bon état perdus passent de 2,8 à 35,8 par jour. Les vérifications étaient peu coûteuses (0,50 $ US) et chacune protégeait une bougie de 28 $ US.
Hamid a maintenant un chiffre pour son gestionnaire : chaque vérification abandonnée par l’équipe coûte environ 22 $ US par jour : (1 272,9 − 368,8) ÷ (88,1 − 46,8) = 904,1 ÷ 41,3.
La surprise honnête : le seuil n’a pas tenu
Section intitulée « La surprise honnête : le seuil n’a pas tenu »Pourquoi le test a-t-il coûté dix fois plus que la validation? Regardez les photos endommagées qui ont fixé le seuil.
damaged validation scores: [0.412 0.439 0.445 0.478 0.481 0.615 0.62 0.682 0.713 0.763 0.888 0.892]damaged test scores: [0.244 0.339 0.413 0.424 0.434 0.557 0.56 0.629 0.671 0.799 0.845 0.851 0.968 1. 1. 1. 1. 1. ]check line 0.4106Les données de validation ne contiennent que 12 photos endommagées. Le seuil de vérification se trouve juste sous le score le plus bas, 0,412. Dans le carnet, Priya retire cette photo et choisit de nouveau :
without R-46ef3aca: check from 0.4219, fail from 0.6458test cost: 488.5Une photo de moins, et le coût de test passe de 368,8 à 488,5 $ US par jour. Un seuil fixé sur 12 exemples ressemble plus à une estimation qu’à une mesure.
Un seul regard sur le test caché
Section intitulée « Un seul regard sur le test caché »L’équipe du cours a gardé des données de test cachées : 135 retours, dont 15 endommagés. Elles ne sont pas dans les exercices et n’ont jamais servi à un choix. Elles jouent le rôle des retours du mois prochain. L’équipe y a mesuré les seuils choisis une seule fois :
Description textuelle du graphique
Un graphique à quatre colonnes. Validation : 37,5 $ US par jour. Test : 368,8. Test caché : 1 468,9. Aucune inspection (photos de test) : 2 229,4.
Sur le test caché, les mêmes seuils coûtent 1 468,9 $ US par jour. L’AUROC était encore bonne, à 0,891, mais 6 des 15 bougies endommagées ont été acceptées. Leurs scores étaient entre 0,279 et 0,363, sous le seuil de vérification. Quatre des six avaient une « tache de couleur différente » : ces petites taches qu’une carte de chaleur peut manquer. Le système d’inspection économise encore de l’argent : sans inspection, ces photos coûteraient 3 000 $ US par jour. Mais la journée coûte quatre fois ce que les données de test promettaient.
Les jeux étaient petits : 18 et 12 photos endommagées ne peuvent pas montrer tous les types de dommages. Évaluer sans corrigé complet, dans le cours de détection d’anomalies, rencontre la même limite avec les paiements.
Ce que Hamid en fait
Section intitulée « Ce que Hamid en fait »Hamid n’abandonne pas le système d’inspection. Il change sa façon de l’utiliser :
- Garder une personne pour vérifier un échantillon des articles acceptés. Sur les photos de test, les seuils utilisaient environ 88 de ses 100 vérifications. Il consacre les quelque 12 restantes à des articles choisis au hasard dans la zone accepté.
- Étiqueter chaque article vérifié. Chaque vérification produit gratuitement une photo étiquetée. Quand les données de validation contiennent beaucoup plus de photos endommagées, Priya fixe de nouveau les seuils.
- Surveiller la proportion de chaque zone. Si la proportion d’articles rejetés ou à vérifier s’éloigne beaucoup de son niveau de validation, quelque chose a changé. Cela peut être la lumière ou la caméra. Le module 8 en fait une alarme.
- Écrire l’incertitude. Le rapport dit « 368,8 $ US par jour sur le test et 1 468,9 sur le test caché », pas « 369 $ US par jour ».
Le projet : la commande vision zones
Section intitulée « Le projet : la commande vision zones »Votre projet larkvision reçoit les zones sous forme de commande. Elle lit les scores enregistrés dans data/predictions/, puis choisit et mesure les seuils comme le carnet.
Le cœur de la commande :
scores = json.loads((Path(d) / f"predictions/returns_{args.method}.json").read_text())costs = D.costs(d)if args.budget is not None: costs = dict(costs, checks_per_day=args.budget)val, test = D.returns(d, "val"), D.returns(d, "test")sv = [scores[r["item_id"]] for r in val]dv = [r["status"] == "damaged" for r in val]lines = choose_lines(sv, dv, costs)st = [scores[r["item_id"]] for r in test]dt = [r["status"] == "damaged" for r in test]c = inspection_costs(st, dt, lines["check_line"], lines["fail_line"], costs)Préparer le projet pour cette leçon
Section intitulée « Préparer le projet pour cette leçon »Cette leçon ajoute une commande, vision zones, et ses trois tests à partir de l’instantané end-of-m06.
-
Ouvrez un terminal et allez dans votre dossier
larkvision. Activez l’environnement virtuel :source .venv/bin/activatesur macOS et Linux,.venv\Scripts\Activate.ps1sur Windows. -
Si c’est un nouveau terminal, définissez de nouveau
LARKVISION_DATA. Cette variable existe seulement dans le terminal où vous la définissez :Fenêtre de terminal export LARKVISION_DATA="$(cd ../nextia-learning-labs/C42/data && pwd)"Fenêtre de terminal $env:LARKVISION_DATA = (Resolve-Path ..\nextia-learning-labs\C42\data).Path -
Copiez la nouvelle commande, ses tests et le README depuis l’instantané :
Fenêtre de terminal S=../nextia-learning-labs/C42/snapshots/end-of-m06cp "$S/larkvision/commands/zones.py" larkvision/commands/cp "$S/tests/test_zones.py" tests/cp "$S/README.md" .Fenêtre de terminal $S = "..\nextia-learning-labs\C42\snapshots\end-of-m06"Copy-Item "$S\larkvision\commands\zones.py" larkvision\commands\Copy-Item "$S\tests\test_zones.py" tests\Copy-Item "$S\README.md" . -
Exécutez les tests :
Fenêtre de terminal python -m pytest -qLa dernière ligne est
22 passed(22 tests réussis). Si elle indique19 passed(19 tests réussis), le fichiertests/test_zones.pymanque. -
Listez les scores enregistrés :
Fenêtre de terminal vision zones --listVous voyez six méthodes, de
padim_resnet18àsupervised_resnet18. -
Choisissez les seuils pour PatchCore et 100 vérifications par jour :
Fenêtre de terminal vision zones --method patchcore_wide_resnet50 --budget 100patchcore_wide_resnet50: lines chosen on the validation photos for 100 checks a day: check from 0.4106, fail from 0.6441Test (218 photos, 18 damaged; AUROC 0.917), per day at 600 returns: 88 checks, 5.5 damaged sold as new, 2.8 good items lost; cost 369 dollars a day -
Exécutez la même commande avec
--budget 50. Le seuil de rejet passe à0.4859et le coût à1273dollars US par jour. -
Affichez vos deux exécutions dans le tableau comparatif :
Fenêtre de terminal vision compare --task inspect --mineVous voyez
returns test(test des retours) avec368.8, etreturns test, 50 checks a day(test des retours, 50 vérifications par jour) avec1272.9.
Si vision zones indique no data folder found (aucun dossier de données trouvé), le terminal n’a pas LARKVISION_DATA : définissez-la comme à l’étape 2. Si votre projet ne s’exécute pas du tout, copiez de nouveau l’instantané end-of-m06, comme dans Découvrir les images de Larkfield.
Quand utiliser deux seuils, et ce qu’ils coûtent
Section intitulée « Quand utiliser deux seuils, et ce qu’ils coûtent »Utilisez deux seuils quand une personne peut vérifier certains articles et que les deux erreurs ont des prix différents. La zone de vérification est là où les scores du système d’inspection se chevauchent. Une minute de travail humain y coûte beaucoup moins qu’une mauvaise décision.
Utilisez un seul seuil seulement quand personne ne peut vérifier, et sachez ce que le chevauchement coûte. Pour Hamid, aucune vérification coûte plus cher qu’aucune inspection.
Ce que cela coûte : les seuils ne valent que les photos endommagées sur lesquelles ils ont été choisis. Et les prix sont des hypothèses sur lesquelles Hamid et son gestionnaire doivent s’entendre. Quand un prix change, choisissez de nouveau les seuils. Les seuils avec peu d’étiquettes et les budgets de révision sont au cœur de Le budget d’alertes et Du score à l’alerte, dans le cours de détection d’anomalies.
Exercices guidés : les seuils dans le carnet
Section intitulée « Exercices guidés : les seuils dans le carnet »- Ouvrez le carnet depuis l’encadré Faites cette leçon dans un carnet Jupyter en haut de cette page.
- Exécutez les cellules de préparation. La cellule de données se termine par une ligne
Ready:(prêt). - Dans la section 1, prédisez les zones des dix retours, puis exécutez la cellule. Vous voyez
cost_per_day: 4470.0(coût par jour : 4 470) etover_budget: True(budget dépassé : vrai). - Dans la section 2, exécutez la cellule. Vous voyez
AUROC on test: 0.917(AUROC sur le test : 0,917). - Dans la section 3, exécutez la cellule. Vous voyez
check from 0.4106, fail from 0.6441(vérifier à partir de 0,4106, rejeter à partir de 0,6441), puis37.5sur la validation et368.8sur le test. - Dans la section 4, écrivez votre prédiction, puis exécutez la cellule. Vous voyez
1272.9. - Dans la section 5, exécutez les deux cellules. Sans la photo endommagée au score le plus bas, le seuil de vérification passe à
0.4219et le coût de test à488.5.
À vous de jouer : un budget de 25 vérifications
Section intitulée « À vous de jouer : un budget de 25 vérifications »L’équipe de Hamid pourrait perdre une autre personne. Changez une seule chose : le budget, à 25 vérifications par jour. Avant de lancer le calcul, faites une prédiction. Le coût sur les photos de test sera-t-il plus proche de 1 272,9 ou du coût sans inspection (2 229,4)? Dans le carnet (notebook) Jupyter, section 6, mettez le coût de test quotidien dans cost_25, puis exécutez la cellule de vérification.
Afficher la réponse
quarter = dict(cp.COSTS, checks_per_day=25)lines_25 = cp.choose_lines(sv, dv, quarter)cost_25 = cp.inspection_costs(st, dt, lines_25["check_line"], lines_25["fail_line"], quarter)["cost_per_day"]print(cost_25)1727.1Le seuil de vérification reste encore à 0,4106, et le seuil de rejet descend à 0,4532. Sur les photos de test, l’équipe vérifie 30,3 articles par jour. Elle envoie aussi 52,3 bons articles par jour au magasin de liquidation. Cela dépasse 25 vérifications : les seuils respectent le budget sur les données de validation, mais pas exactement sur celles de test. À 1 727,1 $ US par jour, le système d’inspection économise moins du quart du coût sans inspection.
Erreur courante
Choisir les seuils sur les photos de test
Symptôme : Tomás voit un coût de 368,8 $ US par jour sur les photos de test et veut un meilleur résultat. Il exécute choose_lines sur les scores de test plutôt que sur les scores de validation. Il obtient des seuils dont le coût de test est de 293,1 $ US par jour. Il rapporte ce résultat.
Cause : les seuils correspondent maintenant aux particularités fortuites des 18 photos de test d’articles endommagés. Leur coût est trop beau, comme le coût de validation de 37,5. L’équipe du cours a mesuré les seuils de Tomás une fois sur le test caché : 1 468,9 $ US par jour. C’est exactement aussi mauvais que les seuils choisis honnêtement.
Correction : choisissez les seuils sur les photos de validation. Mesurez le coût une fois sur les photos de test, et rapportez ce nombre tel quel. Quand les données de validation sont trop peu nombreuses, étiquetez plus de photos d’articles endommagés. N’empruntez pas les données de test.
Conséquence pour le travail en IA : un résultat de test qui a servi à un choix promet trop. Hamid planifie avec un coût de 293 $ US par jour et obtient cinq fois ce montant.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Seuils : vérifier à partir de 0,5, rejeter à partir de 0,8. Cinq retours ont les scores 0,20 (bon), 0,45 (endommagé), 0,60 (bon), 0,70 (endommagé) et 0,85 (bon). Chaque retour représente 120 retours par jour. Quel est le coût quotidien avec les prix du cours, et respecte-t-il la limite de 100 vérifications?
Afficher la réponse
Zones : 0,20 accepté (bon, aucune erreur), 0,45 accepté (endommagé : vendu comme neuf), 0,60 à vérifier, 0,70 à vérifier, 0,85 rejeté (bon : perdu). Par jour : 120 articles endommagés vendus comme neufs × 45 = 5 400 $ US. 120 bons articles perdus × 28 = 3 360. 240 vérifications × 0,50 = 120. Total : 8 880 $ US par jour. Les 240 vérifications dépassent le budget de 100, donc ces seuils sont inutilisables : l’équipe de Hamid ne peut pas faire les vérifications.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Le budget de Hamid passe de 100 à 50 vérifications par jour. Expliquez pourquoi le coût sur les photos de test passe de 368,8 à 1 272,9 $ US par jour. Pourquoi la hausse dépasse-t-elle le prix des vérifications supprimées?
Afficher la réponse
Pour réduire les vérifications de moitié, il faut déplacer les seuils. Relever le seuil de vérification ferait vendre plus de bougies endommagées, à 45 $ US chacune. Le changement le moins cher consiste donc à abaisser le seuil de rejet, de 0,6441 à 0,4859. Cela envoie beaucoup de bonnes bougies directement au magasin de liquidation plutôt qu’à une personne. Les bons articles perdus passent de 2,8 à 35,8 par jour, à 28 $ US chacun. Une vérification coûtait seulement 0,50 $ US et protégeait une bougie de 28 $ US. Chaque vérification abandonnée coûte donc environ 22 $ US par jour.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Les seuils coûtent 37,5 $ US par jour sur la validation, 368,8 sur le test et 1 468,9 sur le test caché. Personne n'a fait de choix à partir des photos de test ou des photos cachées. Qu'est-ce qui a mal fonctionné, et que devrait faire Hamid maintenant?
Afficher la réponse
La méthode n’a pas mal fonctionné; les seuils reposent sur trop peu de photos d’articles endommagés. Les données de validation en contiennent 12, et le seuil de vérification se trouve juste sous le score le plus bas. Une seule photo décide donc du seuil : sans elle, le coût de test est de 488,5. Les données cachées contenaient plus de dommages à faible score : 6 des 15 bougies endommagées ont été acceptées. Quatre d’entre elles avaient de petites taches de couleur. Hamid devrait garder le système d’inspection, mais réserver une partie des vérifications à un échantillon aléatoire d’articles acceptés. Son équipe devrait étiqueter chaque photo vérifiée. Priya fixe de nouveau les seuils quand il y a beaucoup plus de photos d’articles endommagés. L’équipe surveille la proportion de chaque zone et rapporte un intervalle plutôt qu’un seul nombre.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Deux seuils, trois zones : un article est accepté sous le seuil de vérification et rejeté à partir du seuil de rejet. Entre les deux, une personne le vérifie. Un seul seuil, sans vérifications, coûtait 2 328 $ US par jour, soit plus que sans inspection.
- Choisissez les seuils sur les données de validation avec les prix et le budget, puis mesurez une fois sur le test. Pour 100 vérifications par jour : vérifier à partir de 0,4106, rejeter à partir de 0,6441. Coût : 37,5 $ US par jour sur la validation, 368,8 sur le test.
- Le budget compte beaucoup. À 50 vérifications, le seuil de rejet descend dans les scores des bonnes bougies : 1 272,9 $ US par jour. À 25 : 1 727,1.
- Le seuil n’a pas tenu. Il reposait sur 12 photos d’articles endommagés. Sur le test caché, mesuré une fois, les mêmes seuils coûtaient 1 468,9 $ US par jour. 6 des 15 bougies endommagées ont été acceptées.
- Gardez une personne pour vérifier un échantillon d’articles acceptés et étiquetez chaque photo vérifiée. Choisissez de nouveau les seuils quand vous avez plus de photos d’articles endommagés.
vision zoneschoisit et mesure les seuils dans le projet.
Vous pouvez maintenant transformer les scores du système d’inspection en décisions que l’équipe de Hamid peut appliquer. Vous savez aussi jusqu’où leur faire confiance. Mais les photos de Larkfield soulèvent d’autres questions. Un client envoie une photo d’un produit prise avec son téléphone, et le catalogue doit le trouver. Ensuite, vous appariez des photos avec des plongements et les plus proches voisins.
Leçon suivante : Trouver le même produit