Aller au contenu
English

Le service d'images et sa file de révision

  • Leçon 29
  • 45 min
  • Module 8 : Exploiter la vision en production

Où nous en sommes

Notre inspecteur est maintenant assez rapide et léger pour l'ordinateur du comptoir. Il fonctionne encore dans un carnet (*notebook*) Jupyter et une commande. Dans cette leçon, Amira en fait un petit service d'images. Il répond avec une confiance, confie les cas incertains à une personne et conserve un dossier de révision. Ensuite, nous transformons les photos révisées en nouvelles étiquettes sans biais.

Leçon 29 sur 30 · IA de vision : voir, compter et inspecterLe service d'images et sa file de révision

Ce que vous saurez faire

Mettez un inspecteur à la disposition du comptoir des retours, sans le laisser deviner. Un service qui répond toujours est dangereux. Il juge une photo noire avec autant de confiance qu’une bonne photo. Le service d’Amira indique sa confiance et confie les cas incertains à une personne, avec la raison. Il conserve la décision de cette personne pour que le prochain modèle en tire des leçons.

Carnet JupyterFaites cette leçon dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet construit à la main l’étape de décision du service, avec son propre inspecteur. Il couvre le score, la zone, la confiance, la solution de repli et le dossier de révision. Ensuite, il calcule les scores des retours de validation et de test et montre les photos qu’une personne voit. Ses cellules de préparation installent ONNX Runtime et téléchargent les photos des retours et l’inspecteur (18 Mo). Environ 35 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 45 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur (pour les étapes du projet; le carnet n’en a pas besoin)

  • Votre projet larkvision à la fin du module 8 (instantané C42/snapshots/end-of-m08), préparé dans Le décalage de domaine, avec son environnement .venv.
  • curl, un petit programme qui envoie des requêtes Web. macOS, Linux et Windows 10 ou plus récent l’incluent (sous Windows, tapez curl.exe).

Testé sous macOS avec Python 3.12.13, FastAPI 0.162.2, Uvicorn 0.54.0 et ONNX Runtime 1.31.1. Les commandes Windows sont écrites, mais n’ont pas été exécutées.

Dans un bon comptoir des retours, l’employée a trois bacs : remise en vente, magasin de liquidation et « incertain ». Elle a aussi une règle pour les mauvais jours. Si le lecteur tombe en panne, elle ne devine pas. Elle met l’article dans le bac « incertain » avec une note. À la fin de la journée, une employée expérimentée vide ce bac. Chaque décision qu’elle y prend apprend quelque chose à l’équipe.

Le service d’images d’Amira reproduit ce comptoir. L’inspecteur donne la première réponse. Le service ajoute le bac « incertain », la note et la règle pour les mauvais jours.

L’inspecteur est une fonction : il reçoit une photo et produit un score. Il ne dit jamais « je ne peux pas juger ceci ». Priya lui a envoyé trois photos qu’aucune employée ne jugerait. L’une est noire (le capuchon était sur l’objectif), l’autre est blanche (un flash sur un mur blanc). La troisième est une miniature de 64 × 58 pixels.

Photo Score Zone avec les seuils 8,761 / 10,826
Noire, 320 × 291 15,853 rejeté
Blanche, 320 × 291 17,595 rejeté
Une bonne bougie, réduite à 64 × 58 pixels 12,359 rejeté

Les trois sont « rejetées ». Au comptoir, chacune enverrait un article au magasin de liquidation : 28 $ US perdus si l’article était bon. La bougie de la miniature est bonne : sa photo pleine grandeur est acceptée avec un score de 5,832. Le modèle ne peut pas dire « ce n’est pas une photo que je connais ». Le service doit le dire.

Un service est un programme qui attend des requêtes et y répond, ici par HTTP, le protocole du Web. Le logiciel du comptoir envoie une photo; le service renvoie une petite réponse JSON. Les règles autour du modèle rendent son utilisation sûre.

Un flux de gauche à droite. La photo d'un article retourné arrive à 1. Peut-on la juger (une photo, ni trop sombre ni trop petite)? Sinon : solution de repli, à vérifier. Puis 2. l'inspecteur : score, zone et confiance. Si le score est entre les seuils ou si le modèle échoue : à réviser. Puis 3. le détecteur de visages floute chaque visage avant toute copie. S'il y a un visage : à réviser. Le flux se termine par la réponse : accepté, à vérifier ou rejeté, avec les raisons. Toutes les flèches de révision mènent au dossier de révision : une copie floutée et les raisons, jamais la photo originale. Une personne consulte le dossier de révision et décide.
Une requête dans le service d'Amira. Chaque flèche orange envoie une copie floutée et ses raisons au dossier de révision pour une personne.
Description textuelle du diagramme

Une rangée d’encadrés (une colonne sur un téléphone). La photo d’un article retourné entre dans l’encadré 1, « Peut-on la juger? » : est-ce une photo, ni trop sombre ni trop petite? Sinon, une flèche orange indique « solution de repli = à vérifier ». L’encadré 2 est l’inspecteur : score, zone et confiance. Une flèche orange qui en sort indique « entre les seuils ou erreur du modèle ». L’encadré 3 est le détecteur de visages, qui floute chaque visage avant de conserver une copie. Une flèche orange indique « un visage ». Le dernier encadré, vert, est la réponse : accepté, à vérifier ou rejeté, avec les raisons. Sous la rangée, les flèches orange aboutissent à un encadré : « review/<day>/ : une copie floutée + les raisons (jamais la photo originale) ». Une note indique qu’une personne consulte le dossier de révision et décide.

  1. Une confiance. Avec chaque réponse, le service indique la distance entre le score et le seuil le plus proche. Loin d’un seuil, la zone est claire. Près d’un seuil, un petit changement dans la photo pourrait changer la zone.
  2. Une solution de repli. Le service ne devine pas quand il ne peut pas juger. Cela arrive si la photo est trop sombre, trop petite, n’est pas une photo, ou si le modèle échoue. Il répond « à vérifier » : une personne décide.
  3. Un dossier de révision. Chaque photo qui exige une personne est copiée dans review/<day>/, avec un petit fichier de raisons. Le détecteur de visages de la prochaine leçon floute les visages avant l’écriture de la copie.

Les seuils du service sont 8,761 (à vérifier) et 10,826 (rejeté). La confiance est la distance au seuil le plus proche, divisée par ce seuil, avec un maximum de 1. Entre les seuils, elle vaut 0 : la zone elle-même dit « une personne décide ».

Photo Score Zone Confiance
Une bonne bougie 5,832 accepté (8,761 − 5,832) ÷ 8,761 = 0,334
Une bougie avec trop de cire 9,924 à vérifier entre les seuils : 0
Une bougie avec une mèche pliée 19,445 rejeté (19,445 − 10,826) ÷ 10,826 = 0,796

Cette confiance n’est pas une probabilité. Elle ne dit pas « certain à 79,6 % que la mèche est pliée ». Elle indique seulement la distance entre le score et un seuil. Le comptoir peut ainsi trier les réponses de « claire » à « près du seuil ».

Le service se trouve dans larkvision/service.py. Il utilise FastAPI, une bibliothèque Python pour les services Web. Voici son cœur :

@app.post("/inspect")
async def inspect(file: UploadFile = File(...), item_id: str = Query("upload")):
if not ITEM_ID.match(item_id):
raise HTTPException(422, "item_id: letters, digits, '-' and '_' only, at most 40")
raw = await file.read()
if len(raw) > 10_000_000:
raise HTTPException(413, "the photo is larger than 10 MB")
try:
img = Image.open(io.BytesIO(raw))
img.load()
except (UnidentifiedImageError, OSError):
raise HTTPException(422, "the file is not a photo that we can read") from None
return judge(img.convert("RGB"), item_id, inspector, find_faces, review_dir)

Les vérifications précèdent le modèle. L’identifiant de l’article ne peut contenir que des lettres, des chiffres, - et _. Il devient un nom de fichier dans le dossier de révision : ../x écrirait à l’extérieur. Un fichier qui n’est pas une photo reçoit le statut HTTP 422 (la requête est incorrecte), pas un score. judge (juger), dans larkvision/review.py, s’occupe du reste : solution de repli, score, zone, confiance, visages et copie de révision.

  1. Ouvrez un terminal dans votre dossier larkvision et activez l’environnement (source .venv/bin/activate, ou .venv\Scripts\Activate.ps1 sous Windows).

  2. Dans un nouveau terminal, définissez encore LARKVISION_DATA et LARKVISION_MODELS, avec les commandes de l’étape 6 de Le décalage de domaine.

  3. Démarrez le service :

    Fenêtre de terminal
    vision serve
    INFO: Started server process [17455]
    INFO: Waiting for application startup.
    INFO: Application startup complete.
    INFO: Uvicorn running on http://127.0.0.1:8042 (Press CTRL+C to quit)

    Le nombre entre crochets est le numéro du processus : le vôtre sera différent. Laissez ce terminal ouvert.

  4. Ouvrez un deuxième terminal dans le même dossier. Demandez au service s’il est prêt :

    Fenêtre de terminal
    curl http://127.0.0.1:8042/health
    {"status":"ok","model_version":"inspector-1","check_line":8.761079921722413,"fail_line":10.826346116065979}
  5. Envoyez une bonne bougie. Sous macOS et Linux :

    Fenêtre de terminal
    curl -F "file=@../nextia-learning-labs/C42/data/returns/test/R-6a26ad64.jpg" "http://127.0.0.1:8042/inspect?item_id=R-6a26ad64"

    Sous Windows : curl.exe -F "file=@..\nextia-learning-labs\C42\data\returns\test\R-6a26ad64.jpg" "http://127.0.0.1:8042/inspect?item_id=R-6a26ad64".

    {"item_id":"R-6a26ad64","zone":"pass","score":5.8323,"confidence":0.334,"faces":0,"review":false,"reasons":[],"model_version":"inspector-1","latency_ms":86.7}

    La première requête est plus lente (86,7 ms ici) : le modèle se prépare.

  6. Envoyez la bougie avec trop de cire (R-33640732.jpg, même commande avec ce nom deux fois). Elle tombe entre les seuils :

    {"item_id":"R-33640732","zone":"check","score":9.9238,"confidence":0.0,"faces":0,"review":true,"reasons":["unsure: the score is between the two lines"],"model_version":"inspector-1","latency_ms":22.0}
  7. Envoyez un fichier qui n’est pas une photo, par exemple README.md, avec item_id=R-x. Ajoutez -i à curl pour voir la ligne de statut :

    HTTP/1.1 422 Unprocessable Entity
    {"detail":"the file is not a photo that we can read"}
  8. Créez une photo noire et envoyez-la avec item_id=R-dark :

    Fenêtre de terminal
    python -c "from PIL import Image; Image.new('RGB', (320, 291), (8, 8, 8)).save('dark.jpg')"
    curl -F "file=@dark.jpg" "http://127.0.0.1:8042/inspect?item_id=R-dark"
    {"item_id":"R-dark","zone":"check","score":null,"confidence":0.0,"faces":0,"review":true,"reasons":["fallback: photo too dark (mean brightness 8 of 255)"],"model_version":"inspector-1","latency_ms":2.3}

    La solution de repli a répondu : aucun score, et une personne décide. Supprimez ensuite dark.jpg.

  9. Regardez dans le dossier de révision. Il contient review/today/R-33640732.jpg et .json, et les mêmes fichiers pour R-dark. La bonne bougie n’y est pas : personne n’a besoin de la regarder.

  10. Arrêtez le service : revenez à son terminal et appuyez sur Ctrl+C. Vérifiez que la dernière ligne est Finished server process (processus du serveur terminé).

Si curl indique Connection refused (connexion refusée), le service ne fonctionne pas ou utilise un autre port. Si vision serve indique address already in use (adresse déjà utilisée), un autre programme utilise le port 8042. Exécutez vision serve --port 8043 et utilisez 8043 dans les commandes.

Les seuils du service ont été choisis sur les photos de validation pour les 100 vérifications quotidiennes de Hamid. C’est la méthode du module 6. Essayez d’autres budgets avec les scores du service : les 112 retours de validation et les 218 retours de test. L’inspecteur int8 a calculé ces scores.

Explorer

Les zones accepté, à vérifier et rejeté du service

acceptéà vérifierrejeté025505,375 à 5,750 : 1 bonne photo5,750 à 6,125 : 14 bonnes photos6,125 à 6,500 : 50 bonnes photos6,500 à 6,875 : 34 bonnes photos6,875 à 7,250 : 26 bonnes photos7,250 à 7,625 : 14 bonnes photos7,625 à 8,000 : 14 bonnes photos8,000 à 8,375 : 7 bonnes photos8,375 à 8,750 : 10 bonnes photos8,750 à 9,125 : 1 bonne photo9,125 à 9,500 : 8 bonnes photos9,500 à 9,875 : 7 bonnes photos9,875 à 10,250 : 4 bonnes photos10,250 à 10,625 : 7 bonnes photos10,625 à 11,000 : 2 bonnes photos11,000 à 11,375 : 1 bonne photoBons retours (200)R-344c8b55 : different colour spot, score 6,604, acceptéR-a9048b86 : damaged corner of packaging; different colour spot, score 6,756, acceptéR-c3b7e506 : damaged corner of packaging, score 7,108, acceptéR-74669eb6 : damaged corner of packaging, score 7,209, acceptéR-a796ccf6 : extra wax in candle, score 7,225, acceptéR-de7e819e : different colour spot, score 8,384, acceptéR-0d4c03e5 : wax melded out of the candle, score 8,544, acceptéR-d17d264e : wax melded out of the candle, score 9,330, à vérifierR-33640732 : extra wax in candle, score 9,924, à vérifierR-15b594e6 : different colour spot, score 10,100, à vérifierR-aa4a48cb : foreign particals on candle, score 11,639, rejetéR-800400d7 : wax melded out of the candle, score 11,699, rejetéR-31ebdb39 : wax melded out of the candle, score 11,857, rejetéR-5918b873 : chunk of wax missing, score 12,889, rejetéR-8cb58274 : damaged corner of packaging; different colour spot; other, score 12,985, rejetéR-ef0b6f29 : extra wax in candle, score 13,530, rejetéR-5cf1ce29 : foreign particals on candle; wax melded out of the candle, score 14,409, rejetéR-1cc8cc10 : weird candle wick, score 19,445, rejetéRetours endommagés (18) : un point chacun68101214161820Score d'anomalie (élevé = loin d'une bonne bougie)vérifier dès 8,761rejeter dès 10,826
acceptéà vérifierrejeté0505,600 à 6,200 : 20 bonnes photos6,200 à 6,800 : 76 bonnes photos6,800 à 7,400 : 34 bonnes photos7,400 à 8,000 : 23 bonnes photos8,000 à 8,600 : 15 bonnes photos8,600 à 9,200 : 4 bonnes photos9,200 à 9,800 : 13 bonnes photos9,800 à 10,400 : 9 bonnes photos10,400 à 11,000 : 5 bonnes photos11,000 à 11,600 : 1 bonne photoBons retours (200)R-344c8b55 : different colour spot, score 6,604, acceptéR-a9048b86 : damaged corner of packaging; different colour spot, score 6,756, acceptéR-c3b7e506 : damaged corner of packaging, score 7,108, acceptéR-74669eb6 : damaged corner of packaging, score 7,209, acceptéR-a796ccf6 : extra wax in candle, score 7,225, acceptéR-de7e819e : different colour spot, score 8,384, acceptéR-0d4c03e5 : wax melded out of the candle, score 8,544, acceptéR-d17d264e : wax melded out of the candle, score 9,330, à vérifierR-33640732 : extra wax in candle, score 9,924, à vérifierR-15b594e6 : different colour spot, score 10,100, à vérifierR-aa4a48cb : foreign particals on candle, score 11,639, rejetéR-800400d7 : wax melded out of the candle, score 11,699, rejetéR-31ebdb39 : wax melded out of the candle, score 11,857, rejetéR-5918b873 : chunk of wax missing, score 12,889, rejetéR-8cb58274 : damaged corner of packaging; different colour spot; other, score 12,985, rejetéR-ef0b6f29 : extra wax in candle, score 13,530, rejetéR-5cf1ce29 : foreign particals on candle; wax melded out of the candle, score 14,409, rejetéR-1cc8cc10 : weird candle wick, score 19,445, rejetéRetours endommagés (18) : un point chacun5101520Score d'anomalie (élevé = loin d'une bonne bougie)vérifier dès 8,761rejeter dès 10,826
validation
112 photos
test
218 photos
Vérifications par jour (budget de 100)96,488,1
Articles endommagés vendus comme neufs par jour21,419,3
Bons articles perdus par jour02,8
Photos endommagées acceptées4 sur 127 sur 18
Coût par jour (hypothèses)1 012,5988,1

Sur les photos de test, ces seuils envoient 88,1 retours par jour à une personne (budget de 100), vendent comme neufs 19,3 articles endommagés par jour et envoient 2,8 bons articles par jour au magasin de liquidation : 988,1 $ US par jour. Sans inspection, les mêmes photos coûtent 2 229,4 $ US par jour. Ce sont les seuils les moins chers sur les photos de validation pour 100 vérifications par jour.

Les seuils sont choisis sur les photos de validation et mesurés sur les photos de test. Les coûts sont les hypothèses du cours : un article endommagé vendu comme neuf, 45 $ US; un bon article perdu, 28 $ US; une vérification, 0,50 $ US; une personne qui vérifie a toujours raison. Par jour, pour 600 retours.

Les scores de l'inspecteur du service (le petit PatchCore en ONNX int8) sur les 112 retours de validation et les 218 retours de test. Choisissez un budget pour trouver les seuils les moins coûteux sur la validation, ou déplacez vous-même chaque seuil.
Description textuelle de l’explorateur

L’explorateur montre deux panneaux sur un même axe de scores, de 5 à 20. Le panneau du haut est un histogramme des bons retours; celui du bas représente chaque retour endommagé par un point. Derrière eux, trois zones colorées : accepté (vert) à gauche du seuil de vérification, à vérifier (gris) entre les seuils, et rejeté (orange) à droite du seuil de rejet. Un point endommagé dans la zone accepté porte un anneau foncé : l’article est vendu comme neuf. Commandes : le budget (25 à 150 vérifications par jour), un curseur pour chaque seuil et les photos dans l’image. Un tableau comprend une colonne pour les photos de validation et une pour les photos de test. Il indique les vérifications par jour, les articles endommagés vendus comme neufs, les bons articles perdus, les photos endommagées acceptées et le coût par jour. Au départ, avec 100 vérifications : à vérifier dès 8,761, rejeté dès 10,826; validation 1 012,5 $ US par jour, test 988,1. Avec 50 vérifications : à vérifier dès 9,743, rejet inchangé; test 1 092,7 $ US par jour.

Cette fois, le seuil de vérification monte de 8,761 à 9,743, et le seuil de rejet reste inchangé. Le coût sur les photos de test passe de 988,1 à 1 092,7 $ US par jour. Une bougie endommagée de plus sur 218 est acceptée. Pour cet inspecteur, accepter les photos juste au-dessus de l’ancien seuil de vérification réduit les vérifications de moitié au moindre coût. Ce n’est pas rejeter plus de photos. Chaque inspecteur a son propre meilleur ajustement : choisissez donc de nouveau les seuils pour chacun.

Avec 25 vérifications, le coût est de 1 282,6 $ US par jour. Les photos de test demandent 27,5 vérifications par jour : au-delà du budget. Des seuils choisis sur 112 photos ne conviennent pas exactement aux photos suivantes.

Les photos révisées deviennent des étiquettes, sans biais

Section intitulée « Les photos révisées deviennent des étiquettes, sans biais »

Chaque photo du dossier de révision reçoit une décision d’une personne : bon ou endommagé. C’est une nouvelle étiquette gratuite. Il est tentant de recueillir ces étiquettes et de redéfinir les seuils à partir d’elles. Regardez d’abord quelles photos une personne voit.

Zone (218 photos de test) Photos Endommagées Une personne la voit-elle?
accepté 177 7 non
à vérifier 32 3 oui
rejeté 9 8 non

Une personne voit seulement la zone à vérifier : les photos dont les scores se situent entre 8,761 et 10,826. Les 7 bougies endommagées acceptées ne sont jamais vues. Elles ont de petites taches de couleur ou des coins d’emballage endommagés, avec des scores de 6,6 à 8,5. Les étiquettes du seul dossier de révision ne disent rien sur elles. Des seuils redéfinis à partir de ces étiquettes les manqueront encore. C’est le biais de sélection : les étiquettes proviennent d’une partie des photos qu’une règle a sélectionnée.

Trois encadrés à gauche : accepté, 177 photos de test, 7 endommagées (4 %); à vérifier, 32 photos de test, 3 endommagées (9 %); rejeté, 9 photos de test, 8 endommagées (89 %). Une flèche pleine part de la zone à vérifier. Des flèches pointillées nommées échantillon aléatoire partent des zones accepté et rejeté. Elles mènent à un encadré : une personne étiquette la photo, sans voir le score. Puis à un encadré : nouvelles étiquettes, chacune avec sa raison de sélection, zone ou hasard. Une note orange : la zone à vérifier seule donne seulement des étiquettes entre les seuils; les 7 photos endommagées acceptées ne sont jamais vues.
Réutiliser les photos révisées comme étiquettes : toutes les vérifications, plus un petit échantillon aléatoire des zones accepté et rejeté. Chaque étiquette conserve sa raison de sélection. Décomptes : l'inspecteur du service sur les 218 photos de test.
Description textuelle du diagramme

À gauche, trois encadrés empilés : accepté (177 photos de test, 7 endommagées, 4 %), à vérifier (32 photos, 3 endommagées, 9 %) et rejeté (9 photos, 8 endommagées, 89 %). Une flèche pleine part de la zone à vérifier. Deux flèches bleues pointillées nommées « un échantillon aléatoire » partent des zones accepté et rejeté. Elles mènent à un encadré « Une personne étiquette la photo (sans voir le score) ». Une flèche mène ensuite à « Nouvelles étiquettes, chacune avec la RAISON de sa sélection (zone ou hasard) ». Une note orange indique : avec seulement la zone à vérifier, chaque étiquette est entre les seuils. Les 7 bougies endommagées acceptées ne sont jamais vues.

Trois règles gardent les étiquettes fiables :

  1. Ajoutez un échantillon aléatoire des autres zones. Hamid consacre environ 12 de ses 100 vérifications quotidiennes à des articles aléatoires de la zone accepté. Quelques autres vont à la zone rejeté.
  2. Enregistrez pourquoi chaque photo a été choisie : « zone à vérifier » ou « échantillon aléatoire ». Plus tard, Priya pourra pondérer chaque groupe selon sa part réelle des retours.
  3. Cachez le score à la personne. Une personne qui voit « score 10,7, presque rejeté » cherche des dommages qui n’existent peut-être pas.

Combien de dommages l’échantillon aléatoire trouve-t-il? Sur les photos de test, la zone accepté contient 177 des 218 photos. À 600 retours par jour, cela donne environ 487 articles acceptés par jour. Environ 19,3 sont endommagés : ce sont les « endommagés vendus comme neufs » du coût. Douze vérifications aléatoires parmi 487 articles trouvent environ 12 × 19,3 ÷ 487 = 0,48 bougie endommagée par jour. Cela fait environ 14 par mois. C’est peu, mais ce sont exactement celles que l’inspecteur ne voit pas. C’est une estimation tirée des photos de test, pas une mesure au comptoir.

vision replay (dans Le décalage de domaine) remplit aussi un dossier de révision : 12 photos pour le mois. Chacune se trouve dans un dossier pour sa journée. Six sont dans les jours 1 à 7, quatre dans les jours 8 à 15. Chacune des deux dernières semaines en contient une. Après le changement de caméra, le dossier est presque vide, car l’inspecteur rejette tout avec confiance. Un dossier de révision vide n’est pas une bonne nouvelle. Surveillez sa taille avec l’alarme de coût.

Quand utiliser un service comme celui-ci, et ce qu’il coûte

Section intitulée « Quand utiliser un service comme celui-ci, et ce qu’il coûte »

Utilisez un service avec une confiance, une solution de repli et un dossier de révision dès qu’une réponse devient une action coûteuse. Ici, le coût est un article vendu ou perdu.

Ne cachez pas la solution de repli derrière une réponse par défaut comme « accepté ». Ne laissez pas non plus le dossier de révision grossir sans une personne qui le vide chaque jour. Ce serait alors un journal, pas une révision.

Ce qu’il coûte : le temps d’une personne pour chaque vérification et chaque échantillon aléatoire. Il faut aussi un endroit pour stocker les copies de révision floutées et leurs étiquettes. Quelqu’un doit également consulter les alarmes. Exploiter un service en production exige plus que cette leçon : vérifications de santé, versions, mises en production sûres, journaux (logs) et retour arrière. Faire tourner le service en production et Déploiements contrôlés, dans MLOps et LLMOps : exploiter l’IA en production, couvrent ces sujets.

Exercice guidé : l’étape de décision dans le carnet

Section intitulée « Exercice guidé : l’étape de décision dans le carnet »
  1. Ouvrez le carnet depuis l’encadré Faites cette leçon dans un carnet Jupyter en haut de cette page.
  2. Exécutez les cellules de préparation. La cellule des données se termine par une ligne Ready: (prêt).
  3. Dans la section 1, chargez l’inspecteur. Vous voyez model inspector-1 check line 8.761 fail line 10.826 (modèle inspector-1, seuil de vérification 8,761, seuil de rejet 10,826).
  4. Dans la section 2, prédisez les trois zones, puis exécutez la cellule. Vous voyez pass (accepté), check (à vérifier) et fail (rejeté), avec les confiances 0,334, 0,0 et 0,796.
  5. Dans la section 3, exécutez la cellule de solution de repli. Vous voyez photo too dark (photo trop sombre) et photo too small (photo trop petite), puis None (aucun) pour une vraie photo.
  6. Dans la section 4, exécutez judge. Le dossier de révision reçoit la bougie incertaine et la photo sombre.
  7. Dans la section 5, calculez le score de chaque photo. Vous voyez AUROC on test: 0.836 (AUROC sur le test) et 'cost_per_day': 988.1 (coût par jour).
  8. Dans la section 6, comptez les photos endommagées dans chaque zone.

À vous de jouer : ce que le dossier de révision ne montre jamais

Section intitulée « À vous de jouer : ce que le dossier de révision ne montre jamais »

Dans la section 7 du carnet (notebook) Jupyter, inscrivez dans missed_in_pass le nombre de photos de test endommagées dans la zone accepté. Exécutez ensuite la cellule de vérification. Faites d’abord une prédiction : plus ou moins que dans la zone à vérifier?

Afficher la réponse
missed_in_pass = int(((test["zone"] == "pass") & test["damaged"]).sum())
print(missed_in_pass)
7

Plus : 7 dans la zone accepté, contre 3 dans la zone à vérifier. Leurs scores vont de 6,60 à 8,54. Deux présentent une tache de couleur différente, deux un coin d’emballage endommagé, et une les deux. Une présente un surplus de cire, et une autre de la cire fondue qui a coulé. Ces articles sont remis en vente comme neufs. Personne ne les voit, sauf si un échantillon aléatoire les sélectionne.

Erreur courante

De nouveaux seuils à partir du dossier de révision seulement

Symptôme : après un mois, Priya a 900 photos étiquetées provenant du dossier de révision. Tomás propose de fixer les seuils à nouveau avec ces seules photos. Les nouveaux seuils donnent d’excellents résultats sur ces photos. Le mois suivant, les clients continuent de retourner des bougies endommagées avec de petites taches de couleur.

Cause : chaque photo du dossier de révision avait un score entre les deux seuils. Les nouveaux seuils ont appris uniquement à partir de cet intervalle étroit. Les bougies endommagées avec de faibles scores n’étaient jamais dans le dossier. Rien ne pouvait donc aider à fixer les seuils pour ces cas.

Correction : gardez un échantillon aléatoire de chaque zone dans les données étiquetées, et notez pourquoi chaque photo a été sélectionnée. Choisissez les seuils sur des données de validation qui incluent l’échantillon aléatoire.

Conséquence pour le travail en IA : un modèle qui apprend seulement des cas incertains devient de plus en plus sûr de ses angles morts.

Vérifiez votre compréhension

Avec les seuils 8,761 (à vérifier) et 10,826 (rejeté), une photo obtient un score de 12,0. Quelle zone et quelle confiance le service donne-t-il, et que signifie cette confiance?

Afficher la réponse

12,0 dépasse le seuil de rejet, donc la zone est rejeté. La confiance est (12,0 − 10,826) ÷ 10,826 = 0,108. Cela signifie que le score dépasse le seuil de rejet d’environ 11 % : le résultat est assez près du seuil. Ce n’est pas une probabilité que l’article soit endommagé.

Vérifiez votre compréhension

La caméra du poste envoie une photo noire parce que le capuchon couvre l'objectif. Que fait l'inspecteur seul, et que fait le service d'Amira?

Afficher la réponse

L’inspecteur seul lui donne un score comme à toute autre photo : 15,853, au-dessus du seuil de rejet. L’article irait donc au magasin de liquidation, et un article en bon état coûterait 28 $ US. Le service vérifie la photo avant de la transmettre au modèle. Sa luminosité moyenne est de 8 sur 255, sous 25. La solution de repli répond donc « check » (à vérifier), sans score. Une copie floutée et la raison « photo too dark » (photo trop sombre) vont au dossier de révision. Une personne décide.

Vérifiez votre compréhension

Priya veut fixer les seuils à nouveau avec les étiquettes du dossier de révision. Nommez le biais et deux règles qui le corrigent.

Afficher la réponse

Le biais de sélection. Le dossier de révision contient seulement des photos dont les scores se trouvent entre les seuils. Les bougies endommagées avec de faibles scores (7 des 18 photos de test endommagées) ne sont donc jamais étiquetées. Solutions : envoyez aussi à une personne un petit échantillon aléatoire des zones accepté et rejeté. Notez pourquoi chaque photo a été sélectionnée (zone ou hasard), afin de pouvoir pondérer chaque groupe. Cachez le score à la personne qui étiquette.

Récapitulatif

  • Un modèle répond toujours : l’inspecteur seul a « rejeté » une photo noire, une photo blanche et une miniature d’une bougie intacte.
  • Le service d’Amira ajoute trois règles : une confiance (la distance au seuil le plus proche, pas une probabilité), une solution de repli (« check » lorsqu’il ne peut pas juger) et un dossier de révision avec des copies floutées et des raisons.
  • vision serve l’exécute sur le port 8042 : /health, et /inspect avec une photo; un fichier qui n’est pas une photo reçoit HTTP 422. Arrêtez-le avec Ctrl+C.
  • Sur les photos de test, l’inspecteur du service a une AUROC de 0,836 et coûte 988,1 $ US par jour pour 100 vérifications. À 50 vérifications, son seuil de vérification augmente : 1 092,7.
  • Une personne voit seulement la zone à vérifier. 7 des 18 bougies de test endommagées sont acceptées et n’atteignent jamais le dossier de révision. Ajoutez un échantillon aléatoire de chaque zone, notez pourquoi chaque photo a été sélectionnée et cachez le score.

Le service envoie maintenant les photos incertaines à une personne. Certaines photos demandent de l’attention pour une autre raison : une personne se penche sur la table, et son visage apparaît. Ensuite, le service floute les visages par défaut et conserve le moins de données possible.

Leçon suivante : Les personnes dans les images