Les personnes dans les images
- Leçon 30
- 35 min
- Module 8 : Exploiter la vision en production
Où nous en sommes
Notre service envoie les photos incertaines à une personne et lui en conserve une copie. Certaines photos demandent une autre précaution : une personne se penche sur la table, et son visage apparaît dans la photo. Dans cette leçon, le service floute les visages par défaut et conserve le moins possible. Nous voyons aussi pourquoi ce cours ne développe pas de vision appliquée aux personnes.
Leçon 30 sur 30 · IA de vision : voir, compter et inspecterLes personnes dans les images
1. Voir est un problème d'affaires
2. Références de base et classificateurs préentraînés
3. Plongements, CLIP et peu d'étiquettes
4. Détecter et compter
5. Segmenter
6. Inspecter pour trouver les défauts
7. Apparier, chercher et décrire
8. Exploiter la vision en production
Ce que vous saurez faire
Gardez les personnes hors d’un système conçu pour les produits. Une photo de retour peut capter le visage d’un employé par accident. Le service ne doit pas stocker, copier ni partager ce visage. Vous flouterez les visages avant de conserver une copie. Vous choisirez le seuil du détecteur de visages selon le coût de chaque erreur. Vous conserverez le moins possible. Vous apprendrez quelles tâches concernant les personnes ce cours ne développe pas, et pourquoi.
Carnet JupyterFaites cette leçon dans un carnet Jupyter
Le carnet (notebook) Jupyter trouve les trois visages peints dans les photos du mois avec le détecteur de visages du service. Il les floute, vérifie le floutage avec un test et mesure l’effet du seuil sur le catalogue. Ses cellules de configuration installent OpenCV. Elles téléchargent les photos des retours et du catalogue ainsi que le détecteur de visages (31 Mo). Environ 30 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Le service d’images et son dossier de révision, vus dans Le service d’images et sa file de révision.
- Les boîtes englobantes de détection et un seuil de score, vus dans Les boîtes englobantes et l’IoU.
Ce qu’il vous faut sur votre ordinateur (pour les étapes du projet; le carnet n’en a pas besoin)
- Votre projet
larkvisionà la fin du module 8 (instantanéC42/snapshots/end-of-m08), configuré dans Le décalage de domaine, avec son environnement.venv.
Testé sur macOS avec Python 3.12.13 et OpenCV 5.0.0 (opencv-python-headless). Les commandes Windows sont fournies, mais n’ont pas été exécutées.
La photo avec un collègue
Section intitulée « La photo avec un collègue »Vous prenez une photo d’un colis au bureau de poste pour une réclamation. Une inconnue se tient derrière vous, et son visage apparaît dans un coin de la photo. Vous envoyez la photo au magasin. Son visage se retrouve maintenant dans le système de réclamations du magasin. Elle n’a jamais donné son accord, et elle ne le sait pas.
La même chose arrive au comptoir des retours de Larkfield. La caméra pointe vers la table. Un employé se penche sur la table pour déplacer une bougie, et la caméra prend la photo à ce moment-là.
Le problème : un visage dans le dossier de révision
Section intitulée « Le problème : un visage dans le dossier de révision »Dans le mois que traite vision replay, trois photos ont un visage en arrière-plan. Dans ce cours, les visages proviennent de trois tableaux du domaine public, de Vermeer, van Gogh et Leonardo. Notre code les a collés sur un coin de la table. Aucune photo de ce cours ne montre une personne réelle.

Description textuelle du diagramme
Deux rangées de trois photos (par paires sur un téléphone). En haut, chaque photo montre quatre lampions vus du dessus. Dans le coin de chaque photo, sur le bord d’une bougie, se trouve un visage peint : la jeune fille à la perle, van Gogh avec sa barbe rousse et La Joconde. En bas, les trois mêmes photos après le traitement du service : chaque visage est devenu une zone floue de blocs de couleur. On ne peut plus rien reconnaître du visage. Le reste de la photo est inchangé.
Un visage dans une photo de retour cause deux problèmes :
- L’inspecteur rejette l’article. Un visage diffère beaucoup de tous les fragments d’une bonne bougie. Les trois photos obtiennent un score d’environ 29, bien au-dessus du seuil de rejet de 10,826. Les trois bougies étaient bonnes : le corrigé du cours le confirme (les photos du mois n’ont pas d’étiquettes dans vos données). Sans intervention humaine, trois bonnes bougies partent au magasin de liquidation.
- La photo serait copiée. Une photo rejetée ou incertaine va dans le dossier de révision. Elle passe ensuite dans un outil d’étiquetage, une sauvegarde et peut-être des données d’entraînement. Chaque copie conserve le visage.
L’idée : flouter par défaut, conserver moins
Section intitulée « L’idée : flouter par défaut, conserver moins »Flouter par défaut signifie ceci : avant d’écrire une copie d’une photo, le service cherche les visages et les floute. Personne n’a besoin de penser à le faire. Conserver moins signifie ceci : le service conserve seulement ce dont une personne a besoin pour décider, et seulement le temps nécessaire.
Pour flouter un visage, le service doit d’abord le trouver. Un détecteur de visages trace une boîte englobante autour de chaque visage et lui donne un score de 0 à 1. Il ne sait pas qui est la personne. Ce serait de la reconnaissance faciale, que ce cours ne développe pas. Le service utilise YuNet, un petit détecteur de visages d’OpenCV Zoo (licence MIT, 230 Ko).
Le service floute chaque boîte englobante avec une marge de 30 % autour, qui couvre aussi les cheveux et les oreilles. Il réduit la région 12 fois, l’agrandit de nouveau, puis la lisse. Il vérifie ensuite le résultat avec un test, et non à l’œil : le détecteur doit ne rien trouver dans la copie floutée.
Un petit exemple : choisir le seuil
Section intitulée « Un petit exemple : choisir le seuil »Le détecteur de visages retient un visage lorsque son score atteint ou dépasse un seuil. Les deux erreurs ont des coûts très différents :
- Un visage manqué reste dans le dossier de révision et dans toutes ses copies. Cela nuit à une personne, et aucun remboursement ne répare ce tort.
- Un faux visage (un bol ou un reflet pris pour un visage) est flouté pour rien. Une personne reçoit la photo : environ une minute, 0,50 $ US.
Le seuil doit donc être assez bas pour trouver tous les visages, même s’il fait flouter certains bols. Priya a mesuré le détecteur de visages sur trois groupes de photos, à quatre seuils. Le catalogue ne contient aucune personne : quatre filtres et un examen de chaque photo les ont éliminées. Chaque « visage » trouvé dans le catalogue est donc un faux visage.
| Seuil | Visages peints trouvés (sur 3) | Photos de retours signalées (sur 735, sans personne) | Photos du catalogue signalées (sur 733, sans personne) |
|---|---|---|---|
| 0,9 | 2 (van Gogh manqué : 0,796) | 0 | 0 |
| 0,6 (le service) | 3 | 0 | 14 |
| 0,3 | 3 | 0 | 83 |
| 0,1 | 3 (+ 4 faux visages) | 11 | 314 |
Description textuelle du graphique
Un graphique à quatre colonnes. Seuil de 0,9 : 0 photo. Seuil de 0,6, celui du service : 14. Seuil de 0,3 : 83. Seuil de 0,1 : 314.
À 0,9, le détecteur manque un visage : le seuil est trop strict. À 0,6, il trouve les trois visages et ne signale aucune photo de retour sans personne. Sur les photos variées du catalogue, il prend 14 bols, tasses et bougies pour des visages. Le seuil qui fonctionne dépend des photos, comme tous les seuils de ce cours. Sur les photos du comptoir, 0,6 ne coûte presque rien, et le service l’utilise.

Description textuelle du diagramme
Trois photos sur une rangée (deux sur un téléphone). La première montre un bol en verre ambré sur pied, devant un tissu à motifs; une boîte englobante rouge couvre le haut du bol. La deuxième montre une bougie allumée dans le noir; une boîte englobante rouge haute et étroite se trouve sur son bord droit. La troisième montre un bol émaillé bleu et blanc sur fond blanc; une boîte englobante rouge couvre presque tout le bol. Aucune photo ne montre une personne.
Larkfield : ce que le service conserve
Section intitulée « Larkfield : ce que le service conserve »Amira a noté ce que le service conserve, et pendant combien de temps.
Description textuelle du diagramme
Quatre cases sur une rangée (empilées sur un téléphone), reliées par des flèches. « La photo reçue » reste en mémoire seulement pendant la requête et n’est jamais écrite sur disque. « Une copie dans review/ » est écrite seulement lorsqu’une personne doit examiner la photo, après avoir flouté chaque visage. « La réponse et le journal » contiennent l’article, la zone, le score, les raisons et le nombre de visages, mais aucun visage ni aucune image. « Supprimer » : les copies de révision après la vérification, et les sorties après le rapport.
Le code qui floute, dans larkvision/privacy.py :
def blur(img, boxes, margin=0.3): """A copy of the photo with each box (x, y, w, h) and a margin around it blurred beyond recognition.""" out = img.convert("RGB").copy() for x, y, w, h in boxes: m = int(margin * max(w, h)) x0, y0 = max(0, x - m), max(0, y - m) x1, y1 = min(out.width, x + w + m), min(out.height, y + h + m) if x1 <= x0 or y1 <= y0: continue region = out.crop((x0, y0, x1, y1)) small = region.resize((max(1, region.width // 12), max(1, region.height // 12)), Image.BILINEAR) out.paste(small.resize(region.size, Image.NEAREST).filter(ImageFilter.GaussianBlur(4)), (x0, y0)) return outEt dans larkvision/review.py, la seule ligne qui écrit une copie floute toujours d’abord :
blur(img, faces).save(folder / f"{item_id}.jpg", quality=90)Aucune autre ligne du service n’écrit de photo. La photo originale n’est jamais enregistrée. Un test, test_a_face_sends_the_photo_to_review_blurred, floute une boîte englobante de visage sur une photo de bruit aléatoire. Il vérifie que le niveau de détail dans cette région tombe à moins du tiers. Un deuxième test vérifie que le reste de la photo ne change pas.
Voir le résultat dans le projet
Section intitulée « Voir le résultat dans le projet »-
Ouvrez un terminal dans votre dossier
larkvisionet activez l’environnement (source .venv/bin/activate, ou.venv\Scripts\Activate.ps1sur Windows). -
Dans un nouveau terminal, définissez de nouveau
LARKVISION_DATAetLARKVISION_MODELS. Utilisez les commandes de l’étape 6 de Le décalage de domaine. -
Exécutez les tests de protection des données personnelles :
Fenêtre de terminal python -m pytest -q tests/test_service.pyLa dernière ligne est
4 passed(4 tests réussis). -
Évaluez deux photos du mois avec un visage peint. Sur macOS et Linux :
Fenêtre de terminal vision inspect ../nextia-learning-labs/C42/data/returns/month/R-fcd0915d.jpg ../nextia-learning-labs/C42/data/returns/month/R-fd29f7cf.jpgSur Windows, écrivez les chemins avec
..\nextia-learning-labs\C42\data\returns\month\.R-fcd0915d: fail score 29.463 confidence 1.00 34 ms -> review: a person in the photo (1 face(s), blurred)R-fd29f7cf: fail score 29.929 confidence 1.00 21 ms -> review: a person in the photo (1 face(s), blurred) -
Ouvrez
review/today/R-fcd0915d.jpgdans une visionneuse d’images. Le visage est flouté. L’original dans le dossier des laboratoires est inchangé. -
Supprimez le dossier de révision quand vous avez terminé :
vision resetsupprimeoutputs/etreview/.
La zone est « fail » (rejeté), avec une confiance de 1,00. La photo va tout de même à une personne, à cause du visage. C’est volontaire : la réponse de l’inspecteur sur une photo contenant une personne n’est pas fiable. Une personne décide donc. Dans vision replay, les trois visages sont trouvés et floutés, un dans chacune des semaines 1, 3 et 4.
Ce que le détecteur de visages ne peut pas faire
Section intitulée « Ce que le détecteur de visages ne peut pas faire »Un détecteur manque les visages détournés, petits, flous à cause du mouvement ou partiellement cachés. Il ne trouve ni corps, ni mains, ni badges nominatifs, ni plaques d’immatriculation. Le floutage par défaut est donc la dernière protection, pas la seule :
- Pointez la caméra vers la table. L’équipe de Hamid pointe la caméra du comptoir uniquement vers le plateau. Ainsi, moins de personnes apparaissent dans la photo.
- Recadrez sur le produit. L’inspecteur n’a besoin que de la zone du plateau. Recadrez la photo sur cette zone avant toute autre action.
- Informez les personnes. Une affiche au comptoir indique qu’une caméra photographie les articles retournés, et pourquoi.
- Limitez qui peut ouvrir le dossier de révision, et supprimez ses copies après la vérification.
Ce que ce cours ne développe pas
Section intitulée « Ce que ce cours ne développe pas »Certaines tâches de vision portent sur les personnes elles-mêmes. Elles tentent de déterminer qui est une personne (reconnaissance faciale) ou ce qu’elle ressent (reconnaissance des émotions). D’autres tentent de déterminer son âge, son genre ou son groupe ethnique (inférence d’attributs). Ce cours ne développe aucune de ces tâches, pour trois raisons.
Elles échouent de façon inégale. Un modèle qui estime quelque chose sur une personne est souvent beaucoup moins exact pour certains groupes que pour d’autres. Une étude connue de 2018, Gender Shades (Buolamwini et Gebru), a examiné des classificateurs commerciaux de genre. Elle a rapporté beaucoup plus d’erreurs pour les femmes à la peau foncée que pour les hommes à la peau claire. Une erreur d’inspection des retours coûte une bougie. Une erreur concernant une personne peut lui coûter son emploi ou sa liberté.
Certaines affirment plus qu’une photo peut montrer. Un visage montre une expression, pas un sentiment. On ne peut pas déduire de façon fiable les émotions ou le caractère d’un visage. Un modèle entraîné à le faire apprend les suppositions des annotateurs.
La loi les traite différemment. Dans plusieurs régions, les données qui identifient une personne à partir de son visage constituent une catégorie particulière de données personnelles. Des règles strictes s’y appliquent. L’article 5, paragraphe 1, point f), du règlement européen sur l’IA interdit certains systèmes d’IA. Il s’agit des systèmes visant « to infer emotions of a natural person in the areas of workplace and education institutions » (à inférer les émotions d’une personne physique sur le lieu de travail et dans les établissements d’enseignement), sauf pour des raisons médicales ou de sécurité. Les règles varient entre les pays et changent. Ceci n’est pas un avis juridique : consultez votre équipe juridique avant tout projet qui examine des personnes.
La règle de Larkfield est donc simple. Le service des retours examine les produits. Quand une personne apparaît, le service floute son visage, envoie la photo à une personne et n’apprend pas du visage. Réduire et conserver de façon réfléchie et Biais et accessibilité, dans Sécurité de l’IA, vie privée et conception responsable, approfondissent le sujet. Ces leçons abordent la réduction des données conservées et les torts causés aux groupes.
Quand flouter, et à quel coût
Section intitulée « Quand flouter, et à quel coût »Floutez par défaut dans tous les systèmes dont les photos peuvent capter des personnes par accident. Exemples : comptoirs des retours, entrepôts, rayons, photos de livraison et photos de rue (visages et plaques d’immatriculation).
Ne comptez pas uniquement sur le floutage. Pointez la caméra loin des personnes, recadrez, supprimez rapidement et limitez l’accès.
Le coût : un détecteur de visages sur chaque photo, avec un modèle de 230 Ko qui prenait ici environ 2 ms par photo. Quelques photos vont à une personne pour rien (faux visages). Et un test doit vérifier le floutage. Tout cela coûte peu comparativement à un visage dans des données d’entraînement copiées pendant des années.
Exercice guidé : les visages dans le carnet
Section intitulée « Exercice guidé : les visages dans le carnet »- Ouvrez le carnet depuis l’encadré Faites cette leçon dans un carnet Jupyter en haut de cette page.
- Exécutez les cellules de configuration. La cellule de données se termine par une ligne
Ready:(prêt). - Dans la section 1, trouvez les visages. Vous voyez
3 photos with a face(3 photos avec un visage) et les trois tableaux. - Dans la section 2, floutez-les. Vous voyez les trois copies floutées.
- Dans la section 3, vérifiez le floutage. Pour chaque photo, vous voyez
faces found after the blur: 0(visages trouvés après le floutage : 0). Le niveau de détail dans la boîte englobante du visage baisse d’environ la moitié : par exemple54.7 -> 29.7. - Dans la section 4, faites une prédiction, puis exécutez la cellule. Vous voyez
14 catalogue photos with a false face(14 photos du catalogue avec un faux visage). Vous voyez aussi2 of the 3 painted faces found(2 des 3 visages peints trouvés) à 0,9.
À vous : un seuil plus bas
Section intitulée « À vous : un seuil plus bas »Changez une seule chose : passez le seuil à 0,3. Avant d’exécuter le code, faites une prédiction : environ combien des 733 photos du catalogue auront un faux visage? Dans la section 5 du carnet, mettez le nombre dans false_03, puis exécutez la cellule de vérification.
Afficher la réponse
false_03 = len(flagged(face_finder(0.3), catalogue["file"]))print(false_03)83Environ six fois plus qu’à 0,6, sans trouver plus de visages : 0,6 trouvait déjà les trois. Sur les photos du comptoir, 0,3 ne signalerait aucune photo supplémentaire (0 sur 735 photos de retours). Sur des photos variées, chaque faux visage coûte une minute à une personne. Gardez 0,6 pour le comptoir, et mesurez de nouveau quand les photos changent.
Erreur courante
Flouter après la copie
Symptôme : Tomás ajoute une fonction : « enregistrer chaque photo dans raw/ pour le prochain modèle, puis flouter la copie dans review/ ». Un mois plus tard, on retrouve le visage d’un employé dans des données d’entraînement partagées avec un fournisseur.
Cause : l’original a été écrit sur disque avant le floutage. Chaque sauvegarde et chaque copie de raw/ a conservé le visage. Flouter la copie de révision n’a pas protégé la première copie.
Correction : floutez avant la première écriture, dans l’unique fonction qui écrit les photos, et n’enregistrez jamais l’original. Si un nouveau modèle a besoin de plus de photos, recueillez-les avec la même fonction pour les flouter aussi. Un test le vérifie.
Conséquence pour le travail en IA : les données personnelles se propagent avec chaque copie. Il est facile d’empêcher cela avant la première copie, et très difficile après.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Au seuil de 0,9, le détecteur de visages manque un des trois visages peints et ne détecte aucun faux visage. À 0,6, il trouve les trois et signale 14 photos du catalogue. Quel seuil le service des retours devrait-il utiliser, et pourquoi?
Afficher la réponse
0,6. Manquer un visage est l’erreur coûteuse : il reste dans chaque copie de la photo et nuit à une personne. Un faux visage coûte un floutage et environ une minute du temps d’une personne. Sur les photos des retours, le seuil de 0,6 ne signale aucune photo sans personne. Il ne coûte donc presque rien dans ce cas. Mesurez de nouveau si la caméra ou les photos changent.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Une photo d'une bougie en bon état avec un visage dans un coin obtient un score de 29,5 : rejeté, confiance de 1,00. Pourquoi le service l'envoie-t-il quand même au dossier de révision, et que contient la copie?
Afficher la réponse
Un visage rend la réponse du modèle d’inspection non fiable. Le visage est très différent de tous les fragments d’images de produits en bon état. Une bougie en bon état obtient donc un score semblable à celui d’une bougie endommagée. Le service ajoute alors la raison « une personne dans la photo », et une personne décide. Dans la copie du dossier de révision, le visage est flouté. Le service n’écrit jamais la photo originale.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Omar propose d'ajouter la reconnaissance des émotions à la caméra de la table, « pour voir si les travailleurs sont fatigués ». Donnez deux raisons pour lesquelles ce cours ne construit pas ce système.
Afficher la réponse
Premièrement, un visage montre une expression, pas un sentiment. Le modèle apprendrait donc les suppositions des annotateurs. Ces modèles échouent de façon inégale selon les groupes de personnes. Deuxièmement, cette pratique présente un risque juridique. Le règlement européen sur l’IA interdit la reconnaissance des émotions au travail, sauf dans quelques cas précis. Les données qui identifient les personnes à partir de leur visage sont aussi soumises à des règles strictes dans plusieurs endroits. De plus, la caméra sert à inspecter les produits. L’utiliser pour surveiller les travailleurs change son objectif. Consultez l’équipe juridique et pointez la caméra vers la table.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Un visage dans une photo de retour fait rejeter une bougie en bon état par le modèle d’inspection (score d’environ 29). Il se retrouverait aussi dans chaque copie de la photo.
- Flouter par défaut : le service trouve les visages avec YuNet et les floute avant d’écrire toute copie. Il n’enregistre jamais l’original. Un test vérifie que le floutage fonctionne.
- Choisir le seuil selon les coûts. À 0,9, le détecteur a manqué un visage. À 0,6, il a trouvé les trois. Il a détecté un faux visage dans 14 des 733 photos du catalogue, et dans 0 des 735 photos des retours.
- Conserver moins : pointez la caméra vers la table, recadrez sur le produit et conservez uniquement les copies floutées pour la révision. Supprimez-les après la vérification et limitez l’accès.
- Ce cours ne construit pas de systèmes de reconnaissance faciale, de reconnaissance des émotions ou d’estimation de l’âge et du genre. Ils échouent de façon inégale, affirment plus que ce qu’une photo montre et présentent un risque juridique.
Vous avez terminé les modules d’apprentissage. Vous pouvez maintenant faire passer une méthode de vision d’un carnet Jupyter à un service. Ce service est rapide sur un processeur et surveillé pour détecter les décalages. Une personne examine les cas incertains, et ses copies ne contiennent aucun visage. Ensuite, les études de cas : d’abord, l’inspection visuelle avec peu de défauts sur d’autres produits.
Leçon suivante : Inspection visuelle avec peu de défauts