Aller au contenu
English

Classer des produits et des animaux à partir de photos

  • Étude de cas 2
  • 150 min
  • Facultative · 1 étude de cas requise pour le certificat

Où nous en sommes

En huit modules, nous avons classé le catalogue de Larkfield avec des règles, des classificateurs et des plongements. Dans cette étude de cas, nous utilisons de vraies photos ouvertes avec de nombreuses classes semblables. Nous comparons quatre méthodes selon le nombre d'images étiquetées par classe.

Étude de cas 2 sur 3 · IA de vision : voir, compter et inspecterClasser des produits et des animaux à partir de photos

Ce que vous saurez faire

Classez 37 races de chats et de chiens à partir de vraies photos ouvertes. Choisissez une méthode selon ses besoins et son coût. Vous comparerez quatre familles de méthodes selon le nombre de photos étiquetées par race. Vous trouverez les races qu’elles confondent et fixerez un seuil pour les réponses automatiques selon le coût d’une erreur. Ensuite, vous exécuterez la méthode complète sur de nouvelles photos et rédigerez une présentation pour votre portfolio.

Étude de casPièce de portfolio

Durée
Environ 2,5 heures
S’exécute dans
Colab, Kaggle ou VS Code
Compétences utilisées
  • Classification fine
  • Référence de base par histogramme de couleurs
  • Ensembles de requêtes CLIP
  • Sonde linéaire
  • Sonde avec requêtes
  • Réglage fin
  • Courbe d'apprentissage
  • Pires classes
  • Seuil fondé sur le coût
  • Exécution de bout en bout

Les carnets sont en anglais. Colab et Kaggle ouvrent votre propre copie. Pour utiliser VS Code, téléchargez le carnet depuis GitHub. Vous êtes bloqué ? Consultez le carnet de solution.

Le carnet (notebook) Jupyter exécute chaque étape de cette page, avec le même code et les mêmes sorties. Il comprend aussi trois tâches avec des vérifications. Ses cellules de configuration installent PyTorch, timm et open_clip. Elles téléchargent une seule fois trois gros fichiers : l’archive de photos depuis le site du jeu de données (environ 790 Mo), CLIP (605 Mo) et ResNet-18 (47 Mo). Après les téléchargements, le carnet s’exécute en environ 2 minutes sur un ordinateur portable.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 150 minutes

Ce que vous devez savoir

Cette étude de cas utilise surtout les modules 2 et 3 :

Ce qu’il vous faut sur votre ordinateur (seulement pour l’exécution locale; dans Colab ou Kaggle, vous n’avez besoin de rien)

  • Python 3.12 et un nouvel environnement virtuel dans un dossier vide. La première cellule du carnet installe les paquets aux versions fixées.
  • Environ 3 Go d’espace disque libre : l’archive, les photos extraites et les deux modèles. Pour recommencer, supprimez le dossier pets-case-study. Pour libérer l’espace à la fin, supprimez aussi ce dossier et les modèles dans votre cache Hugging Face.

Testé avec Python 3.12.13, PyTorch 2.15.0, timm 1.0.31, open_clip 4.2.1 et scikit-learn 1.9.1 sur macOS (Apple M4, processeur), dans Jupyter après un démarrage à neuf. Windows, Linux, Colab et Kaggle n’ont pas été testés.

Riverside Animal Rescue (un organisme de bienfaisance fictif) gère trois refuges. Environ 60 chats et chiens arrivent chaque jour normal (une hypothèse pour cette étude de cas). Chaque animal reçoit une annonce d’adoption sur le site Web, avec une photo et une race. Aujourd’hui, un membre du personnel regarde chaque photo et saisit la race. C’est lent, et deux personnes saisissent souvent des races différentes pour le même chien.

Hana dirige l’équipe des annonces. Elle pose une question simple : « Un modèle peut-il suggérer la race à partir de la photo et la remplir lorsqu’il est sûr? »

Chaque réponse peut poser deux problèmes. Hana attribue un coût approximatif à chacun (des hypothèses) :

  • Une vérification par une personne : quelqu’un regarde la photo et choisit la race. Cela prend environ une minute et coûte donc 0,50 $ US, comme dans le reste du cours.
  • Une mauvaise race dans une annonce : une personne vient adopter le mauvais type de chien, et le personnel doit corriger l’annonce. Le refuge perd aussi une part de la confiance du public. Hana estime ce coût à 5 $ US.

Elle ajoute une règle avant même qu’un modèle existe. Certaines lois nomment des types de pitbulls. Par exemple, la Loi sur la responsabilité des propriétaires de chiens de l’Ontario, paragraphe 1 (1) précise que « pit bull » comprend « a Staffordshire bull terrier » et « an American pit bull terrier ». Une personne doit donc toujours vérifier trois races qui se ressemblent : American Pit Bull Terrier, Staffordshire Bull Terrier et American Bulldog. Hana a elle-même ajouté American Bulldog, parce que les gens le confondent avec les deux autres. Vous verrez que les données lui donnent raison.

La même question se pose dans un magasin. L’équipe du catalogue de Larkfield trie les photos en 8 grandes catégories. Une liste plus détaillée, comme 37 types de vases ou de chaises, pose le même problème que 37 races. De nombreuses classes se ressemblent presque parfaitement. Aucun jeu ouvert de 37 produits semblables n’existe avec une licence que nous pouvons utiliser. Les animaux remplacent donc les produits.

Vous construirez un outil de suggestion de race. Un modèle donne les trois races les plus probables pour une photo. Une règle décide quand remplir automatiquement la première.

Une visiteuse parcourt le refuge. Elle distingue chaque chat de chaque chien au premier coup d’œil. Puis elle s’arrête devant deux chats gris. Sont-ils tous deux des British Shorthair? L’infirmière vétérinaire regarde pendant deux secondes : « Non. Celui de gauche a les yeux cuivrés et un visage rond et épais. Celui de droite a les yeux verts et un visage fin. C’est un Russian Blue. »

Les deux femmes voient la même photo. Seule l’infirmière sait quels petits détails comptent.

Le problème : la référence de base qui fonctionnait chez Larkfield échoue ici

Section intitulée « Le problème : la référence de base qui fonctionnait chez Larkfield échoue ici »

Dans Règles et histogrammes de couleurs, un histogramme de couleurs avec 5 plus proches voisins atteignait 0,263 sur les 8 catégories de Larkfield. C’est environ deux fois le résultat du hasard pur, soit 0,125. Sur les 37 races, avec 20 photos étiquetées par race, il atteint 0,044. Le hasard pur donne 1 ÷ 37 = 0,027.

Un chat noir et un chien noir ont presque le même histogramme de couleurs. C’est aussi le cas des deux chats gris ci-dessus. La couleur décrit toute la photo, et la réponse se cache dans quelques pixels : les yeux, les oreilles, la forme du visage.

La classification fine trie les photos en nombreuses classes d’un même type d’objet : races de chiens, modèles de voitures ou styles de vases. Les classes partagent leurs formes et leurs couleurs. Elles diffèrent par de petits détails. La méthode a besoin de caractéristiques qui ont appris ces détails. Elle a aussi besoin de quelques étiquettes pour apprendre où une classe se termine.

Voici trois races de chats et trois détails. Les valeurs sont typiques de chaque race.

Race Couleur du pelage Couleur des yeux Visage
British Shorthair gris cuivrés rond, joues épaisses
Russian Blue gris verts fin, en forme de coin
Bombay noir cuivrés rond

La couleur du pelage distingue le Bombay des deux chats gris. Elle ne peut pas distinguer le British Shorthair du Russian Blue : les deux sont gris. La couleur des yeux le permet. Mais les yeux occupent peut-être 1 % de la photo. Ils influencent donc à peine l’histogramme de couleurs. Un modèle qui a appris les visages à partir de millions de photos les voit.

Huit photos en quatre paires. Un pitbull terrier que le modèle a classé comme Staffordshire Bull Terrier, et un Staffordshire Bull Terrier correctement classé. Un Birman classé comme Ragdoll, et un Ragdoll correctement classé. Un British Shorthair classé comme Russian Blue, et un Russian Blue correctement classé. Un American Bulldog classé comme Boxer, et un Boxer correctement classé. Chaque erreur a un cadre rouge.
Quatre paires de races qui se ressemblent. Au-dessus de chaque photo : la vraie race et la réponse de la méthode choisie. Un cadre rouge marque une erreur. Photos : the Oxford-IIIT Pet Dataset (Parkhi et coll.), CC BY-SA 4.0; chaque propriétaire conserve le droit d'auteur de sa photo. Cette figure (recadrée en carré et redimensionnée) est partagée sous CC BY-SA 4.0.
Description textuelle du diagramme

Huit photos en quatre paires, chacune avec sa vraie race et la réponse de la méthode choisie plus loin (sonde CLIP avec requêtes). Paire 1 : un chiot American Pit Bull Terrier dans la neige, classé comme Staffordshire Bull Terrier (une erreur); un Staffordshire Bull Terrier, correctement classé. Paire 2 : un Birman, classé comme Ragdoll (une erreur); un Ragdoll, correctement classé. Paire 3 : un British Shorthair, classé comme Russian Blue (une erreur); un Russian Blue, correctement classé. Paire 4 : un American Bulldog couché sur un plancher, classé comme Boxer (une erreur); un Boxer qui court, correctement classé.

Les données proviennent du Oxford-IIIT Pet Dataset : 7 349 photos de 37 races, dont 12 de chats et 25 de chiens. Il y a environ 200 photos par race. Les auteurs les ont réparties en deux listes officielles : 3 680 photos pour l’entraînement et la validation, et 3 669 pour le test. Chaque nom de fichier contient la race : Abyssinian_26.jpg est la photo 26 d’un chat Abyssinian.

Une grille de 37 photos, une par race, avec son nom : 12 races de chats et 25 races de chiens.
Une photo de test pour chacune des 37 races. Photos : the Oxford-IIIT Pet Dataset (Parkhi et coll.), CC BY-SA 4.0; chaque propriétaire conserve le droit d'auteur de sa photo. Cette figure (recadrée en carré et redimensionnée) est partagée sous CC BY-SA 4.0. Les noms des races restent en anglais, comme dans le jeu de données.
Description textuelle du diagramme

Une grille de 37 photos carrées en ordre alphabétique, d’Abyssinian à Yorkshire Terrier. Les chats sont Abyssinian, Bengal, Birman, Bombay, British Shorthair, Egyptian Mau, Maine Coon, Persian, Ragdoll, Russian Blue, Siamese et Sphynx. Les 25 autres sont des chiens, par exemple Basset Hound, Beagle, Boxer, Chihuahua, Pug, Samoyed et Shiba Inu.

Nous n’avons pas besoin des 7 349 photos. L’équipe du cours a choisi un sous-ensemble fixe avec un script enregistré dans le dépôt et une graine aléatoire fixe. Pour chaque race :

  • une réserve de 20 photos étiquetées pour l’entraînement, et 10 photos de validation pour choisir les paramètres (de la liste officielle d’entraînement);
  • 25 photos de test pour comparer les méthodes, et 4 nouvelles photos pour l’exécution de bout en bout (de la liste officielle de test).

De nombreuses photos d’animaux montrent leurs propriétaires. Avant la sélection, un détecteur de personnes a examiné 2 443 photos candidates et trouvé une personne dans 260 d’entre elles (11 %). Ces photos ne sont pas utilisées. Un détecteur peut manquer une main ou une jambe. Une personne a donc aussi examiné chaque photo de cette page et du carnet.

La première cellule de données du carnet compte les parties :

print(photos.groupby("part", sort=False).size().to_dict())
{'pool': 740, 'val': 370, 'test': 925, 'new': 148}
37 breeds: 12 cats and 25 dogs

Ce que cela nous apprend. Chaque race a le même nombre de photos dans chaque partie. L’exactitude traite donc toutes les races de la même façon, et la pire race a 25 photos de test. Une photo de test représente environ 0,1 point d’exactitude. Avec 925 photos, un écart inférieur à environ 2 points peut venir du hasard : traitez-le comme une égalité.

Trois règles gardent la comparaison honnête. Tous les paramètres sont choisis sur les photos de validation. Les photos de test servent seulement à comparer les méthodes. Les nouvelles photos sont utilisées une seule fois, à la fin.

Cinq encadrés. Histogramme de couleurs avec 5-NN : aucun modèle, 128 classes de couleurs, les 5 photos étiquetées les plus proches, 20 étiquettes par race. CLIP en zéro exemple : un modèle gelé et un texte par race, aucune étiquette. Sonde linéaire : un modèle gelé et une régression logistique sur ses plongements, 1 à 20 étiquettes par race. Sonde avec requêtes : mélange des probabilités de la sonde et des requêtes, 1 à 20 étiquettes par race. Réglage fin : le dernier bloc de ResNet-18 et une nouvelle dernière couche apprennent, 5 à 20 étiquettes par race.
Les méthodes de cette étude de cas, de la plus simple à celle qui modifie le réseau. Gris : aucune étiquette.
Description textuelle du diagramme

Cinq encadrés sur une rangée (l’un sous l’autre sur un téléphone). L’histogramme de couleurs avec 5 plus proches voisins n’utilise aucun modèle : il compare 128 classes de couleurs avec 20 photos étiquetées par race, et rien n’apprend. CLIP en zéro exemple utilise un modèle gelé et un texte par race, sans étiquettes; les textes nomment les races. La sonde linéaire entraîne une régression logistique sur les plongements gelés, avec 1 à 20 étiquettes par race. La sonde avec requêtes mélange les probabilités de la sonde et des requêtes. Le réglage fin entraîne le dernier bloc de ResNet-18 et une nouvelle dernière couche, avec 5 à 20 étiquettes par race.

L’histogramme est celui du cours (8 × 4 × 4 classes de teinte, de saturation et de valeur). Chaque photo de test prend la race la plus fréquente parmi ses 5 photos étiquetées les plus proches :

colour histogram + 5-NN, 20 photos per breed: accuracy 0.044 | chance: 0.027

Il classe correctement 41 des 925 photos de test. Il confond même les chats et les chiens : 381 de ses 884 erreurs nomment la mauvaise espèce. La référence de base nous apprend une chose utile : la couleur n’est pas la réponse ici.

CLIP compare la photo à un texte par race, comme dans CLIP en zéro exemple. Il n’a besoin d’aucune photo étiquetée. Le texte autour du nom de la race constitue l’ensemble de requêtes. L’équipe du cours en a essayé quatre sur les photos de validation :

Ensemble de requêtes Validation Test
{name} (le nom seulement) 0,822 0,851
a photo of a {name}. 0,838 0,861
a photo of a {name}, a type of pet. 0,870 0,893
a photo of a {name}, a type of {species}. 0,884 0,896

Le dernier précise « chat » ou « chien ». Il gagne sur la validation, donc c’est l’ensemble de requêtes choisi. Son exactitude sur le test est de 0,896, sans aucune étiquette. L’espèce aide surtout pour les chats, dont les noms ne disent rien : « Ragdoll », « Birman » et « Bombay » pourraient désigner n’importe quoi. Avec l’espèce, l’exactitude pour les chats passe de 0,703 (nom seulement) à 0,830.

Une sonde linéaire est une régression logistique sur les plongements de CLIP, comme dans Sondes linéaires et quelques exemples. Cette leçon utilisait le paramètre C = 2 pour les 8 classes de Larkfield. Avec 37 classes, l’équipe du cours a choisi C de nouveau sur les photos de validation. C = 10 donnait 0,897, contre 0,889 pour C = 2. Un C plus élevé réduit la force qui pousse les poids vers de petites valeurs. La sonde peut donc apprendre des limites plus nettes entre 37 classes.

Avec les 20 photos étiquetées par race, la sonde atteint 0,872 sur le test. C’est moins que le zéro exemple (0,896). Avec 5 photos par race, elle atteint 0,761, et avec une photo, 0,504.

Pourquoi 740 étiquettes perdent-elles contre aucune? Les requêtes apportent quelque chose que 20 photos ne peuvent pas enseigner : les noms. CLIP a appris à partir de plusieurs millions de photos avec légendes sur Internet. Les propriétaires d’animaux aiment écrire la race dans une légende. La sonde abandonne cette connaissance et apprend chaque race à partir de 20 photos.

Nous pouvons garder les deux. La sonde donne 37 probabilités, tout comme les requêtes. Un mélange simple prend une moyenne pondérée de leurs logarithmes. Il transforme ensuite le résultat en probabilités dont la somme vaut 1. Le poids des requêtes s’appelle alpha : 0 signifie la sonde seule, 1 signifie les requêtes seules.

Un petit exemple avec deux races, A et B :

A B
La sonde 0,70 0,30
Les requêtes 0,20 0,80
Mélange avec alpha = 0,25 0,57 0,43
Mélange avec alpha = 0,5 0,43 0,57

Avec alpha = 0,25 : pour A, 0,75 × ln 0,70 + 0,25 × ln 0,20 = −0,670; pour B, 0,75 × ln 0,30 + 0,25 × ln 0,80 = −0,959. Puis e−0,670 = 0,512 et e−0,959 = 0,383. Divisés par leur somme (0,895), ils donnent 0,57 et 0,43. La réponse change avec alpha, donc alpha est choisi sur les photos de validation : 0,25 pour 5 à 20 photos par race, 0,5 pour 1 et 2.

Le mélange gagne à chaque taille. Avec 20 photos par race, il atteint 0,912. Avec une seule photo par race, il atteint déjà 0,900. Les étiquettes corrigent maintenant seulement les requêtes lorsqu’elles se trompent.

Le réglage fin modifie le réseau lui-même. Comme dans L’apprentissage par transfert, ResNet-18 garde ses premières couches gelées. Son dernier bloc et une nouvelle dernière couche apprennent à partir des photos étiquetées. La recette du cours reste la même : AdamW, un taux d’apprentissage de 0,001, des lots de 32, aucune augmentation de données. Le nombre d’époques a été choisi sur la validation : 5 sur 15.

D’abord, ResNet-18 gelé, avec une sonde linéaire sur ses plongements : 0,875 avec 20 photos par race. Puis, après réglage fin : 0,846. Le réglage fin a perdu. Avec 20 photos par race, le dernier bloc apprend trop bien les photos d’entraînement. Il oublie une partie de ce qu’ImageNet lui a enseigné. Avec 10 photos par race, il atteint 0,787, et avec 5, 0,714 (la moyenne de 3 exécutions chacun). L’entraînement de 15 époques, avec une vérification sur les photos de validation après chacune, a pris environ 3 minutes sur le processeur de l’ordinateur portable.

Toutes les méthodes ont utilisé les mêmes 925 photos de test, avec l’utilitaire du cours compare.py. La colonne task (tâche) de ces lignes contient pets (animaux de compagnie).

  • Sonde CLIP + requêtes
  • Sonde CLIP
  • Sonde ResNet-18
  • ResNet-18 réglé finement
  • CLIP en zéro exemple (sans étiquettes)
Exactitude selon le nombre de photos étiquetées par race, sur les 925 photos de test. Chaque point sous 20 représente la moyenne de 10 tirages aléatoires (3 pour le réglage fin). La ligne pointillée représente CLIP en zéro exemple avec l'ensemble de requêtes choisi. L'histogramme de couleurs (0,035 à 0,044) est bien sous l'axe, qui commence à 0,4.
Description textuelle du graphique

Un graphique en courbes. L’axe des x comporte cinq valeurs : 1, 2, 5, 10 et 20 photos étiquetées par race. L’axe des y représente l’exactitude sur les données de test, de 0,4 à 1. Sonde CLIP avec requêtes : 0,900, 0,903, 0,901, 0,907 et 0,912. Sonde CLIP : 0,504, 0,630, 0,761, 0,821 et 0,872. Sonde ResNet-18 : 0,649, 0,739, 0,827, 0,855 et 0,875. ResNet-18 réglé finement : 0,714 avec 5, 0,787 avec 10 et 0,846 avec 20. Une ligne horizontale pointillée à 0,896 représente CLIP en zéro exemple, sans étiquettes.

Le tableau contient les lignes avec 20 photos étiquetées par race. La pire race est celle dont le rappel est le plus faible : la part de ses 25 photos de test correctement classées.

Méthode Exactitude Pire race (rappel) Photos étiquetées Modèle Temps par photo
Histogramme de couleurs + 5-NN 0,044 British Shorthair (0,00) 740 aucun 2,2 ms
CLIP en zéro exemple, requête avec l’espèce 0,896 American Pit Bull Terrier (0,56) 0 605 Mo 9,3 ms
CLIP + sonde linéaire 0,872 American Pit Bull Terrier (0,36) 740 605 Mo 9,3 ms
CLIP + sonde linéaire + requêtes 0,912 American Pit Bull Terrier (0,40) 740 605 Mo 9,3 ms
ResNet-18 gelé + sonde linéaire 0,875 Russian Blue (0,56) 740 47 Mo 14,9 ms
ResNet-18 réglé finement, 5 époques 0,846 American Pit Bull Terrier (0,36) 740 47 Mo 14,9 ms

Le temps comprend la lecture d’une photo et le calcul de son plongement. Le traitement utilise des lots de 32 et 4 fils d’exécution sur un processeur Apple M4. La sonde et la combinaison ajoutent bien moins d’une milliseconde. Les poids de CLIP sont sous licence MIT. Les poids de ResNet-18 sont sous licence Apache-2.0, mais ils ont été entraînés sur ImageNet. Les conditions d’ImageNet réservent son utilisation à la recherche non commerciale (voir Quand ne pas le construire).

Comment lire ces résultats :

  • Les requêtes valent des centaines d’étiquettes. Sans étiquettes, la méthode en zéro exemple bat toutes les méthodes avec 740 étiquettes, sauf la combinaison.
  • La combinaison est la meilleure à chaque taille, et sa courbe est presque plate : une photo par race donne 0,900, vingt donnent 0,912. Un gain d’environ 1 point, proche du niveau de bruit de ce test.
  • Le réglage fin a perdu contre une sonde sur le même réseau gelé. Sur un processeur, avec 20 photos par race, il ne vaut pas les minutes qu’il prend ici.

Pourquoi ResNet-18 connaît mieux les chiens que les chats

Section intitulée « Pourquoi ResNet-18 connaît mieux les chiens que les chats »

ResNet-18 a été entraîné sur les 1 000 classes d’ImageNet. 22 de nos 25 races de chiens sont des classes d’ImageNet, mais seulement 3 des 12 races de chats (Persian, Siamese et « Egyptian cat »).

  • Sonde ResNet-18
  • CLIP en zéro exemple
  • Sonde CLIP + requêtes
Exactitude sur les 300 photos de chats et les 625 photos de chiens : ResNet-18 avec une sonde, CLIP en zéro exemple avec la requête avec l'espèce, et la sonde CLIP avec requêtes (20 photos étiquetées par race). L'axe commence à 0,6.
Description textuelle du graphique

Un graphique avec trois paires de colonnes, sur un axe de 0,6 à 1. ResNet-18 avec une sonde : chats 0,78, chiens 0,92. CLIP en zéro exemple avec la requête avec l’espèce : chats 0,83, chiens 0,93. Sonde CLIP avec requêtes : chats 0,90, chiens 0,92.

ResNet-18 classe correctement 0,918 des chiens, mais seulement 0,783 des chats : les chats qu’il n’a jamais appris comme classes. La combinaison réduit l’écart (0,897 contre 0,920). Voilà la vraie raison des bons résultats des modèles préentraînés ici : ils ont déjà vu ces races.

La méthode choisie est la sonde CLIP avec requêtes. Elle fait 81 erreurs sur 925 photos de test, et aucune ne donne la mauvaise espèce. Ses cinq pires races :

The five worst breeds (recall on 25 test photos each):
american_pit_bull_terrier 0.40
staffordshire_bull_terrier 0.72
birman 0.72
maine_coon 0.80
egyptian_mau 0.80

Les erreurs viennent par paires. L’American Pit Bull Terrier et le Staffordshire Bull Terrier sont confondus 14 fois, soit plus d’une erreur sur six. Ensuite, Birman et Ragdoll, 9 fois : deux chats à poil long, aux extrémités foncées et aux yeux bleus. Puis English Cocker Spaniel et English Setter (5), et American Bulldog et Boxer (4).

La paire de pitbulls est difficile pour les gens aussi. Les clubs de race les décrivent différemment, mais beaucoup de chiens correspondent aux deux. ImageNet place même « American Staffordshire terrier » et « American pit bull terrier » dans une seule classe. Les étiquettes de ce jeu de données viennent des propriétaires des photos, donc certaines peuvent être erronées. Quand les étiquettes elles-mêmes se contredisent, aucun modèle ne peut avoir raison chaque fois.

Erreur courante

Le détecteur de personnes a manqué une main

Symptôme : l’équipe du cours a examiné la première photo de test de chaque race pour la figure d’ensemble. Une photo d’un chiot Scottish Terrier montre la main d’une personne sous le chiot. Le détecteur de personnes l’avait acceptée.

Cause : un détecteur de personnes apprend à trouver des personnes entières, ou de grandes parties de leur corps. Une main au bord d’une photo, une jambe ou un reflet peuvent facilement lui échapper. Le détecteur a retiré 260 photos, mais ne garantit rien pour les autres.

Correction : ne montrez ou ne publiez jamais une photo simplement parce qu’un détecteur l’a acceptée. Examinez à l’œil chaque photo que vous montrez, sur une planche-contact. L’équipe du cours a remplacé cette photo dans la figure. Le personnel doit pouvoir retirer toute photo contenant une personne.

Conséquence pour le travail en IA : un filtre automatique de protection de la vie privée est un premier passage, pas une garantie. Un rapport qui dit « aucune personne » doit préciser comment cela a été vérifié et ce que la vérification peut manquer.

Hana n’a pas besoin d’une race pour chaque photo. Elle a besoin d’une règle : quand le modèle peut-il remplir la race tout seul? La règle a un seuil : si la probabilité la plus élevée atteint ce seuil, la race est remplie automatiquement. Sous le seuil, une personne vérifie.

Un processus pour une photo. La sonde avec requêtes donne 37 probabilités. Si la race en tête est pitbull, Staffordshire ou American Bulldog, une personne choisit toujours parmi les 3 premières. Sinon, si la probabilité la plus élevée atteint 0,47, la race est remplie automatiquement; sinon, une personne choisit parmi les 3 premières.
La décision pour une photo, avec le seuil choisi sur les photos de validation.
Description textuelle du diagramme

Un processus de gauche à droite (de haut en bas sur un téléphone). Une nouvelle photo passe par la sonde avec requêtes, qui donne 37 probabilités. Première question : la race en tête est-elle American Pit Bull Terrier, Staffordshire Bull Terrier ou American Bulldog? Si oui, une personne vérifie toujours et choisit parmi les 3 premières. Si non, deuxième question : la probabilité la plus élevée atteint-elle 0,47? Si oui, la race est remplie dans l’annonce. Si non, une personne vérifie et choisit parmi les 3 premières.

Un seuil bas remplit plus de races, avec plus d’erreurs à 5 $ US chacune. Un seuil élevé envoie plus de photos à une personne, à 0,50 $ US chacune. L’équipe du cours a essayé tous les seuils de 0 à 1 sur les photos de validation :

  • Validation (370 photos) : le seuil est choisi ici
  • Test (925 photos)
Le coût par 1 000 photos pour chaque seuil, avec des vérifications à 0,50 $ US et des races erronées à 5 $ US (hypothèses). Les trois races de la règle de Hana coûtent toujours une vérification. Un seuil de 1 envoie chaque photo à une personne : 500 $ US.
Description textuelle du graphique

Un graphique en courbes. L’axe des x représente le seuil, de 0 à 1. L’axe des y représente le coût en dollars par 1 000 photos, de 0 à 550. Les deux courbes commencent haut au seuil de 0 (validation 274, test 349 : beaucoup de races erronées remplies). Elles descendent à un minimum près de 0,5, puis remontent à 500 au seuil de 1 (chaque photo vérifiée). Le minimum de validation se trouve à 0,47, avec 175,7 $ US. À 0,47, la courbe de test donne 204,9 $ US; son propre minimum se trouve à 0,55, avec 154,6 $ US.

Le seuil le moins coûteux sur les données de validation est 0,47, à 175,7 $ US par 1 000 photos. Sur les photos de test, ce même seuil donne :

Test (925 photos) Par 1 000 photos
Remplies automatiquement 756 (82 %) —
Erronées parmi celles-ci 21 (97,2 % correctes) —
Envoyées à une personne 169 —
Coût — 204,9 $ US
Aucun seuil (tout remplir sauf les trois races) — 348,6 $ US
Une personne vérifie chaque photo (aujourd’hui) — 500 $ US

Le coût de test dépasse le coût de validation : 204,9 contre 175,7. La validation ne contient que 10 photos par race, donc le seuil y bénéficie d’un peu de chance. Sur les photos de test, un seuil de 0,55 aurait coûté 154,6 $ US. Mais nous ne pouvons pas choisir sur les données de test. C’est la même leçon que le seuil qui n’a pas tenu : un seuil choisi sur peu de photos doit être vérifié sur de nouvelles photos.

Riverside reçoit environ 60 animaux par jour. Donc, 204,9 $ US par 1 000 photos représentent environ 12 $ US par jour, contre 30 $ US si une personne vérifie chaque photo. Environ 11 photos par jour vont à une personne, et environ 1,4 race erronée par jour atteint une annonce. Les sommes sont modestes. Le vrai gain est le temps : l’équipe vérifie 11 photos plutôt que 60.

Ce que l’analyse dit à Hana, en mots simples :

  1. Commencez aujourd’hui en zéro exemple. CLIP avec la requête avec l’espèce ne nécessite aucune étiquette et classe correctement 0,896 des photos de test. Utilisez-le pour suggérer trois races, et laissez le personnel choisir. Rien n’est encore rempli automatiquement.
  2. Étiquetez 20 photos par race provenant de vos propres refuges pendant son utilisation : 740 photos, environ 12 heures pour une personne à une minute chacune. Passez ensuite à la sonde avec requêtes (0,912 sur notre test, déjà 0,900 avec une photo par race).
  3. Remplissez la race automatiquement quand la probabilité la plus élevée atteint 0,47. Sous ce seuil, le personnel choisit parmi les trois premières. La vraie race figurait parmi elles pour 146 des 148 nouvelles photos.
  4. Envoyez toujours le pitbull, le Staffordshire et l’American Bulldog à une personne, peu importe la probabilité. C’est précisément là que le modèle est le moins bon.
  5. Ajoutez « croisé ou incertain » pour le personnel. La plupart des chiens de refuge sont croisés, et le modèle ne peut répondre que par une des 37 races.
  6. Mesurez de nouveau sur vos propres photos avant de faire confiance au seuil, avec au moins 10 photos par race.

La fonction suggest représente toute la méthode pour une photo. Elle lit la photo, calcule son plongement CLIP, combine la sonde et les requêtes, puis décide :

def suggest(file):
"""One new photo -> the three most likely breeds and the zone: the whole method, end to end."""
with torch.no_grad():
e = unit(clip.encode_image(preprocess(Image.open(file).convert("RGB"))[None]).numpy())
log_probe = np.log(probe20.predict_proba(e) + 1e-9)
log_prompts = np.log(softmax(100 * e @ T.T) + 1e-9)
p = softmax((1 - ALPHA[20]) * log_probe + ALPHA[20] * log_prompts)[0]
top3 = [(BREEDS[i], round(float(p[i]), 2)) for i in np.argsort(-p)[:3]]
zone = "always check" if top3[0][0] in ALWAYS_CHECK else "check" if top3[0][1] < LINE else "auto-fill"
return top3, zone

Les 148 nouvelles photos n’ont jamais servi à entraîner le modèle ni à choisir quoi que ce soit. En voici six :

beagle_44 auto-fill beagle 0.83, basset_hound 0.14, saint_bernard 0.01
Bengal_43 auto-fill bengal 0.78, egyptian_mau 0.16, abyssinian 0.03
Abyssinian_92 auto-fill abyssinian 0.93, bombay 0.02, siamese 0.02
British_Shorthair_84 auto-fill russian_blue 0.55, british_shorthair 0.30, bombay 0.06
american_pit_bull_terrier_197 always check staffordshire_bull_terrier 0.71, american_pit_bull_terrier 0.24, american_bulldog 0.02
chihuahua_60 check chihuahua 0.26, miniature_pinscher 0.14, scottish_terrier 0.09
Six nouvelles photos avec la zone, la race en tête selon le modèle et sa probabilité, et la vraie race : un beagle, un Bengal et un Abyssinian remplis correctement; un British Shorthair rempli comme Russian Blue, avec un cadre rouge; un pitbull classé Staffordshire, toujours vérifié; un chihuahua à 0,26, vérifié.
Six des 148 nouvelles photos, avec la zone, la race en tête selon le modèle et sa probabilité, et la vraie race. Un cadre rouge marque une race erronée remplie automatiquement. Photos : Oxford-IIIT Pet Dataset (Parkhi et al.), CC BY-SA 4.0; chaque propriétaire conserve les droits d'auteur de sa photo. Cette figure (recadrée en carré et redimensionnée) est partagée sous licence CC BY-SA 4.0.
Description textuelle du diagramme

Six photos sur deux rangées. Un beagle, rempli comme beagle à 0,83. Un chat Bengal, rempli comme Bengal à 0,78. Un Abyssinian, rempli à 0,93. Un British Shorthair gris, rempli comme Russian Blue à 0,55 : une erreur, avec un cadre rouge. Un pitbull terrier noir et blanc, classé Staffordshire Bull Terrier à 0,71 et toujours vérifié. Un petit chihuahua à côté d’une pancarte « security dog » (chien de garde), classé chihuahua à seulement 0,26 et vérifié.

Ce que cela nous apprend. Trois photos sont remplies correctement. Le British Shorthair est rempli comme Russian Blue à 0,55 : au-dessus du seuil, mais erroné. Le seuil laisse passer ces erreurs, à 5 $ US chacune. Le pitbull est classé « Staffordshire » à 0,71. Sans la règle de Hana, cette race erronée atteindrait l’annonce. Le chihuahua est correct, mais le modèle est incertain (0,26), donc une personne vérifie.

Sur les 148 nouvelles photos :

{'auto-fill': 120, 'check': 16, 'always check': 12}
auto-filled and wrong: 4 of 120
the true breed is among the three suggestions: 146 of 148

Ce que cela nous apprend. 81 % des nouvelles photos sont remplies, et 96,7 % de celles-ci sont correctes, près du résultat de test (97,2 %).

Les animaux sont plus faciles que les catégories propres à un magasin sur un point. Les races sont connues. ImageNet compte 25 des 37 races comme classes, et CLIP a lu leurs noms dans des légendes. Le catalogue de Larkfield a sa propre distinction entre un pot de fleurs et un vase. Là, la sonde CLIP avec 20 photos par classe (0,929) a fait un peu mieux que la méthode en zéro exemple (0,925). C’est ce que montrait Sondes linéaires et quelques exemples. Pour une liste de produits jamais nommés sur Internet, attendez-vous à ce que les étiquettes comptent davantage.

Les animaux sont plus difficiles sur un autre point. Il y a 37 classes, pas 8, et la pire paire est très semblable.

Les photos sont plus faciles que la réalité. Elles montrent des animaux typiques de race pure, dans de bonnes photos provenant d’Internet. Les photos de refuges montrent des animaux croisés, des chiots, de vieux animaux, des cages, un mauvais éclairage et du flash. Attendez-vous à une exactitude plus faible, et mesurez-la.

Petits nombres. Le test contient 25 photos par race, donc une seule photo change le rappel d’une race de 0,04.

Ce que nous n’avons pas essayé. Le réglage fin avec augmentation de données, plus de couches ou plus de photos par race pourrait battre la sonde. Un modèle CLIP plus grand pourrait aussi faire mieux, à un coût plus élevé par photo.

  • Une race déduite d’une photo est une supposition sur l’apparence. Elle ne dit rien de certain sur l’ascendance, le tempérament, la santé ou le risque. Ne l’utilisez jamais pour décider si un animal est sûr, si une famille peut adopter ou combien coûte une assurance.
  • Certaines races ont un poids juridique. Dans certains endroits, les règles de logement ou les lois nomment certaines races. Par exemple, au Royaume-Uni, la Dangerous Dogs Act 1991, article 1 (1) (a) s’applique à « any dog of the type known as the pit bull terrier » (tout chien du type connu sous le nom de pitbull terrier). Le modèle est précisément le moins bon sur ces races. Gardez la règle de Hana : une personne décide pour ces races, et l’annonce indique qu’une personne a vérifié.
  • Laissez le modèle dire « je ne sais pas ». Une liste de 37 races impose une réponse erronée pour un animal croisé. L’annonce devrait dire « ressemble à » quand il s’agit d’une supposition.
  • Les personnes dans les photos. Les photos de refuges montrent souvent du personnel, des bénévoles ou des adoptants. Exécutez le modèle sur votre propre ordinateur et floutez les visages par défaut, comme dans Les personnes dans les images. N’envoyez jamais une photo contenant une personne à un modèle hébergé.
  • La licence suit les photos. Les photos sont sous licence CC BY-SA 4.0. Citez le jeu de données dans votre travail. Tout élément partagé créé à partir des photos, comme une figure ou un tableau de noms de photos, doit utiliser la même licence.

Cette étude de cas montre que vous pouvez choisir une méthode de vision à partir de preuves : un test équitable, une courbe d’apprentissage, les pires classes et un coût. Personnalisez-la avec un changement : d’autres coûts, une autre liste « toujours vérifier », ou DINOv2 au lieu de CLIP. Puis rendez-la publique et facile à lire en cinq minutes.

Quoi mettre dans le dépôt :

  • README.md, la page que les gens lisent en premier (modèle ci-dessous).
  • Le carnet (notebook) Jupyter, exécuté du début à la fin, avec ses sorties.
  • results.csv : une ligne par méthode, tirée du tableau comparatif (exactitude, pire race, photos étiquetées, taille du modèle, temps par photo).
  • MODEL_CARD.md : l’usage prévu (suggérer une race; une personne vérifie) et les usages exclus (décisions de sécurité, d’adoption ou d’assurance). Ajoutez les données, l’évaluation, les pires paires, le seuil et son coût, ainsi que les limites.
  • La mention de source et la licence du jeu de données dans l’encadré ci-dessus. Ne téléversez pas les photos : donnez un lien vers le jeu de données et le SHA-256 de l’archive.

Un modèle de README :

# Breed suggestions for adoption listings
## Problem
A rescue lists about 60 animals a day. Staff type each breed by eye. A check costs
about 0.50 dollars, a wrong breed on a listing about 5 dollars (assumptions).
## Data and licence
Oxford-IIIT Pet Dataset (Parkhi et al., CVPR 2012), 37 breeds, CC BY-SA 4.0,
https://www.robots.ox.ac.uk/~vgg/data/pets/. Fixed subset per breed: 20 train,
10 validation, 25 test, 4 new. Photos with a person (detector + eye) removed.
## Approach
Colour histogram + 5-NN; CLIP ViT-B/32 zero-shot (4 prompt sets); CLIP and ResNet-18
linear probes; probe + prompts; ResNet-18 fine-tuned. All settings chosen on
validation; 1 to 20 labelled photos per breed.
## Results (925 test photos)
Histogram 0.044; zero-shot 0.896; probe 0.872; probe + prompts 0.912; fine-tuned 0.846.
Worst pair: pit bull vs Staffordshire (14 of 81 mistakes).
Line 0.47: 82% filled in, 97.2% of those right, 204.9 dollars per 1,000 photos
against 500 for checking every photo.
## Limits
Pure-bred internet photos; pretrained models saw these breeds; 25 test photos per
breed; mixed breeds not covered; a breed is a guess about looks.

Comment le décrire en entrevue, en deux phrases : « J’ai comparé quatre familles de classificateurs d’images sur 37 races d’animaux qui se ressemblent : les requêtes de CLIP ont surpassé 740 étiquettes, et une sonde combinée aux requêtes donnait les meilleurs résultats, même avec une seule photo étiquetée par race. J’ai choisi le seuil des réponses automatiques selon le coût de chaque erreur, ce qui a réduit le coût de 59 % par rapport à la vérification de chaque photo, et une personne vérifie toujours les races les plus risquées. »

Pour aller plus loin :

  • Remplacez CLIP par DINOv2 small (l’autre plongement du cours). Faites d’abord une prédiction : sans texte, peut-il égaler la combinaison?
  • Ajoutez une classe « race croisée » avec des photos de chiens croisés provenant d’une source autorisée. Mesurez à quelle fréquence le modèle les reconnaît.
  • Essayez une courbe d’apprentissage avec 50 photos par race. La sonde seule dépasse-t-elle la méthode zéro exemple?
  • Mesurez de nouveau le coût avec une vérification à 0,25 $ US. Faites d’abord une prédiction : le seuil monte-t-il ou descend-il?

Vérifiez votre compréhension

La sonde CLIP entraînée sur 740 photos étiquetées (0,872) obtient un score inférieur à CLIP en zéro exemple, sans étiquette (0,896). Expliquez comment c'est possible et ce que montre la combinaison des deux.

Afficher la réponse

La sonde apprend chaque race uniquement à partir de ses 20 photos étiquetées. Elle ignore ce que CLIP sait des mots. La méthode zéro exemple utilise les noms des races. CLIP a appris à partir de nombreuses photos avec légendes sur Internet. Les propriétaires d’animaux écrivent souvent la race dans une légende. Les noms apportent donc des connaissances que 20 photos ne peuvent pas enseigner. La combinaison garde les deux : les requêtes apportent les noms, et les étiquettes corrigent les requêtes quand elles se trompent. Elle atteint 0,900 avec une photo par race et 0,912 avec 20, mieux que chaque méthode seule. Pour une liste de produits qu’Internet n’a jamais nommés, les étiquettes compteraient davantage.

Vérifiez votre compréhension

La règle de Hana confie le pitbull, le Staffordshire et l'American Bulldog à une personne, quelle que soit la probabilité. Donnez deux raisons tirées des données et une raison extérieure aux données.

Afficher la réponse

Dans les données : l’American Pit Bull Terrier est la pire race (rappel de 0,40). La paire pitbull–Staffordshire compte 14 des 81 erreurs. C’est donc précisément là que le modèle est le plus faible. Même une probabilité élevée peut être erronée : pour une nouvelle photo de pitbull, le modèle a répondu « Staffordshire » à 0,71, au-dessus du seuil. Les étiquettes elles-mêmes sont incertaines : ImageNet regroupe même les deux noms dans une seule classe. Hors des données : dans certains endroits, les règles de logement ou les lois nomment ces races. Une mauvaise race sur une annonce peut donc nuire à une personne qui adopte ou à un animal. Une personne doit décider et assumer la responsabilité de ces réponses.

Vérifiez votre compréhension

Le seuil de 0,47 coûtait 175,7 $ US par 1 000 photos sur les données de validation et 204,9 sur les données de test. Pourquoi le coût a-t-il augmenté, et que devrait faire Hana avant de se fier à ce seuil?

Afficher la réponse

Le seuil a été choisi sur seulement 370 photos de validation, soit 10 par race. Sur un petit jeu de données, le seuil le moins coûteux s’y adapte un peu par hasard. Un nouveau jeu coûte donc plus cher. La même chose s’est produite dans la leçon du cours sur l’inspection. Un seuil choisi sur 12 photos d’articles endommagés n’a pas tenu. Hana devrait mesurer de nouveau le seuil sur les photos de ses propres refuges, au moins 10 par race. Elle devrait aussi garder l’option « vérifier ». Si le coût sur ses photos est beaucoup plus élevé, elle devrait relever le seuil ou étiqueter plus de photos. Elle devrait le faire avant de laisser le modèle remplir les races.

Récapitulatif

  • La classification fine distingue de nombreuses classes d’un même type. Un histogramme de couleurs échoue (0,044 sur 37 races, contre 0,027 au hasard) : la réponse se cache dans de petits détails.
  • Les requêtes valaient plus que 740 étiquettes : CLIP en zéro exemple, avec l’espèce dans la requête, a atteint 0,896; la sonde seule, 0,872.
  • La sonde combinée aux requêtes a gagné à toutes les tailles : 0,900 avec une photo par race, 0,912 avec 20. Le réglage fin de ResNet-18 a perdu face à sa propre sonde gelée (0,846 contre 0,875).
  • Les pires races vont par paires : pitbull et Staffordshire (14 erreurs), Birman et Ragdoll (9). Les modèles préentraînés réussissent ici en partie parce qu’ils ont déjà vu ces races.
  • La décision : remplir automatiquement si la probabilité la plus élevée atteint 0,47, toujours vérifier trois races, sinon choisir parmi trois suggestions. Le coût de test est de 204,9 $ US par 1 000 photos, contre 500. Sur les nouvelles photos, 4 des 120 races remplies étaient erronées.

Ensuite, la dernière étude de cas : compter des objets dans des photos ouvertes et encombrées. Les boîtes englobantes s’y chevauchent, et un détecteur peut compter deux objets comme un seul.

Leçon suivante : Compter et détecter dans des scènes encombrées