Aller au contenu
English

Caractéristiques faites à la main

  • Leçon 6
  • 35 min
  • Module 2 : Références de base et classificateurs préentraînés

Où nous en sommes

Les histogrammes de couleurs nous ont donné les premières lignes du tableau. Ils connaissent la couleur, mais ne savent rien de la forme. Dans cette leçon, nous décrivons les formes avec des caractéristiques faites à la main : HOG et les contours. Nous entraînons ensuite un modèle linéaire sur ces caractéristiques. D'abord, une employée regarde un écran sans aucune couleur.

Leçon 6 sur 30 · IA de vision : voir, compter et inspecterCaractéristiques faites à la main

Ce que vous saurez faire

Décrivez les formes d’une photo avec une caractéristique faite à la main, HOG. Entraînez un modèle linéaire sur cette caractéristique et mesurez ce que la forme ajoute à la couleur. C’est la méthode classique des années 2000 : rapide sur tout processeur, mais limitée. Ses limites expliquent l’existence des méthodes suivantes.

Carnet JupyterFaites cette leçon dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter contient chaque cellule de code, tâche et vérification de cette leçon. Ses cellules de préparation installent les paquets et téléchargent les photos du catalogue (environ 9 Mo). Il ne demande ni compte ni clé. Environ 20 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 35 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

  • Le carnet, ou votre projet larkvision à l’instantané end-of-m02, de la dernière leçon.

Testé avec Python 3.12.13 sur macOS.

La nuit, l’entrepôt de Hamid filme la zone de chargement avec une vieille caméra en noir et blanc. Le matin, une employée regarde la vidéo sur un petit écran. Il n’y a aucune couleur. Pourtant, elle dit : « C’est une chaise, et ça, c’est un carton de tasses. » Elle voit les contours : les pieds droits d’une chaise, le bord rond d’une tasse et son anse.

L’histogramme de couleurs de la dernière leçon ne peut pas faire cela. Il a vu un vase brun et trouvé deux chaises brunes. Dans cette leçon, nous donnons à l’ordinateur la vue de l’employée : aucune couleur, seulement les contours et leurs directions.

Un contour est un endroit où la luminosité change rapidement : le pied sombre d’une chaise sur un plancher clair. Pour en trouver un, comparez les voisins de chaque pixel. Soustrayez le voisin de gauche de celui de droite, puis le pixel du haut de celui du bas. Une grande différence indique un contour.

Voici 3 × 3 pixels réels de la photo du fauteuil ci-dessous. Leurs valeurs de gris vont de 0 (noir) à 255 (blanc). Le pixel du milieu se trouve au bord du fauteuil orange, contre le mur blanc :

Gauche Milieu Droite
Au-dessus 243 209 100
Rangée du milieu 233 130 55
En dessous 218 98 60

Pour le pixel du milieu :

  • De gauche à droite : droite − gauche = 55 − 233 = −178. La photo devient beaucoup plus sombre vers la droite.
  • De haut en bas : dessous − dessus = 98 − 209 = −111. Elle devient aussi plus sombre vers le bas.
  • Intensité du contour : √(178² + 111²) = 209,8. C’est la longueur du changement, comme sur une carte : 178 pas vers la droite et 111 vers le bas.
  • Direction : l’angle de ce changement est de 31,9°. Pour HOG, le passage du sombre au clair ou du clair au sombre ne fait aucune différence. Il conserve donc des angles de 0° à 180°.

HOG place chaque direction dans l’une des 9 classes de 20°. Un angle de 31,9° entre dans la classe 20–40°. Chaque pixel de la photo reçoit le même traitement.

Un seul pixel en dit peu. HOG découpe donc la photo en cellules de 16 × 16 pixels. Dans chaque cellule, il construit un petit histogramme de directions. Chaque pixel ajoute l’intensité de son contour à la classe de sa direction. Les contours forts comptent plus que les faibles. Le graphique montre la cellule autour de notre pixel :

  • Votes
  • La classe de l'exemple détaillé
L'histogramme de directions d'une cellule de 16 × 16 de la photo du fauteuil (votes simples). Les deux plus grandes classes sont près de 0° et de 180°. Les changements vont de gauche à droite, donc le contour lui-même est vertical.
Description textuelle du graphique

Un diagramme à neuf colonnes, une par intervalle de 20 degrés. De 0 à 20 : 2 259. De 20 à 40 : 583, la classe de l’exemple détaillé. De 40 à 60 : 345. De 60 à 80 : 1 055. De 80 à 100 : 485. De 100 à 120 : 653. De 120 à 140 : 511. De 140 à 160 : 161. De 160 à 180 : 2 622. Les deux plus grandes colonnes sont aux deux extrémités, près de 0 et de 180 degrés.

La cellule se trouve sur le côté vertical du fauteuil. La luminosité change de gauche à droite. Les deux classes aux extrémités (près de 0° et de 180°) sont donc les plus grandes. Autrement dit, la cellule contient un contour vertical. Le nom de la méthode décrit tout cela : HOG signifie Histogram of Oriented Gradients, soit histogramme de gradients orientés. Un gradient est le changement de luminosité que nous avons calculé, avec son intensité et sa direction.

HOG ajoute une étape. Il regroupe les cellules en blocs de 2 × 2 cellules et ramène les nombres de chaque bloc à la même échelle. Une ombre affaiblit tous les contours d’un bloc. Cette étape corrige une grande partie de cet effet.

Le code du cours convertit la photo en niveaux de gris et la redimensionne à 128 × 128 pixels. Cela donne 8 × 8 = 64 cellules, et 7 × 7 = 49 blocs de 2 × 2 cellules. Chaque bloc contient 4 cellules × 9 classes = 36 nombres. Chaque photo devient donc 49 × 36 = 1 764 nombres. L’image montre chaque étape sur deux photos du catalogue :

Deux rangées de quatre images : un fauteuil orange et une tasse blanche. Pour chacun : la photo, la photo en niveaux de gris à 128 × 128 pixels, puis l'intensité des contours sous forme de lignes sombres sur fond blanc. Enfin, l'image HOG montre de courtes lignes dans chaque cellule, indiquant les principales directions des contours.
D'une photo à HOG : la photo en gris, l'intensité des contours à chaque pixel (foncé = fort) et les principales directions dans chaque cellule de 16 × 16. Photos : Heritage Hotels & Resorts et Joris de Vrede, CC BY 2.0, via Open Images.
Description textuelle du diagramme

Deux rangées de quatre images. Dans la première rangée, un fauteuil orange devant une fenêtre. Dans la deuxième, une tasse blanche de café. La première image de chaque rangée est la photo. La deuxième est la même photo en niveaux de gris, à 128 × 128 pixels. La troisième montre l’intensité des contours : le contour du fauteuil, ses pieds et le cadre de fenêtre sont des lignes sombres. Pour la tasse, le bord et le café sombre forment les contours les plus forts. La quatrième est l’image HOG : dans chaque cellule, de courtes lignes suivent les principaux contours. Les cellules du fauteuil montrent beaucoup de lignes verticales. Celles de la tasse montrent des lignes courbes, surtout horizontales, autour du bord.

L’image HOG conserve les côtés verticaux du fauteuil et le bord rond de la tasse. Elle élimine la couleur, l’orange et le café. C’est ce que nous voulons : une description de la forme.

Avec 1 764 nombres par photo, la comparaison par distance utilisée par k-NN devient difficile. Beaucoup de ces nombres sont du bruit. Nous utilisons donc un modèle qui apprend quels nombres comptent pour chaque classe : une régression logistique. Il donne à chaque nombre un poids par classe, additionne les nombres pondérés et choisit la classe ayant la somme maximale. Un modèle qui additionne ainsi des nombres pondérés est dit linéaire. Son entraînement prend environ 2 secondes.

La section 3 du carnet l’exécute :

model = make_pipeline(StandardScaler(), LogisticRegression(C=0.5, max_iter=3000)).fit(Htr, train["label"])
catalogue test accuracy 0.356 worst candle 0.1
new studio accuracy 0.356 worst candle 0.1
HOG features: 1.1 ms per photo

StandardScaler ramène d’abord chaque nombre à la même échelle. Ainsi, aucun nombre ne domine simplement parce qu’il est grand. C=0.5 garde les poids petits pour que le modèle n’apprenne pas les photos d’entraînement par cœur.

HOG atteint 0,356 : mieux que la règle (0,269) et l’histogramme (0,263), mais loin d’un bon résultat. La bougie reste la pire classe (0,10). Le contour d’une bougie varie beaucoup. Un lampion vu du dessus est un cercle, et une grande bougie est une mince ligne verticale. Un pot en verre ajoute ses propres contours.

Les photos du nouveau studio ont une lumière plus chaude, ajoutée par le code (un problème que nous avons inséré). Faites une prédiction avant de regarder : HOG perd-il en exactitude, comme l’histogramme?

  • Règles
  • Histogramme de couleurs
  • HOG
Exactitude sur les mêmes 160 produits sous la lumière du studio et sous la lumière plus chaude du nouveau studio. HOG n'utilise pas la couleur, donc sa ligne est horizontale.
Description textuelle du graphique

Trois lignes allant de la lumière du studio à la lumière plus chaude du studio. Règles : de 0,269 à 0,244. Histogramme : de 0,263 à 0,225. HOG : de 0,356 à 0,356, une ligne horizontale.

HOG ne change pas du tout : 0,356 sous les deux lumières. Il utilise les valeurs de gris, et les blocs sont ramenés à la même échelle. Une lumière plus chaude ou plus forte ne change donc presque rien. C’est le point fort de HOG.

HOG connaît la forme, mais pas la couleur. L’histogramme connaît la couleur, mais pas la forme. Et si le modèle recevait les deux? L’exercice du carnet (section 5) place les deux listes côte à côte, soit 1 764 + 128 nombres par photo. Il entraîne ensuite le même modèle.

  • Dernière leçon
  • HOG
  • Les deux caractéristiques
Exactitude sur les 160 photos de test du catalogue. La forme et la couleur ensemble atteignent 0,487 : mieux que chacune seule, mais encore une erreur sur la moitié des photos.
Description textuelle du graphique

Un diagramme à quatre colonnes, sur un axe allant de 0 à 1. Règles : 0,269, histogramme de couleurs : 0,263, HOG : 0,356, HOG et couleur ensemble : 0,487.

Ensemble, ils atteignent 0,487. Les deux caractéristiques connaissent des choses différentes. Chacune corrige donc certaines erreurs de l’autre. Mais le modèle se trompe encore sur environ la moitié des photos. Le rappel des bougies reste à 0,10. D’autres caractéristiques faites à la main aideraient un peu plus. Pendant des années, des gens ont construit de telles caractéristiques. Chacune demandait un expert et ne voyait que ce que son auteur avait prévu.

Votre projet contient déjà HOG : larkvision/features.py contient hog_features, le même code que le carnet. Exécutez-le depuis votre dossier larkvision, avec l’environnement virtuel actif et LARKVISION_DATA défini. Dans un nouveau terminal, définissez-le de nouveau comme dans Découvrir les images de Larkfield.

  1. Exécutez la référence de base HOG. Cela prend environ 2 secondes :

    Fenêtre de terminal
    vision baseline --method hog
  2. Affichez seulement vos propres lignes du tableau comparatif :

    Fenêtre de terminal
    vision compare --task catalogue --mine

La sortie de l’étape 1 :

HOG + logistic regression, catalogue test: accuracy 0.356; worst class candle (recall 0.10); 1.2 ms per photo
HOG + logistic regression, new studio: accuracy 0.356; worst class candle (recall 0.10); 1.2 ms per photo
Added to outputs/table.json. See it with: vision compare --task catalogue

L’étape 2 affiche vos lignes, avec « (yours) » (les vôtres) après chaque méthode. Si vous avez exécuté l’histogramme dans la dernière leçon, vous voyez quatre lignes :

catalogue: accuracy
method setting value worst worst_value ms_per_image model_mb labelled_images licence
colour histogram + 5-NN (yours) catalogue test 0.263 vase 0.050 1.030 0 453 none (our code)
colour histogram + 5-NN (yours) new studio 0.225 cushion 0.000 0.940 0 453 none (our code)
HOG + logistic regression (yours) catalogue test 0.356 candle 0.100 1.200 0 453 none (our code)
HOG + logistic regression (yours) new studio 0.356 candle 0.100 1.190 0 453 none (our code)

Vos durées en millisecondes diffèrent. Les deux méthodes ne demandent aucun fichier de modèle (model_mb 0). Elles prennent environ 1 ms par photo sur le processeur d’un portable. Gardez ces deux colonnes en tête pour les prochaines leçons.

HOG décrit les contours à des endroits fixes. La cellule 12 est toujours le même carré de la photo. Cela entraîne trois limites :

  • Position et taille. Photographiez la même tasse un peu plus à gauche, ou de plus loin : ses contours tombent dans d’autres cellules. Les 1 764 nombres changent, même si la tasse n’a pas changé.
  • Rotation. Tournez la tasse, et les contours de son anse changent de direction. Les classes changent aussi.
  • Sens. HOG voit qu’une cellule contient des contours verticaux. Il ne sait pas s’ils appartiennent à un pied de chaise, à une bougie ou à un cadre de fenêtre. Le modèle linéaire doit deviner le sens à partir de l’emplacement des contours.

Ces limites expliquent le résultat de 0,356. La prochaine leçon montre comment un réseau apprend ses propres filtres de contours. Il les combine ensuite en formes plus grandes, pour que la position compte moins.

Quand utiliser des caractéristiques faites à la main

Section intitulée « Quand utiliser des caractéristiques faites à la main »
  • Utilisez-les quand la caméra est fixe et que les objets gardent à peu près la même position et la même taille. Une pièce sur un convoyeur sous une caméra fixe est un bon cas. Utilisez-les aussi quand la lumière change, car HOG ne dépend pas de la couleur. Enfin, utilisez-les si vous n’avez qu’un processeur et 1 ms par photo.
  • Ne les utilisez pas pour des photos prises avec de nombreuses caméras, sous différents angles et à différentes distances, comme le catalogue. Évitez-les aussi quand la couleur compte : HOG ne distingue pas une tasse rouge d’une tasse blanche.
  • Leur coût : environ 1 ms par photo, aucun fichier de modèle et quelques secondes d’entraînement. Le vrai coût est le temps de l’expert qui conçoit les caractéristiques, avec des résultats limités : ici, 0,487 avec la couleur.

Erreur courante

Photos de tailles différentes

Symptôme : vous calculez HOG sur les photos de retours de Hamid et celles du catalogue, sans redimensionner à 128 × 128. Python s’arrête lorsqu’il assemble les listes :

ValueError: all input arrays must have the same shape

Cause : le nombre de valeurs HOG dépend de la taille de la photo. Une photo du catalogue de 256 × 256 donne 8 100 nombres. Une photo de retour de 320 × 291 en donne 11 628. Un modèle linéaire exige une liste de même longueur pour chaque photo.

Correction : redimensionnez chaque photo à une taille unique avant HOG, comme le fait hog_features (128 × 128). Vérifiez les dimensions du premier résultat : (1764,).

Conséquence pour le travail en IA : le redimensionnement fait partie de la méthode. Si une nouvelle caméra produit des photos d’autres proportions, les redimensionner en carré comprime aussi l’objet. Les directions de HOG changent alors. Mesurez de nouveau sur des photos de la nouvelle caméra.

La section 5 du carnet contient une tâche et une cellule de vérification.

  1. Calculez l’histogramme de couleurs de chaque photo d’entraînement et de chaque photo de test.
  2. Placez HOG en premier et l’histogramme en deuxième, avec np.hstack, dans Xtr_both et Xte_both.
  3. Entraînez le même pipeline : StandardScaler et LogisticRegression(C=0.5, max_iter=3000).
  4. Placez l’exactitude sur les données de test dans acc_both, puis exécutez la cellule de vérification.
Afficher la réponse
Ctr = np.stack([colour_histogram("data/" + f) for f in train["file"]])
Cte = np.stack([colour_histogram("data/" + f) for f in test["file"]])
Xtr_both = np.hstack([Htr, Ctr])
Xte_both = np.hstack([Hte, Cte])
both = make_pipeline(StandardScaler(), LogisticRegression(C=0.5, max_iter=3000)).fit(Xtr_both, train["label"])
acc_both = cp.classification_scores(list(test["label"]), list(both.predict(Xte_both)), CLASSES)["accuracy"]
print(acc_both)
0.487

La vérification affiche Check passed: acc_both is 0.487. (vérification réussie : acc_both vaut 0,487). Les deux caractéristiques connaissent des choses différentes. Ensemble, elles font donc mieux que chacune seule. Le rappel des bougies reste à 0,10 : aucune des deux caractéristiques ne décrit bien une bougie.

Vérifiez votre compréhension

Dans l'exemple détaillé, le changement de gauche à droite est de −178, et celui de haut en bas, de −111. Quelle est l'intensité du contour, et dans laquelle des 9 classes de HOG sa direction entre-t-elle?

Afficher la réponse

L’intensité du contour est √(178² + 111²) ≈ 209,8. La direction du changement est d’environ 31,9°, après que HOG a ramené tous les angles entre 0° et 180°. Elle entre donc dans la classe 20–40°, la deuxième des neuf classes de 20°.

Vérifiez votre compréhension

Sous la lumière plus chaude du studio, l'histogramme passe de 0,263 à 0,225, mais HOG reste à 0,356. Pourquoi?

Afficher la réponse

HOG utilise la photo en niveaux de gris et ne regarde que les changements de luminosité entre voisins. Il ramène aussi chaque bloc de cellules à la même échelle. Une lumière plus chaude ou plus forte change les couleurs et la luminosité globale. Mais elle change peu les emplacements et les directions des contours. L’histogramme compte les couleurs, donc il change avec la lumière.

Vérifiez votre compréhension

Omar demande : « HOG et la couleur ensemble atteignent 0,487. Peut-on ajouter d'autres caractéristiques faites à la main jusqu'à atteindre 0,9? » Que répondez-vous?

Afficher la réponse

D’autres caractéristiques aideraient un peu, mais chacune exige un expert pour la concevoir. Chacune ne voit que ce que son auteur a prévu. HOG décrit les contours à des endroits fixes. Un produit photographié sous un autre angle ou à une autre distance donne donc d’autres nombres. Le catalogue contient des photos provenant de milliers de caméras et de pièces. Une méthode qui apprend ses propres caractéristiques à partir de nombreuses photos utilise mieux le temps disponible. Les prochaines leçons présentent ce type de méthode.

Récapitulatif

  • Un contour est un changement rapide de luminosité. Son intensité et sa direction viennent des différences entre les voisins d’un pixel.
  • HOG compte les directions des contours dans 9 classes par cellule de 16 × 16 pixels. Il ramène les blocs de 2 × 2 cellules à la même échelle. Une photo de 128 × 128 devient 1 764 nombres.
  • HOG avec un modèle linéaire atteint 0,356 et ne change pas sous la lumière plus chaude. Avec l’histogramme de couleurs, il atteint 0,487. Les deux prennent environ 1 ms par photo, sans fichier de modèle.
  • vision baseline --method hog ajoute HOG à votre tableau comparatif.
  • HOG décrit les contours à des endroits fixes. La position, la taille et la rotation changent donc ses nombres. Il ne peut pas savoir à quoi appartient un contour.

Vous pouvez maintenant décrire la forme avec des caractéristiques faites à la main et mesurer ce qu’elles ajoutent. Mais une personne a dû les concevoir, et elles plafonnent à 0,487. Ensuite, vous verrez comment un réseau apprend ses propres filtres à partir de photos. Vous verrez aussi comment un transformeur de vision lit une photo par fragments.

Leçon suivante : La convolution et les fragments en une leçon