Aller au contenu
English

Les images sont des nombres

  • Leçon 3
  • 35 min
  • Module 1 : Voir est un problème d'affaires

Où nous en sommes

Nous connaissons les cinq types de réponse d'un système de vision. Nous n'avons pas encore vu ce qu'un ordinateur reçoit quand il ouvre une photo. Dans cette leçon, nous voyons qu'une image est une grille de nombres. Nous voyons aussi pourquoi la lumière et la taille de l'image changent ces nombres. Nous commençons par un plancher en mosaïque, vu de très près.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité
Leçon 3 sur 30 · IA de vision : voir, compter et inspecterLes images sont des nombres

Ce que vous saurez faire

Voyez ce qu’un ordinateur reçoit vraiment d’une photo : une grille de nombres. Voyez ensuite pourquoi un changement de lumière ou de taille change ces nombres. Une méthode qui fonctionnait hier peut donc échouer aujourd’hui.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 35 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

Rien. Cette leçon ne contient pas de code : chaque nombre sur cette page vient des photos du cours. Vous lirez vous-même ces nombres dans le carnet (notebook) Jupyter de préparation de Découvrir les images de Larkfield.

Certains vieux bâtiments ont des planchers en mosaïque. Depuis la porte, vous voyez une image : un oiseau, un arbre, un bateau. Quand vous vous agenouillez, l’image disparaît. Vous ne voyez que de petits carreaux carrés, chacun d’une seule couleur. L’image n’existe que dans votre tête. Elle apparaît quand vos yeux assemblent des milliers de carreaux.

Un ordinateur ne se tient jamais à la porte. Il reçoit seulement les carreaux et, pour chacun, des nombres qui indiquent sa couleur. Il ne sait rien d’un oiseau ou d’un bateau. Chaque méthode de vision de ce cours part de ces nombres et doit construire l’« image » à partir d’eux. Il est donc utile de savoir exactement ce que sont ces nombres et ce qui les change.

Une photo numérique est une grille de petits carrés appelés pixels (de l’anglais « picture element », ou élément d’image). Chaque pixel a une seule couleur. Les photos du catalogue du cours mesurent 256 pixels de large et 256 pixels de haut. Chacune contient donc 256 × 256 = 65 536 pixels.

À gauche, une photo du catalogue montre un bol en céramique violet et rouge sur une table blanche. Un petit carré rouge marque le rebord du bol. À droite, l'intérieur du carré rouge est agrandi : 6 rangées de 6 carrés, chacun rempli de sa couleur et portant trois nombres. Les trois premières rangées sont brun foncé, par exemple R 104, G 79, B 49. La quatrième rangée est brun clair, par exemple R 178, G 150, B 128. Les deux dernières rangées sont presque blanches, par exemple R 255, G 254, B 239.
Un coin de 6 × 6 pixels d'une photo du catalogue, tel que l'ordinateur le reçoit. Chaque pixel contient trois nombres : rouge, vert et bleu. Photo : Ryan Baumann (Open Images, CC BY 2.0).
Description textuelle du diagramme

À gauche, une photo du catalogue montre un bol en céramique violet et rouge sur une table blanche. Un petit carré rouge marque une partie du rebord du bol, de 6 pixels de large et 6 pixels de haut. À droite, l’intérieur de ce carré est agrandi en une grille de 36 carrés. Chaque carré est rempli de la couleur de son pixel et affiche trois nombres. Les trois premières rangées représentent le rebord brun foncé, par exemple rouge 104, vert 79 et bleu 49. La quatrième rangée est plus claire, par exemple rouge 178, vert 150 et bleu 128. Les deux dernières rangées représentent une partie très claire de la photo près du rebord. Par exemple : rouge 255, vert 254 et bleu 239.

Chaque pixel contient trois nombres, un pour chaque canal : rouge (R), vert (G) et bleu (B). Un écran produit toutes les couleurs en mélangeant de la lumière rouge, verte et bleue. Chaque nombre va de 0 (aucune lumière de cette couleur) à 255 (le maximum). Ainsi, (0, 0, 0) est noir, (255, 255, 255) est blanc et (255, 0, 0) est rouge pur.

Lisez la grille ci-dessus en gardant cela en tête. Le pixel du rebord (104, 79, 49) contient plus de rouge que de bleu : il est donc brun. Les nombres sont bas : il est donc foncé. Le pixel clair (255, 254, 239) a ses trois canaux près de 255 : il est donc presque blanc. Le canal bleu est un peu plus bas, ce qui donne un blanc légèrement chaud.

Une photo du catalogue contient donc 256 × 256 × 3 = 196 608 nombres. En Python, c’est un tableau de forme (256, 256, 3) : rangées, colonnes et canaux. Vous verrez cette forme dans le carnet de préparation.

La résolution d’une photo est son nombre de pixels, écrit sous la forme largeur × hauteur. Les photos du cours ont plusieurs résolutions :

Photos Résolution Nombres dans une photo
Catalogue (recadrées à partir de photos plus grandes) 256 × 256 196 608
Retours (les copies du cours) 320 × 291 279 360
Retours (les photos originales) 1 284 × 1 168 4 499 136
Palettes (dessinées par notre code) 512 × 384 589 824

Plus de pixels montrent des détails plus petits. Ils coûtent aussi plus cher : chaque méthode doit lire plus de nombres et faire plus de calculs. C’est pourquoi beaucoup de modèles préentraînés réduisent d’abord chaque photo à 224 × 224 pixels. Vous verrez ci-dessous ce que cela peut faire perdre.

La lumière change chaque nombre dans une photo. Un studio photo peut changer ses lampes, ou un entrepôt peut recevoir une nouvelle caméra. Les gens le remarquent à peine : nous voyons toujours une tasse blanche. Les nombres, eux, changent beaucoup.

L’équipe du catalogue de Larkfield a déménagé dans un nouveau studio, avec une lumière plus chaude et plus vive. Pour tester ce changement, le cours a créé une deuxième copie des 160 photos de test avec le nouvel éclairage. Notre code l’a produite avec une règle fixe : elle est donc synthétique, et c’est un problème que nous avons inséré. La règle multiplie le rouge par 1,16, le vert par 1,04 et le bleu par 0,80. Elle rend ensuite la photo 6 % plus lumineuse et ajoute 6 à chaque nombre.

La même photo apparaît deux fois : une tasse blanche de café noir, avec une deuxième tasse derrière. Un cercle bleu marque le même point sur le côté de la tasse dans les deux photos. À gauche, sous l'éclairage du studio, la tasse est blanche avec une teinte bleue froide. À droite, sous le nouvel éclairage créé par notre code, toute la photo est plus chaude et plus jaune. La tasse paraît crème.
Une photo du catalogue sous l'éclairage du studio et sous le nouvel éclairage, modifié par notre code. Le cercle bleu marque le pixel du tableau ci-dessous. Photo : Joris de Vrede (Open Images, CC BY 2.0).
Description textuelle du diagramme

La figure montre deux fois la même photo : une tasse blanche pleine de café noir, avec une deuxième tasse derrière. Un cercle bleu marque le même point sur le côté de la tasse dans les deux photos. À gauche, sous l’éclairage du studio, la tasse est blanche avec une teinte froide, légèrement bleue. À droite, sous le nouvel éclairage, toute la photo est plus chaude et plus jaune, et la tasse paraît crème.

Voici le pixel dans le cercle bleu, lu dans les deux fichiers :

Éclairage R G B Teinte Saturation Valeur
Studio 187 214 225 197° (bleu) 17 % 88 %
Nouveau studio 235 241 197 68° (jaune-vert) 18 % 95 %

Vérifiez la règle sur le canal rouge : 187 × 1,16 × 1,06 + 6 = 235,9. Le fichier stocke 235, car un pixel ne contient que des nombres entiers. Le bleu a changé dans l’autre sens, passant de 225 à 197. Vos yeux disent encore « une tasse blanche ». Les nombres disent « un pixel bleu est devenu jaune ».

La photo entière change aussi. Le graphique montre la moyenne de chaque canal sur les 65 536 pixels :

  • Éclairage du studio
  • Nouvel éclairage du studio (créé par notre code)
Les moyennes du rouge, du vert et du bleu de la photo de tasse sous les deux éclairages. Le rouge augmente de 38,9 et le bleu diminue de 17,8 : la lumière chaude change chaque pixel de la même façon.
Description textuelle du graphique

Un diagramme comporte six colonnes, sur un axe allant de 0 à 255. Sous l’éclairage du studio, la moyenne du rouge est de 145,9, celle du vert de 155,1 et celle du bleu de 152,4. Sous le nouvel éclairage, la moyenne du rouge est de 184,8, celle du vert de 176,5 et celle du bleu de 134,6. Le rouge augmente le plus, le vert augmente un peu et le bleu diminue.

Pourquoi certaines méthodes échouent et d’autres non

Section intitulée « Pourquoi certaines méthodes échouent et d’autres non »

Une méthode qui décide selon la couleur lit exactement ces nombres. Dans le tableau comparatif du cours, une méthode par histogramme de couleurs classe les photos du catalogue selon leur mélange de couleurs. (Un histogramme compte combien de pixels se trouvent dans chaque plage de couleurs.) Elle donne la bonne réponse pour 26,3 % des photos de test. Sous le nouvel éclairage du studio, elle ne donne la bonne réponse que pour 22,5 % des photos. Une méthode fondée sur les formes et les contours, appelée HOG (histogramme de gradients orientés), ignore la couleur. Elle reste à 35,6 % sous les deux éclairages. Le module 2 construit les deux méthodes.

Les modèles préentraînés performants changent moins. Un classificateur construit sur CLIP reste près de 90 % sous les deux éclairages. CLIP est un grand modèle préentraîné que le module 3 explique. Mais le nouvel éclairage change quand même ses nombres. Le module 8 montre comment repérer un tel changement avant qu’il coûte de l’argent.

Les espaces colorimétriques : une autre façon d’écrire une couleur

Section intitulée « Les espaces colorimétriques : une autre façon d’écrire une couleur »

RGB n’est pas la seule façon d’écrire une couleur. Un espace colorimétrique est un système de nombres qui représente les couleurs. Un système courant est HSV :

  • La teinte indique le type de couleur, sous forme d’angle sur un cercle chromatique. 0° est rouge, 120° est vert et 240° est bleu.
  • La saturation indique l’intensité de la couleur : 0 % est gris, 100 % est une couleur pure.
  • La valeur indique la luminosité : 0 % est noir.

Le tableau ci-dessus donne aussi le pixel de la tasse en HSV. Sa teinte est passée de 197° à 68°, mais sa saturation est restée basse, à environ 17 %. Une faible saturation signifie « presque blanc », quelle que soit la teinte. HSV facilite donc une chose. Une règle comme « blanc = faible saturation et valeur élevée » résiste mieux à ce changement d’éclairage qu’une règle sur R, G et B. HSV n’élimine pas la lumière. Il sépare seulement « quelle couleur », « quelle intensité » et « quelle luminosité ».

Rappelez-vous les 224 × 224 pixels que beaucoup de modèles préentraînés utilisent. Pour obtenir cette taille, un programme redimensionne la photo. Il calcule chaque nouveau pixel en mélangeant plusieurs anciens pixels. Les grandes formes restent visibles. Une petite tache se mélange à la cire qui l’entoure.

Les photos des retours sont prises à 1 284 × 1 168 pixels. Une photo d’entraînement montre une tache d’une autre couleur sur un lampion (bougie chauffe-plat). À pleine taille, la tache couvre 70 pixels. La figure montre le même petit carré à pleine taille, puis après réduction de toute la photo à 224 pixels de large :

Deux carrés agrandis du même lampion. À gauche, à pleine taille, 96 sur 96 pixels : de la cire orange pâle avec une petite tache rouge foncé nette au milieu. À droite, la même zone après réduction de la photo à 224 pixels de large : seulement 16 sur 16 pixels, agrandis en gros blocs. La tache est maintenant deux ou trois blocs orange-rouge plus pâles qui se fondent dans la cire.
La même tache sur un lampion retourné, à pleine taille (à gauche), puis après réduction à 224 pixels de large (à droite). Les 70 pixels de la tache deviennent environ 2 pixels. Photo : jeu de données VisA (Amazon), CC BY 4.0.
Description textuelle du diagramme

La figure contient deux carrés agrandis du même lampion. Le carré gauche mesure 96 × 96 pixels à pleine taille. Il montre de la cire orange pâle avec une petite tache rouge foncé nette au milieu. Le carré droit montre la même zone après réduction de toute la photo à 224 pixels de large. Cette zone ne mesure maintenant que 16 × 16 pixels, agrandis en gros blocs. La tache est devenue deux ou trois blocs orange-rouge plus pâles, qui se fondent dans la cire autour.

Réduire une photo de 1 284 à 224 pixels de large divise chaque côté par 1 284 ÷ 224 = 5,7. Cela divise donc l’aire par 5,7 × 5,7 = 32,9. Une tache de 70 pixels devient 70 ÷ 32,9 = 2,1 pixels. La couleur s’atténue aussi, car chaque nouveau pixel mélange la tache et la cire :

Taille Pixels de la tache Pixel le plus foncé de la tache (R, G, B) Cire autour (R, G, B)
1 284 de large (pleine taille) 70 223, 100, 58 255, 207, 151
320 de large (les copies du cours) 4,3
224 de large 2,1 248, 123, 86 255, 207, 151

À pleine taille, le vert de la tache est inférieur de 107 à celui de la cire. À 224 pixels de large, la différence tombe à 84, et la tache occupe deux pixels parmi 45 696. Cette tache est encore là. D’autres ne le sont plus. Le plus petit dommage dans les retours du cours est une tache de 30 pixels à pleine taille. Sa photo fait partie du test caché, que le cours conserve. À 224 pixels de large, elle couvre 0,91 pixel : moins d’un pixel. Elle se mélange à la cire dans un seul pixel, et aucun modèle ne peut l’y trouver. Le dommage médian du cours est plus grand : 63,9 pixels à 224 pixels de large. (La moitié des dommages sont plus petits que la médiane, et l’autre moitié sont plus grands.)

Réduire n’est pas une erreur. Une photo plus petite est plus rapide : 224 × 204 pixels contiennent 33 fois moins de nombres que 1 284 × 1 168. Pour le catalogue, une tasse reste une tasse à toute taille. Réduire fait donc perdre très peu. Pour les dommages, la taille du plus petit détail important détermine le choix. Avant de réduire, demandez-vous : « Combien de pixels le plus petit dommage aura-t-il? » Si la réponse est moins de quelques pixels, gardez une résolution plus élevée. Vous pouvez aussi découper la photo en petits carreaux, ou examiner de petites parties. Le module 6 utilise une méthode qui compare de petites parties de chaque photo.

Un fichier photo ne stocke pas la grille telle quelle. Il la compresse : il écrit les nombres dans moins d’octets. Les deux formats courants le font de deux façons différentes.

  • JPEG (.jpg) supprime de petits détails que les yeux voient à peine. Les fichiers sont petits, mais les nombres changent un peu à chaque enregistrement. La photo du bol du catalogue occupe 8 056 octets en JPEG. La grille brute contient 196 608 nombres, d’un octet chacun.
  • PNG (.png) conserve exactement chaque nombre. La même photo de bol occupe 42 450 octets en PNG : cinq fois plus.

À quel point JPEG change-t-il les nombres? Le cours a ouvert la photo du bol et l’a enregistrée de nouveau en JPEG, à une qualité de 75. Ensuite, 63,9 % de ses pixels avaient au moins un nombre modifié. Vous ne verriez pas la différence. Un programme qui compare les nombres la voit.

Le cours stocke donc les photos en JPEG, car de petits changements n’ont pas d’importance pour une photo. Il stocke les masques en PNG, car un masque doit indiquer exactement oui ou non pour chaque pixel.

Erreur courante

Un masque enregistré en JPEG

Symptôme : vous enregistrez en JPEG le masque de la bougie fondue de Cinq types de réponse, pour économiser de l’espace. Plus tard, vous comptez ses pixels endommagés avec « pixel égal à 255 » et vous obtenez 1 111. Le masque PNG en indiquait 1 456.

Cause : un masque n’a que deux valeurs, 0 (non) et 255 (oui). JPEG lisse le contour net entre elles. Après un enregistrement, 788 pixels ont des valeurs grises entre 0 et 255. Le masque a 26 valeurs différentes au lieu de 2. Le test « égal à 255 » manque les pixels gris le long du contour.

Correction : stockez les masques et les autres étiquettes exactes en PNG. Si vous recevez un masque enregistré en JPEG, reconvertissez-le en oui et non avec un seuil au milieu. Utilisez « oui quand le pixel vaut 128 ou plus ». Pour ce masque, cela redonne exactement 1 456 pixels.

Conséquence pour le travail en IA : un mauvais format de fichier change vos étiquettes sans produire d’erreur. Ici, l’aire du dommage est presque un quart trop petite, et chaque score calculé à partir d’elle est faux. Personne ne voit pourquoi.

Exercice guidé : lire et modifier les pixels à la main

Section intitulée « Exercice guidé : lire et modifier les pixels à la main »

Il vous faut un stylo ou une calculatrice.

  1. Prenez le pixel clair (255, 254, 239) de la grille. Nommez le canal dont le nombre est le plus bas.
  2. Comptez les nombres dans une photo de retour du cours : 320 × 291 pixels, avec 3 canaux.
  3. Appliquez la règle du nouveau studio au pixel (100, 120, 140). Multipliez R par 1,16, G par 1,04 et B par 0,80.
  4. Multipliez chaque résultat par 1,06, puis ajoutez 6.
  5. Supprimez les décimales, comme le fait un fichier.
  6. Comparez le nouveau pixel à l’ancien. Écrivez quel canal a augmenté et lequel a diminué.
Afficher les réponses
  1. Bleu (239). Le pixel est presque blanc et légèrement chaud.
  2. 320 × 291 × 3 = 279 360 nombres.
  3. à 5. Rouge : 100 × 1,16 × 1,06 + 6 = 128,96, donc 128. Vert : 120 × 1,04 × 1,06 + 6 = 138,29, donc 138. Bleu : 140 × 0,80 × 1,06 + 6 = 124,72, donc 124.
  4. Le nouveau pixel est (128, 138, 124). Le rouge a augmenté de 28 et le vert de 18. Le bleu a diminué de 16. Le pixel était bleu-gris et il est devenu légèrement vert-gris.

Changez une chose. Un autre dommage couvre 140 pixels à pleine taille, soit 1 284 pixels de large. Avant de calculer, faites une prédiction : à 224 pixels de large, couvrira-t-il plus ou moins de 5 pixels? Calculez ensuite le résultat. Utilisez le facteur d’aire de 32,9 donné plus haut.

Afficher la réponse

140 ÷ 32,9 = 4,3 pixels. Moins de 5. Une tache deux fois plus grande que celle de la figure couvre encore seulement environ quatre pixels à 224 pixels de large. C’est pourquoi il faut choisir avec soin la taille des photos des retours. Quelques pixels d’une couleur légèrement différente sont faciles à perdre.

Vérifiez votre compréhension

Une photo du catalogue a la forme (256, 256, 3). Que signifient ces trois nombres? Combien de nombres contient-elle?

Afficher la réponse

La photo contient 256 lignes et 256 colonnes de pixels, avec 3 canaux par pixel : rouge, vert et bleu. Chaque canal est un nombre de 0 à 255. La photo contient donc 256 × 256 × 3 = 196 608 nombres. L’ordinateur reçoit seulement ces nombres. Il doit en tirer « une tasse » ou « un bol ».

Vérifiez votre compréhension

Prédisez et expliquez : sous le nouvel éclairage du studio, une méthode par histogramme de couleurs passe de 26,3 % à 22,5 %. La méthode HOG reste à 35,6 %. Pourquoi l'une change-t-elle et pas l'autre?

Afficher la réponse

Le nouvel éclairage change les valeurs de couleur de chaque pixel : le rouge augmente et le bleu diminue. Un histogramme de couleurs compte les pixels selon leur couleur. La même tasse donne donc un autre histogramme, et la méthode fait plus d’erreurs. HOG regarde seulement les formes et les contours, là où la luminosité change, et ignore la couleur. Une lumière plus chaude ne déplace pas les contours d’une tasse. HOG donne donc les mêmes réponses. La stabilité d’une méthode dépend de celle des nombres qu’elle lit.

Vérifiez votre compréhension

La caméra de Hamid prend des photos des retours de 1 284 pixels de large. Tomás veut les réduire à 224 pixels de large pour accélérer le modèle. Que vérifiez-vous d'abord, et pourquoi?

Afficher la réponse

Vérifiez combien de pixels représentera le plus petit dommage important après la réduction. Passer de 1 284 à 224 pixels de large divise l’aire par environ 32,9. Une tache de 70 pixels devient environ 2 pixels, et sa couleur se fond dans celle de la cire. Le plus petit dommage dans les photos du cours, de 30 pixels, devient 0,91 pixel. C’est moins d’un pixel : aucun modèle ne peut donc le trouver. Si le plus petit dommage passe sous quelques pixels, gardez une résolution plus élevée ou examinez des parties plus petites de la photo. La vitesse ne sert à rien quand les nombres ne représentent plus le dommage.

Récapitulatif

  • Une photo est une grille de pixels. Chaque pixel a trois canaux, rouge, vert et bleu, dont les valeurs vont de 0 à 255. Une photo du catalogue a la forme (256, 256, 3) : 196 608 nombres.
  • La lumière change chaque nombre. Le nouvel éclairage de studio inséré a fait passer un pixel de tasse de (187, 214, 225) à (235, 241, 197). Une méthode par histogramme de couleurs est passée de 26,3 % à 22,5 %. HOG, qui ignore la couleur, est restée à 35,6 %.
  • Un espace colorimétrique comme HSV représente une couleur par sa teinte, sa saturation et sa valeur. Il sépare « quelle couleur » de « quelle intensité » et de « quelle luminosité ».
  • Réduire la largeur à 224 pixels divise l’aire par environ 32,9. Une tache de 70 pixels devient environ 2 pixels; le plus petit dommage du cours devient 0,91 pixel.
  • JPEG change un peu les nombres à chaque enregistrement; PNG les conserve exactement. Stockez les masques en PNG : un enregistrement en JPEG a donné 26 valeurs à un masque au lieu de 2.

Vous pouvez maintenant lire une photo comme des nombres et dire ce qui les change. Jusqu’ici, toutefois, vous avez examiné des photos individuelles choisies pour vous. Ensuite, vous ouvrirez toutes les images de Larkfield et vérifierez leurs licences. Vous découvrirez aussi le tableau comparatif que vous remplirez tout au long du cours.

Leçon suivante : Découvrir les images de Larkfield