Les images sont des nombres
- Leçon 3
- 35 min
- Module 1 : Voir est un problème d'affaires
Où nous en sommes
Nous connaissons les cinq types de réponse d'un système de vision. Nous n'avons pas encore vu ce qu'un ordinateur reçoit quand il ouvre une photo. Dans cette leçon, nous voyons qu'une image est une grille de nombres. Nous voyons aussi pourquoi la lumière et la taille de l'image changent ces nombres. Nous commençons par un plancher en mosaïque, vu de très près.
Leçon 3 sur 30 · IA de vision : voir, compter et inspecterLes images sont des nombres
1. Voir est un problème d'affaires
2. Références de base et classificateurs préentraînés
3. Plongements, CLIP et peu d'étiquettes
4. Détecter et compter
5. Segmenter
6. Inspecter pour trouver les défauts
7. Apparier, chercher et décrire
8. Exploiter la vision en production
Ce que vous saurez faire
Voyez ce qu’un ordinateur reçoit vraiment d’une photo : une grille de nombres. Voyez ensuite pourquoi un changement de lumière ou de taille change ces nombres. Une méthode qui fonctionnait hier peut donc échouer aujourd’hui.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Les cinq types de réponse, présentés dans Cinq types de réponse.
- Ce qu’est une moyenne. Pour revoir cette notion, lisez Décrire un jeu de données dans Mathématiques et statistiques essentielles pour l’IA.
Ce qu’il vous faut sur votre ordinateur
Rien. Cette leçon ne contient pas de code : chaque nombre sur cette page vient des photos du cours. Vous lirez vous-même ces nombres dans le carnet (notebook) Jupyter de préparation de Découvrir les images de Larkfield.
Une mosaïque vue de près
Section intitulée « Une mosaïque vue de près »Certains vieux bâtiments ont des planchers en mosaïque. Depuis la porte, vous voyez une image : un oiseau, un arbre, un bateau. Quand vous vous agenouillez, l’image disparaît. Vous ne voyez que de petits carreaux carrés, chacun d’une seule couleur. L’image n’existe que dans votre tête. Elle apparaît quand vos yeux assemblent des milliers de carreaux.
Un ordinateur ne se tient jamais à la porte. Il reçoit seulement les carreaux et, pour chacun, des nombres qui indiquent sa couleur. Il ne sait rien d’un oiseau ou d’un bateau. Chaque méthode de vision de ce cours part de ces nombres et doit construire l’« image » à partir d’eux. Il est donc utile de savoir exactement ce que sont ces nombres et ce qui les change.
Une photo est une grille de nombres
Section intitulée « Une photo est une grille de nombres »Une photo numérique est une grille de petits carrés appelés pixels (de l’anglais « picture element », ou élément d’image). Chaque pixel a une seule couleur. Les photos du catalogue du cours mesurent 256 pixels de large et 256 pixels de haut. Chacune contient donc 256 × 256 = 65 536 pixels.

Description textuelle du diagramme
À gauche, une photo du catalogue montre un bol en céramique violet et rouge sur une table blanche. Un petit carré rouge marque une partie du rebord du bol, de 6 pixels de large et 6 pixels de haut. À droite, l’intérieur de ce carré est agrandi en une grille de 36 carrés. Chaque carré est rempli de la couleur de son pixel et affiche trois nombres. Les trois premières rangées représentent le rebord brun foncé, par exemple rouge 104, vert 79 et bleu 49. La quatrième rangée est plus claire, par exemple rouge 178, vert 150 et bleu 128. Les deux dernières rangées représentent une partie très claire de la photo près du rebord. Par exemple : rouge 255, vert 254 et bleu 239.
Les canaux : rouge, vert et bleu
Section intitulée « Les canaux : rouge, vert et bleu »Chaque pixel contient trois nombres, un pour chaque canal : rouge (R), vert (G) et bleu (B). Un écran produit toutes les couleurs en mélangeant de la lumière rouge, verte et bleue. Chaque nombre va de 0 (aucune lumière de cette couleur) à 255 (le maximum). Ainsi, (0, 0, 0) est noir, (255, 255, 255) est blanc et (255, 0, 0) est rouge pur.
Lisez la grille ci-dessus en gardant cela en tête. Le pixel du rebord (104, 79, 49) contient plus de rouge que de bleu : il est donc brun. Les nombres sont bas : il est donc foncé. Le pixel clair (255, 254, 239) a ses trois canaux près de 255 : il est donc presque blanc. Le canal bleu est un peu plus bas, ce qui donne un blanc légèrement chaud.
Une photo du catalogue contient donc 256 × 256 × 3 = 196 608 nombres. En Python, c’est un tableau de forme (256, 256, 3) : rangées, colonnes et canaux. Vous verrez cette forme dans le carnet de préparation.
La résolution : combien de pixels
Section intitulée « La résolution : combien de pixels »La résolution d’une photo est son nombre de pixels, écrit sous la forme largeur × hauteur. Les photos du cours ont plusieurs résolutions :
| Photos | Résolution | Nombres dans une photo |
|---|---|---|
| Catalogue (recadrées à partir de photos plus grandes) | 256 × 256 | 196 608 |
| Retours (les copies du cours) | 320 × 291 | 279 360 |
| Retours (les photos originales) | 1 284 × 1 168 | 4 499 136 |
| Palettes (dessinées par notre code) | 512 × 384 | 589 824 |
Plus de pixels montrent des détails plus petits. Ils coûtent aussi plus cher : chaque méthode doit lire plus de nombres et faire plus de calculs. C’est pourquoi beaucoup de modèles préentraînés réduisent d’abord chaque photo à 224 × 224 pixels. Vous verrez ci-dessous ce que cela peut faire perdre.
La même tasse sous un autre éclairage
Section intitulée « La même tasse sous un autre éclairage »La lumière change chaque nombre dans une photo. Un studio photo peut changer ses lampes, ou un entrepôt peut recevoir une nouvelle caméra. Les gens le remarquent à peine : nous voyons toujours une tasse blanche. Les nombres, eux, changent beaucoup.
L’équipe du catalogue de Larkfield a déménagé dans un nouveau studio, avec une lumière plus chaude et plus vive. Pour tester ce changement, le cours a créé une deuxième copie des 160 photos de test avec le nouvel éclairage. Notre code l’a produite avec une règle fixe : elle est donc synthétique, et c’est un problème que nous avons inséré. La règle multiplie le rouge par 1,16, le vert par 1,04 et le bleu par 0,80. Elle rend ensuite la photo 6 % plus lumineuse et ajoute 6 à chaque nombre.

Description textuelle du diagramme
La figure montre deux fois la même photo : une tasse blanche pleine de café noir, avec une deuxième tasse derrière. Un cercle bleu marque le même point sur le côté de la tasse dans les deux photos. À gauche, sous l’éclairage du studio, la tasse est blanche avec une teinte froide, légèrement bleue. À droite, sous le nouvel éclairage, toute la photo est plus chaude et plus jaune, et la tasse paraît crème.
Voici le pixel dans le cercle bleu, lu dans les deux fichiers :
| Éclairage | R | G | B | Teinte | Saturation | Valeur |
|---|---|---|---|---|---|---|
| Studio | 187 | 214 | 225 | 197° (bleu) | 17 % | 88 % |
| Nouveau studio | 235 | 241 | 197 | 68° (jaune-vert) | 18 % | 95 % |
Vérifiez la règle sur le canal rouge : 187 × 1,16 × 1,06 + 6 = 235,9. Le fichier stocke 235, car un pixel ne contient que des nombres entiers. Le bleu a changé dans l’autre sens, passant de 225 à 197. Vos yeux disent encore « une tasse blanche ». Les nombres disent « un pixel bleu est devenu jaune ».
La photo entière change aussi. Le graphique montre la moyenne de chaque canal sur les 65 536 pixels :
- Éclairage du studio
- Nouvel éclairage du studio (créé par notre code)
Description textuelle du graphique
Un diagramme comporte six colonnes, sur un axe allant de 0 à 255. Sous l’éclairage du studio, la moyenne du rouge est de 145,9, celle du vert de 155,1 et celle du bleu de 152,4. Sous le nouvel éclairage, la moyenne du rouge est de 184,8, celle du vert de 176,5 et celle du bleu de 134,6. Le rouge augmente le plus, le vert augmente un peu et le bleu diminue.
Pourquoi certaines méthodes échouent et d’autres non
Section intitulée « Pourquoi certaines méthodes échouent et d’autres non »Une méthode qui décide selon la couleur lit exactement ces nombres. Dans le tableau comparatif du cours, une méthode par histogramme de couleurs classe les photos du catalogue selon leur mélange de couleurs. (Un histogramme compte combien de pixels se trouvent dans chaque plage de couleurs.) Elle donne la bonne réponse pour 26,3 % des photos de test. Sous le nouvel éclairage du studio, elle ne donne la bonne réponse que pour 22,5 % des photos. Une méthode fondée sur les formes et les contours, appelée HOG (histogramme de gradients orientés), ignore la couleur. Elle reste à 35,6 % sous les deux éclairages. Le module 2 construit les deux méthodes.
Les modèles préentraînés performants changent moins. Un classificateur construit sur CLIP reste près de 90 % sous les deux éclairages. CLIP est un grand modèle préentraîné que le module 3 explique. Mais le nouvel éclairage change quand même ses nombres. Le module 8 montre comment repérer un tel changement avant qu’il coûte de l’argent.
Les espaces colorimétriques : une autre façon d’écrire une couleur
Section intitulée « Les espaces colorimétriques : une autre façon d’écrire une couleur »RGB n’est pas la seule façon d’écrire une couleur. Un espace colorimétrique est un système de nombres qui représente les couleurs. Un système courant est HSV :
- La teinte indique le type de couleur, sous forme d’angle sur un cercle chromatique. 0° est rouge, 120° est vert et 240° est bleu.
- La saturation indique l’intensité de la couleur : 0 % est gris, 100 % est une couleur pure.
- La valeur indique la luminosité : 0 % est noir.
Le tableau ci-dessus donne aussi le pixel de la tasse en HSV. Sa teinte est passée de 197° à 68°, mais sa saturation est restée basse, à environ 17 %. Une faible saturation signifie « presque blanc », quelle que soit la teinte. HSV facilite donc une chose. Une règle comme « blanc = faible saturation et valeur élevée » résiste mieux à ce changement d’éclairage qu’une règle sur R, G et B. HSV n’élimine pas la lumière. Il sépare seulement « quelle couleur », « quelle intensité » et « quelle luminosité ».
Réduire une image peut effacer une égratignure
Section intitulée « Réduire une image peut effacer une égratignure »Rappelez-vous les 224 × 224 pixels que beaucoup de modèles préentraînés utilisent. Pour obtenir cette taille, un programme redimensionne la photo. Il calcule chaque nouveau pixel en mélangeant plusieurs anciens pixels. Les grandes formes restent visibles. Une petite tache se mélange à la cire qui l’entoure.
Les photos des retours sont prises à 1 284 × 1 168 pixels. Une photo d’entraînement montre une tache d’une autre couleur sur un lampion (bougie chauffe-plat). À pleine taille, la tache couvre 70 pixels. La figure montre le même petit carré à pleine taille, puis après réduction de toute la photo à 224 pixels de large :

Description textuelle du diagramme
La figure contient deux carrés agrandis du même lampion. Le carré gauche mesure 96 × 96 pixels à pleine taille. Il montre de la cire orange pâle avec une petite tache rouge foncé nette au milieu. Le carré droit montre la même zone après réduction de toute la photo à 224 pixels de large. Cette zone ne mesure maintenant que 16 × 16 pixels, agrandis en gros blocs. La tache est devenue deux ou trois blocs orange-rouge plus pâles, qui se fondent dans la cire autour.
Un petit calcul : où va la tache
Section intitulée « Un petit calcul : où va la tache »Réduire une photo de 1 284 à 224 pixels de large divise chaque côté par 1 284 ÷ 224 = 5,7. Cela divise donc l’aire par 5,7 × 5,7 = 32,9. Une tache de 70 pixels devient 70 ÷ 32,9 = 2,1 pixels. La couleur s’atténue aussi, car chaque nouveau pixel mélange la tache et la cire :
| Taille | Pixels de la tache | Pixel le plus foncé de la tache (R, G, B) | Cire autour (R, G, B) |
|---|---|---|---|
| 1 284 de large (pleine taille) | 70 | 223, 100, 58 | 255, 207, 151 |
| 320 de large (les copies du cours) | 4,3 | ||
| 224 de large | 2,1 | 248, 123, 86 | 255, 207, 151 |
À pleine taille, le vert de la tache est inférieur de 107 à celui de la cire. À 224 pixels de large, la différence tombe à 84, et la tache occupe deux pixels parmi 45 696. Cette tache est encore là. D’autres ne le sont plus. Le plus petit dommage dans les retours du cours est une tache de 30 pixels à pleine taille. Sa photo fait partie du test caché, que le cours conserve. À 224 pixels de large, elle couvre 0,91 pixel : moins d’un pixel. Elle se mélange à la cire dans un seul pixel, et aucun modèle ne peut l’y trouver. Le dommage médian du cours est plus grand : 63,9 pixels à 224 pixels de large. (La moitié des dommages sont plus petits que la médiane, et l’autre moitié sont plus grands.)
Quand réduire, et quand ne pas le faire
Section intitulée « Quand réduire, et quand ne pas le faire »Réduire n’est pas une erreur. Une photo plus petite est plus rapide : 224 × 204 pixels contiennent 33 fois moins de nombres que 1 284 × 1 168. Pour le catalogue, une tasse reste une tasse à toute taille. Réduire fait donc perdre très peu. Pour les dommages, la taille du plus petit détail important détermine le choix. Avant de réduire, demandez-vous : « Combien de pixels le plus petit dommage aura-t-il? » Si la réponse est moins de quelques pixels, gardez une résolution plus élevée. Vous pouvez aussi découper la photo en petits carreaux, ou examiner de petites parties. Le module 6 utilise une méthode qui compare de petites parties de chaque photo.
Les formats de fichier : JPEG et PNG
Section intitulée « Les formats de fichier : JPEG et PNG »Un fichier photo ne stocke pas la grille telle quelle. Il la compresse : il écrit les nombres dans moins d’octets. Les deux formats courants le font de deux façons différentes.
- JPEG (
.jpg) supprime de petits détails que les yeux voient à peine. Les fichiers sont petits, mais les nombres changent un peu à chaque enregistrement. La photo du bol du catalogue occupe 8 056 octets en JPEG. La grille brute contient 196 608 nombres, d’un octet chacun. - PNG (
.png) conserve exactement chaque nombre. La même photo de bol occupe 42 450 octets en PNG : cinq fois plus.
À quel point JPEG change-t-il les nombres? Le cours a ouvert la photo du bol et l’a enregistrée de nouveau en JPEG, à une qualité de 75. Ensuite, 63,9 % de ses pixels avaient au moins un nombre modifié. Vous ne verriez pas la différence. Un programme qui compare les nombres la voit.
Le cours stocke donc les photos en JPEG, car de petits changements n’ont pas d’importance pour une photo. Il stocke les masques en PNG, car un masque doit indiquer exactement oui ou non pour chaque pixel.
Erreur courante
Un masque enregistré en JPEG
Symptôme : vous enregistrez en JPEG le masque de la bougie fondue de Cinq types de réponse, pour économiser de l’espace. Plus tard, vous comptez ses pixels endommagés avec « pixel égal à 255 » et vous obtenez 1 111. Le masque PNG en indiquait 1 456.
Cause : un masque n’a que deux valeurs, 0 (non) et 255 (oui). JPEG lisse le contour net entre elles. Après un enregistrement, 788 pixels ont des valeurs grises entre 0 et 255. Le masque a 26 valeurs différentes au lieu de 2. Le test « égal à 255 » manque les pixels gris le long du contour.
Correction : stockez les masques et les autres étiquettes exactes en PNG. Si vous recevez un masque enregistré en JPEG, reconvertissez-le en oui et non avec un seuil au milieu. Utilisez « oui quand le pixel vaut 128 ou plus ». Pour ce masque, cela redonne exactement 1 456 pixels.
Conséquence pour le travail en IA : un mauvais format de fichier change vos étiquettes sans produire d’erreur. Ici, l’aire du dommage est presque un quart trop petite, et chaque score calculé à partir d’elle est faux. Personne ne voit pourquoi.
Exercice guidé : lire et modifier les pixels à la main
Section intitulée « Exercice guidé : lire et modifier les pixels à la main »Il vous faut un stylo ou une calculatrice.
- Prenez le pixel clair
(255, 254, 239)de la grille. Nommez le canal dont le nombre est le plus bas. - Comptez les nombres dans une photo de retour du cours : 320 × 291 pixels, avec 3 canaux.
- Appliquez la règle du nouveau studio au pixel
(100, 120, 140). Multipliez R par 1,16, G par 1,04 et B par 0,80. - Multipliez chaque résultat par 1,06, puis ajoutez 6.
- Supprimez les décimales, comme le fait un fichier.
- Comparez le nouveau pixel à l’ancien. Écrivez quel canal a augmenté et lequel a diminué.
Afficher les réponses
- Bleu (239). Le pixel est presque blanc et légèrement chaud.
- 320 × 291 × 3 = 279 360 nombres.
- à 5. Rouge : 100 × 1,16 × 1,06 + 6 = 128,96, donc 128. Vert : 120 × 1,04 × 1,06 + 6 = 138,29, donc 138. Bleu : 140 × 0,80 × 1,06 + 6 = 124,72, donc 124.
- Le nouveau pixel est
(128, 138, 124). Le rouge a augmenté de 28 et le vert de 18. Le bleu a diminué de 16. Le pixel était bleu-gris et il est devenu légèrement vert-gris.
À vous de jouer : une tache plus petite
Section intitulée « À vous de jouer : une tache plus petite »Changez une chose. Un autre dommage couvre 140 pixels à pleine taille, soit 1 284 pixels de large. Avant de calculer, faites une prédiction : à 224 pixels de large, couvrira-t-il plus ou moins de 5 pixels? Calculez ensuite le résultat. Utilisez le facteur d’aire de 32,9 donné plus haut.
Afficher la réponse
140 ÷ 32,9 = 4,3 pixels. Moins de 5. Une tache deux fois plus grande que celle de la figure couvre encore seulement environ quatre pixels à 224 pixels de large. C’est pourquoi il faut choisir avec soin la taille des photos des retours. Quelques pixels d’une couleur légèrement différente sont faciles à perdre.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Une photo du catalogue a la forme (256, 256, 3). Que signifient ces trois nombres? Combien de nombres contient-elle?
Afficher la réponse
La photo contient 256 lignes et 256 colonnes de pixels, avec 3 canaux par pixel : rouge, vert et bleu. Chaque canal est un nombre de 0 à 255. La photo contient donc 256 × 256 × 3 = 196 608 nombres. L’ordinateur reçoit seulement ces nombres. Il doit en tirer « une tasse » ou « un bol ».
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Prédisez et expliquez : sous le nouvel éclairage du studio, une méthode par histogramme de couleurs passe de 26,3 % à 22,5 %. La méthode HOG reste à 35,6 %. Pourquoi l'une change-t-elle et pas l'autre?
Afficher la réponse
Le nouvel éclairage change les valeurs de couleur de chaque pixel : le rouge augmente et le bleu diminue. Un histogramme de couleurs compte les pixels selon leur couleur. La même tasse donne donc un autre histogramme, et la méthode fait plus d’erreurs. HOG regarde seulement les formes et les contours, là où la luminosité change, et ignore la couleur. Une lumière plus chaude ne déplace pas les contours d’une tasse. HOG donne donc les mêmes réponses. La stabilité d’une méthode dépend de celle des nombres qu’elle lit.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
La caméra de Hamid prend des photos des retours de 1 284 pixels de large. Tomás veut les réduire à 224 pixels de large pour accélérer le modèle. Que vérifiez-vous d'abord, et pourquoi?
Afficher la réponse
Vérifiez combien de pixels représentera le plus petit dommage important après la réduction. Passer de 1 284 à 224 pixels de large divise l’aire par environ 32,9. Une tache de 70 pixels devient environ 2 pixels, et sa couleur se fond dans celle de la cire. Le plus petit dommage dans les photos du cours, de 30 pixels, devient 0,91 pixel. C’est moins d’un pixel : aucun modèle ne peut donc le trouver. Si le plus petit dommage passe sous quelques pixels, gardez une résolution plus élevée ou examinez des parties plus petites de la photo. La vitesse ne sert à rien quand les nombres ne représentent plus le dommage.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Une photo est une grille de pixels. Chaque pixel a trois canaux, rouge, vert et bleu, dont les valeurs vont de 0 à 255. Une photo du catalogue a la forme
(256, 256, 3): 196 608 nombres. - La lumière change chaque nombre. Le nouvel éclairage de studio inséré a fait passer un pixel de tasse de
(187, 214, 225)à(235, 241, 197). Une méthode par histogramme de couleurs est passée de 26,3 % à 22,5 %. HOG, qui ignore la couleur, est restée à 35,6 %. - Un espace colorimétrique comme HSV représente une couleur par sa teinte, sa saturation et sa valeur. Il sépare « quelle couleur » de « quelle intensité » et de « quelle luminosité ».
- Réduire la largeur à 224 pixels divise l’aire par environ 32,9. Une tache de 70 pixels devient environ 2 pixels; le plus petit dommage du cours devient 0,91 pixel.
- JPEG change un peu les nombres à chaque enregistrement; PNG les conserve exactement. Stockez les masques en PNG : un enregistrement en JPEG a donné 26 valeurs à un masque au lieu de 2.
Vous pouvez maintenant lire une photo comme des nombres et dire ce qui les change. Jusqu’ici, toutefois, vous avez examiné des photos individuelles choisies pour vous. Ensuite, vous ouvrirez toutes les images de Larkfield et vérifierez leurs licences. Vous découvrirez aussi le tableau comparatif que vous remplirez tout au long du cours.
Leçon suivante : Découvrir les images de Larkfield