Les plongements d'images
- Leçon 9
- 35 min
- Module 3 : Plongements, CLIP et peu d'étiquettes
Où nous en sommes
Dans le module 2, l'apprentissage par transfert a entraîné une nouvelle dernière couche sur un modèle préentraîné. La couche précédente contient déjà une liste de nombres utile pour chaque photo. Dans cette leçon, nous utilisons cette liste, le plongement. Nous trouvons des photos semblables, représentons le catalogue sur une carte et trouvons les classes que les modèles confondent. D'abord, une employée d'entrepôt qui trie selon la ressemblance.
Leçon 9 sur 30 · IA de vision : voir, compter et inspecterLes plongements d'images
1. Voir est un problème d'affaires
2. Références de base et classificateurs préentraînés
3. Plongements, CLIP et peu d'étiquettes
4. Détecter et compter
5. Segmenter
6. Inspecter pour trouver les défauts
7. Apparier, chercher et décrire
8. Exploiter la vision en production
Ce que vous saurez faire
Transformez chaque photo en liste de nombres qui décrit son contenu. Les photos semblables obtiennent ainsi des nombres proches. Avec ces listes, vous pouvez trouver des photos semblables et représenter tout le catalogue sur une carte. Vous pouvez aussi voir quelles classes un modèle confond.
Carnet JupyterFaites cette leçon dans un carnet Jupyter
Le carnet (notebook) Jupyter contient toutes les cellules de code, tâches et vérifications de cette leçon. Ses cellules de préparation installent les paquets, dont PyTorch et timm, et téléchargent les photos du catalogue en fichiers zip. Il télécharge ResNet-18 (47 Mo) une seule fois. Aucun compte ni aucune clé ne sont nécessaires. Environ 30 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Le catalogue : 453 photos d’entraînement, 120 de validation et 160 de test, réparties en huit classes. Il compte seulement 15 bougies d’entraînement, comme le présente Découvrir les images de Larkfield.
- Un histogramme de couleurs avec les plus proches voisins, et pourquoi son exactitude atteint seulement 0,263, dans Règles et histogrammes de couleurs.
- Un modèle préentraîné avec une nouvelle dernière couche, dans L’apprentissage par transfert.
- Pour comprendre le plongement dans le texte, Jetons et plongements, du cours sur l’apprentissage profond, peut aider. Ce n’est pas un prérequis.
Ce qu’il vous faut sur votre ordinateur
Rien si vous utilisez le carnet : Colab ou Kaggle suffit. Votre projet larkvision ne change pas dans cette leçon. Il reçoit de nouvelles commandes dans les deux prochaines leçons.
Testé avec Python 3.12.13 sur macOS, dans Jupyter. Colab, Kaggle et Windows n’ont pas été testés.
Trier selon la ressemblance
Section intitulée « Trier selon la ressemblance »L’entrepôt de Hamid accueille une nouvelle employée. Dès son premier jour, un carton de retours arrive sans documents. Elle doit placer chaque article sur la bonne étagère : bols, bougies, tasses, vases. Personne ne lui a donné de liste de règles. Pourtant, elle trie rapidement. Elle regarde un article et pense : « Ça ressemble aux objets sur l’étagère des vases. » Elle le compare avec ce qu’elle a déjà vu.
Elle ne compare pas les articles pixel par pixel, ni couleur par couleur. Un vase vert et un vase en verre transparent ont des couleurs très différentes. Elle les place quand même ensemble, car elle voit les mêmes éléments : forme haute, ouverture au sommet, fleurs dans l’eau. Dans sa tête, chaque article a une courte description. Les articles semblables ont des descriptions semblables.
Un ordinateur peut aussi le faire, s’il dispose d’une bonne description de chaque photo. Cette leçon porte sur cette description.
Le problème : les pixels ne décrivent pas un produit
Section intitulée « Le problème : les pixels ne décrivent pas un produit »Une photo du catalogue de 256 × 256 pixels contient 196 608 nombres : trois couleurs par pixel. Deux photos du même vase, prises un peu plus à gauche, ont des valeurs de pixels très différentes. Deux photos de produits différents sur la même table blanche peuvent avoir des valeurs de pixels très proches. La distance entre ces valeurs ne mesure donc pas si deux photos montrent le même type d’objet.
L’histogramme de couleurs de Règles et histogrammes de couleurs apportait une première solution. Il compte les couleurs, donc la position du produit n’importe pas. Mais il connaît seulement la couleur. Ses photos les plus proches appartenaient souvent à la mauvaise classe. Il classait correctement seulement 0,263 des photos de test. Un vase vert est proche d’une plante verte, et une tasse blanche est proche d’une bougie blanche.
Il nous faut une description qui reconnaît les formes, les parties et les objets, pas seulement les couleurs.
L’idée : un plongement
Section intitulée « L’idée : un plongement »Dans L’apprentissage par transfert, vous avez utilisé un modèle qui a appris à partir de plus d’un million de photos ImageNet. Sa dernière couche choisit l’une des 1 000 classes ImageNet. La couche précédente nous est plus utile. Elle contient 512 nombres pour chaque photo. Ces nombres décrivent ce que le modèle voit : rond ou carré, verre ou tissu, avec ou sans anse. Le modèle a appris ces descriptions pour distinguer ses 1 000 classes.
Cette liste de nombres s’appelle un plongement (embedding). Le mot signifie que chaque photo est placée, ou « plongée », comme un point dans un espace à 512 directions. Les photos qui se ressemblent deviennent des points proches les uns des autres. Nous n’entraînons pas le modèle à nouveau : nous lisons seulement les nombres. Nous pouvons donc utiliser le même modèle pour le catalogue, les photos des clients ou celles d’un nouveau produit.
Description textuelle du diagramme
Le schéma présente cinq cases en rangée, l’une sous l’autre sur un téléphone. La première case est une photo : 256 × 256 pixels et 3 couleurs, soit 196 608 nombres. Une flèche mène à un modèle préentraîné : ResNet-18, CLIP ou DINOv2, sans sa dernière couche. Il n’est pas entraîné ici; il a été entraîné auparavant sur des millions d’autres photos. La case suivante est le plongement : 512 nombres, comme 0,019, 0,100 et 0,109, ramenés à une longueur de 1. Ensuite, les photos sont comparées avec la similarité cosinus, où 1 signifie la même direction. La dernière case énumère les usages : photos les plus proches, carte du catalogue et petit classificateur.
Ce cours utilise trois modèles qui produisent des plongements. ResNet-18 est le réseau du module 2. CLIP ViT-B/32 a appris à partir de photos accompagnées de leurs légendes; la prochaine leçon utilise sa partie textuelle. DINOv2 small a appris à partir de photos seulement, en comparant des parties de la même photo. L’équipe du cours a exécuté les trois modèles une fois sur chaque photo du catalogue et enregistré les résultats dans data/embeddings/. La plupart des cellules de ce module s’exécutent donc en quelques secondes, sans télécharger de modèle.
Un petit exemple détaillé : la similarité cosinus
Section intitulée « Un petit exemple détaillé : la similarité cosinus »Comment mesurer ce qui est « proche »? Prenons deux listes de deux nombres chacune, inventées pour cet exemple : a = (0,6, 0,8) et b = (0,8, 0,6). Chaque liste a une longueur de 1, car 0,6² + 0,8² = 0,36 + 0,64 = 1. Multipliez les nombres à la même position, puis additionnez :
a · b = 0,6 × 0,8 + 0,8 × 0,6 = 0,48 + 0,48 = 0,96
Cette somme est le produit scalaire. Pour deux listes de longueur 1, c’est la similarité cosinus : le cosinus de l’angle entre les deux flèches. Elle vaut 1 pour la même direction, 0 pour un angle droit et −1 pour des directions opposées. Ici, 0,96 signifie « presque la même direction » : très semblable. Nous ramenons d’abord chaque plongement à une longueur de 1. Ainsi, seule la direction compte, pas la longueur.
Voici maintenant trois vraies photos du catalogue, avec leurs plongements CLIP :

Description textuelle du diagramme
La photo A montre un petit vase en verre avec quelques fleurs, sur une table en bois. La photo B montre un vase rond en verre avec des tiges vertes dans de l’eau claire. La photo C montre une chaise de bureau noire avec des accoudoirs.
Chaque plongement contient 512 nombres. Voici les quatre premiers de chacun, et la longueur de la liste entière :
| Photo | 4 premiers nombres sur 512 | Longueur |
|---|---|---|
| A (vase, test) | 0,019; 0,1; 0,109; 0,046; … | 1,0 |
| B (vase, entraînement) | 0,028; 0,047; 0,015; 0,033; … | 1,0 |
| C (chaise, entraînement) | 0,064; -0,134; 0,113; -0,011; … | 1,0 |
Le cosinus utilise les mêmes multiplications et additions, sur les 512 positions :
| A (vase) | B (vase) | C (chaise) | |
|---|---|---|---|
| A (vase) | 1,000 | 0,832 | 0,447 |
| B (vase) | 0,832 | 1,000 | 0,478 |
| C (chaise) | 0,447 | 0,478 | 1,000 |
Les deux vases ont un cosinus de 0,832. Chaque vase a un cosinus inférieur à 0,5 avec la chaise. Les deux vases ont des formes et des fleurs différentes, et leurs couleurs ne sont pas les mêmes. Le plongement les place quand même près l’un de l’autre. Tous deux montrent des fleurs dans l’eau, dans un contenant en verre transparent. Aucun des 512 nombres ne signifie à lui seul « vase ». Le sens réside dans la liste entière.
Les photos les plus proches
Section intitulée « Les photos les plus proches »Avec le cosinus, vous pouvez demander : quelles photos d’entraînement ressemblent le plus à cette photo de test? La section 2 du carnet le fait avec ResNet-18. La figure ci-dessous le fait avec CLIP pour deux photos de test :

Description textuelle du diagramme
La figure présente deux rangées. Dans la première, la photo de test est un vase avec des fleurs. Ses cinq photos d’entraînement les plus proches sont toutes des vases avec des fleurs dans de l’eau claire. Leurs cosinus vont de 0,83 à 0,78. Dans la deuxième rangée, la photo de test montre des tournesols dans un seau blanc; son étiquette est pot de fleurs. Ses cinq photos d’entraînement les plus proches sont toutes étiquetées vase. Leurs cosinus vont de 0,68 à 0,64, plus bas que dans la première rangée. Ce sont des bouquets de fleurs coupées dans des vases.
La première rangée fonctionne comme le ferait la nouvelle employée : chaque voisin est un vase. La deuxième rangée est plus intéressante. La photo de test est étiquetée pot de fleurs, mais elle montre des tournesols coupés dans un seau. Pour CLIP, cela ressemble à des « fleurs dans un contenant », tout comme les vases. Ses cosinus sont aussi plus bas : aucune photo d’entraînement n’en est vraiment proche. Gardez cette photo en mémoire. Elle revient dans la prochaine leçon.
Classer les photos de Larkfield selon la photo la plus proche
Section intitulée « Classer les photos de Larkfield selon la photo la plus proche »Le classificateur le plus simple avec des plongements imite l’employée. Il donne à chaque photo de test l’étiquette de la photo d’entraînement qui lui ressemble le plus. La section 5 du carnet vous demande de l’écrire. Voici les résultats sur les 160 photos de test :
| Description de chaque photo | Exactitude selon la photo la plus proche |
|---|---|
| Histogramme de couleurs (128 nombres) | 0,275 |
| Plongement ResNet-18 (512 nombres, dans le carnet) | 0,831 |
| Plongement CLIP ViT-B/32 (512 nombres) | 0,856 |
La même règle, avec une meilleure description, passe d’environ une photo sur quatre à plus de quatre sur cinq. Aucun modèle n’a été entraîné : nous avons seulement changé les nombres qui décrivent chaque photo. Voilà pourquoi les plongements sont la base de tout ce module.
Une carte du catalogue
Section intitulée « Une carte du catalogue »512 nombres, c’est trop pour tracer une carte. Pour voir tout le catalogue à la fois, nous réduisons chaque plongement à deux nombres, un x et un y. Puis nous traçons un point par photo. Deux méthodes courantes le permettent :
- PCA (analyse en composantes principales) conserve les deux directions dans lesquelles les photos diffèrent le plus. C’est une projection directe, comme l’ombre d’un objet en 3D sur un mur. Le carnet l’utilise, car elle est rapide et simple.
- UMAP (approximation et projection uniformes de variétés) essaie de garder les voisins de chaque photo proches sur la carte. Elle courbe et étire l’espace pour y arriver. Les groupes ressortent plus clairement qu’avec la PCA.
L’équipe du cours a tracé cette carte avec UMAP à partir des plongements CLIP des 733 photos publiques :

Description textuelle du diagramme
La carte contient un point par photo, soit 733 points, colorés selon l’étiquette. Le nom de la classe figure près de chaque groupe. Les coussins et les chaises forment un groupe en haut à gauche : les coussins sont au-dessus des chaises et les touchent. Les lampes forment un groupe séparé en haut, et les bougies un petit groupe serré en haut à droite. À droite, les bols et les tasses forment une longue bande, et les bols touchent les tasses. Un groupe de vases se trouve près des bols. En bas, les vases et les pots de fleurs forment une longue bande. Les vases occupent son extrémité supérieure, les pots de fleurs son extrémité inférieure. Les deux classes se mélangent à leur jonction.
Lisez la carte pour repérer les voisins, pas les distances. Bougies et lampes forment des groupes nets et séparés : un modèle les confondra rarement. Les coussins touchent les chaises, les bols touchent les tasses, et les pots de fleurs rejoignent les vases. Ce sont les endroits où un classificateur fera des erreurs. N’en tirez pas d’autres conclusions. UMAP peut rapprocher ou éloigner deux groupes distants, et les axes ne signifient rien à eux seuls.
Certaines photos se trouvent dans le groupe d’une autre classe. Par exemple, un point d’une autre couleur apparaît parmi les pots de fleurs. Une telle photo montre soit un produit inhabituel, soit une mauvaise étiquette. Les étiquettes : combien, et de quelle qualité utilise cette idée pour trouver les erreurs d’étiquette.
Quelles classes le modèle confond-il?
Section intitulée « Quelles classes le modèle confond-il? »La carte permet de voir les confusions. Un nombre les précise. Le centre d’une classe est la moyenne de ses plongements, ramenée à une longueur de 1. Le cosinus entre deux centres indique à quel point les deux classes sont proches en moyenne. La section 4 du carnet calcule les 28 paires pour CLIP. Voici les quatre paires les plus proches :
Description textuelle du graphique
Un diagramme à quatre colonnes, sur un axe de 0,7 à 0,9. Pot de fleurs et vase : 0,864. Bol et vase : 0,863. Chaise et coussin : 0,833. Bol et tasse : 0,822. La colonne pot de fleurs et vase est mise en évidence.
Pot de fleurs et vase forment la paire la plus proche, suivie de près par bol et vase. Ce sont des contenants, souvent avec des plantes ou des fleurs, et souvent sur une table. Chaise et coussin viennent ensuite : beaucoup de photos de chaises montrent un coussin sur la chaise. Le classificateur de Larkfield échouera d’abord sur ces paires, et les annotateurs y seront le plus souvent en désaccord.
Quand utiliser les plongements, et ce qu’ils coûtent
Section intitulée « Quand utiliser les plongements, et ce qu’ils coûtent »Utilisez les plongements pour comparer des photos : trouver des produits semblables, retrouver le même produit, regrouper des photos. Vous pouvez aussi entraîner un petit classificateur avec peu d’étiquettes. Ils sont le point de départ des trois prochaines leçons et de Trouver le même produit, dans le module 7.
Ils ont des limites et des coûts :
- Le modèle décide du sens de « semblable ». ImageNet et CLIP n’ont jamais appris la distinction de Larkfield entre un pot de fleurs et un vase. Si vos classes dépendent d’un détail que le modèle ignore, des plongements proches ne les sépareront pas.
- Les petits détails se perdent. Un plongement décrit la photo entière. Un petit éclat sur une bougie le modifie très peu. Le module 6 montre que les dommages exigent une méthode qui examine de petites parties de la photo.
- Le calcul prend du temps une seule fois. Sur le processeur d’un portable, par lots de 32, ResNet-18 (47 Mo) prend environ 13 ms par photo. CLIP ViT-B/32 (605 Mo) prend environ 8 ms. Ensuite, comparer deux plongements enregistrés prend quelques microsecondes.
- Les licences accompagnent le modèle. Les poids de chaque modèle ont leur propre licence et leurs propres données d’entraînement. Le module 7 explique ce que cela signifie pour un produit.
Exercices guidés : les plongements dans le carnet
Section intitulée « Exercices guidés : les plongements dans le carnet »- Ouvrez le carnet depuis l’encadré Faites cette leçon dans un carnet Jupyter en haut de cette page.
- Exécutez les cellules de préparation. La deuxième se termine par une ligne
Ready:(prêt). - Exécutez la section 1. Elle télécharge ResNet-18 une seule fois et produit les plongements des photos d’entraînement et de test. Vous voyez
(453, 512) (160, 512). - Dans la section 2, prédisez si les cinq voisins de la photo de test ont tous son étiquette. Puis exécutez la cellule et regardez les photos et leurs cosinus.
- Exécutez la section 3. Comparez les cartes PCA de ResNet-18 et de CLIP. Trouvez les pots de fleurs et les vases sur chaque carte.
- Exécutez la section 4. Dans le tableau, trouvez le cosinus le plus élevé qui n’est pas 1,000. C’est pot de fleurs et vase, 0,864.
À vous de jouer : classer selon la photo la plus proche
Section intitulée « À vous de jouer : classer selon la photo la plus proche »Dans la section 5 du carnet, donnez à chaque photo de test l’étiquette de sa photo d’entraînement la plus semblable. Utilisez les plongements ResNet-18 Xtr et Xte. Mettez la proportion d’étiquettes correctes dans nn_accuracy, puis exécutez la cellule de vérification.
Afficher la réponse
nearest = (Xte @ Xtr.T).argmax(1)nn_accuracy = float(np.mean(train["label"].values[nearest] == test["label"].values))print(round(nn_accuracy, 3))0.831Xte @ Xtr.T est un tableau de 160 × 453 cosinus : chaque photo de test comparée à chaque photo d’entraînement. argmax(1) sélectionne la photo d’entraînement la plus semblable dans chaque ligne. Le résultat, 0,831, ressemble à celui du modèle ResNet-18 du module 2 avec sa nouvelle dernière couche (0,812). Choisir une seule photo voisine est une règle efficace quand la description est bonne. Avec 160 photos de test, un écart de 2 points représente environ 3 photos. Considérez donc les deux résultats comme équivalents.
Erreur courante
Deux modèles, un seul tableau
Symptôme : Tomás crée rapidement un outil de recherche de produits. Il stocke les plongements CLIP des 453 photos d’entraînement. Plus tard, il calcule les plongements des nouvelles photos de test avec ResNet-18, déjà chargé dans son carnet. Les deux modèles donnent 512 nombres, donc le code s’exécute sans erreur. L’exactitude de la règle de la photo la plus proche est de 0,087. C’est pire que de choisir au hasard parmi huit classes (0,125).
Cause : les 512 nombres des deux modèles représentent des choses différentes. Le nombre 37 de CLIP et le nombre 37 de ResNet-18 n’ont rien en commun. Un cosinus entre eux compare des listes sans rapport. Les dimensions correspondent, donc rien ne vous empêche de le faire.
Correction : calculez les plongements de toutes les photos à comparer avec le même modèle, à la même révision. Préparez aussi les images de la même façon. Stockez le nom du modèle avec les plongements. Le cours stocke les plongements de chaque modèle dans un fichier distinct (data/embeddings/clip.npz, resnet18.npz). Le projet larkvision les charge par leur nom. Avec ResNet-18 des deux côtés, l’exactitude revient à 0,831.
Conséquence pour le travail en IA : quand une équipe met à jour son modèle de plongement, elle doit recalculer chaque plongement stocké. Sinon, elle mélange les anciens et les nouveaux plongements. Les recherches et les classificateurs échouent alors sans signaler d’erreur.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Dans vos mots : qu'est-ce qu'un plongement d'image? Pourquoi deux photos de vases de couleurs différentes ont-elles des plongements proches, mais des histogrammes de couleurs très différents?
Afficher la réponse
Un plongement d’image est une liste de nombres, ici 512, qu’un modèle préentraîné calcule pour une photo. Le modèle a appris à produire ces nombres pour distinguer de nombreux types d’objets. Ils décrivent donc les formes, les parties et les matériaux : hauteur, verre, fleurs dans l’eau. Deux vases partagent ces caractéristiques, même si leurs couleurs diffèrent. Leurs plongements pointent donc presque dans la même direction : un cosinus de 0,832 dans l’exemple détaillé. Un histogramme de couleurs compte seulement les couleurs. Un vase vert et un vase transparent sont donc très éloignés.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Sur la carte UMAP, les bougies forment un petit groupe loin des autres classes. Les pots de fleurs se mêlent aux vases. Que prévoyez-vous pour un classificateur utilisant ces plongements? Et que ne devriez-vous pas conclure de la carte?
Afficher la réponse
Prévoyez peu d’erreurs pour les bougies et les lampes. Prévoyez le plus d’erreurs entre les pots de fleurs et les vases, puis entre les bols et les tasses. Les chaises et les coussins viennent ensuite. Les centres des classes concordent : pot de fleurs et vase forment la paire la plus proche (0,864). N’interprétez pas la distance entre deux groupes éloignés, ni les axes. UMAP garde les voisins proches, mais peut déplacer les groupes éloignés. De plus, un petit groupe sur la carte ne signifie pas qu’un classificateur trouve toutes les bougies. Il peut encore manquer une classe qui compte seulement 15 photos d’entraînement, comme le montrent les prochaines leçons.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Omar veut trouver des « produits qui ressemblent à celui-ci » pour le site Web. Commenceriez-vous par des histogrammes de couleurs ou des plongements? Quelle limite lui expliqueriez-vous?
Afficher la réponse
Commencez par les plongements. Avec la même règle de la photo la plus proche, ils trouvent la bonne classe pour une proportion de photos de test allant de 0,831 (ResNet-18) à 0,856 (CLIP). Les histogrammes de couleurs atteignent 0,275. Une limite : le modèle préentraîné décide ce que « semblable » signifie. Il peut placer un seau de tournesols coupés près des vases, alors que Larkfield le classe comme pot de fleurs. Autre limite : un plongement décrit toute la photo. Les petits détails, comme un éclat ou une égratignure, le changent donc très peu.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Un modèle préentraîné sans sa dernière couche transforme une photo en plongement : ici, 512 nombres. Des photos semblables donnent des plongements qui pointent dans des directions semblables.
- La similarité cosinus de deux plongements de longueur 1 est leur produit scalaire : 1 indique la même direction. Deux vases : 0,832; un vase et une chaise : moins de 0,5.
- La photo d’entraînement la plus proche donne la bonne classe pour une proportion de photos de test de 0,831 avec ResNet-18 et de 0,856 avec CLIP. Les histogrammes de couleurs donnent 0,275. Aucun modèle n’a été entraîné.
- Une carte UMAP des plongements CLIP montre les groupes et leurs points de contact : pot de fleurs et vase, bol et tasse, chaise et coussin. Utilisez-la pour repérer les voisins, pas pour lire les distances.
- Comparez seulement les plongements du même modèle. Mélanger les modèles donne 0,087, sans signaler d’erreur.
Vous pouvez maintenant décrire chaque photo par un plongement et trouver ses voisines. Mais toutes les méthodes vues jusqu’ici nécessitent des photos d’entraînement étiquetées pour la comparaison. Ensuite, vous classez des photos sans aucune photo étiquetée, en les comparant à une phrase.
Leçon suivante : CLIP en zéro exemple