Aller au contenu
English

Les plongements d'images

  • Leçon 9
  • 35 min
  • Module 3 : Plongements, CLIP et peu d'étiquettes

Où nous en sommes

Dans le module 2, l'apprentissage par transfert a entraîné une nouvelle dernière couche sur un modèle préentraîné. La couche précédente contient déjà une liste de nombres utile pour chaque photo. Dans cette leçon, nous utilisons cette liste, le plongement. Nous trouvons des photos semblables, représentons le catalogue sur une carte et trouvons les classes que les modèles confondent. D'abord, une employée d'entrepôt qui trie selon la ressemblance.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité
Leçon 9 sur 30 · IA de vision : voir, compter et inspecterLes plongements d'images

Ce que vous saurez faire

Transformez chaque photo en liste de nombres qui décrit son contenu. Les photos semblables obtiennent ainsi des nombres proches. Avec ces listes, vous pouvez trouver des photos semblables et représenter tout le catalogue sur une carte. Vous pouvez aussi voir quelles classes un modèle confond.

Carnet JupyterFaites cette leçon dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter contient toutes les cellules de code, tâches et vérifications de cette leçon. Ses cellules de préparation installent les paquets, dont PyTorch et timm, et téléchargent les photos du catalogue en fichiers zip. Il télécharge ResNet-18 (47 Mo) une seule fois. Aucun compte ni aucune clé ne sont nécessaires. Environ 30 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 35 minutes

Ce que vous devez savoir

  • Le catalogue : 453 photos d’entraînement, 120 de validation et 160 de test, réparties en huit classes. Il compte seulement 15 bougies d’entraînement, comme le présente Découvrir les images de Larkfield.
  • Un histogramme de couleurs avec les plus proches voisins, et pourquoi son exactitude atteint seulement 0,263, dans Règles et histogrammes de couleurs.
  • Un modèle préentraîné avec une nouvelle dernière couche, dans L’apprentissage par transfert.
  • Pour comprendre le plongement dans le texte, Jetons et plongements, du cours sur l’apprentissage profond, peut aider. Ce n’est pas un prérequis.

Ce qu’il vous faut sur votre ordinateur

Rien si vous utilisez le carnet : Colab ou Kaggle suffit. Votre projet larkvision ne change pas dans cette leçon. Il reçoit de nouvelles commandes dans les deux prochaines leçons.

Testé avec Python 3.12.13 sur macOS, dans Jupyter. Colab, Kaggle et Windows n’ont pas été testés.

L’entrepôt de Hamid accueille une nouvelle employée. Dès son premier jour, un carton de retours arrive sans documents. Elle doit placer chaque article sur la bonne étagère : bols, bougies, tasses, vases. Personne ne lui a donné de liste de règles. Pourtant, elle trie rapidement. Elle regarde un article et pense : « Ça ressemble aux objets sur l’étagère des vases. » Elle le compare avec ce qu’elle a déjà vu.

Elle ne compare pas les articles pixel par pixel, ni couleur par couleur. Un vase vert et un vase en verre transparent ont des couleurs très différentes. Elle les place quand même ensemble, car elle voit les mêmes éléments : forme haute, ouverture au sommet, fleurs dans l’eau. Dans sa tête, chaque article a une courte description. Les articles semblables ont des descriptions semblables.

Un ordinateur peut aussi le faire, s’il dispose d’une bonne description de chaque photo. Cette leçon porte sur cette description.

Le problème : les pixels ne décrivent pas un produit

Section intitulée « Le problème : les pixels ne décrivent pas un produit »

Une photo du catalogue de 256 × 256 pixels contient 196 608 nombres : trois couleurs par pixel. Deux photos du même vase, prises un peu plus à gauche, ont des valeurs de pixels très différentes. Deux photos de produits différents sur la même table blanche peuvent avoir des valeurs de pixels très proches. La distance entre ces valeurs ne mesure donc pas si deux photos montrent le même type d’objet.

L’histogramme de couleurs de Règles et histogrammes de couleurs apportait une première solution. Il compte les couleurs, donc la position du produit n’importe pas. Mais il connaît seulement la couleur. Ses photos les plus proches appartenaient souvent à la mauvaise classe. Il classait correctement seulement 0,263 des photos de test. Un vase vert est proche d’une plante verte, et une tasse blanche est proche d’une bougie blanche.

Il nous faut une description qui reconnaît les formes, les parties et les objets, pas seulement les couleurs.

Dans L’apprentissage par transfert, vous avez utilisé un modèle qui a appris à partir de plus d’un million de photos ImageNet. Sa dernière couche choisit l’une des 1 000 classes ImageNet. La couche précédente nous est plus utile. Elle contient 512 nombres pour chaque photo. Ces nombres décrivent ce que le modèle voit : rond ou carré, verre ou tissu, avec ou sans anse. Le modèle a appris ces descriptions pour distinguer ses 1 000 classes.

Cette liste de nombres s’appelle un plongement (embedding). Le mot signifie que chaque photo est placée, ou « plongée », comme un point dans un espace à 512 directions. Les photos qui se ressemblent deviennent des points proches les uns des autres. Nous n’entraînons pas le modèle à nouveau : nous lisons seulement les nombres. Nous pouvons donc utiliser le même modèle pour le catalogue, les photos des clients ou celles d’un nouveau produit.

Cinq cases de gauche à droite. Une photo : 256 par 256 pixels multipliés par 3 couleurs donnent 196 608 nombres. Un modèle préentraîné : ResNet-18, CLIP ou DINOv2 sans sa dernière couche, aucun entraînement ici. Une note indique qu'il a été entraîné sur des millions d'autres photos. Le plongement : 512 nombres, par exemple 0,019, 0,100, 0,109, ramenés à une longueur de 1. Comparer : similarité cosinus avec d'autres photos, 1 signifie la même direction. Utiliser : photos les plus proches, carte du catalogue, petit classificateur.
D'une photo à un plongement. Le modèle préentraîné est seulement utilisé, pas entraîné. Le plongement sert d'entrée aux méthodes de ce module.
Description textuelle du diagramme

Le schéma présente cinq cases en rangée, l’une sous l’autre sur un téléphone. La première case est une photo : 256 × 256 pixels et 3 couleurs, soit 196 608 nombres. Une flèche mène à un modèle préentraîné : ResNet-18, CLIP ou DINOv2, sans sa dernière couche. Il n’est pas entraîné ici; il a été entraîné auparavant sur des millions d’autres photos. La case suivante est le plongement : 512 nombres, comme 0,019, 0,100 et 0,109, ramenés à une longueur de 1. Ensuite, les photos sont comparées avec la similarité cosinus, où 1 signifie la même direction. La dernière case énumère les usages : photos les plus proches, carte du catalogue et petit classificateur.

Ce cours utilise trois modèles qui produisent des plongements. ResNet-18 est le réseau du module 2. CLIP ViT-B/32 a appris à partir de photos accompagnées de leurs légendes; la prochaine leçon utilise sa partie textuelle. DINOv2 small a appris à partir de photos seulement, en comparant des parties de la même photo. L’équipe du cours a exécuté les trois modèles une fois sur chaque photo du catalogue et enregistré les résultats dans data/embeddings/. La plupart des cellules de ce module s’exécutent donc en quelques secondes, sans télécharger de modèle.

Comment mesurer ce qui est « proche »? Prenons deux listes de deux nombres chacune, inventées pour cet exemple : a = (0,6, 0,8) et b = (0,8, 0,6). Chaque liste a une longueur de 1, car 0,6² + 0,8² = 0,36 + 0,64 = 1. Multipliez les nombres à la même position, puis additionnez :

a · b = 0,6 × 0,8 + 0,8 × 0,6 = 0,48 + 0,48 = 0,96

Cette somme est le produit scalaire. Pour deux listes de longueur 1, c’est la similarité cosinus : le cosinus de l’angle entre les deux flèches. Elle vaut 1 pour la même direction, 0 pour un angle droit et −1 pour des directions opposées. Ici, 0,96 signifie « presque la même direction » : très semblable. Nous ramenons d’abord chaque plongement à une longueur de 1. Ainsi, seule la direction compte, pas la longueur.

Voici maintenant trois vraies photos du catalogue, avec leurs plongements CLIP :

Trois photos côte à côte. A : un vase en verre avec des fleurs sur une table en bois, une photo de test. B : un vase rond en forme de bol en verre avec des tiges dans l'eau, une photo d'entraînement. C : une chaise de bureau noire, une photo d'entraînement.
Les trois photos de l'exemple détaillé : A est une photo de test, B et C sont des photos d'entraînement. Photos : Zeborah, Paul-in-London, TedsBlog, CC BY 2.0, via Open Images.
Description textuelle du diagramme

La photo A montre un petit vase en verre avec quelques fleurs, sur une table en bois. La photo B montre un vase rond en verre avec des tiges vertes dans de l’eau claire. La photo C montre une chaise de bureau noire avec des accoudoirs.

Chaque plongement contient 512 nombres. Voici les quatre premiers de chacun, et la longueur de la liste entière :

Photo 4 premiers nombres sur 512 Longueur
A (vase, test) 0,019; 0,1; 0,109; 0,046; … 1,0
B (vase, entraînement) 0,028; 0,047; 0,015; 0,033; … 1,0
C (chaise, entraînement) 0,064; -0,134; 0,113; -0,011; … 1,0

Le cosinus utilise les mêmes multiplications et additions, sur les 512 positions :

A (vase) B (vase) C (chaise)
A (vase) 1,000 0,832 0,447
B (vase) 0,832 1,000 0,478
C (chaise) 0,447 0,478 1,000

Les deux vases ont un cosinus de 0,832. Chaque vase a un cosinus inférieur à 0,5 avec la chaise. Les deux vases ont des formes et des fleurs différentes, et leurs couleurs ne sont pas les mêmes. Le plongement les place quand même près l’un de l’autre. Tous deux montrent des fleurs dans l’eau, dans un contenant en verre transparent. Aucun des 512 nombres ne signifie à lui seul « vase ». Le sens réside dans la liste entière.

Avec le cosinus, vous pouvez demander : quelles photos d’entraînement ressemblent le plus à cette photo de test? La section 2 du carnet le fait avec ResNet-18. La figure ci-dessous le fait avec CLIP pour deux photos de test :

Deux rangées de six photos. Rangée 1 : la photo de test, un vase avec des fleurs, encadrée en bleu. Puis cinq photos d'entraînement, toutes des vases avec des fleurs dans de l'eau claire, cosinus de 0,83, 0,81, 0,81, 0,78 et 0,78. Rangée 2 : la photo de test, des tournesols dans un seau blanc étiqueté pot de fleurs, encadrée en bleu. Puis cinq photos d'entraînement, toutes étiquetées vase, cosinus de 0,68, 0,68, 0,66, 0,64 et 0,64, en rouge.
Chaque rangée : une photo de test (encadrée) et ses cinq photos d'entraînement les plus semblables selon le plongement CLIP, avec le cosinus. En rouge : une étiquette différente de celle de la photo de test. Photos, rangée par rangée : Zeborah, Paul-in-London, jessicahtam, Jake Spurlock, MattCooper, Design Lively, mk97007, storebukkebruse, Lee Coursey, Design Lively, kaythaney, ProFlowers, CC BY 2.0, via Open Images.
Description textuelle du diagramme

La figure présente deux rangées. Dans la première, la photo de test est un vase avec des fleurs. Ses cinq photos d’entraînement les plus proches sont toutes des vases avec des fleurs dans de l’eau claire. Leurs cosinus vont de 0,83 à 0,78. Dans la deuxième rangée, la photo de test montre des tournesols dans un seau blanc; son étiquette est pot de fleurs. Ses cinq photos d’entraînement les plus proches sont toutes étiquetées vase. Leurs cosinus vont de 0,68 à 0,64, plus bas que dans la première rangée. Ce sont des bouquets de fleurs coupées dans des vases.

La première rangée fonctionne comme le ferait la nouvelle employée : chaque voisin est un vase. La deuxième rangée est plus intéressante. La photo de test est étiquetée pot de fleurs, mais elle montre des tournesols coupés dans un seau. Pour CLIP, cela ressemble à des « fleurs dans un contenant », tout comme les vases. Ses cosinus sont aussi plus bas : aucune photo d’entraînement n’en est vraiment proche. Gardez cette photo en mémoire. Elle revient dans la prochaine leçon.

Classer les photos de Larkfield selon la photo la plus proche

Section intitulée « Classer les photos de Larkfield selon la photo la plus proche »

Le classificateur le plus simple avec des plongements imite l’employée. Il donne à chaque photo de test l’étiquette de la photo d’entraînement qui lui ressemble le plus. La section 5 du carnet vous demande de l’écrire. Voici les résultats sur les 160 photos de test :

Description de chaque photo Exactitude selon la photo la plus proche
Histogramme de couleurs (128 nombres) 0,275
Plongement ResNet-18 (512 nombres, dans le carnet) 0,831
Plongement CLIP ViT-B/32 (512 nombres) 0,856

La même règle, avec une meilleure description, passe d’environ une photo sur quatre à plus de quatre sur cinq. Aucun modèle n’a été entraîné : nous avons seulement changé les nombres qui décrivent chaque photo. Voilà pourquoi les plongements sont la base de tout ce module.

512 nombres, c’est trop pour tracer une carte. Pour voir tout le catalogue à la fois, nous réduisons chaque plongement à deux nombres, un x et un y. Puis nous traçons un point par photo. Deux méthodes courantes le permettent :

  • PCA (analyse en composantes principales) conserve les deux directions dans lesquelles les photos diffèrent le plus. C’est une projection directe, comme l’ombre d’un objet en 3D sur un mur. Le carnet l’utilise, car elle est rapide et simple.
  • UMAP (approximation et projection uniformes de variétés) essaie de garder les voisins de chaque photo proches sur la carte. Elle courbe et étire l’espace pour y arriver. Les groupes ressortent plus clairement qu’avec la PCA.

L’équipe du cours a tracé cette carte avec UMAP à partir des plongements CLIP des 733 photos publiques :

Un nuage de 733 points en huit couleurs, une par classe. Coussins et chaises forment un groupe en haut à gauche, avec les coussins au-dessus des chaises. Les lampes forment un groupe séparé en haut, les bougies un petit groupe en haut à droite. À droite, bols et tasses forment une longue bande où ils se touchent, avec un groupe de vases près des bols. En bas, les vases et les pots de fleurs forment une longue bande et se mélangent à leur jonction.
Les 733 photos publiques du catalogue sur une carte UMAP de leurs plongements CLIP. Les points proches représentent des photos semblables. Les axes n'ont pas d'unité, et la distance entre deux groupes éloignés signifie peu de chose.
Description textuelle du diagramme

La carte contient un point par photo, soit 733 points, colorés selon l’étiquette. Le nom de la classe figure près de chaque groupe. Les coussins et les chaises forment un groupe en haut à gauche : les coussins sont au-dessus des chaises et les touchent. Les lampes forment un groupe séparé en haut, et les bougies un petit groupe serré en haut à droite. À droite, les bols et les tasses forment une longue bande, et les bols touchent les tasses. Un groupe de vases se trouve près des bols. En bas, les vases et les pots de fleurs forment une longue bande. Les vases occupent son extrémité supérieure, les pots de fleurs son extrémité inférieure. Les deux classes se mélangent à leur jonction.

Lisez la carte pour repérer les voisins, pas les distances. Bougies et lampes forment des groupes nets et séparés : un modèle les confondra rarement. Les coussins touchent les chaises, les bols touchent les tasses, et les pots de fleurs rejoignent les vases. Ce sont les endroits où un classificateur fera des erreurs. N’en tirez pas d’autres conclusions. UMAP peut rapprocher ou éloigner deux groupes distants, et les axes ne signifient rien à eux seuls.

Certaines photos se trouvent dans le groupe d’une autre classe. Par exemple, un point d’une autre couleur apparaît parmi les pots de fleurs. Une telle photo montre soit un produit inhabituel, soit une mauvaise étiquette. Les étiquettes : combien, et de quelle qualité utilise cette idée pour trouver les erreurs d’étiquette.

La carte permet de voir les confusions. Un nombre les précise. Le centre d’une classe est la moyenne de ses plongements, ramenée à une longueur de 1. Le cosinus entre deux centres indique à quel point les deux classes sont proches en moyenne. La section 4 du carnet calcule les 28 paires pour CLIP. Voici les quatre paires les plus proches :

Les quatre paires de classes dont les centres CLIP sont les plus proches (Pot : pot de fleurs, cous. : coussin). L'axe commence à 0,7, donc les différences semblent plus grandes qu'elles ne le sont.
Description textuelle du graphique

Un diagramme à quatre colonnes, sur un axe de 0,7 à 0,9. Pot de fleurs et vase : 0,864. Bol et vase : 0,863. Chaise et coussin : 0,833. Bol et tasse : 0,822. La colonne pot de fleurs et vase est mise en évidence.

Pot de fleurs et vase forment la paire la plus proche, suivie de près par bol et vase. Ce sont des contenants, souvent avec des plantes ou des fleurs, et souvent sur une table. Chaise et coussin viennent ensuite : beaucoup de photos de chaises montrent un coussin sur la chaise. Le classificateur de Larkfield échouera d’abord sur ces paires, et les annotateurs y seront le plus souvent en désaccord.

Quand utiliser les plongements, et ce qu’ils coûtent

Section intitulée « Quand utiliser les plongements, et ce qu’ils coûtent »

Utilisez les plongements pour comparer des photos : trouver des produits semblables, retrouver le même produit, regrouper des photos. Vous pouvez aussi entraîner un petit classificateur avec peu d’étiquettes. Ils sont le point de départ des trois prochaines leçons et de Trouver le même produit, dans le module 7.

Ils ont des limites et des coûts :

  • Le modèle décide du sens de « semblable ». ImageNet et CLIP n’ont jamais appris la distinction de Larkfield entre un pot de fleurs et un vase. Si vos classes dépendent d’un détail que le modèle ignore, des plongements proches ne les sépareront pas.
  • Les petits détails se perdent. Un plongement décrit la photo entière. Un petit éclat sur une bougie le modifie très peu. Le module 6 montre que les dommages exigent une méthode qui examine de petites parties de la photo.
  • Le calcul prend du temps une seule fois. Sur le processeur d’un portable, par lots de 32, ResNet-18 (47 Mo) prend environ 13 ms par photo. CLIP ViT-B/32 (605 Mo) prend environ 8 ms. Ensuite, comparer deux plongements enregistrés prend quelques microsecondes.
  • Les licences accompagnent le modèle. Les poids de chaque modèle ont leur propre licence et leurs propres données d’entraînement. Le module 7 explique ce que cela signifie pour un produit.
  1. Ouvrez le carnet depuis l’encadré Faites cette leçon dans un carnet Jupyter en haut de cette page.
  2. Exécutez les cellules de préparation. La deuxième se termine par une ligne Ready: (prêt).
  3. Exécutez la section 1. Elle télécharge ResNet-18 une seule fois et produit les plongements des photos d’entraînement et de test. Vous voyez (453, 512) (160, 512).
  4. Dans la section 2, prédisez si les cinq voisins de la photo de test ont tous son étiquette. Puis exécutez la cellule et regardez les photos et leurs cosinus.
  5. Exécutez la section 3. Comparez les cartes PCA de ResNet-18 et de CLIP. Trouvez les pots de fleurs et les vases sur chaque carte.
  6. Exécutez la section 4. Dans le tableau, trouvez le cosinus le plus élevé qui n’est pas 1,000. C’est pot de fleurs et vase, 0,864.

À vous de jouer : classer selon la photo la plus proche

Section intitulée « À vous de jouer : classer selon la photo la plus proche »

Dans la section 5 du carnet, donnez à chaque photo de test l’étiquette de sa photo d’entraînement la plus semblable. Utilisez les plongements ResNet-18 Xtr et Xte. Mettez la proportion d’étiquettes correctes dans nn_accuracy, puis exécutez la cellule de vérification.

Afficher la réponse
nearest = (Xte @ Xtr.T).argmax(1)
nn_accuracy = float(np.mean(train["label"].values[nearest] == test["label"].values))
print(round(nn_accuracy, 3))
0.831

Xte @ Xtr.T est un tableau de 160 × 453 cosinus : chaque photo de test comparée à chaque photo d’entraînement. argmax(1) sélectionne la photo d’entraînement la plus semblable dans chaque ligne. Le résultat, 0,831, ressemble à celui du modèle ResNet-18 du module 2 avec sa nouvelle dernière couche (0,812). Choisir une seule photo voisine est une règle efficace quand la description est bonne. Avec 160 photos de test, un écart de 2 points représente environ 3 photos. Considérez donc les deux résultats comme équivalents.

Erreur courante

Deux modèles, un seul tableau

Symptôme : Tomás crée rapidement un outil de recherche de produits. Il stocke les plongements CLIP des 453 photos d’entraînement. Plus tard, il calcule les plongements des nouvelles photos de test avec ResNet-18, déjà chargé dans son carnet. Les deux modèles donnent 512 nombres, donc le code s’exécute sans erreur. L’exactitude de la règle de la photo la plus proche est de 0,087. C’est pire que de choisir au hasard parmi huit classes (0,125).

Cause : les 512 nombres des deux modèles représentent des choses différentes. Le nombre 37 de CLIP et le nombre 37 de ResNet-18 n’ont rien en commun. Un cosinus entre eux compare des listes sans rapport. Les dimensions correspondent, donc rien ne vous empêche de le faire.

Correction : calculez les plongements de toutes les photos à comparer avec le même modèle, à la même révision. Préparez aussi les images de la même façon. Stockez le nom du modèle avec les plongements. Le cours stocke les plongements de chaque modèle dans un fichier distinct (data/embeddings/clip.npz, resnet18.npz). Le projet larkvision les charge par leur nom. Avec ResNet-18 des deux côtés, l’exactitude revient à 0,831.

Conséquence pour le travail en IA : quand une équipe met à jour son modèle de plongement, elle doit recalculer chaque plongement stocké. Sinon, elle mélange les anciens et les nouveaux plongements. Les recherches et les classificateurs échouent alors sans signaler d’erreur.

Vérifiez votre compréhension

Dans vos mots : qu'est-ce qu'un plongement d'image? Pourquoi deux photos de vases de couleurs différentes ont-elles des plongements proches, mais des histogrammes de couleurs très différents?

Afficher la réponse

Un plongement d’image est une liste de nombres, ici 512, qu’un modèle préentraîné calcule pour une photo. Le modèle a appris à produire ces nombres pour distinguer de nombreux types d’objets. Ils décrivent donc les formes, les parties et les matériaux : hauteur, verre, fleurs dans l’eau. Deux vases partagent ces caractéristiques, même si leurs couleurs diffèrent. Leurs plongements pointent donc presque dans la même direction : un cosinus de 0,832 dans l’exemple détaillé. Un histogramme de couleurs compte seulement les couleurs. Un vase vert et un vase transparent sont donc très éloignés.

Vérifiez votre compréhension

Sur la carte UMAP, les bougies forment un petit groupe loin des autres classes. Les pots de fleurs se mêlent aux vases. Que prévoyez-vous pour un classificateur utilisant ces plongements? Et que ne devriez-vous pas conclure de la carte?

Afficher la réponse

Prévoyez peu d’erreurs pour les bougies et les lampes. Prévoyez le plus d’erreurs entre les pots de fleurs et les vases, puis entre les bols et les tasses. Les chaises et les coussins viennent ensuite. Les centres des classes concordent : pot de fleurs et vase forment la paire la plus proche (0,864). N’interprétez pas la distance entre deux groupes éloignés, ni les axes. UMAP garde les voisins proches, mais peut déplacer les groupes éloignés. De plus, un petit groupe sur la carte ne signifie pas qu’un classificateur trouve toutes les bougies. Il peut encore manquer une classe qui compte seulement 15 photos d’entraînement, comme le montrent les prochaines leçons.

Vérifiez votre compréhension

Omar veut trouver des « produits qui ressemblent à celui-ci » pour le site Web. Commenceriez-vous par des histogrammes de couleurs ou des plongements? Quelle limite lui expliqueriez-vous?

Afficher la réponse

Commencez par les plongements. Avec la même règle de la photo la plus proche, ils trouvent la bonne classe pour une proportion de photos de test allant de 0,831 (ResNet-18) à 0,856 (CLIP). Les histogrammes de couleurs atteignent 0,275. Une limite : le modèle préentraîné décide ce que « semblable » signifie. Il peut placer un seau de tournesols coupés près des vases, alors que Larkfield le classe comme pot de fleurs. Autre limite : un plongement décrit toute la photo. Les petits détails, comme un éclat ou une égratignure, le changent donc très peu.

Récapitulatif

  • Un modèle préentraîné sans sa dernière couche transforme une photo en plongement : ici, 512 nombres. Des photos semblables donnent des plongements qui pointent dans des directions semblables.
  • La similarité cosinus de deux plongements de longueur 1 est leur produit scalaire : 1 indique la même direction. Deux vases : 0,832; un vase et une chaise : moins de 0,5.
  • La photo d’entraînement la plus proche donne la bonne classe pour une proportion de photos de test de 0,831 avec ResNet-18 et de 0,856 avec CLIP. Les histogrammes de couleurs donnent 0,275. Aucun modèle n’a été entraîné.
  • Une carte UMAP des plongements CLIP montre les groupes et leurs points de contact : pot de fleurs et vase, bol et tasse, chaise et coussin. Utilisez-la pour repérer les voisins, pas pour lire les distances.
  • Comparez seulement les plongements du même modèle. Mélanger les modèles donne 0,087, sans signaler d’erreur.

Vous pouvez maintenant décrire chaque photo par un plongement et trouver ses voisines. Mais toutes les méthodes vues jusqu’ici nécessitent des photos d’entraînement étiquetées pour la comparaison. Ensuite, vous classez des photos sans aucune photo étiquetée, en les comparant à une phrase.

Leçon suivante : CLIP en zéro exemple