Aller au contenu
English

Trouver le même produit

  • Leçon 23
  • 40 min
  • Module 7 : Apparier, chercher et décrire

Où nous en sommes

Dans le module 3, les plongements nous ont aidés à trouver des classes et des erreurs d'étiquette. Ils indiquaient le type de produit montré dans une photo. Maintenant, un client envoie une photo, et nous devons trouver le produit précis qu'elle montre. Dans cette leçon, nous apparions les photos prises au téléphone au catalogue avec les plus proches voisins. Nous mesurons le rappel à k et trouvons des quasi-doublons. D'abord, voyons une employée au comptoir d'un magasin achalandé.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité
Leçon 23 sur 30 · IA de vision : voir, compter et inspecterTrouver le même produit

Ce que vous saurez faire

Trouvez le produit du catalogue montré dans une photo de client, puis les photos du catalogue téléversées deux fois. Les deux recherches reposent sur la ressemblance. On mesure leur qualité par la fréquence des bonnes réponses près du début de la liste.

Carnet JupyterFaites cette leçon dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter contient la recherche, un échec à examiner et une tâche avec une vérification. Ses cellules de préparation installent les paquets et téléchargent le catalogue et les photos des clients sous forme de fichiers zip. Aucun compte, aucune clé ni aucun téléchargement de modèle n’est nécessaire : les plongements sont dans les données. Environ 25 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 40 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

  • Avec le carnet : Colab, Kaggle ou Jupyter. Rien à installer.
  • Avec le projet : votre dossier larkvision à côté de nextia-learning-labs, à l’instantané end-of-m06, avec son .venv. La préparation est décrite dans Fixer les seuils avec l’entrepôt. python -m pytest -q affiche 22 passed (22 tests réussis). Cette leçon ajoute un fichier.

Testé avec Python 3.12.13 sur macOS, dans Jupyter et dans un terminal. Les commandes Windows, Linux, Colab et Kaggle n’ont pas été testées.

Une cliente arrive au comptoir d’un magasin avec son téléphone. « J’ai acheté ce bol ici l’an dernier. J’en veux deux autres. » Elle montre une photo prise chez elle, d’en haut, sous la lumière jaune de la cuisine. L’employée ne lit le nom du bol nulle part. Elle regarde la photo, puis longe les étagères. Elle s’arrête devant les trois bols les plus ressemblants et place le téléphone à côté de chacun. Après une minute, elle le trouve.

Elle a fait deux choses. D’abord, elle a cherché par ressemblance : elle n’a pas vérifié chaque article, seulement les quelques articles les plus ressemblants. Ensuite, elle a vérifié : elle a comparé la photo à chaque candidat avant de répondre. Une bonne recherche fait vite la première partie et laisse la seconde à une personne.

Larkfield reçoit de telles photos chaque jour. Un client écrit « c’est arrivé cassé » ou « je veux le même » et joint une photo prise au téléphone. Quelqu’un doit trouver le produit parmi les 733 photos du catalogue. Les 160 photos de clients du cours les représentent. Notre code a créé chacune à partir d’une photo de test du catalogue. Il a changé l’angle, réduit le produit sur une table et ajouté un mauvais éclairage. Il a aussi ajouté une dominante de couleur, du flou et du bruit. Ces photos sont synthétiques, et chacune correspond à exactement une bonne photo du catalogue.

La première idée consiste à comparer directement les photos. Deux méthodes simples le font :

  • L’histogramme de couleurs de Règles et histogrammes de couleurs compte les couleurs de chaque photo.
  • Un hachage perceptuel transforme chaque photo en 64 bits. Cette leçon l’explique dans sa seconde moitié.

Les deux échouent. L’histogramme de couleurs trouve la bonne photo parmi ses cinq premières réponses pour 0,087 des photos de clients : environ 1 sur 11. Le hachage perceptuel y arrive pour 0,019 : 3 photos sur 160. La lumière jaune de la cuisine du client change toutes les couleurs. Le nouvel angle déplace chaque partie du produit. Une description des pixels ne permet pas de trouver le même produit dans une nouvelle photo.

Vous avez déjà une meilleure description. Un plongement (embedding) décrit ce qu’une photo montre, plutôt que ses pixels. Les photos semblables ont des plongements qui pointent dans une direction semblable. La recherche fonctionne donc comme l’employée au comptoir :

  1. Stockez une fois le plongement de chaque photo du catalogue.
  2. Quand une photo de client arrive, calculez son plongement avec le même modèle.
  3. Calculez la similarité cosinus avec chaque plongement stocké.
  4. Affichez les photos du catalogue aux cosinus les plus élevés, la meilleure en premier.

C’est la recherche des plus proches voisins : la réponse contient les éléments stockés les plus proches de la question. La liste des k premières réponses est le top k. Pour 733 photos, calculer les cosinus prend moins d’une milliseconde.

Voici une photo de client montrant un bol blanc avec une cuillère noire, et le top 5 de deux modèles :

Deux rangées de photos. Rangée 1, DINOv2 small, 88 Mo : la photo de client, un petit bol blanc avec une cuillère noire sur une carte grise, encadrée en bleu. Puis son top 5 : d'abord le même bol blanc avec une cuillère noire, cosinus de 0,75, encadré en bleu avec une coche; puis un bol à motif vert, 0,58; un bol en métal doré, 0,57; une tasse blanche avec une anse, 0,48; un bol blanc, 0,47. Rangée 2, CLIP ViT-B/32, 605 Mo : la même photo de client, puis cinq bols et tasses blancs, avec des cosinus de 0,65, 0,63, 0,62, 0,62 et 0,61. Le bon bol n'y figure pas.
Une photo de client (synthétique, créée par notre code à partir d'une photo du catalogue) et son top 5 de photos du catalogue avec deux modèles de plongements. Cadre bleu et coche : le bon produit. Photos : 準建築人手札網站 Forgemind ArchiMedia, homestilo, Rosmarie Voegtli, Hash Milhan, Bit Boy, Chris Mear, Ratha Grimes, See-ming Lee, CC BY 2.0, via Open Images.
Description textuelle du diagramme

La figure a deux rangées, une par modèle. Chaque rangée commence par la même photo de client : un petit bol blanc avec une cuillère noire sur une carte grise. La photo est un peu floue et inclinée. Dans la première rangée, DINOv2 small place la bonne photo du catalogue en premier, avec un cosinus de 0,75. Les quatre réponses suivantes sont d’autres bols et une tasse, avec des cosinus allant de 0,58 à 0,47. C’est bien en dessous de la première réponse. Dans la seconde rangée, CLIP renvoie cinq bols et tasses blancs avec des cosinus allant de 0,65 à 0,61. Ces valeurs sont toutes proches, et aucun des produits n’est le bon bol. CLIP classe le bon bol au sixième rang.

Les deux modèles ont trouvé des bols blancs. Seul DINOv2 a trouvé ce bol blanc. Regardez aussi les cosinus. La première réponse de DINOv2 devance largement la seconde (0,75 contre 0,58). Les cinq réponses de CLIP sont presque égales. Un écart net entre la première et la seconde réponse est un indice utile d’une vraie correspondance.

Comment évaluer une recherche? Pour chaque photo de client, trouvez le rang de la bonne photo du catalogue : 1 si elle est première, 2 si elle est deuxième, et ainsi de suite. Le rappel à k est la proportion de photos de clients dont la bonne photo a un rang de k ou mieux. Voici les quatre premières photos de clients avec CLIP :

Photo de client Produit Rang de la bonne photo (CLIP) Dans le top 1? Dans le top 5?
C-9cb24dd8 bol 1 oui oui
C-e8d1feae bol (la figure) 6 non non
C-e4d89d21 bol 1 oui oui
C-2218b07f bol 1 oui oui

Trois des quatre bonnes photos sont premières, donc le rappel à 1 est de 3 / 4 = 0,75. Le rappel à 5 est aussi de 3 / 4 = 0,75, car le rang 6 est hors du top 5. Le rappel à 10 est de 4 / 4 = 1,0. Un k plus grand donne toujours un rappel égal ou supérieur. Choisissez k selon la façon dont les gens utilisent le résultat. Si une personne regarde 5 suggestions, mesurez le rappel à 5.

L’équipe du cours a exécuté cinq méthodes sur les mêmes 160 photos de clients et les mêmes 733 photos du catalogue :

Rappel à 5 de cinq méthodes sur les 160 photos de clients (RN-18 : ResNet-18). Une barre plus haute indique que le bon produit figure plus souvent dans le top 5.
Description textuelle du graphique

Un diagramme à cinq colonnes sur un axe de 0 à 1. Histogramme de couleurs : 0,087. Hachage perceptuel : 0,019. Plongements ResNet-18 : 0,756. Plongements CLIP : 0,756. Plongements DINOv2 small : 0,988, mis en évidence. Les deux méthodes fondées sur les pixels sont proches de zéro. DINOv2 dépasse largement les deux autres méthodes de plongement.

Méthode Rappel à 1 Rappel à 5 Produit le moins bien trouvé (à 5) Taille du modèle Temps sur processeur par photo
Histogramme de couleurs 0,019 0,087 bol (0,05) aucun 0,86 ms
Hachage perceptuel 0,013 0,019 bol (0,00) aucun 2,94 ms
ResNet-18 0,581 0,756 pot de fleurs (0,45) 47 Mo 13,7 ms
CLIP ViT-B/32 0,562 0,756 chaise (0,65) 605 Mo 7,67 ms
DINOv2 small 0,944 0,988 coussin (0,95) 88 Mo 13,64 ms

Les temps correspondent à une photo dans un lot de 32, avec 4 fils d’exécution, sur le portable du cours. Avec DINOv2, la bonne photo est première pour 151 des 160 photos de clients. Elle occupe les rangs 2 à 5 pour 7, et les rangs 6 à 10 pour 2. Avec CLIP, elle est première pour seulement 90, et 22 bonnes photos ne figurent même pas dans le top 10.

Tomás est surpris. « CLIP fait 605 Mo, et DINOv2 small seulement 88 Mo. Un plus gros modèle devrait mieux voir. » Priya explique que les deux modèles ont appris des choses différentes.

CLIP a appris à partir de photos et de leurs légendes. Une légende dit « un bol blanc sur une table », sans préciser lequel. CLIP a donc appris à distinguer le type d’objet, et il place tous les bols blancs près les uns des autres.

DINOv2 a appris à partir de photos seulement. Il a comparé différentes images recadrées issues d’une même photo. Il a appris à reconnaître qu’elles montrent le même objet. Il conserve donc les détails d’un objet : la forme du bord, l’angle de la cuillère. C’est exactement ce qu’il faut pour trouver le même produit.

C’est donc la question qui détermine le modèle. Pour « quel type de produit est-ce? », choisissez CLIP. Pour « quel produit précis est-ce? », choisissez DINOv2. La taille du modèle n’a pas déterminé le choix.

Le projet reçoit la recherche sous forme de commande, vision match. Elle lit les plongements stockés dans les données du cours, donc aucun téléchargement de modèle n’est nécessaire. Vérifiez d’abord l’emplacement : vous devez être dans votre dossier larkvision, avec l’environnement virtuel actif.

  1. Ouvrez un terminal et allez dans votre dossier larkvision. Activez l’environnement virtuel : source .venv/bin/activate sur macOS et Linux, .venv\Scripts\Activate.ps1 sur Windows.

  2. Si ce terminal est nouveau, définissez à nouveau LARKVISION_DATA. Cette variable existe seulement dans le terminal où vous la définissez :

    Fenêtre de terminal
    export LARKVISION_DATA="$(cd ../nextia-learning-labs/C42/data && pwd)"
  3. Copiez le fichier de cette leçon depuis l’instantané end-of-m07 :

    Fenêtre de terminal
    S=../nextia-learning-labs/C42/snapshots/end-of-m07
    cp "$S/larkvision/commands/match.py" larkvision/commands/match.py
  4. Exécutez les tests. Vous voyez encore 22 passed : le test de la nouvelle commande arrive avec Vérifier ce que dit un modèle vision-langage.

    Fenêtre de terminal
    python -m pytest -q
  5. Cherchez avec DINOv2 et affichez le top 5 des trois premières photos de clients :

    Fenêtre de terminal
    vision match --embeddings dinov2 --show 3
  6. Cherchez avec CLIP :

    Fenêtre de terminal
    vision match --embeddings clip --show 3

L’étape 5 affiche :

DINOv2 small: 160 customer photos against 733 catalogue photos; recall at 1 0.944, at 5 0.988
C-9cb24dd8 (bowl): *P-9a3fc835, P-558af3a2, P-75598db9, P-60f9ab1c, P-aef88230
C-e8d1feae (bowl): *P-9d48a6c9, P-593a4ac1, P-1815e7a4, P-080e2d04, P-9650ea1d
C-e4d89d21 (bowl): *P-9e093eaa, P-8fff6af0, P-0782f68e, P-3dd314fa, P-a8d9684c

L’étape 6 affiche :

CLIP ViT-B/32 (OpenCLIP, laion2b_s34b_b79k): 160 customer photos against 733 catalogue photos; recall at 1 0.562, at 5 0.756
C-9cb24dd8 (bowl): *P-9a3fc835, P-7308e8ee, P-99a52778, P-a0ca8a5a, P-1c7efe8e
C-e8d1feae (bowl): P-9e093eaa, P-9650ea1d, P-614eb253, P-78abb816, P-080e2d04
C-e4d89d21 (bowl): *P-9e093eaa, P-7308e8ee, P-3dd314fa, P-0152f9f0, P-4ef55c7e

Une étoile marque la bonne photo du catalogue. La deuxième ligne de chaque sortie correspond à la photo de client de la figure ci-dessus. Chaque exécution ajoute une ligne à votre propre tableau : vision compare --task match l’affiche à la fin, avec la mention « (yours) » (vos résultats). vision match --k 10 mesure le rappel à 10. larkvision/commands/match.py contient la fonction rank : les quatre étapes décrites plus haut, en quatre lignes de NumPy.

Photos téléversées deux fois : les hachages perceptuels

Section intitulée « Photos téléversées deux fois : les hachages perceptuels »

L’appariement a un second usage dans le catalogue. Dans Les étiquettes : combien, et de quelle qualité, vous avez découvert six photos d’entraînement présentes deux fois dans le catalogue. Les copies sont légèrement recadrées et plus claires. Nous avons inséré ce problème. Une photo présente deux fois dans le catalogue peut se retrouver dans les données d’entraînement et les données de test. Le score de test est alors trop bon.

Pour de tels quasi-doublons, un outil plus petit qu’un plongement suffit souvent : un hachage perceptuel. La méthode pHash fait quatre choses :

  1. Réduire la photo à 32 × 32 pixels en niveaux de gris.
  2. La décrire comme une somme de motifs, des plus lisses aux plus fins. (Le calcul est la transformée en cosinus discrète, aussi utilisée dans les fichiers JPEG.)
  3. Garder les 8 × 8 motifs les plus lisses : la disposition générale des zones claires et sombres.
  4. Écrire 1 pour chaque motif au-dessus de la valeur médiane, et 0 pour les autres. Le résultat contient 64 bits.

On compare deux hachages par la distance de Hamming : le nombre de bits qui diffèrent. Prenez deux courts hachages de 8 bits, inventés pour cet exemple : 10110010 et 10010011. Le troisième bit et le dernier bit diffèrent, donc la distance est de 2. Même photo : environ 0. Deux photos sans rapport : environ la moitié des bits, soit environ 32 sur 64.

Deux rangées. Rangée 1 : un fauteuil noir sur un tapis à motifs, une photo téléversée deux fois; les deux téléversements se ressemblent, le second est un peu plus clair. Leurs hachages de 64 bits sont représentés par des grilles de 8 sur 8 carrés noirs et blancs; 6 carrés sont encadrés en rouge. Rangée 2 : la photo de client synthétique d'un bol blanc avec une cuillère noire, et sa propre photo du catalogue. Leurs grilles de hachage diffèrent dans 30 carrés, encadrés en rouge.
Le pHash d'un second téléversement inséré (en haut) et d'une photo de client avec sa propre photo du catalogue (en bas). Chaque hachage compte 64 bits, dessinés en 8 × 8 carrés : noir pour 1, blanc pour 0. Photos : John Philip Green, 準建築人手札網站 Forgemind ArchiMedia, CC BY 2.0, via Open Images; la photo de client est synthétique, créée par notre code à partir de la seconde.
Description textuelle du diagramme

La figure a deux rangées. La rangée du haut montre les deux téléversements de la même photo d’un fauteuil noir sur un tapis. Le second téléversement est légèrement recadré et plus clair. À côté figurent leurs deux hachages, chacun représenté par une grille de 8 × 8 carrés noirs et blancs. Les grilles sont presque identiques : seuls 6 des 64 carrés diffèrent, encadrés en rouge. La rangée du bas montre la photo de client du bol blanc et sa propre photo du catalogue. Leurs grilles diffèrent dans 30 des 64 carrés, ce que donnent habituellement deux photos sans rapport.

Les seconds téléversements insérés diffèrent de 6 à 18 bits. La recherche de doublons compare donc chaque paire parmi les 453 photos d’entraînement et garde les paires sous un seuil :

Garder les paires avec au plus Paires trouvées Seconds téléversements insérés parmi elles
4 bits 0 0 sur 6
8 bits 2 2 sur 6
12 bits 6 3 sur 6
16 bits 45 5 sur 6

À 8 bits, les deux paires trouvées sont des paires insérées : aucune fausse paire, mais seulement 2 sur 6. À 16 bits, 5 sur 6 sont trouvées parmi 45 paires, donc une personne doit examiner 45 paires. C’est le compromis habituel : un seuil moins strict trouve plus de résultats et demande plus de vérifications. Dans le module 3, les plongements trouvaient 5 ou 6 des 6 paires insérées parmi leurs 10 paires les plus semblables.

Voyons maintenant la rangée du bas de la figure. Une photo de client et sa propre photo du catalogue diffèrent d’une médiane de 30 bits. Des photos sans rapport diffèrent de 32. Aucune des 160 photos de clients ne se trouve à 16 bits ou moins de sa propre photo du catalogue. Un pHash résiste à un léger recadrage et à un changement de luminosité. Il ne résiste pas à un nouvel angle ni à une nouvelle photo. C’est pourquoi son score était de 0,019 plus haut.

Un pHash trouve donc les copies de la même photo : il est rapide et n’exige aucun modèle. Un plongement trouve le même produit dans une nouvelle photo. Pour les paires et groupes d’enregistrements pouvant représenter la même chose, le cours sur l’appariement d’enregistrements va plus loin. Il n’est pas encore sur le site.

Erreur courante

Le produit absent du catalogue

Symptôme : Omar teste la recherche avec une photo de théière. Larkfield ne vend pas de théières. La recherche renvoie quand même cinq produits, avec une première réponse qui semble sûre. L’équipe de soutien envoie au client un lien vers un vase.

Cause : une recherche des plus proches voisins renvoie toujours les éléments les plus proches, même quand aucun n’est le bon. Elle ne dit jamais « aucun de ceux-ci ». L’équipe du cours a mesuré l’ampleur du problème. Pour chaque photo de client, elle a retiré la bonne photo du catalogue, puis relancé la recherche. Avec DINOv2, le cosinus médian de la bonne photo est de 0,673. Quand la bonne photo manque, la meilleure photo restante a quand même une médiane de 0,515.

Correction : ajoutez un seuil « aucune correspondance » : sous un certain cosinus, la réponse est « introuvable, demandez à une personne ». Un seuil de 0,469 conserve 95 % des bonnes correspondances. Mais 64 % des recherches d’un produit absent le dépassent encore. Pour CLIP, 99,4 % le dépassent. Un seuil seul est donc peu efficace. Montrez le top 5 à une personne et gardez un bouton « aucun de ceux-ci » pour elle.

Conséquence pour le travail en IA : toute recherche et tout classificateur répondent, peu importe ce que vous leur donnez. Avant d’utiliser la réponse, demandez-vous ce que fait le système avec une entrée sans bonne réponse. Mesurez-le, comme ici, en cachant volontairement la bonne réponse.

Utilisez une recherche par plongements quand une personne a besoin d’une courte liste de candidats. Exemples : « quel produit précis est-ce? » ou « montrer des produits semblables ». Elle n’exige aucune étiquette : DINOv2 a trouvé le bon produit en premier pour 0,944 des photos de clients, sans aucun entraînement. Le coût est d’un plongement par photo, soit environ 14 ms sur le processeur d’un portable. Il faut aussi quelques kilooctets pour stocker chacun.

Ne l’utilisez pas comme décision finale. Une correspondance est une suggestion. Deux produits peuvent se ressembler presque parfaitement et différer par leur taille ou leur prix. Le produit du client peut aussi être absent du catalogue. La bougie est le produit le moins bien trouvé par DINOv2 au rang 1. 85 % des photos de bougies trouvent la bonne bougie en premier, car beaucoup de bougies se ressemblent. Quand un numéro de commande ou un code-barres est disponible, utilisez-le d’abord. Quand ne pas le construire revient sur ce point.

  1. Ouvrez le carnet à partir de l’encadré Faites cette leçon dans un carnet Jupyter en haut de cette page.
  2. Exécutez les cellules de préparation. La deuxième se termine par une ligne Ready: (prêt).
  3. Exécutez la section 1. Elle montre trois photos de clients à côté de leurs photos du catalogue.
  4. Avant d’exécuter la section 2, prédisez lequel des trois modèles trouve le plus souvent la bonne photo en premier.
  5. Exécutez la section 2. Comparez ses trois lignes avec le tableau ci-dessus.
  6. Exécutez la section 3. Elle montre une photo que CLIP ne trouve pas. Regardez ses trois premières réponses : qu’ont-elles en commun avec la photo du client?

Dans la section 4 du carnet, calculez le rappel à 5 des plongements de DINOv2 avec cp.recall_at_k. Mettez-le dans dinov2_r5, puis exécutez la cellule de vérification. Changez ensuite une condition : calculez le rappel à 1 et à 10 pour ResNet-18. Quel k montreriez-vous à l’équipe de soutien?

Afficher la réponse
dinov2_r5 = cp.recall_at_k(ranked("dinov2"), truth, 5)
print(dinov2_r5)
0.9875

La vérification l’arrondit à 0,988 : 158 des 160 bonnes photos figurent parmi les 5 premières réponses de DINOv2. Pour ResNet-18, cp.recall_at_k(ranked("resnet18"), truth, 1) donne 0,581 et k=10 donne 0,831. Avec ResNet-18, une personne aurait besoin d’environ 10 suggestions pour trouver la plupart des produits. Avec DINOv2, 5 suffisent, et la première est la bonne 94,4 % du temps.

Vérifiez votre compréhension

Le rappel à 1 est de 0,562 pour CLIP et de 0,944 pour DINOv2 sur les mêmes photos de clients. CLIP était le meilleur modèle pour les classes au module 3. Expliquez la différence dans vos propres mots.

Afficher la réponse

Les deux modèles répondent à des questions différentes. CLIP a appris à partir de photos avec des légendes. Son plongement décrit donc le type d’objet : « un bol blanc ». Tous les bols blancs ont des plongements proches. La recherche retourne donc des bols blancs, pas ce bol précis. DINOv2 a appris à partir de photos seulement, en appariant des images recadrées de la même photo. Son plongement conserve donc les détails d’un objet précis. Trouver le même produit exige ces détails. Les classes exigent le type d’objet. La taille du modèle (605 Mo contre 88 Mo) n’a pas déterminé le résultat.

Vérifiez votre compréhension

Votre recherche montre 5 suggestions à l'équipe de soutien. Quel nombre rapportez-vous : le rappel à 1, à 5 ou à 10? Et pourquoi un rappel à 5 de 0,988 ne signifie-t-il pas que la recherche est correcte 98,8 % du temps?

Afficher la réponse

Rapportez le rappel à 5, car une personne regarde 5 suggestions. Le rappel à 1 compte aussi si la première réponse est utilisée seule. Un rappel à 5 de 0,988 signifie que le bon produit figure parmi les 5 suggestions pour 98,8 % de ces photos de clients. Une personne doit encore le choisir. Ce nombre ne dit rien non plus sur les photos de produits absents du catalogue. La recherche retourne aussi 5 suggestions pour ces photos.

Vérifiez votre compréhension

Larkfield veut trouver les photos qu'un fournisseur a téléversées deux fois, et aussi apparier les photos de clients. Quel outil utiliseriez-vous pour chaque tâche, et pourquoi?

Afficher la réponse

Pour les photos téléversées deux fois, un hachage perceptuel. La même photo, légèrement recadrée ou plus claire, conserve presque les mêmes 64 bits. Les paires insérées diffèrent de 6 à 18 bits. Cette méthode est rapide et ne nécessite aucun modèle. Une personne vérifie les paires sous un seuil, par exemple 16 bits (45 paires, dont 5 des 6 paires insérées). Pour les photos de clients, une recherche par plongements avec DINOv2. Une nouvelle photo du même produit change environ la moitié des bits du hachage (médiane de 30 sur 64). pHash ne peut donc pas la trouver.

Récapitulatif

  • Une recherche par plus proches voisins compare un plongement à chaque plongement stocké et retourne les k premiers selon la similarité cosinus. Utilisez le même modèle des deux côtés.
  • Le rappel à k est la proportion de questions dont la bonne réponse figure parmi les k premières. Choisissez k selon le nombre de suggestions qu’une personne regarde.
  • Sur 160 photos de clients, DINOv2 small trouve le bon produit en premier dans une proportion de 0,944, et parmi les 5 premiers dans une proportion de 0,988. CLIP donne 0,562 et 0,756 : il trouve le type de produit, pas le produit précis. Les méthodes fondées sur les pixels donnent des résultats proches de zéro.
  • Un hachage perceptuel (64 bits, distance de Hamming) trouve les copies d’une même photo : les paires insérées diffèrent de 6 à 18 bits. Il ne peut pas trouver le même produit dans une nouvelle photo.
  • Une recherche donne toujours une réponse. Testez-la avec un produit absent, et gardez une personne et un choix « aucun de ces produits ».
  • Votre projet comprend vision match, et toujours 22 tests.

Vous pouvez maintenant trouver quel produit une photo montre. Mais Omar a aussi besoin de texte sur chaque produit : une description, sa couleur et son matériau. Il en faut pour les 733 photos et chaque nouvelle photo. Ensuite, vous interrogerez des modèles qui lisent une photo et écrivent du texte.

Leçon suivante : Les modèles vision-langage