Trouver le même produit
- Leçon 23
- 40 min
- Module 7 : Apparier, chercher et décrire
Où nous en sommes
Dans le module 3, les plongements nous ont aidés à trouver des classes et des erreurs d'étiquette. Ils indiquaient le type de produit montré dans une photo. Maintenant, un client envoie une photo, et nous devons trouver le produit précis qu'elle montre. Dans cette leçon, nous apparions les photos prises au téléphone au catalogue avec les plus proches voisins. Nous mesurons le rappel à k et trouvons des quasi-doublons. D'abord, voyons une employée au comptoir d'un magasin achalandé.
Leçon 23 sur 30 · IA de vision : voir, compter et inspecterTrouver le même produit
1. Voir est un problème d'affaires
2. Références de base et classificateurs préentraînés
3. Plongements, CLIP et peu d'étiquettes
4. Détecter et compter
5. Segmenter
6. Inspecter pour trouver les défauts
7. Apparier, chercher et décrire
8. Exploiter la vision en production
Ce que vous saurez faire
Trouvez le produit du catalogue montré dans une photo de client, puis les photos du catalogue téléversées deux fois. Les deux recherches reposent sur la ressemblance. On mesure leur qualité par la fréquence des bonnes réponses près du début de la liste.
Carnet JupyterFaites cette leçon dans un carnet Jupyter
Le carnet (notebook) Jupyter contient la recherche, un échec à examiner et une tâche avec une vérification. Ses cellules de préparation installent les paquets et téléchargent le catalogue et les photos des clients sous forme de fichiers zip. Aucun compte, aucune clé ni aucun téléchargement de modèle n’est nécessaire : les plongements sont dans les données. Environ 25 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Les plongements d’images et la similarité cosinus, présentés dans Les plongements d’images. Cette leçon les utilise pour une recherche.
- Les seconds téléversements insérés dans le catalogue, présentés dans Les étiquettes : combien, et de quelle qualité.
Ce qu’il vous faut sur votre ordinateur
- Avec le carnet : Colab, Kaggle ou Jupyter. Rien à installer.
- Avec le projet : votre dossier
larkvisionà côté denextia-learning-labs, à l’instantanéend-of-m06, avec son.venv. La préparation est décrite dans Fixer les seuils avec l’entrepôt.python -m pytest -qaffiche22 passed(22 tests réussis). Cette leçon ajoute un fichier.
Testé avec Python 3.12.13 sur macOS, dans Jupyter et dans un terminal. Les commandes Windows, Linux, Colab et Kaggle n’ont pas été testées.
L’employée au comptoir
Section intitulée « L’employée au comptoir »Une cliente arrive au comptoir d’un magasin avec son téléphone. « J’ai acheté ce bol ici l’an dernier. J’en veux deux autres. » Elle montre une photo prise chez elle, d’en haut, sous la lumière jaune de la cuisine. L’employée ne lit le nom du bol nulle part. Elle regarde la photo, puis longe les étagères. Elle s’arrête devant les trois bols les plus ressemblants et place le téléphone à côté de chacun. Après une minute, elle le trouve.
Elle a fait deux choses. D’abord, elle a cherché par ressemblance : elle n’a pas vérifié chaque article, seulement les quelques articles les plus ressemblants. Ensuite, elle a vérifié : elle a comparé la photo à chaque candidat avant de répondre. Une bonne recherche fait vite la première partie et laisse la seconde à une personne.
Le problème : le même produit, une autre photo
Section intitulée « Le problème : le même produit, une autre photo »Larkfield reçoit de telles photos chaque jour. Un client écrit « c’est arrivé cassé » ou « je veux le même » et joint une photo prise au téléphone. Quelqu’un doit trouver le produit parmi les 733 photos du catalogue. Les 160 photos de clients du cours les représentent. Notre code a créé chacune à partir d’une photo de test du catalogue. Il a changé l’angle, réduit le produit sur une table et ajouté un mauvais éclairage. Il a aussi ajouté une dominante de couleur, du flou et du bruit. Ces photos sont synthétiques, et chacune correspond à exactement une bonne photo du catalogue.
La première idée consiste à comparer directement les photos. Deux méthodes simples le font :
- L’histogramme de couleurs de Règles et histogrammes de couleurs compte les couleurs de chaque photo.
- Un hachage perceptuel transforme chaque photo en 64 bits. Cette leçon l’explique dans sa seconde moitié.
Les deux échouent. L’histogramme de couleurs trouve la bonne photo parmi ses cinq premières réponses pour 0,087 des photos de clients : environ 1 sur 11. Le hachage perceptuel y arrive pour 0,019 : 3 photos sur 160. La lumière jaune de la cuisine du client change toutes les couleurs. Le nouvel angle déplace chaque partie du produit. Une description des pixels ne permet pas de trouver le même produit dans une nouvelle photo.
L’idée : chercher avec des plongements
Section intitulée « L’idée : chercher avec des plongements »Vous avez déjà une meilleure description. Un plongement (embedding) décrit ce qu’une photo montre, plutôt que ses pixels. Les photos semblables ont des plongements qui pointent dans une direction semblable. La recherche fonctionne donc comme l’employée au comptoir :
- Stockez une fois le plongement de chaque photo du catalogue.
- Quand une photo de client arrive, calculez son plongement avec le même modèle.
- Calculez la similarité cosinus avec chaque plongement stocké.
- Affichez les photos du catalogue aux cosinus les plus élevés, la meilleure en premier.
C’est la recherche des plus proches voisins : la réponse contient les éléments stockés les plus proches de la question. La liste des k premières réponses est le top k. Pour 733 photos, calculer les cosinus prend moins d’une milliseconde.
Voici une photo de client montrant un bol blanc avec une cuillère noire, et le top 5 de deux modèles :

Description textuelle du diagramme
La figure a deux rangées, une par modèle. Chaque rangée commence par la même photo de client : un petit bol blanc avec une cuillère noire sur une carte grise. La photo est un peu floue et inclinée. Dans la première rangée, DINOv2 small place la bonne photo du catalogue en premier, avec un cosinus de 0,75. Les quatre réponses suivantes sont d’autres bols et une tasse, avec des cosinus allant de 0,58 à 0,47. C’est bien en dessous de la première réponse. Dans la seconde rangée, CLIP renvoie cinq bols et tasses blancs avec des cosinus allant de 0,65 à 0,61. Ces valeurs sont toutes proches, et aucun des produits n’est le bon bol. CLIP classe le bon bol au sixième rang.
Les deux modèles ont trouvé des bols blancs. Seul DINOv2 a trouvé ce bol blanc. Regardez aussi les cosinus. La première réponse de DINOv2 devance largement la seconde (0,75 contre 0,58). Les cinq réponses de CLIP sont presque égales. Un écart net entre la première et la seconde réponse est un indice utile d’une vraie correspondance.
Un petit exemple détaillé : le rappel à k
Section intitulée « Un petit exemple détaillé : le rappel à k »Comment évaluer une recherche? Pour chaque photo de client, trouvez le rang de la bonne photo du catalogue : 1 si elle est première, 2 si elle est deuxième, et ainsi de suite. Le rappel à k est la proportion de photos de clients dont la bonne photo a un rang de k ou mieux. Voici les quatre premières photos de clients avec CLIP :
| Photo de client | Produit | Rang de la bonne photo (CLIP) | Dans le top 1? | Dans le top 5? |
|---|---|---|---|---|
| C-9cb24dd8 | bol | 1 | oui | oui |
| C-e8d1feae | bol (la figure) | 6 | non | non |
| C-e4d89d21 | bol | 1 | oui | oui |
| C-2218b07f | bol | 1 | oui | oui |
Trois des quatre bonnes photos sont premières, donc le rappel à 1 est de 3 / 4 = 0,75. Le rappel à 5 est aussi de 3 / 4 = 0,75, car le rang 6 est hors du top 5. Le rappel à 10 est de 4 / 4 = 1,0. Un k plus grand donne toujours un rappel égal ou supérieur. Choisissez k selon la façon dont les gens utilisent le résultat. Si une personne regarde 5 suggestions, mesurez le rappel à 5.
Les résultats sur 160 photos de clients
Section intitulée « Les résultats sur 160 photos de clients »L’équipe du cours a exécuté cinq méthodes sur les mêmes 160 photos de clients et les mêmes 733 photos du catalogue :
Description textuelle du graphique
Un diagramme à cinq colonnes sur un axe de 0 à 1. Histogramme de couleurs : 0,087. Hachage perceptuel : 0,019. Plongements ResNet-18 : 0,756. Plongements CLIP : 0,756. Plongements DINOv2 small : 0,988, mis en évidence. Les deux méthodes fondées sur les pixels sont proches de zéro. DINOv2 dépasse largement les deux autres méthodes de plongement.
| Méthode | Rappel à 1 | Rappel à 5 | Produit le moins bien trouvé (à 5) | Taille du modèle | Temps sur processeur par photo |
|---|---|---|---|---|---|
| Histogramme de couleurs | 0,019 | 0,087 | bol (0,05) | aucun | 0,86 ms |
| Hachage perceptuel | 0,013 | 0,019 | bol (0,00) | aucun | 2,94 ms |
| ResNet-18 | 0,581 | 0,756 | pot de fleurs (0,45) | 47 Mo | 13,7 ms |
| CLIP ViT-B/32 | 0,562 | 0,756 | chaise (0,65) | 605 Mo | 7,67 ms |
| DINOv2 small | 0,944 | 0,988 | coussin (0,95) | 88 Mo | 13,64 ms |
Les temps correspondent à une photo dans un lot de 32, avec 4 fils d’exécution, sur le portable du cours. Avec DINOv2, la bonne photo est première pour 151 des 160 photos de clients. Elle occupe les rangs 2 à 5 pour 7, et les rangs 6 à 10 pour 2. Avec CLIP, elle est première pour seulement 90, et 22 bonnes photos ne figurent même pas dans le top 10.
Pourquoi le plus petit modèle gagne
Section intitulée « Pourquoi le plus petit modèle gagne »Tomás est surpris. « CLIP fait 605 Mo, et DINOv2 small seulement 88 Mo. Un plus gros modèle devrait mieux voir. » Priya explique que les deux modèles ont appris des choses différentes.
CLIP a appris à partir de photos et de leurs légendes. Une légende dit « un bol blanc sur une table », sans préciser lequel. CLIP a donc appris à distinguer le type d’objet, et il place tous les bols blancs près les uns des autres.
DINOv2 a appris à partir de photos seulement. Il a comparé différentes images recadrées issues d’une même photo. Il a appris à reconnaître qu’elles montrent le même objet. Il conserve donc les détails d’un objet : la forme du bord, l’angle de la cuillère. C’est exactement ce qu’il faut pour trouver le même produit.
C’est donc la question qui détermine le modèle. Pour « quel type de produit est-ce? », choisissez CLIP. Pour « quel produit précis est-ce? », choisissez DINOv2. La taille du modèle n’a pas déterminé le choix.
Ajouter la recherche à votre projet
Section intitulée « Ajouter la recherche à votre projet »Le projet reçoit la recherche sous forme de commande, vision match. Elle lit les plongements stockés dans les données du cours, donc aucun téléchargement de modèle n’est nécessaire. Vérifiez d’abord l’emplacement : vous devez être dans votre dossier larkvision, avec l’environnement virtuel actif.
-
Ouvrez un terminal et allez dans votre dossier
larkvision. Activez l’environnement virtuel :source .venv/bin/activatesur macOS et Linux,.venv\Scripts\Activate.ps1sur Windows. -
Si ce terminal est nouveau, définissez à nouveau
LARKVISION_DATA. Cette variable existe seulement dans le terminal où vous la définissez :Fenêtre de terminal export LARKVISION_DATA="$(cd ../nextia-learning-labs/C42/data && pwd)"Fenêtre de terminal $env:LARKVISION_DATA = (Resolve-Path ..\nextia-learning-labs\C42\data).Path -
Copiez le fichier de cette leçon depuis l’instantané
end-of-m07:Fenêtre de terminal S=../nextia-learning-labs/C42/snapshots/end-of-m07cp "$S/larkvision/commands/match.py" larkvision/commands/match.pyFenêtre de terminal $S = "..\nextia-learning-labs\C42\snapshots\end-of-m07"Copy-Item "$S\larkvision\commands\match.py" larkvision\commands\match.py -
Exécutez les tests. Vous voyez encore
22 passed: le test de la nouvelle commande arrive avec Vérifier ce que dit un modèle vision-langage.Fenêtre de terminal python -m pytest -q -
Cherchez avec DINOv2 et affichez le top 5 des trois premières photos de clients :
Fenêtre de terminal vision match --embeddings dinov2 --show 3 -
Cherchez avec CLIP :
Fenêtre de terminal vision match --embeddings clip --show 3
L’étape 5 affiche :
DINOv2 small: 160 customer photos against 733 catalogue photos; recall at 1 0.944, at 5 0.988 C-9cb24dd8 (bowl): *P-9a3fc835, P-558af3a2, P-75598db9, P-60f9ab1c, P-aef88230 C-e8d1feae (bowl): *P-9d48a6c9, P-593a4ac1, P-1815e7a4, P-080e2d04, P-9650ea1d C-e4d89d21 (bowl): *P-9e093eaa, P-8fff6af0, P-0782f68e, P-3dd314fa, P-a8d9684cL’étape 6 affiche :
CLIP ViT-B/32 (OpenCLIP, laion2b_s34b_b79k): 160 customer photos against 733 catalogue photos; recall at 1 0.562, at 5 0.756 C-9cb24dd8 (bowl): *P-9a3fc835, P-7308e8ee, P-99a52778, P-a0ca8a5a, P-1c7efe8e C-e8d1feae (bowl): P-9e093eaa, P-9650ea1d, P-614eb253, P-78abb816, P-080e2d04 C-e4d89d21 (bowl): *P-9e093eaa, P-7308e8ee, P-3dd314fa, P-0152f9f0, P-4ef55c7eUne étoile marque la bonne photo du catalogue. La deuxième ligne de chaque sortie correspond à la photo de client de la figure ci-dessus. Chaque exécution ajoute une ligne à votre propre tableau : vision compare --task match l’affiche à la fin, avec la mention « (yours) » (vos résultats). vision match --k 10 mesure le rappel à 10. larkvision/commands/match.py contient la fonction rank : les quatre étapes décrites plus haut, en quatre lignes de NumPy.
Photos téléversées deux fois : les hachages perceptuels
Section intitulée « Photos téléversées deux fois : les hachages perceptuels »L’appariement a un second usage dans le catalogue. Dans Les étiquettes : combien, et de quelle qualité, vous avez découvert six photos d’entraînement présentes deux fois dans le catalogue. Les copies sont légèrement recadrées et plus claires. Nous avons inséré ce problème. Une photo présente deux fois dans le catalogue peut se retrouver dans les données d’entraînement et les données de test. Le score de test est alors trop bon.
Pour de tels quasi-doublons, un outil plus petit qu’un plongement suffit souvent : un hachage perceptuel. La méthode pHash fait quatre choses :
- Réduire la photo à 32 × 32 pixels en niveaux de gris.
- La décrire comme une somme de motifs, des plus lisses aux plus fins. (Le calcul est la transformée en cosinus discrète, aussi utilisée dans les fichiers JPEG.)
- Garder les 8 × 8 motifs les plus lisses : la disposition générale des zones claires et sombres.
- Écrire 1 pour chaque motif au-dessus de la valeur médiane, et 0 pour les autres. Le résultat contient 64 bits.
On compare deux hachages par la distance de Hamming : le nombre de bits qui diffèrent. Prenez deux courts hachages de 8 bits, inventés pour cet exemple : 10110010 et 10010011. Le troisième bit et le dernier bit diffèrent, donc la distance est de 2. Même photo : environ 0. Deux photos sans rapport : environ la moitié des bits, soit environ 32 sur 64.

Description textuelle du diagramme
La figure a deux rangées. La rangée du haut montre les deux téléversements de la même photo d’un fauteuil noir sur un tapis. Le second téléversement est légèrement recadré et plus clair. À côté figurent leurs deux hachages, chacun représenté par une grille de 8 × 8 carrés noirs et blancs. Les grilles sont presque identiques : seuls 6 des 64 carrés diffèrent, encadrés en rouge. La rangée du bas montre la photo de client du bol blanc et sa propre photo du catalogue. Leurs grilles diffèrent dans 30 des 64 carrés, ce que donnent habituellement deux photos sans rapport.
Les seconds téléversements insérés diffèrent de 6 à 18 bits. La recherche de doublons compare donc chaque paire parmi les 453 photos d’entraînement et garde les paires sous un seuil :
| Garder les paires avec au plus | Paires trouvées | Seconds téléversements insérés parmi elles |
|---|---|---|
| 4 bits | 0 | 0 sur 6 |
| 8 bits | 2 | 2 sur 6 |
| 12 bits | 6 | 3 sur 6 |
| 16 bits | 45 | 5 sur 6 |
À 8 bits, les deux paires trouvées sont des paires insérées : aucune fausse paire, mais seulement 2 sur 6. À 16 bits, 5 sur 6 sont trouvées parmi 45 paires, donc une personne doit examiner 45 paires. C’est le compromis habituel : un seuil moins strict trouve plus de résultats et demande plus de vérifications. Dans le module 3, les plongements trouvaient 5 ou 6 des 6 paires insérées parmi leurs 10 paires les plus semblables.
Voyons maintenant la rangée du bas de la figure. Une photo de client et sa propre photo du catalogue diffèrent d’une médiane de 30 bits. Des photos sans rapport diffèrent de 32. Aucune des 160 photos de clients ne se trouve à 16 bits ou moins de sa propre photo du catalogue. Un pHash résiste à un léger recadrage et à un changement de luminosité. Il ne résiste pas à un nouvel angle ni à une nouvelle photo. C’est pourquoi son score était de 0,019 plus haut.
Un pHash trouve donc les copies de la même photo : il est rapide et n’exige aucun modèle. Un plongement trouve le même produit dans une nouvelle photo. Pour les paires et groupes d’enregistrements pouvant représenter la même chose, le cours sur l’appariement d’enregistrements va plus loin. Il n’est pas encore sur le site.
Erreur courante
Le produit absent du catalogue
Symptôme : Omar teste la recherche avec une photo de théière. Larkfield ne vend pas de théières. La recherche renvoie quand même cinq produits, avec une première réponse qui semble sûre. L’équipe de soutien envoie au client un lien vers un vase.
Cause : une recherche des plus proches voisins renvoie toujours les éléments les plus proches, même quand aucun n’est le bon. Elle ne dit jamais « aucun de ceux-ci ». L’équipe du cours a mesuré l’ampleur du problème. Pour chaque photo de client, elle a retiré la bonne photo du catalogue, puis relancé la recherche. Avec DINOv2, le cosinus médian de la bonne photo est de 0,673. Quand la bonne photo manque, la meilleure photo restante a quand même une médiane de 0,515.
Correction : ajoutez un seuil « aucune correspondance » : sous un certain cosinus, la réponse est « introuvable, demandez à une personne ». Un seuil de 0,469 conserve 95 % des bonnes correspondances. Mais 64 % des recherches d’un produit absent le dépassent encore. Pour CLIP, 99,4 % le dépassent. Un seuil seul est donc peu efficace. Montrez le top 5 à une personne et gardez un bouton « aucun de ceux-ci » pour elle.
Conséquence pour le travail en IA : toute recherche et tout classificateur répondent, peu importe ce que vous leur donnez. Avant d’utiliser la réponse, demandez-vous ce que fait le système avec une entrée sans bonne réponse. Mesurez-le, comme ici, en cachant volontairement la bonne réponse.
Quand utiliser une recherche, et ce qu’elle coûte
Section intitulée « Quand utiliser une recherche, et ce qu’elle coûte »Utilisez une recherche par plongements quand une personne a besoin d’une courte liste de candidats. Exemples : « quel produit précis est-ce? » ou « montrer des produits semblables ». Elle n’exige aucune étiquette : DINOv2 a trouvé le bon produit en premier pour 0,944 des photos de clients, sans aucun entraînement. Le coût est d’un plongement par photo, soit environ 14 ms sur le processeur d’un portable. Il faut aussi quelques kilooctets pour stocker chacun.
Ne l’utilisez pas comme décision finale. Une correspondance est une suggestion. Deux produits peuvent se ressembler presque parfaitement et différer par leur taille ou leur prix. Le produit du client peut aussi être absent du catalogue. La bougie est le produit le moins bien trouvé par DINOv2 au rang 1. 85 % des photos de bougies trouvent la bonne bougie en premier, car beaucoup de bougies se ressemblent. Quand un numéro de commande ou un code-barres est disponible, utilisez-le d’abord. Quand ne pas le construire revient sur ce point.
Exercice guidé : chercher dans le carnet
Section intitulée « Exercice guidé : chercher dans le carnet »- Ouvrez le carnet à partir de l’encadré Faites cette leçon dans un carnet Jupyter en haut de cette page.
- Exécutez les cellules de préparation. La deuxième se termine par une ligne
Ready:(prêt). - Exécutez la section 1. Elle montre trois photos de clients à côté de leurs photos du catalogue.
- Avant d’exécuter la section 2, prédisez lequel des trois modèles trouve le plus souvent la bonne photo en premier.
- Exécutez la section 2. Comparez ses trois lignes avec le tableau ci-dessus.
- Exécutez la section 3. Elle montre une photo que CLIP ne trouve pas. Regardez ses trois premières réponses : qu’ont-elles en commun avec la photo du client?
À vous de jouer : le rappel à 5 pour DINOv2
Section intitulée « À vous de jouer : le rappel à 5 pour DINOv2 »Dans la section 4 du carnet, calculez le rappel à 5 des plongements de DINOv2 avec cp.recall_at_k. Mettez-le dans dinov2_r5, puis exécutez la cellule de vérification. Changez ensuite une condition : calculez le rappel à 1 et à 10 pour ResNet-18. Quel k montreriez-vous à l’équipe de soutien?
Afficher la réponse
dinov2_r5 = cp.recall_at_k(ranked("dinov2"), truth, 5)print(dinov2_r5)0.9875La vérification l’arrondit à 0,988 : 158 des 160 bonnes photos figurent parmi les 5 premières réponses de DINOv2. Pour ResNet-18, cp.recall_at_k(ranked("resnet18"), truth, 1) donne 0,581 et k=10 donne 0,831. Avec ResNet-18, une personne aurait besoin d’environ 10 suggestions pour trouver la plupart des produits. Avec DINOv2, 5 suffisent, et la première est la bonne 94,4 % du temps.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Le rappel à 1 est de 0,562 pour CLIP et de 0,944 pour DINOv2 sur les mêmes photos de clients. CLIP était le meilleur modèle pour les classes au module 3. Expliquez la différence dans vos propres mots.
Afficher la réponse
Les deux modèles répondent à des questions différentes. CLIP a appris à partir de photos avec des légendes. Son plongement décrit donc le type d’objet : « un bol blanc ». Tous les bols blancs ont des plongements proches. La recherche retourne donc des bols blancs, pas ce bol précis. DINOv2 a appris à partir de photos seulement, en appariant des images recadrées de la même photo. Son plongement conserve donc les détails d’un objet précis. Trouver le même produit exige ces détails. Les classes exigent le type d’objet. La taille du modèle (605 Mo contre 88 Mo) n’a pas déterminé le résultat.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Votre recherche montre 5 suggestions à l'équipe de soutien. Quel nombre rapportez-vous : le rappel à 1, à 5 ou à 10? Et pourquoi un rappel à 5 de 0,988 ne signifie-t-il pas que la recherche est correcte 98,8 % du temps?
Afficher la réponse
Rapportez le rappel à 5, car une personne regarde 5 suggestions. Le rappel à 1 compte aussi si la première réponse est utilisée seule. Un rappel à 5 de 0,988 signifie que le bon produit figure parmi les 5 suggestions pour 98,8 % de ces photos de clients. Une personne doit encore le choisir. Ce nombre ne dit rien non plus sur les photos de produits absents du catalogue. La recherche retourne aussi 5 suggestions pour ces photos.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Larkfield veut trouver les photos qu'un fournisseur a téléversées deux fois, et aussi apparier les photos de clients. Quel outil utiliseriez-vous pour chaque tâche, et pourquoi?
Afficher la réponse
Pour les photos téléversées deux fois, un hachage perceptuel. La même photo, légèrement recadrée ou plus claire, conserve presque les mêmes 64 bits. Les paires insérées diffèrent de 6 à 18 bits. Cette méthode est rapide et ne nécessite aucun modèle. Une personne vérifie les paires sous un seuil, par exemple 16 bits (45 paires, dont 5 des 6 paires insérées). Pour les photos de clients, une recherche par plongements avec DINOv2. Une nouvelle photo du même produit change environ la moitié des bits du hachage (médiane de 30 sur 64). pHash ne peut donc pas la trouver.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Une recherche par plus proches voisins compare un plongement à chaque plongement stocké et retourne les k premiers selon la similarité cosinus. Utilisez le même modèle des deux côtés.
- Le rappel à k est la proportion de questions dont la bonne réponse figure parmi les k premières. Choisissez k selon le nombre de suggestions qu’une personne regarde.
- Sur 160 photos de clients, DINOv2 small trouve le bon produit en premier dans une proportion de 0,944, et parmi les 5 premiers dans une proportion de 0,988. CLIP donne 0,562 et 0,756 : il trouve le type de produit, pas le produit précis. Les méthodes fondées sur les pixels donnent des résultats proches de zéro.
- Un hachage perceptuel (64 bits, distance de Hamming) trouve les copies d’une même photo : les paires insérées diffèrent de 6 à 18 bits. Il ne peut pas trouver le même produit dans une nouvelle photo.
- Une recherche donne toujours une réponse. Testez-la avec un produit absent, et gardez une personne et un choix « aucun de ces produits ».
- Votre projet comprend
vision match, et toujours 22 tests.
Vous pouvez maintenant trouver quel produit une photo montre. Mais Omar a aussi besoin de texte sur chaque produit : une description, sa couleur et son matériau. Il en faut pour les 733 photos et chaque nouvelle photo. Ensuite, vous interrogerez des modèles qui lisent une photo et écrivent du texte.
Leçon suivante : Les modèles vision-langage