Quand ne pas le construire
- Leçon 26
- 25 min
- Module 7 : Apparier, chercher et décrire
Où nous en sommes
Dans ce cours, nous avons construit des règles, des classificateurs, des plongements, des détecteurs et des modèles vision-langage. Nous avons évalué chacun sur les mêmes photos. Parfois, la meilleure réponse n'est aucun de ces modèles. Dans cette leçon, nous examinons les problèmes qu'une meilleure caméra, un code-barres, un éclairage fixe ou une personne résolvent à moindre coût. Nous examinons aussi les tâches qui ne sont pas prêtes pour un modèle. D'abord, un escalier sombre.
Leçon 26 sur 30 · IA de vision : voir, compter et inspecterQuand ne pas le construire
1. Voir est un problème d'affaires
2. Références de base et classificateurs préentraînés
3. Plongements, CLIP et peu d'étiquettes
4. Détecter et compter
5. Segmenter
6. Inspecter pour trouver les défauts
7. Apparier, chercher et décrire
8. Exploiter la vision en production
Ce que vous saurez faire
Avant de construire un modèle de vision, vérifiez si un changement moins coûteux résout le problème. Ce peut être un code-barres, une meilleure caméra, un éclairage fixe ou une personne. Vérifiez aussi si la tâche est vraiment prête pour un modèle.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Les coûts des retours de Hamid, dans Le retour qui a coûté deux fois.
- Les seuils qui n’ont pas tenu sur le test caché, dans Fixer les seuils avec l’entrepôt.
- L’appariement et les résultats des modèles vision-langage, dans les trois leçons précédentes de ce module.
Ce qu’il vous faut sur votre ordinateur
Rien. Cette leçon ne contient ni code ni carnet Jupyter. Votre projet larkvision reste à l’instantané end-of-m07.
L’escalier sombre
Section intitulée « L’escalier sombre »L’escalier qui mène au sous-sol d’un entrepôt est sombre, et les employés y trébuchent. Quelqu’un propose une caméra avec un modèle qui détecte les chutes et appelle à l’aide. Une autre personne achète une ampoule et peint le bord de chaque marche en jaune. Plus personne ne trébuche.
Le modèle aurait fonctionné, en un sens : il aurait vu les chutes. Mais il répondait à la mauvaise question. La question n’était pas « comment détecter une chute? » C’était « comment éviter les chutes? » La solution moins coûteuse a changé le lieu, pas son image.
Le problème : un modèle pour tout
Section intitulée « Le problème : un modèle pour tout »Tomás a un plan. « Le modèle vision-langage hébergé lit les photos, compte les cartons et trouve les dommages. Utilisons-le pour tout. » Ce module et les précédents ont mesuré ce que cela donnerait :
- Dommages sur les retours. Le modèle hébergé a déclaré endommagées 17 bougies en bon état sur 22. Si ce taux se maintenait pour les 600 retours de Hamid, cela coûterait environ 11 910 $ US par jour (une estimation). Sans aucune inspection, le coût est de 2 229,4 $ US.
- Types de produits. Sur les mêmes 50 photos, la sonde CLIP a donné la bonne réponse pour 48, et le modèle hébergé pour 42.
- Appariement. DINOv2 a trouvé le bon produit en premier pour 0,944 des photos des clients. Cela laisse tout de même 9 premières réponses erronées sur 160.
- Petits dommages. Le plus petit dommage inséré, une tache de couleur, occupe 30 pixels dans la photo complète de la caméra. Il occupe 0,91 pixels à une largeur de 224 pixels. Aucun modèle ne trouve une tache plus petite qu’un pixel.
Chacun de ces problèmes a une solution moins coûteuse qu’un modèle plus gros. Certains ont une solution qui ne nécessite aucun modèle.
L’idée : essayer d’abord la solution moins coûteuse
Section intitulée « L’idée : essayer d’abord la solution moins coûteuse »Avant de construire un modèle, posez quatre questions, dans cet ordre :
Description textuelle du diagramme
Le diagramme présente quatre questions dans l’ordre (l’une sous l’autre sur un téléphone). Première question : un code-barres, un numéro de commande ou un formulaire peut-il répondre? Si oui, utilisez-le, sans modèle. Sinon, deuxième question : pouvez-vous corriger la caméra, l’éclairage ou l’emplacement de l’article? Si oui, corrigez d’abord et mesurez de nouveau. Sinon, troisième question : y a-t-il une solution de repli, soit une personne et un budget pour les cas incertains? Sinon, la tâche n’est pas prête : prévoyez d’abord la solution de repli. Si oui, quatrième question : les étiquettes sont-elles assez bonnes pour évaluer le modèle? Sinon, la tâche n’est pas prête : étiquetez d’abord des données de test. Si oui, construisez la méthode la plus simple qui fonctionne, et comparez-la à la solution moins coûteuse.
Les deux premières questions cherchent une solution moins coûteuse. Cette solution élimine le problème, de sorte qu’aucun modèle n’est nécessaire, ou seulement un modèle simple. Les deux dernières questions vérifient que la tâche est prête. Sans solution de repli ni étiquettes pour l’évaluer, un modèle présente un risque, quelle que soit son exactitude.
Voici trois problèmes de Larkfield tirés de ce cours, chacun avec sa solution moins coûteuse :

Description textuelle du diagramme
Le premier panneau montre une petite partie d’un lampion endommagé, agrandie pour que chaque pixel soit un carré. À 320 pixels de large, la tache de couleur est une petite marque sombre d’environ 3,4 pixels. À 224 pixels de large, elle se réduit à environ 1,64 pixels et disparaît presque. La solution est une meilleure caméra, ou une caméra plus proche. Le deuxième panneau montre le même bol blanc avec une cuillère noire sous l’éclairage du studio. Il le montre aussi sous un éclairage plus chaud, ajouté par notre code. La solution est un éclairage fixe. Le troisième panneau montre deux bols blancs que CLIP a confondus. Il s’agit du bol avec la cuillère noire et d’un bol uni vu du dessus. La solution est un code-barres.
Un code-barres, un numéro de commande ou un formulaire
Section intitulée « Un code-barres, un numéro de commande ou un formulaire »La plupart des retours arrivent avec un formulaire de retour et un numéro de commande. La commande indique exactement de quel produit il s’agit, sans photo ni modèle. Apparier une photo au catalogue est utile seulement si rien d’autre n’indique le produit. Par exemple, un client envoie un courriel avec une photo, mais sans numéro de commande. Même dans ce cas, l’équipe de soutien peut demander le numéro de commande avant de chercher.
Il en va de même pour tous les numéros imprimés. Si la réponse est écrite sur l’article ou son document, lisez-la au lieu de la deviner à partir de l’image. Un lecteur de codes-barres lit le numéro exact du produit. Le texte d’une étiquette, d’un reçu ou d’un formulaire de retour nécessite la ROC : la reconnaissance optique de caractères. Elle lit le texte imprimé à partir d’une image. C’est un autre problème. IA documentaire et multimodale enseigne comment lire les reçus, les documents numérisés et les formulaires, et montrer l’origine de chaque valeur.
Une meilleure caméra, un éclairage fixe, un emplacement fixe
Section intitulée « Une meilleure caméra, un éclairage fixe, un emplacement fixe »Bien des problèmes de vision commencent à la caméra. La tache de couleur du premier panneau occupe 54 pixels dans la photo complète de la caméra. Les photos du cours font 320 pixels de large, donc elle occupe environ 3,4 pixels. Un modèle qui travaille à 224 pixels en voit environ 1,64. Un modèle plus gros ne peut pas voir des pixels absents. Une caméra plus proche de la bougie peut le faire. Un modèle qui travaille sur des parties de la photo complète le peut aussi.
Il en va de même pour l’éclairage. Sous l’éclairage plus chaud du nouveau studio, l’histogramme de couleurs est passé de 0,263 à 0,225 sur le test du catalogue. Rien d’autre n’avait changé. Une lampe fixe de couleur connue coûte peu. Il en va de même pour une carte grise dans le coin de chaque photo. Les deux éliminent le problème pour toutes les méthodes. Un emplacement fixe pour l’article aide aussi : une marque sur la table où placer chaque bougie. Avec une caméra, un éclairage et un emplacement fixes, même les règles de couleur du module 2 redeviennent utiles. Ce module l’a montré.
Une personne et un budget
Section intitulée « Une personne et un budget »L’équipe de Hamid vérifie 100 retours par jour, à 0,50 $ US par vérification : 50 $ US par jour. C’est la solution de repli : là où vont les cas incertains. Sans solution de repli, un modèle doit décider seul pour chaque cas, y compris ceux où il se trompe.
Le meilleur modèle d’inspection du module 6 coûtait 369 $ US par jour sur les données de test. Sur le test caché, les mêmes seuils coûtaient 1 468,9 $ US par jour. Les seuils avaient été fixés à partir de seulement 12 photos de dommages. En utilisation réelle, il n’y a pas de test caché. Seules les vérifications de l’équipe sur un échantillon d’articles acceptés révéleraient une telle baisse. La présence d’une personne ne signifie pas que le modèle a échoué. La personne fait partie du système.
Des étiquettes pour l’évaluer
Section intitulée « Des étiquettes pour l’évaluer »La dernière leçon a évalué trois attributs sur 50 photos étiquetées par une seule personne. Aucun champ n’a atteint 95 %. Une tâche avec trop peu d’étiquettes, ou des étiquettes créées par une seule personne, n’est pas prête pour un modèle autonome. Elle est prête pour un modèle qui aide les gens à étiqueter. Le premier investissement est un bon jeu de données de test, pas un modèle plus gros.
Les tâches qui ne sont pas prêtes pour un modèle
Section intitulée « Les tâches qui ne sont pas prêtes pour un modèle »Trois signes indiquent qu’il faut attendre et corriger d’abord la tâche.
- Des étiquettes de faible qualité. Si deux personnes étiquettent différemment la même photo, le modèle apprend leur désaccord. Les « lampes » du catalogue comprennent un four à verre et des citrouilles sculptées. Corrigez d’abord la règle d’étiquetage.
- Une caméra instable. Si la caméra, sa position ou l’éclairage change sans prévenir, chaque mesure peut devenir fausse du jour au lendemain. Le module 8 montre un changement de caméra qui fait rejeter toutes les photos. Corrigez la caméra, ou prévoyez de mesurer de nouveau après chaque changement.
- Aucune solution de repli. Si personne ne peut vérifier les cas incertains, on ne peut pas utiliser la confiance du modèle de façon sûre. Prévoyez d’abord le budget de révision.
La licence fait partie des critères pour être « prêt »
Section intitulée « La licence fait partie des critères pour être « prêt » »Une autre vérification : Larkfield peut-elle utiliser le modèle dans un produit? Les poids de chaque modèle ont une licence, et ses données d’entraînement ont leurs propres conditions. Les poids timm de ResNet et de ConvNeXt utilisés dans ce cours sont sous licence Apache-2.0. Mais ils ont été entraînés sur ImageNet. Les conditions d’accès d’ImageNet, au point 1, indiquent : « Researcher shall use the Database only for non-commercial research and educational purposes. » (le chercheur doit utiliser la base de données seulement à des fins de recherche et d’enseignement non commerciales) Donc, « poids sous licence Apache-2.0 » ne suffit pas à déterminer si un magasin peut les utiliser. La même question s’applique à chaque modèle préentraîné et au code qui l’entoure. La famille YOLO et sa licence présente un détecteur populaire dont la licence exige le partage de votre code source. Avant d’intégrer un modèle à un produit, notez sa licence, ses données d’entraînement et les conditions de ces données. Consultez ensuite la personne de votre entreprise qui décide des licences.
Choisir selon le coût, l’exactitude et le risque
Section intitulée « Choisir selon le coût, l’exactitude et le risque »C’est la décision principale du module. Pour chaque demande, comparez les trois familles de ce cours selon les mêmes trois questions.
| Demande de Larkfield | CLIP (zéro exemple ou une sonde) | Un modèle entraîné sur nos photos | Un modèle vision-langage |
|---|---|---|---|
| Trier les nouvelles photos du catalogue en 8 types | Le meilleur, de peu. Sonde : 48 sur 50; zéro exemple : 0,925 sans étiquettes; environ 8 ms par photo | 0,850 (ResNet-18 avec réglage fin), 0,894 (ResNet-50 gelé) : proches de CLIP, dans le bruit de 160 photos; nécessite 453 étiquettes | 42 sur 50; 1,38 $ US pour 1 000; les photos quittent l’ordinateur |
| Texte de remplacement pour 733 photos | Ne peut pas écrire de texte | Ne peut pas écrire de texte | Le meilleur. Une première version à corriger par une personne, environ 1 $ US au total |
| Bougies endommagées, 600 par jour | Faible : la requête CLIP coûtait 1 013 $ US par jour | ResNet-18 supervisé : 1 106 par jour; PatchCore (sans étiquettes de dommages) : 369 sur le test | Déclare endommagées 17 bougies en bon état sur 22 : environ 11 900 par jour (une estimation) |
| Quel produit se trouve dans un colis retourné | Trouve le type, pas l’article | Inutile | Inutile : lisez le numéro de commande ou le code-barres |
Le tableau n’a pas de gagnant unique. CLIP gagne lorsqu’une liste fixe de classes et des réponses rapides suffisent. Un modèle entraîné gagne lorsque vous avez des étiquettes et un coût mesuré par jour. Un modèle vision-langage gagne seulement lorsque la réponse doit être du texte. Et pour la dernière demande, la meilleure réponse est de ne pas utiliser de modèle.
Erreur courante
Le modèle qui a corrigé le mauvais problème
Symptôme : après le changement des lampes du studio, l’exactitude du classificateur du catalogue baisse. Tomás consacre deux jours à une correction. Il modifie les couleurs des photos d’entraînement pour que le modèle apprenne à ignorer l’éclairage. Le changement d’exactitude est inférieur au bruit des 160 photos de test.
Cause : le problème était l’éclairage, pas le modèle. Dans le module 2, l’augmentation des couleurs donnait 0,863 contre 0,850 sans augmentation : environ deux photos, dans le bruit. La caméra du studio n’avait pas de balance des blancs fixe. La balance des blancs est le réglage qui fait paraître blanc un objet blanc sous n’importe quelle lampe.
Correction : corrigez d’abord la caméra. Réglez une balance des blancs fixe, ou placez une carte grise dans chaque photo pour corriger les couleurs. Une correction simple de ce type, la règle du monde gris, a fait passer l’histogramme de couleurs de 0,225 à 0,281. Ce résultat concerne les photos du nouveau studio. Le module 8 le mesure. Évaluez ensuite le modèle de nouveau sur les mêmes photos.
Conséquence pour le travail en IA : lorsqu’un modèle se dégrade, demandez d’abord ce qui a changé dans le monde. Ce peut être la caméra, l’éclairage, les produits ou les personnes qui prennent les photos. Un changement dans le monde coûte souvent moins cher à corriger dans le monde.
À vous : une demande, trois familles
Section intitulée « À vous : une demande, trois familles »Omar ajoute une nouvelle catégorie de produits, les lanternes de jardin, avec environ 100 photos. Il veut classer chacune dans sa catégorie, et il veut du texte de remplacement. Hamid demande aussi si le modèle hébergé peut trouver les lanternes endommagées dans les retours. Pour chacune des trois demandes, choisissez CLIP, un modèle entraîné sur les photos de Larkfield, un modèle vision-langage ou aucun modèle. Donnez le coût, l’exactitude attendue et le principal risque. Utilisez les chiffres de ce module.
Afficher une réponse
Classer par catégorie : une sonde CLIP, après l’ajout d’environ 20 photos de lanternes étiquetées. Résultat attendu : proche du 0,929 obtenu avec 20 photos par classe dans Sondes linéaires et quelques exemples. Mesurez de nouveau sur des données de test comprenant des lanternes. Coût : quelques millisecondes par photo sur un processeur, sans frais par photo. Risque : les lanternes ressemblent aux lampes et aux bougeoirs. Vérifiez la classe la moins bonne et envoyez les photos incertaines à une personne.
Texte de remplacement : le modèle vision-langage hébergé, pour une première version. Coût : environ 1,38 $ US pour 1 000 photos, donc moins de 1 $ US ici. Exactitude : inconnue pour les lanternes; les champs du catalogue étaient corrects dans 84–93 % des cas sur 50 photos. Risque : des détails inventés; une personne lit et corrige chaque texte. Envoyez seulement des photos sans personnes.
Lanternes endommagées : aucun modèle pour l’instant. Il n’y a aucune lanterne endommagée étiquetée. Les fausses alertes du modèle hébergé sur les bougies coûteraient beaucoup plus cher que l’absence d’inspection. Recueillez d’abord des photos de lanternes en bon état avec une caméra et un éclairage fixes. Gardez l’équipe de Hamid comme solution de repli et étiquetez des données de test. Essayez ensuite PatchCore, qui nécessite seulement des photos d’articles en bon état, et fixez ses seuils avec Hamid.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Le plus petit dommage inséré mesure 30 pixels dans la photo complète et 0,91 pixel à une largeur de 224 pixels. Tomás propose un modèle plus gros. Que proposez-vous plutôt, et pourquoi?
Afficher la réponse
Une meilleure caméra, une caméra plus proche ou une méthode qui traite des parties de la photo complète, plutôt qu’un modèle plus gros. À une largeur de 224 pixels, la tache couvre moins d’un pixel. Sa couleur se mélange à celle de la cire autour. L’information disparaît donc avant qu’un modèle la voie. Un modèle plus gros ne peut pas récupérer des pixels absents. Améliorer l’entrée aide toutes les méthodes, même les plus simples.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Nommez les quatre questions à poser avant de construire un modèle de vision. Donnez un exemple chez Larkfield où la réponse à la première question est oui.
Afficher la réponse
- Un code-barres, un numéro de commande ou un formulaire peut-il répondre à la question? 2. Pouvez-vous corriger la caméra, l’éclairage ou la position de l’article? 3. Y a-t-il une solution de repli, une personne avec un budget pour les cas incertains? 4. Les étiquettes sont-elles assez bonnes pour mesurer le modèle? Exemple pour la première question : quel produit se trouve dans un colis retourné? Le formulaire de retour et son numéro de commande l’indiquent exactement. Il n’est donc pas nécessaire d’apparier les photos. Si la réponse est du texte imprimé, utilisez la reconnaissance optique de caractères (OCR), comme l’enseigne le cours sur l’IA documentaire. Ne devinez pas à partir de l’image.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Les poids de ResNet-18 de timm utilisés dans ce cours sont sous licence Apache-2.0. Cela signifie-t-il que Larkfield peut les utiliser dans son produit? Que vérifieriez-vous?
Afficher la réponse
Pas à elle seule. La licence Apache-2.0 couvre le fichier de poids. L’entraînement de ces poids utilise ImageNet, dont les conditions d’accès permettent la recherche non commerciale et l’enseignement. Un magasin peut-il utiliser des poids entraînés sur ces données? La personne qui décide des licences dans l’entreprise doit répondre à cette question. Pour chaque modèle, notez sa licence, ses données d’entraînement et les conditions d’utilisation de ces données. Demandez ensuite une décision avant d’intégrer le modèle à un produit.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Avant de construire, posez quatre questions : un code-barres ou un formulaire? Une caméra, un éclairage ou une position à corriger? Une solution de repli avec un budget? Des étiquettes pour mesurer le modèle? Les deux premières cherchent une solution moins coûteuse. Les deux dernières vérifient que la tâche est prête.
- Les réponses imprimées se lisent, elles ne se devinent pas. Utilisez un lecteur de codes-barres ou l’OCR enseignée dans IA documentaire et multimodale.
- Un dommage de 0,91 pixel à une largeur de 224 pixels exige une meilleure caméra, pas un modèle plus gros. Un changement d’éclairage exige un éclairage fixe ou une carte grise.
- Une personne fait partie du système. En usage réel, seules les vérifications de l’équipe sur un échantillon d’articles acceptés révèlent les seuils qui ne conviennent plus.
- « Poids sous licence Apache-2.0 » ne règle pas la question de leur utilisation dans un produit. Vérifiez aussi les conditions d’utilisation des données d’entraînement.
- Aucune famille ne gagne dans tous les cas. Utilisez CLIP pour des classes fixes, et un modèle entraîné si vous disposez d’étiquettes et d’un coût mesuré. Utilisez un modèle vision-langage si la réponse doit être en mots, et aucun modèle si un numéro de commande suffit.
Vous pouvez maintenant décider s’il faut construire un modèle, et lequel. Mais tous les chiffres présentés jusqu’ici viennent de photos prises dans les mêmes conditions que les données d’entraînement. Ensuite, la caméra, l’éclairage ou les produits changent. Vous découvrirez comment détecter ce changement avant qu’il augmente les coûts de Hamid.
Leçon suivante : Le décalage de domaine