Aller au contenu
English

Quand ne pas le construire

  • Leçon 26
  • 25 min
  • Module 7 : Apparier, chercher et décrire

Où nous en sommes

Dans ce cours, nous avons construit des règles, des classificateurs, des plongements, des détecteurs et des modèles vision-langage. Nous avons évalué chacun sur les mêmes photos. Parfois, la meilleure réponse n'est aucun de ces modèles. Dans cette leçon, nous examinons les problèmes qu'une meilleure caméra, un code-barres, un éclairage fixe ou une personne résolvent à moindre coût. Nous examinons aussi les tâches qui ne sont pas prêtes pour un modèle. D'abord, un escalier sombre.

Leçon 26 sur 30 · IA de vision : voir, compter et inspecterQuand ne pas le construire

Ce que vous saurez faire

Avant de construire un modèle de vision, vérifiez si un changement moins coûteux résout le problème. Ce peut être un code-barres, une meilleure caméra, un éclairage fixe ou une personne. Vérifiez aussi si la tâche est vraiment prête pour un modèle.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 25 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

Rien. Cette leçon ne contient ni code ni carnet Jupyter. Votre projet larkvision reste à l’instantané end-of-m07.

L’escalier qui mène au sous-sol d’un entrepôt est sombre, et les employés y trébuchent. Quelqu’un propose une caméra avec un modèle qui détecte les chutes et appelle à l’aide. Une autre personne achète une ampoule et peint le bord de chaque marche en jaune. Plus personne ne trébuche.

Le modèle aurait fonctionné, en un sens : il aurait vu les chutes. Mais il répondait à la mauvaise question. La question n’était pas « comment détecter une chute? » C’était « comment éviter les chutes? » La solution moins coûteuse a changé le lieu, pas son image.

Tomás a un plan. « Le modèle vision-langage hébergé lit les photos, compte les cartons et trouve les dommages. Utilisons-le pour tout. » Ce module et les précédents ont mesuré ce que cela donnerait :

  • Dommages sur les retours. Le modèle hébergé a déclaré endommagées 17 bougies en bon état sur 22. Si ce taux se maintenait pour les 600 retours de Hamid, cela coûterait environ 11 910 $ US par jour (une estimation). Sans aucune inspection, le coût est de 2 229,4 $ US.
  • Types de produits. Sur les mêmes 50 photos, la sonde CLIP a donné la bonne réponse pour 48, et le modèle hébergé pour 42.
  • Appariement. DINOv2 a trouvé le bon produit en premier pour 0,944 des photos des clients. Cela laisse tout de même 9 premières réponses erronées sur 160.
  • Petits dommages. Le plus petit dommage inséré, une tache de couleur, occupe 30 pixels dans la photo complète de la caméra. Il occupe 0,91 pixels à une largeur de 224 pixels. Aucun modèle ne trouve une tache plus petite qu’un pixel.

Chacun de ces problèmes a une solution moins coûteuse qu’un modèle plus gros. Certains ont une solution qui ne nécessite aucun modèle.

L’idée : essayer d’abord la solution moins coûteuse

Section intitulée « L’idée : essayer d’abord la solution moins coûteuse »

Avant de construire un modèle, posez quatre questions, dans cet ordre :

Quatre questions à la suite, chacune dans un encadré. 1 : Un code-barres, un numéro de commande ou un formulaire peut-il répondre? Si oui : utilisez-le, sans modèle. Sinon, passez à 2 : Pouvez-vous corriger la caméra, l'éclairage ou l'emplacement de l'article? Si oui : corrigez d'abord, puis mesurez de nouveau. Sinon, passez à 3 : Y a-t-il une solution de repli, une personne et un budget pour les cas incertains? Sinon : la tâche n'est pas prête, prévoyez la solution de repli. Si oui, passez à 4 : Les étiquettes sont-elles assez bonnes pour évaluer le modèle? Sinon : la tâche n'est pas prête, étiquetez des données de test. Si oui : construisez la méthode la plus simple qui fonctionne, et comparez-la à la solution moins coûteuse.
Quatre questions avant de construire un modèle de vision. Bleu : une voie à suivre. Rouge : la tâche n'est pas encore prête pour un modèle.
Description textuelle du diagramme

Le diagramme présente quatre questions dans l’ordre (l’une sous l’autre sur un téléphone). Première question : un code-barres, un numéro de commande ou un formulaire peut-il répondre? Si oui, utilisez-le, sans modèle. Sinon, deuxième question : pouvez-vous corriger la caméra, l’éclairage ou l’emplacement de l’article? Si oui, corrigez d’abord et mesurez de nouveau. Sinon, troisième question : y a-t-il une solution de repli, soit une personne et un budget pour les cas incertains? Sinon, la tâche n’est pas prête : prévoyez d’abord la solution de repli. Si oui, quatrième question : les étiquettes sont-elles assez bonnes pour évaluer le modèle? Sinon, la tâche n’est pas prête : étiquetez d’abord des données de test. Si oui, construisez la méthode la plus simple qui fonctionne, et comparez-la à la solution moins coûteuse.

Les deux premières questions cherchent une solution moins coûteuse. Cette solution élimine le problème, de sorte qu’aucun modèle n’est nécessaire, ou seulement un modèle simple. Les deux dernières questions vérifient que la tâche est prête. Sans solution de repli ni étiquettes pour l’évaluer, un modèle présente un risque, quelle que soit son exactitude.

Voici trois problèmes de Larkfield tirés de ce cours, chacun avec sa solution moins coûteuse :

Trois panneaux. 1, une tache de dommage : un coin agrandi d'une photo de lampion de 320 pixels de large. Une petite tache sombre de quelques pixels est encadrée en rouge. À côté, le même coin à 224 pixels de large, où la tache devient une marque pâle d'un ou deux pixels. Solution moins coûteuse : une meilleure caméra. 2, le même bol, deux éclairages : un bol blanc avec une cuillère noire sous l'éclairage du studio. La même photo apparaît aussi avec un éclairage jaune plus chaud, modifié par le code. Solution moins coûteuse : un éclairage fixe. 3, deux bols blancs : le bol blanc avec une cuillère noire, et un autre bol blanc uni vu du dessus. Solution moins coûteuse : un code-barres.
Trois problèmes avec une solution moins coûteuse qu'un modèle. Tache : une photo VisA (Amazon, CC BY 4.0), agrandie en pixels carrés. Bols : photos de 準建築人手札網站 Forgemind ArchiMedia, Chris Mear, CC BY 2.0, via Open Images; notre code a ajouté l'éclairage chaud.
Description textuelle du diagramme

Le premier panneau montre une petite partie d’un lampion endommagé, agrandie pour que chaque pixel soit un carré. À 320 pixels de large, la tache de couleur est une petite marque sombre d’environ 3,4 pixels. À 224 pixels de large, elle se réduit à environ 1,64 pixels et disparaît presque. La solution est une meilleure caméra, ou une caméra plus proche. Le deuxième panneau montre le même bol blanc avec une cuillère noire sous l’éclairage du studio. Il le montre aussi sous un éclairage plus chaud, ajouté par notre code. La solution est un éclairage fixe. Le troisième panneau montre deux bols blancs que CLIP a confondus. Il s’agit du bol avec la cuillère noire et d’un bol uni vu du dessus. La solution est un code-barres.

Un code-barres, un numéro de commande ou un formulaire

Section intitulée « Un code-barres, un numéro de commande ou un formulaire »

La plupart des retours arrivent avec un formulaire de retour et un numéro de commande. La commande indique exactement de quel produit il s’agit, sans photo ni modèle. Apparier une photo au catalogue est utile seulement si rien d’autre n’indique le produit. Par exemple, un client envoie un courriel avec une photo, mais sans numéro de commande. Même dans ce cas, l’équipe de soutien peut demander le numéro de commande avant de chercher.

Il en va de même pour tous les numéros imprimés. Si la réponse est écrite sur l’article ou son document, lisez-la au lieu de la deviner à partir de l’image. Un lecteur de codes-barres lit le numéro exact du produit. Le texte d’une étiquette, d’un reçu ou d’un formulaire de retour nécessite la ROC : la reconnaissance optique de caractères. Elle lit le texte imprimé à partir d’une image. C’est un autre problème. IA documentaire et multimodale enseigne comment lire les reçus, les documents numérisés et les formulaires, et montrer l’origine de chaque valeur.

Une meilleure caméra, un éclairage fixe, un emplacement fixe

Section intitulée « Une meilleure caméra, un éclairage fixe, un emplacement fixe »

Bien des problèmes de vision commencent à la caméra. La tache de couleur du premier panneau occupe 54 pixels dans la photo complète de la caméra. Les photos du cours font 320 pixels de large, donc elle occupe environ 3,4 pixels. Un modèle qui travaille à 224 pixels en voit environ 1,64. Un modèle plus gros ne peut pas voir des pixels absents. Une caméra plus proche de la bougie peut le faire. Un modèle qui travaille sur des parties de la photo complète le peut aussi.

Il en va de même pour l’éclairage. Sous l’éclairage plus chaud du nouveau studio, l’histogramme de couleurs est passé de 0,263 à 0,225 sur le test du catalogue. Rien d’autre n’avait changé. Une lampe fixe de couleur connue coûte peu. Il en va de même pour une carte grise dans le coin de chaque photo. Les deux éliminent le problème pour toutes les méthodes. Un emplacement fixe pour l’article aide aussi : une marque sur la table où placer chaque bougie. Avec une caméra, un éclairage et un emplacement fixes, même les règles de couleur du module 2 redeviennent utiles. Ce module l’a montré.

L’équipe de Hamid vérifie 100 retours par jour, à 0,50 $ US par vérification : 50 $ US par jour. C’est la solution de repli : là où vont les cas incertains. Sans solution de repli, un modèle doit décider seul pour chaque cas, y compris ceux où il se trompe.

Le meilleur modèle d’inspection du module 6 coûtait 369 $ US par jour sur les données de test. Sur le test caché, les mêmes seuils coûtaient 1 468,9 $ US par jour. Les seuils avaient été fixés à partir de seulement 12 photos de dommages. En utilisation réelle, il n’y a pas de test caché. Seules les vérifications de l’équipe sur un échantillon d’articles acceptés révéleraient une telle baisse. La présence d’une personne ne signifie pas que le modèle a échoué. La personne fait partie du système.

La dernière leçon a évalué trois attributs sur 50 photos étiquetées par une seule personne. Aucun champ n’a atteint 95 %. Une tâche avec trop peu d’étiquettes, ou des étiquettes créées par une seule personne, n’est pas prête pour un modèle autonome. Elle est prête pour un modèle qui aide les gens à étiqueter. Le premier investissement est un bon jeu de données de test, pas un modèle plus gros.

Trois signes indiquent qu’il faut attendre et corriger d’abord la tâche.

  • Des étiquettes de faible qualité. Si deux personnes étiquettent différemment la même photo, le modèle apprend leur désaccord. Les « lampes » du catalogue comprennent un four à verre et des citrouilles sculptées. Corrigez d’abord la règle d’étiquetage.
  • Une caméra instable. Si la caméra, sa position ou l’éclairage change sans prévenir, chaque mesure peut devenir fausse du jour au lendemain. Le module 8 montre un changement de caméra qui fait rejeter toutes les photos. Corrigez la caméra, ou prévoyez de mesurer de nouveau après chaque changement.
  • Aucune solution de repli. Si personne ne peut vérifier les cas incertains, on ne peut pas utiliser la confiance du modèle de façon sûre. Prévoyez d’abord le budget de révision.

La licence fait partie des critères pour être « prêt »

Section intitulée « La licence fait partie des critères pour être « prêt » »

Une autre vérification : Larkfield peut-elle utiliser le modèle dans un produit? Les poids de chaque modèle ont une licence, et ses données d’entraînement ont leurs propres conditions. Les poids timm de ResNet et de ConvNeXt utilisés dans ce cours sont sous licence Apache-2.0. Mais ils ont été entraînés sur ImageNet. Les conditions d’accès d’ImageNet, au point 1, indiquent : « Researcher shall use the Database only for non-commercial research and educational purposes. » (le chercheur doit utiliser la base de données seulement à des fins de recherche et d’enseignement non commerciales) Donc, « poids sous licence Apache-2.0 » ne suffit pas à déterminer si un magasin peut les utiliser. La même question s’applique à chaque modèle préentraîné et au code qui l’entoure. La famille YOLO et sa licence présente un détecteur populaire dont la licence exige le partage de votre code source. Avant d’intégrer un modèle à un produit, notez sa licence, ses données d’entraînement et les conditions de ces données. Consultez ensuite la personne de votre entreprise qui décide des licences.

C’est la décision principale du module. Pour chaque demande, comparez les trois familles de ce cours selon les mêmes trois questions.

Demande de Larkfield CLIP (zéro exemple ou une sonde) Un modèle entraîné sur nos photos Un modèle vision-langage
Trier les nouvelles photos du catalogue en 8 types Le meilleur, de peu. Sonde : 48 sur 50; zéro exemple : 0,925 sans étiquettes; environ 8 ms par photo 0,850 (ResNet-18 avec réglage fin), 0,894 (ResNet-50 gelé) : proches de CLIP, dans le bruit de 160 photos; nécessite 453 étiquettes 42 sur 50; 1,38 $ US pour 1 000; les photos quittent l’ordinateur
Texte de remplacement pour 733 photos Ne peut pas écrire de texte Ne peut pas écrire de texte Le meilleur. Une première version à corriger par une personne, environ 1 $ US au total
Bougies endommagées, 600 par jour Faible : la requête CLIP coûtait 1 013 $ US par jour ResNet-18 supervisé : 1 106 par jour; PatchCore (sans étiquettes de dommages) : 369 sur le test Déclare endommagées 17 bougies en bon état sur 22 : environ 11 900 par jour (une estimation)
Quel produit se trouve dans un colis retourné Trouve le type, pas l’article Inutile Inutile : lisez le numéro de commande ou le code-barres

Le tableau n’a pas de gagnant unique. CLIP gagne lorsqu’une liste fixe de classes et des réponses rapides suffisent. Un modèle entraîné gagne lorsque vous avez des étiquettes et un coût mesuré par jour. Un modèle vision-langage gagne seulement lorsque la réponse doit être du texte. Et pour la dernière demande, la meilleure réponse est de ne pas utiliser de modèle.

Erreur courante

Le modèle qui a corrigé le mauvais problème

Symptôme : après le changement des lampes du studio, l’exactitude du classificateur du catalogue baisse. Tomás consacre deux jours à une correction. Il modifie les couleurs des photos d’entraînement pour que le modèle apprenne à ignorer l’éclairage. Le changement d’exactitude est inférieur au bruit des 160 photos de test.

Cause : le problème était l’éclairage, pas le modèle. Dans le module 2, l’augmentation des couleurs donnait 0,863 contre 0,850 sans augmentation : environ deux photos, dans le bruit. La caméra du studio n’avait pas de balance des blancs fixe. La balance des blancs est le réglage qui fait paraître blanc un objet blanc sous n’importe quelle lampe.

Correction : corrigez d’abord la caméra. Réglez une balance des blancs fixe, ou placez une carte grise dans chaque photo pour corriger les couleurs. Une correction simple de ce type, la règle du monde gris, a fait passer l’histogramme de couleurs de 0,225 à 0,281. Ce résultat concerne les photos du nouveau studio. Le module 8 le mesure. Évaluez ensuite le modèle de nouveau sur les mêmes photos.

Conséquence pour le travail en IA : lorsqu’un modèle se dégrade, demandez d’abord ce qui a changé dans le monde. Ce peut être la caméra, l’éclairage, les produits ou les personnes qui prennent les photos. Un changement dans le monde coûte souvent moins cher à corriger dans le monde.

Omar ajoute une nouvelle catégorie de produits, les lanternes de jardin, avec environ 100 photos. Il veut classer chacune dans sa catégorie, et il veut du texte de remplacement. Hamid demande aussi si le modèle hébergé peut trouver les lanternes endommagées dans les retours. Pour chacune des trois demandes, choisissez CLIP, un modèle entraîné sur les photos de Larkfield, un modèle vision-langage ou aucun modèle. Donnez le coût, l’exactitude attendue et le principal risque. Utilisez les chiffres de ce module.

Afficher une réponse

Classer par catégorie : une sonde CLIP, après l’ajout d’environ 20 photos de lanternes étiquetées. Résultat attendu : proche du 0,929 obtenu avec 20 photos par classe dans Sondes linéaires et quelques exemples. Mesurez de nouveau sur des données de test comprenant des lanternes. Coût : quelques millisecondes par photo sur un processeur, sans frais par photo. Risque : les lanternes ressemblent aux lampes et aux bougeoirs. Vérifiez la classe la moins bonne et envoyez les photos incertaines à une personne.

Texte de remplacement : le modèle vision-langage hébergé, pour une première version. Coût : environ 1,38 $ US pour 1 000 photos, donc moins de 1 $ US ici. Exactitude : inconnue pour les lanternes; les champs du catalogue étaient corrects dans 84–93 % des cas sur 50 photos. Risque : des détails inventés; une personne lit et corrige chaque texte. Envoyez seulement des photos sans personnes.

Lanternes endommagées : aucun modèle pour l’instant. Il n’y a aucune lanterne endommagée étiquetée. Les fausses alertes du modèle hébergé sur les bougies coûteraient beaucoup plus cher que l’absence d’inspection. Recueillez d’abord des photos de lanternes en bon état avec une caméra et un éclairage fixes. Gardez l’équipe de Hamid comme solution de repli et étiquetez des données de test. Essayez ensuite PatchCore, qui nécessite seulement des photos d’articles en bon état, et fixez ses seuils avec Hamid.

Vérifiez votre compréhension

Le plus petit dommage inséré mesure 30 pixels dans la photo complète et 0,91 pixel à une largeur de 224 pixels. Tomás propose un modèle plus gros. Que proposez-vous plutôt, et pourquoi?

Afficher la réponse

Une meilleure caméra, une caméra plus proche ou une méthode qui traite des parties de la photo complète, plutôt qu’un modèle plus gros. À une largeur de 224 pixels, la tache couvre moins d’un pixel. Sa couleur se mélange à celle de la cire autour. L’information disparaît donc avant qu’un modèle la voie. Un modèle plus gros ne peut pas récupérer des pixels absents. Améliorer l’entrée aide toutes les méthodes, même les plus simples.

Vérifiez votre compréhension

Nommez les quatre questions à poser avant de construire un modèle de vision. Donnez un exemple chez Larkfield où la réponse à la première question est oui.

Afficher la réponse
  1. Un code-barres, un numéro de commande ou un formulaire peut-il répondre à la question? 2. Pouvez-vous corriger la caméra, l’éclairage ou la position de l’article? 3. Y a-t-il une solution de repli, une personne avec un budget pour les cas incertains? 4. Les étiquettes sont-elles assez bonnes pour mesurer le modèle? Exemple pour la première question : quel produit se trouve dans un colis retourné? Le formulaire de retour et son numéro de commande l’indiquent exactement. Il n’est donc pas nécessaire d’apparier les photos. Si la réponse est du texte imprimé, utilisez la reconnaissance optique de caractères (OCR), comme l’enseigne le cours sur l’IA documentaire. Ne devinez pas à partir de l’image.

Vérifiez votre compréhension

Les poids de ResNet-18 de timm utilisés dans ce cours sont sous licence Apache-2.0. Cela signifie-t-il que Larkfield peut les utiliser dans son produit? Que vérifieriez-vous?

Afficher la réponse

Pas à elle seule. La licence Apache-2.0 couvre le fichier de poids. L’entraînement de ces poids utilise ImageNet, dont les conditions d’accès permettent la recherche non commerciale et l’enseignement. Un magasin peut-il utiliser des poids entraînés sur ces données? La personne qui décide des licences dans l’entreprise doit répondre à cette question. Pour chaque modèle, notez sa licence, ses données d’entraînement et les conditions d’utilisation de ces données. Demandez ensuite une décision avant d’intégrer le modèle à un produit.

Récapitulatif

  • Avant de construire, posez quatre questions : un code-barres ou un formulaire? Une caméra, un éclairage ou une position à corriger? Une solution de repli avec un budget? Des étiquettes pour mesurer le modèle? Les deux premières cherchent une solution moins coûteuse. Les deux dernières vérifient que la tâche est prête.
  • Les réponses imprimées se lisent, elles ne se devinent pas. Utilisez un lecteur de codes-barres ou l’OCR enseignée dans IA documentaire et multimodale.
  • Un dommage de 0,91 pixel à une largeur de 224 pixels exige une meilleure caméra, pas un modèle plus gros. Un changement d’éclairage exige un éclairage fixe ou une carte grise.
  • Une personne fait partie du système. En usage réel, seules les vérifications de l’équipe sur un échantillon d’articles acceptés révèlent les seuils qui ne conviennent plus.
  • « Poids sous licence Apache-2.0 » ne règle pas la question de leur utilisation dans un produit. Vérifiez aussi les conditions d’utilisation des données d’entraînement.
  • Aucune famille ne gagne dans tous les cas. Utilisez CLIP pour des classes fixes, et un modèle entraîné si vous disposez d’étiquettes et d’un coût mesuré. Utilisez un modèle vision-langage si la réponse doit être en mots, et aucun modèle si un numéro de commande suffit.

Vous pouvez maintenant décider s’il faut construire un modèle, et lequel. Mais tous les chiffres présentés jusqu’ici viennent de photos prises dans les mêmes conditions que les données d’entraînement. Ensuite, la caméra, l’éclairage ou les produits changent. Vous découvrirez comment détecter ce changement avant qu’il augmente les coûts de Hamid.

Leçon suivante : Le décalage de domaine