Vérifier ce que dit un modèle vision-langage
- Leçon 25
- 40 min
- Module 7 : Apparier, chercher et décrire
Où nous en sommes
Dans la dernière leçon, les modèles vision-langage ont donné des réponses fluides, et nous avons vérifié leur format. Une réponse au bon format peut quand même être fausse. Dans cette leçon, nous mesurons l'exactitude des attributs avec les étiquettes et repérons les détails inventés et les erreurs de comptage. Nous comparons aussi le coût par 1 000 images avec CLIP et un classificateur. D'abord, une nouvelle collègue qui écrit très bien.
Leçon 25 sur 30 · IA de vision : voir, compter et inspecterVérifier ce que dit un modèle vision-langage
1. Voir est un problème d'affaires
2. Références de base et classificateurs préentraînés
3. Plongements, CLIP et peu d'étiquettes
4. Détecter et compter
5. Segmenter
6. Inspecter pour trouver les défauts
7. Apparier, chercher et décrire
8. Exploiter la vision en production
Ce que vous saurez faire
Découvrez à quelle fréquence un modèle vision-langage donne la bonne réponse, champ par champ, et où il invente des détails. Décidez ensuite quelles réponses peuvent servir sans intervention humaine, et si un modèle moins cher fait mieux le travail.
Carnet JupyterFaites cette leçon dans un carnet Jupyter
Le carnet (notebook) Jupyter évalue les réponses enregistrées des deux modèles à partir des étiquettes. Il montre chaque mauvaise réponse avec sa photo et propose une tâche avec une vérification. Il ne nécessite ni compte, ni clé, ni modèle. Ses cellules de préparation téléchargent le catalogue, les palettes et les enregistrements (environ 21 Mo). Environ 35 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Les deux modèles, les réponses enregistrées et la sortie structurée, dans Les modèles vision-langage.
- L’exactitude et le coût de chaque type d’erreur, dans Le retour qui a coûté deux fois et Fixer les seuils avec l’entrepôt.
Ce qu’il vous faut sur votre ordinateur
- Le parcours avec carnet : Colab, Kaggle ou Jupyter. Rien à installer.
- Le parcours avec projet : votre dossier
larkvisionavecvision match, de Trouver le même produit, et22 passed(22 tests réussis). Cette leçon ajoute une commande et ses tests.
Testé avec Python 3.12.13 sur macOS, dans Jupyter et dans un terminal. Les commandes Windows, Linux, Colab et Kaggle n’ont pas été testées.
La collègue qui écrit bien
Section intitulée « La collègue qui écrit bien »Omar embauche une nouvelle collègue pour rédiger des descriptions de produits. Ses textes sont excellents : clairs, chaleureux, sans fautes d’orthographe. Le premier jour, elle en écrit 50. Avant leur publication sur le site, Omar en prend 10 et compare chaque texte avec son produit. Huit sont parfaits. Un texte décrit une bougie blanche comme « verte ». Un autre décrit un vase qui est en fait un panier métallique rempli d’œufs.
Omar ne cesse pas de lui faire confiance. Il apprend où elle fait des erreurs et continue à vérifier ce type de champ jusqu’à ce qu’elle s’améliore. La qualité de l’écriture rendait les erreurs plus difficiles à voir, pas moins probables.
Le problème : une réponse fluide n’est pas forcément juste
Section intitulée « Le problème : une réponse fluide n’est pas forcément juste »Voici deux réponses enregistrées du modèle hébergé, dont chaque partie a été évaluée à partir de la photo :

Description textuelle du diagramme
La première photo porte l’étiquette pot de fleurs. Elle montre des tulipes, de petites fleurs roses et de la verdure dans un panier métallique rempli d’œufs rayés. Le panier est sur une table en bois. Le modèle a écrit qu’« un vase en céramique aux formes empilées et nervurées, blanches, grises et brunes » contient les fleurs. Les fleurs, les couleurs et la table sont justes. Le vase en céramique est inventé : les œufs rayés ressemblent à des formes nervurées, et le modèle en a fait un vase. Son type de produit (vase) et son matériau (céramique) sont donc faux aussi. La deuxième photo, étiquetée bougie, montre deux bougies blanches dans un emballage de papier vert imprimé de marguerites. Celle de devant est allumée, et des mots sont imprimés en bas. Le modèle les a appelées « bougies cylindriques vertes ». La cire est blanche et l’emballage est vert, donc « vertes » est discutable. Tout le reste est juste, mais le texte de remplacement ne mentionne pas les mots imprimés.
La première réponse est du type dangereux. La majeure partie est juste et précise : tulipes violettes, petites fleurs roses, table en bois. Au milieu, elle décrit un objet qui n’existe pas. Un lecteur qui vérifie deux détails et les trouve justes croira le troisième. On dit qu’un modèle qui présente un détail inventé comme un fait hallucine. Dans ce cours, nous disons détail inventé, car c’est ce que le lecteur reçoit.
La deuxième réponse montre un autre problème. La couleur principale d’une bougie blanche dans un emballage vert est-elle blanche ou verte? La question ne le précisait pas. Avant de déclarer une réponse fausse, il vous faut des étiquettes et une règle claire pour chaque champ.
L’idée : évaluer chaque champ à partir des étiquettes
Section intitulée « L’idée : évaluer chaque champ à partir des étiquettes »Pour mesurer le modèle, il vous faut les bonnes réponses pour certaines photos : les étiquettes. Le cours fournit des étiquettes pour les mêmes 50 photos de test du catalogue que les modèles ont décrites :
- Le type de produit vient des étiquettes du catalogue.
- La couleur principale et le matériau ont été étiquetés par une personne, à l’œil. Quand deux réponses sont acceptables, l’étiquette indique les deux, par exemple
yellow|orange(jaune ou orange). 18 étiquettes de couleur et 5 étiquettes de matériau en ont deux. Quand la photo ne montre pas le matériau, l’étiquette estunclear(indéterminé), et ce champ n’est pas évalué : 6 photos.
Un seul annotateur constitue une base fragile. Une deuxième personne ne serait pas d’accord pour certaines photos, et vous ne sauriez pas laquelle a raison. Considérez ces étiquettes comme suffisantes pour comparer les deux modèles, pas comme la vérité.
Le score d’un champ est son exactitude : le nombre de bonnes réponses divisé par le nombre de réponses évaluées.
Exemple détaillé : cinq photos
Section intitulée « Exemple détaillé : cinq photos »| Photo | Étiquette (type / couleur / matériau) | Réponse du modèle hébergé | Type | Couleur | Matériau |
|---|---|---|---|---|---|
| P-9a3fc835 | bol / blanc / céramique | autre / blanc / céramique | faux | juste | juste |
| P-a2f50fc3 | bol / noir / indéterminé | bol / rouge / verre | juste | faux | non évalué |
| P-7efd7bd8 | bougie / blanc / cire | bougie / vert / cire | juste | faux | juste |
| P-830b42bf | bougie / blanc / cire ou verre | bougie / blanc / cire | juste | juste | juste |
| P-84e4c4bf | bougie / jaune ou orange / cire | bougie / jaune / cire | juste | juste | juste |
Comptez chaque colonne. Type de produit : 4 bonnes réponses sur 5, soit 80 %. Couleur : 3 sur 5, soit 60 %. Matériau : 4 sur 4, soit 100 %, car un matériau n’est pas évalué. Cinq photos sont bien trop peu pour s’y fier : une photo de plus change un score de 20 points. Le même décompte sur les 50 photos donne le résultat réel.
Les résultats sur 50 photos
Section intitulée « Les résultats sur 50 photos »- Modèle hébergé
- SmolVLM-256M
Description textuelle du graphique
Un diagramme avec trois paires de colonnes, sur un axe de 0 à 1. Type de produit : modèle hébergé 0,84, SmolVLM 0,2. Couleur principale : modèle hébergé 0,86, SmolVLM 0,4. Matériau : modèle hébergé 0,932, SmolVLM 0,25. Les colonnes du modèle hébergé sont trois à quatre fois plus hautes que celles du petit modèle.
Le modèle hébergé trouve correctement 42 types de produits sur 50 (84 %), 43 couleurs sur 50 (86 %) et 41 matériaux sur 44 (93 %). Le petit modèle est faible pour tous les champs : 10 types sur 50, 20 couleurs sur 50 et 11 matériaux sur 44. La plupart de ses réponses étaient du JSON invalide, et il appelle beaucoup d’objets des bols.
Regardez chaque mauvais type de produit
Section intitulée « Regardez chaque mauvais type de produit »Un nombre indique la fréquence. Seules les photos expliquent pourquoi. Voici les huit mauvais types de produits du modèle hébergé :
| Photo | Étiquette | Réponse | Ce que montre la photo (notre interprétation, à l’œil) |
|---|---|---|---|
| P-9a3fc835 | bol | autre | une assiette de crêpes devant; le bol est au bord : discutable |
| P-3b954756 | chaise | autre | une chaise de jardin en bois; le texte de remplacement dit « table de pique-nique » : le modèle se trompe |
| P-42ae5214 | chaise | coussin | un coussin fleuri sur une chaise longue en osier : discutable |
| P-b0244e29 | lampe | autre | une boule lumineuse dans un four, pas une lampe : l’étiquette est probablement fausse |
| P-b0286c43 | lampe | autre | une ampoule en gros plan : discutable |
| P-a8d9684c | tasse | vase | une tasse sans anse : discutable |
| P-53ba97e3 | pot de fleurs | vase | le panier d’œufs de la figure : le modèle se trompe (il a inventé un vase en céramique) |
| P-92630ff3 | vase | autre | une cruche peinte : discutable |
Pour cinq des huit « erreurs », une personne attentive pourrait donner l’une ou l’autre réponse. Une étiquette est probablement fausse. Seules deux sont des erreurs claires du modèle. C’est fréquent : quand vous vérifiez un bon modèle, beaucoup de désaccords viennent des étiquettes et de la question, pas du modèle. La solution est une question plus claire, de meilleures étiquettes et une personne pour les réponses « autre ».
Les sept mauvaises couleurs racontent une histoire semblable. Le modèle a dit « transparent » pour deux verres à bière que l’annotateur a étiquetés jaunes à cause de la bière. Il a dit « multicolore » pour une photo de chaise, en décrivant le coussin dessus. Deux des sept cas méritent un examen plus attentif : le modèle a nommé une couleur absente du produit. Appeler un bol noir « rouge » (P-a2f50fc3, à côté d’un bol rouge) est une erreur claire. Appeler la bougie blanche « verte » est discutable, comme nous l’avons vu : son emballage est vert.
Les choix possibles dans les étiquettes comptent aussi. Évaluez seulement le premier choix de chaque étiquette, et le score de couleur du modèle hébergé passe de 43 à 39 sur 50. Le matériau passe de 41 à 39 sur 44. Votre façon d’étiqueter détermine une partie du score.
Quel est notre degré de certitude?
Section intitulée « Quel est notre degré de certitude? »Avec 50 photos, une photo représente 2 points. Un intervalle de confiance à 95 % donne l’intervalle des exactitudes réelles compatibles avec ce que nous avons observé. L’intervalle de Wilson est courant pour une proportion, et le carnet le calcule :
Description textuelle du graphique
Trois lignes sur un axe de 0,6 à 1, avec une ligne verticale à 0,95. Type de produit : 0,84, intervalle de 0,715 à 0,917. Couleur principale : 0,86, intervalle de 0,738 à 0,93. Matériau : 0,932, intervalle de 0,818 à 0,977. Chaque intervalle descend bien sous la ligne de 0,95, et seul celui du matériau la traverse.
La règle d’Omar (une hypothèse) : un champ est publié sans révision seulement s’il est juste au moins 95 % du temps. Aucun champ ne le démontre. Le matériau est le plus proche, à 0,932, mais son intervalle descend à 0,818. Pour démontrer 95 % avec une certaine certitude, Omar a besoin de quelques centaines de photos étiquetées, pas de 50. En attendant, le modèle aide les annotateurs : il remplit une première réponse, et une personne l’accepte ou la corrige. Accepter une bonne réponse prend quelques secondes, et en écrire une prend environ une minute (une hypothèse).
Compter et vérifier les retours
Section intitulée « Compter et vérifier les retours »Les deux modèles ont aussi répondu à deux autres questions enregistrées. Ils ont compté les cartons sur les 30 photos dessinées de palettes de test. Ils ont aussi indiqué si une bougie était endommagée, sur 40 photos de test des retours.

Description textuelle du diagramme
L’image de gauche, S-063, montre 22 cartons empilés de façon serrée sur une palette, sur quatre étages. Le modèle hébergé a dit 22, et SmolVLM a dit 12. L’image de droite, S-066, montre 51 cartons sur six étages. Le modèle hébergé a dit 51, et SmolVLM a dit 4.
Le modèle hébergé a compté exactement les 30 palettes : une erreur de comptage de 0. Le détecteur réglé finement du module 4 avait une erreur de 2,5 cartons, et la règle des étiquettes, de 5,23. Mais ces palettes sont des dessins simples créés par notre code : couleurs unies, une étiquette blanche par carton, aucun emballage plastique, aucune ombre. Les vraies palettes dans un vrai entrepôt sont beaucoup plus difficiles. L’étude de cas sur le comptage, à la fin du cours, utilise de vraies photos. L’erreur de SmolVLM est de 12,3 cartons, et de 27 sur les palettes serrées : il en compte toujours trop peu.
Pour les bougies, c’est différent. Le modèle hébergé a trouvé les 18 bougies endommagées, mais il a aussi déclaré endommagées 17 bougies en bon état sur 22. Il voit des « dommages » presque partout. Combien cela coûterait-il à Hamid? Supposons (une estimation) que ces taux sur 40 photos restent valables pour ses 600 retours par jour. La proportion d’articles endommagés serait celle des données de test. Alors environ 425 bougies en bon état par jour iraient au magasin de liquidation, à 28 $ US chacune. Cela représenterait environ 11 910 $ US par jour. Remettre tous les retours en vente sans vérification coûte 2 229,4 $ US. Le meilleur inspecteur du module 6 coûtait 369 $ US sur les données de test. Le modèle lui-même ne coûterait que 0,83 $ US par jour. Le modèle est bon marché. Ses erreurs ne le sont pas.
Comparer avec CLIP et un classificateur entraîné
Section intitulée « Comparer avec CLIP et un classificateur entraîné »Pour le type de produit, Larkfield a déjà des méthodes. Une sonde est un petit classificateur ajouté aux plongements stockés, de Sondes linéaires et quelques exemples. L’équipe du cours a exécuté les sondes du projet sur les mêmes 50 photos :
| Méthode | Type de produit, les mêmes 50 photos | Photos étiquetées nécessaires | Temps processeur par 1 000 photos | Coût par 1 000 photos |
|---|---|---|---|---|
| Sonde CLIP, classes équilibrées | 48 sur 50 | 453 | environ 8 s | aucun (votre processeur) |
| Sonde DINOv2, classes équilibrées | 44 sur 50 | 453 | environ 14 s | aucun (votre processeur) |
| Modèle vision-langage hébergé | 42 sur 50 | 0 | environ 90 minutes, une après l’autre (5,4 s chacune) | 1,38 $ US |
| SmolVLM-256M | 10 sur 50 | 0 | environ 73 minutes (4,4 s chacune) | aucun (votre processeur) |
Sur les 160 photos de test, CLIP en zéro exemple atteint 0,925 sans aucune photo étiquetée. Le ResNet-18 réglé finement au module 2 atteint 0,850. Les temps processeur sont les temps de calcul des plongements du tableau comparatif : une photo dans un lot de 32, avec 4 fils d’exécution.
Pour « lequel des huit types connus est-ce? », la sonde CLIP gagne dans chaque colonne sauf celle des étiquettes. Elle répond juste plus souvent, est environ 700 fois plus rapide et ne coûte rien par photo. Le modèle vision-langage gagne seulement quand il n’y a pas d’étiquettes, ou quand la réponse doit être en mots. Exemples : texte de remplacement, nouvel attribut ou question pour laquelle personne n’a entraîné de modèle.
Ajouter la vérification à votre projet
Section intitulée « Ajouter la vérification à votre projet »Le projet reçoit la notation sous forme de commande, vision vlm. Elle réexécute les réponses enregistrées des données du cours : aucun modèle ni aucune clé.
-
Allez dans votre dossier
larkvision, activez.venvet définissezLARKVISION_DATAsi vous ouvrez un nouveau terminal (comme dans Trouver le même produit). -
Copiez la commande, les tests de ce module et le README depuis l’instantané
end-of-m07:Fenêtre de terminal S=../nextia-learning-labs/C42/snapshots/end-of-m07cp "$S/larkvision/commands/vlm.py" larkvision/commands/vlm.pycp "$S/tests/test_match.py" tests/test_match.pycp "$S/README.md" .Fenêtre de terminal $S = "..\nextia-learning-labs\C42\snapshots\end-of-m07"Copy-Item "$S\larkvision\commands\vlm.py" larkvision\commands\vlm.pyCopy-Item "$S\tests\test_match.py" tests\test_match.pyCopy-Item "$S\README.md" . -
Exécutez les tests. Vous voyez
24 passed(24 tests réussis) :Fenêtre de terminal python -m pytest -q -
Notez les réponses enregistrées du modèle hébergé :
Fenêtre de terminal vision vlm --model hosted -
Notez les réponses enregistrées du petit modèle et affichez ses 3 premières réponses incorrectes :
Fenêtre de terminal vision vlm --model local --wrong 3
L’étape 4 affiche :
Recorded answers of gpt-6.1-sol-2026-09-29 (120 answers, replayed from a file): product_type 42/50 right (84%) main_colour 43/50 right (86%) material 41/44 right (93%) box count on 30 pallet photos: error 0.0 boxes (bias +0.0); loose 0.0, medium 0.0, tight 0.0 damaged candles: found 18 of 18; called 17 of 22 good candles damaged wrong: P-9a3fc835 product_type: said 'other', label 'bowl' wrong: P-3b954756 product_type: said 'other', label 'chair' wrong: P-42ae5214 product_type: said 'cushion', label 'chair' wrong: P-b0244e29 product_type: said 'other', label 'lamp' wrong: P-b0286c43 product_type: said 'other', label 'lamp'L’étape 5 affiche :
Recorded answers of HuggingFaceTB/SmolVLM-256M-Instruct@7e3e67edbb (120 answers, replayed from a file): product_type 10/50 right (20%) main_colour 20/50 right (40%) material 11/44 right (25%) box count on 30 pallet photos: error 12.3 boxes (bias -12.3); loose 1.7, medium 8.2, tight 27.0 damaged candles: found 6 of 18; called 1 of 22 good candles damaged wrong: P-9e093eaa product_type: said '', label 'bowl' wrong: P-7efd7bd8 product_type: said '', label 'candle' wrong: P-830b42bf product_type: said 'bowl', label 'candle'Une réponse vide (said '', « a répondu ‘’ ») est une réponse défectueuse qui ne fournit aucune valeur pour le champ. Votre projet correspond maintenant à l’instantané end-of-m07 : vision match et vision vlm, avec 24 tests. Les deux nouveaux tests utilisent un minuscule dossier de fausses données. Ils ne nécessitent donc aucun téléchargement.
Erreur courante
Les couleurs que personne n'a vérifiées
Symptôme : Tomás envoie les 733 photos du catalogue au modèle hébergé. Il ajoute les couleurs aux filtres du site sans révision. Une semaine plus tard, un client filtre les produits sur « bols rouges », commande P-a2f50fc3 et le retourne : le bol est noir.
Cause : le champ de couleur est correct environ 86 % du temps sur les photos étiquetées, avec un intervalle qui descend jusqu’à 0,738. À ce taux, environ 1 produit sur 7 a une couleur douteuse. Personne ne l’a mesuré avant la publication des couleurs. Rien sur la page n’indiquait qu’un modèle les avait écrites.
Correction : mesurez d’abord chaque champ sur des photos étiquetées, comme dans cette leçon. Publiez un champ sans révision seulement si son exactitude et son intervalle respectent la règle convenue avec Omar. D’ici là, le modèle fournit une première réponse et une personne la confirme. Continuez de vérifier un petit échantillon aléatoire chaque semaine, car les photos changent.
Conséquence pour le travail en IA : les erreurs d’un modèle atteignent les clients à la vitesse du modèle. Une valeur de filtre incorrecte représente un petit coût. Mais une commande retournée coûte à Larkfield plus que tout le mois d’appels au modèle.
Quand utiliser ces réponses, et à quel coût
Section intitulée « Quand utiliser ces réponses, et à quel coût »Utilisez les réponses d’un modèle vision-langage comme première ébauche pour une personne : texte de remplacement, couleurs, matériaux, nouvel attribut. Mesurez chaque champ sur des photos étiquetées avant de lui faire confiance. Envoyez les réponses « autre » et les réponses défectueuses à une personne.
Ne les utilisez pas comme décision finale quand une erreur coûte cher. Pour la vérification des bougies, les fausses alertes du modèle hébergé coûteraient plus cher que l’absence totale d’inspection. Ne l’utilisez pas pour une question qu’un classificateur entraîné ou une sonde résout déjà mieux et plus vite, comme le type de produit.
Le coût pour 1 000 photos est faible : 1,38 $ US pour le modèle hébergé. Le vrai coût vient des étiquettes nécessaires pour le vérifier et des erreurs que vous ne détectez pas.
Exercice guidé : noter les réponses dans le carnet
Section intitulée « Exercice guidé : noter les réponses dans le carnet »- Ouvrez le carnet (notebook) Jupyter depuis l’encadré Faites cette leçon dans un carnet Jupyter en haut de cette page.
- Exécutez les cellules de préparation. La deuxième se termine par une ligne
Ready:(prêt). - Exécutez la section 1. Elle affiche les premières réponses à côté de leurs étiquettes.
- Écrivez le code demandé à la section 2 et exécutez la cellule de vérification.
- Exécutez la section 3. Avant de relire le tableau ci-dessus, décidez pour chaque photo : modèle incorrect, étiquette incorrecte ou deux réponses acceptables?
- Exécutez les sections 4 à 6 : les intervalles, les décomptes et le coût pour 1 000 photos.
À vous de jouer : décider quels attributs nécessitent une révision
Section intitulée « À vous de jouer : décider quels attributs nécessitent une révision »Dans la section 2 du carnet, écrivez accuracy(answers). Pour chaque champ, cette fonction renvoie la proportion de réponses dont la valeur figure parmi les possibilités de l’étiquette. Elle ignore les étiquettes unclear (indéterminé). Placez accuracy(attrs["hosted"]) dans hosted_accuracy et exécutez la cellule de vérification. Notez ensuite le modèle local avec la même fonction. Enfin, décidez pour chaque champ : peut-il apparaître sur le site sans révision?
Afficher la réponse
def accuracy(answers): out = {} for f in FIELDS: right = scored = 0 for a in answers: truth = labels.loc[a["id"], f].split("|") if truth == ["unclear"]: continue scored += 1 right += norm((a["parsed"] or {}).get(f)) in [norm(t) for t in truth] out[f] = round(right / scored, 3) return out
hosted_accuracy = accuracy(attrs["hosted"])print(hosted_accuracy){'product_type': 0.84, 'main_colour': 0.86, 'material': 0.932}Le modèle local donne {'product_type': 0.2, 'main_colour': 0.4, 'material': 0.25}. La décision : aucun champ ne paraît sur le site sans révision. Chaque intervalle descend bien en dessous de 95 %. Pour le type de produit, utilisez la sonde CLIP (48 sur 50). Envoyez les photos pour lesquelles elle hésite à une personne. Pour la couleur et le matériau, laissez le modèle hébergé fournir une première réponse, puis une personne confirmer chacune. Étiquetez quelques centaines de photos supplémentaires, puis mesurez de nouveau.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Le texte de remplacement du modèle hébergé pour le panier d'œufs décrivait correctement les tulipes, les fleurs roses et la table en bois. Mais le « vase en céramique » était incorrect. Pourquoi ce type d'erreur est-il plus dangereux qu'une réponse défectueuse?
Afficher la réponse
Une réponse défectueuse échoue à la vérification du format, donc le code la détecte. Cette réponse est valide, fluide et surtout correcte. Elle passe donc toutes les vérifications du format. Un lecteur qui vérifie deux détails et les trouve corrects croira le troisième. Le détail inventé ressemble exactement aux détails vrais. Seule une comparaison avec la photo ou une étiquette le détecte. Voilà pourquoi chaque champ doit avoir une exactitude mesurée sur des photos étiquetées.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Le modèle hébergé a raison à 84 % sur le type de produit. Et 5 de ses 8 « erreurs » sont discutables. Cela signifie-t-il qu'il a vraiment raison environ 94 % du temps? Que feriez-vous pour le savoir?
Afficher la réponse
Pas encore. L’interprétation « discutable » vient de l’observation d’une seule personne. D’autres pourraient juger certaines de ces photos autrement. Pour le savoir, écrivez une règle plus claire pour chaque champ. Par exemple : « la couleur principale est celle du corps du produit ». Demandez à deux personnes d’étiqueter les mêmes photos, puis notez de nouveau le modèle. Étiquetez aussi davantage de photos : avec 50, l’intervalle autour de 84 % va d’environ 0,72 à 0,92.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Hamid demande si le modèle hébergé peut vérifier ses 600 retours par jour. Il a trouvé les 18 bougies endommagées et coûte seulement 0,83 $ US par jour. Répondez-lui avec les chiffres de cette leçon.
Afficher la réponse
Non. Il a trouvé toutes les bougies endommagées, mais il a aussi déclaré endommagées 17 des 22 bougies en bon état. Si ce taux se maintenait pour ses retours, environ 425 bougies en bon état iraient au magasin de liquidation chaque jour. À 28 $ US chacune, cela représente environ 11 900 $ US par jour. C’est plus que l’absence totale d’inspection (2 229 $ US). C’est aussi bien plus que le système d’inspection du module 6 (369 $ US sur les données de test). Le prix du modèle est faible; le coût de ses fausses alertes ne l’est pas. Cette estimation repose sur seulement 40 photos, mais l’écart est bien trop grand pour que le hasard le comble.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Les réponses fluides peuvent contenir des détails inventés : un vase en céramique qui était un panier d’œufs. Seule une comparaison avec la photo ou une étiquette les détecte.
- Notez chaque champ à partir des étiquettes. Ici, 50 photos, avec couleurs et matériaux étiquetés à l’œil par une seule personne, et plusieurs possibilités. Le modèle hébergé : type 84 %, couleur 86 %, matériau 93 %. SmolVLM-256M : 20 %, 40 %, 25 %.
- Examinez chaque réponse incorrecte : beaucoup de désaccords viennent des étiquettes et de la question, pas du modèle.
- Avec 50 photos, chaque intervalle à 95 % descend bien en dessous de 95 %. Utilisez le modèle pour aider à l’étiquetage, pas comme décision finale.
- Le modèle hébergé a compté exactement 30 palettes dessinées clairement. Mais il a déclaré endommagées 17 des 22 bougies en bon état : un coût estimé de 11 900 $ US par jour.
- Pour le type de produit, la sonde CLIP avait raison sur 48 des mêmes 50 photos. Elle est environ 700 fois plus rapide et ne coûte rien par photo.
- Votre projet contient
vision vlm, avec 24 tests : l’instantanéend-of-m07.
Vous pouvez maintenant mesurer un modèle vision-langage et le comparer à des méthodes moins coûteuses. Mais la question de Tomás reste ouverte : quand Larkfield devrait-elle construire un modèle, tout simplement? Ensuite, vous examinez des problèmes qu’une caméra, un code-barres, un éclairage fixe ou une personne résout à moindre coût.
Leçon suivante : Quand ne pas le construire