Aller au contenu
English

Les modèles vision-langage

  • Leçon 24
  • 40 min
  • Module 7 : Apparier, chercher et décrire

Où nous en sommes

Dans la dernière leçon, nous avons trouvé quel produit du catalogue apparaît sur la photo d'un client. Une correspondance n'est pas une description : Omar a aussi besoin de mots. Il lui faut du texte de remplacement, ainsi que la couleur et le matériau de chaque produit. Dans cette leçon, nous demandons à un petit modèle vision-langage local et à un modèle hébergé enregistré de décrire des photos du catalogue. D'abord, un appel avec une amie.

Leçon 24 sur 30 · IA de vision : voir, compter et inspecterLes modèles vision-langage

Ce que vous saurez faire

Obtenez des mots à partir d’une photo : une légende, un texte de remplacement, une réponse à une question ou des attributs du produit. Ces attributs suivent un format fixe que le code peut lire. Vérifiez ensuite que la réponse respecte ce format avant de l’utiliser.

Carnet JupyterFaites cette leçon dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter relit les réponses enregistrées des deux modèles, vérifie leur sortie structurée et propose une tâche avec vérification. Il ne demande ni compte ni clé. Ses cellules de préparation téléchargent le catalogue (environ 19 Mo avec les enregistrements). Une dernière section facultative exécute le petit modèle sur votre ordinateur (environ 700 Mo à télécharger). Environ 30 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 40 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

Le carnet suffit : Colab, Kaggle ou Jupyter. Votre projet larkvision ne change pas dans cette leçon. La commande vision vlm s’y ajoute dans la prochaine leçon.

Testé avec Python 3.12.13 sur macOS, dans Jupyter. La section facultative d’exécution réelle a été exécutée avec PyTorch 2.15.0 et Transformers 5.22.2 sur le processeur du portable du cours. Colab, Kaggle et Windows n’ont pas été testés.

Une amie vous appelle d’un magasin. « Je regarde une lampe pour votre anniversaire. Est-ce que je devrais l’acheter? » Vous ne la voyez pas, alors vous posez des questions. « De quelle couleur est-elle? L’abat-jour est-il en tissu ou en verre? Est-elle haute? » Votre amie regarde et répond avec des mots. Vous ne voyez jamais la lampe, mais après quelques questions, vous en savez assez pour décider.

Votre amie a fait deux choses : elle a vu la lampe et a mis ce qu’elle voyait en mots pour répondre. Si elle est fatiguée, elle peut aussi deviner : « Je pense que c’est du laiton », alors que c’est du plastique peint. Au téléphone, vous ne pouvez pas distinguer une supposition d’un fait, sauf si vous lui demandez de vérifier.

Le problème : Omar a besoin de mots, pas seulement d’étiquettes

Section intitulée « Le problème : Omar a besoin de mots, pas seulement d’étiquettes »

Omar est responsable des descriptions du catalogue de Larkfield. Chacune des 733 photos du catalogue a besoin d’un texte de remplacement. C’est une courte description qu’un lecteur d’écran lit à voix haute pour une personne qui ne voit pas la photo. Chaque produit a aussi besoin d’attributs pour les filtres du site : couleur principale, matériau et, plus tard, style. Chaque nouveau produit a les mêmes besoins.

Jusqu’ici, les méthodes du cours donnent une étiquette tirée d’une liste fixe. Une sonde CLIP répond « vase » ou « bol ». Pour obtenir les couleurs, il faudrait des photos étiquetées pour chaque couleur et un nouveau classificateur. Pour le matériau, un autre. Pour un nouvel attribut comme le style, encore un autre. Et aucun classificateur n’écrit de phrase.

Une personne peut les écrire. Supposons qu’une description prenne une minute, au tarif de 0,50 $ US par minute retenu pour le cours. Les 733 photos coûtent alors environ 367 $ US et demandent 12 heures de travail. C’est abordable une fois, mais ce travail revient avec chaque nouvelle gamme de produits.

Un modèle vision-langage (VLM) fait les deux tâches de votre amie. Il lit une photo et une question, puis écrit une réponse en texte. À l’intérieur, il comporte deux parties :

Un flux de gauche à droite. Une photo de 256 sur 256 pixels entre dans un encodeur d'images, semblable à celui de CLIP, qui produit des jetons d'image. Votre question, Répondez en JSON : product_type, main_colour, material, alt_text, devient des jetons de texte. Les deux entrent dans un modèle de langage, qui lit tous les jetons puis écrit la réponse un jeton à la fois. La réponse est du texte, par exemple product_type cushion, main_colour white. Une flèche en pointillés mène à un encadré gris : votre code vérifie la réponse : JSON valide? Valeurs autorisées? Sinon, nouvelle tentative ou intervention d'une personne.
Comment un modèle vision-langage répond à une question sur une photo. Le modèle écrit seulement du texte. Votre code doit vérifier ce texte avant de l'utiliser.
Description textuelle du diagramme

Le schéma comporte cinq encadrés (l’un sous l’autre sur un téléphone). Une photo de 256 × 256 pixels entre dans un encodeur d’images. Celui-ci fonctionne comme l’encodeur d’images de CLIP et transforme la photo en jetons d’image. Votre question, par exemple « Répondez en JSON : product_type, main_colour, material, alt_text », devient des jetons de texte. Un modèle de langage lit tous les jetons ensemble, puis écrit la réponse un jeton à la fois. La réponse est du texte brut, par exemple {"product_type": "cushion", "main_colour": "white", …}. Un dernier encadré en pointillés indique ce que votre code doit faire. Il vérifie que le texte est du JSON valide avec des valeurs autorisées. Sinon, il pose de nouveau la question ou envoie la photo à une personne.

  1. Un encodeur d’images transforme la photo en une liste de jetons d’image. Un jeton (token) est un petit morceau d’entrée que le modèle lit, comme un fragment de mot pour le texte. L’encodeur ressemble à l’encodeur d’images de CLIP du module 3.
  2. Un modèle de langage lit les jetons d’image avec les jetons de votre question. Il écrit ensuite la réponse, un jeton à la fois. Il choisit chaque prochain jeton à partir de tous les jetons précédents.

Le même modèle fait plusieurs tâches. Vous changez seulement la question :

  • Légende : « Décrivez cette photo en une phrase. »
  • Texte de remplacement : « Écrivez une phrase pour une personne qui ne voit pas la photo. »
  • Réponse à une question visuelle : une question sur cette photo, comme « Combien de cartons voyez-vous? »
  • Sortie structurée : « Répondez uniquement en JSON, avec ces clés », pour que le code puisse lire la réponse.

Exemple détaillé : une photo, une réponse enregistrée

Section intitulée « Exemple détaillé : une photo, une réponse enregistrée »

L’équipe du cours a envoyé chacune des 50 photos de test du catalogue à deux modèles avec la même question. Elle a enregistré chaque réponse une fois. Voici la question, mot pour mot :

This is a product photo from a home and garden shop. Answer with JSON only, with these keys:
"product_type" (one of ['bowl', 'candle', 'chair', 'cushion', 'lamp', 'mug', 'plant_pot', 'vase', 'other']),
"main_colour" (one of ['white', 'black', 'grey', 'brown', 'beige', 'red', 'orange', 'yellow', 'gold', 'green',
'blue', 'purple', 'pink', 'clear', 'silver', 'multicoloured']), "material" (one of ['ceramic', 'glass', 'metal',
'wood', 'fabric', 'wax', 'plastic', 'leather', 'paper', 'stone']), "alt_text" (one sentence for a person who
cannot see the photo).

Chaque clé a une liste de valeurs autorisées, pour que les réponses correspondent aux filtres du site. Voici la première photo de la figure plus bas, une photo du catalogue étiquetée coussin, et la réponse enregistrée du modèle hébergé :

{"product_type":"cushion","main_colour":"white","material":"fabric","alt_text":"Two white fabric cushions are stacked with a small yellow packet partially visible between them."}

Lisez chaque champ. Type de produit cushion (coussin) : correct. Couleur white (blanc) et matériau fabric (tissu) : corrects. Le texte de remplacement relève un détail absent des étiquettes : un petit paquet jaune entre les deux coussins. La réponse a utilisé 258 jetons d’entrée (la photo et la question) et 63 jetons de sortie. Elle a coûté 0,001146 $ US et pris 2,7 secondes.

SmolVLM-256M-Instruct Modèle hébergé
Lieu d’exécution votre ordinateur, sur le processeur les serveurs du fournisseur, par une API payante
Taille et licence 513 Mo, Apache-2.0 inconnues; les conditions du fournisseur
Durée d’une réponse (portable du cours) 4,39 s 5,43 s, par Internet
Coût pour 1 000 photos aucun (votre processeur et votre électricité) 1,38 $ US (environ 236 jetons d’entrée par photo)
La photo quitte votre ordinateur non oui
Dans ce cours enregistré, et vous pouvez l’exécuter enregistré une fois; le modèle est Azure chat-strong (gpt-6.1-sol-2026-09-29)

Le prix hébergé a été mesuré à partir des jetons des 120 réponses enregistrées (0,17 $ US au total). Les prix changent : consultez la page des tarifs actuels du fournisseur. Chaque réponse hébergée de ce cours est enregistrée : vous lisez et relisez les mêmes réponses dans un fichier, sans clé.

Voici maintenant le petit modèle, sur la même photo de coussins :

{
"product_type": "bowl",
"main_colour": "white",
"material": "ceramic",
"alt_text": "red",
"material_colour": "black",
"material_text": "grey",
"alt_text": "brown",
"material_text": "beige",
"material_text": "blue",
"material_text": "purple",
"material_text": "silver",
"material_text": "multicoloured"
}

Il dit bowl (bol) et ceramic (céramique). Ensuite, il répète les clés : alt_text (texte de remplacement) deux fois, material_text (texte du matériau) cinq fois. Il atteint alors sa limite de 120 nouveaux jetons. Les petits modèles ont souvent du mal à suivre une question longue et stricte. Vous pouvez exécuter ce modèle vous-même dans la section facultative du carnet. Sur le portable du cours, il a donné la même réponse, mot pour mot. Avec la question plus simple « Décrivez cette photo en une phrase. », il a écrit :

In this image we can see a white color cloth and a small packet on it.

Cette légende est juste. Le petit modèle peut voir la photo. Il ne peut pas suivre une longue question avec des listes fixes de valeurs.

Une sortie structurée est une réponse dans un format fixe que le code peut lire sans intervention humaine. Ici, c’est un objet JSON avec quatre clés. Trois doivent contenir une valeur autorisée; alt_text contient une phrase. Un modèle écrit seulement du texte, alors rien ne l’oblige à respecter le format. Votre code vérifie deux choses avant d’utiliser une réponse :

  1. La réponse entière est-elle un seul objet JSON? La fonction Python json.loads doit la lire et donner un dictionnaire.
  2. Chaque clé a-t-elle une valeur autorisée? "cushion" est autorisé; "pillow" (oreiller) et "1.99" ne le sont pas.

Les 120 réponses enregistrées de chaque modèle :

Vérification Modèle hébergé SmolVLM-256M
La réponse entière est un seul objet JSON 120 sur 120 4 sur 120
Réponses d’attributs qui passent les deux vérifications 50 sur 50 3 sur 50

Le petit modèle a écrit du JSON valide dans seulement 4 réponses. Beaucoup d’autres s’arrêtent au milieu d’une liste de clés répétées, parce que la réponse a atteint 120 jetons. Certaines inventent de nouvelles clés. Pour une chope à bière, il a écrit un "price" (prix) de "1.99", cinq fois.

Que devrait faire un produit avec une réponse qui échoue à une vérification? Poser de nouveau la question (une nouvelle tentative), puis envoyer la photo à une personne si cela échoue aussi. Le script d’enregistrement a aussi essayé une troisième approche. Il a extrait la première valeur de chaque paire "key": value (clé et valeur) du texte mal formé. Il a aussi lu les phrases ordinaires avec des règles simples basées sur les mots. Cela a permis de trouver des valeurs dans 83 réponses de plus. C’est utile pour mesurer le modèle, comme le fait la prochaine leçon. Dans un produit, une valeur extraite d’une réponse mal formée est une supposition sur une supposition.

Trois photos du catalogue alignées. Photo 1, étiquetée coussin : deux oreillers blancs empilés sur un lit, avec un petit paquet jaune entre eux. Photo 2, étiquetée tasse : une chope à bière en verre transparent avec une grande anse, remplie de bière dorée avec de la mousse blanche. Photo 3, étiquetée lampe : un boîtier en métal sombre avec une fenêtre carrée, derrière laquelle brille une boule de lumière orange vif.
Trois photos du catalogue dont les textes de remplacement enregistrés figurent dans le tableau ci-dessous. Photos : AngryJulieMonday, Dario Alvarez, Dave Hogg, CC BY 2.0, via Open Images.
Description textuelle du diagramme

La photo 1 est étiquetée coussin : deux oreillers blancs reposent l’un sur l’autre sur un lit. Un petit paquet jaune apparaît entre eux. La photo 2 est étiquetée tasse : une chope à bière en verre transparent avec une grande anse. Elle est remplie de bière dorée avec de la mousse blanche. La photo 3 est étiquetée lampe : un cadre en métal sombre avec une ouverture carrée. Derrière, une boule de lumière orange vif brille dans l’obscurité.

Photo Texte de remplacement enregistré (modèle hébergé, en anglais)
1 (coussin) Two white fabric cushions are stacked with a small yellow packet partially visible between them.
2 (tasse) A clear glass beer mug with a large handle holds golden beer topped with white foam.
3 (lampe) A bright orange ball of molten glass glows inside a dark furnace.

Les deux premiers textes de remplacement sont bons : courts, précis et fidèles à la photo. Le troisième est intéressant. L’étiquette du catalogue dit lampe, et le modèle dit « verre en fusion dans un four ». Regardez de nouveau la photo. Le modèle pourrait bien avoir raison, et l’étiquette tort. Le module 1 prévenait que certaines « lampes » d’Open Images ne sont pas des lampes. Un désaccord entre un modèle et une étiquette pose une question à une personne; il ne donne pas une réponse.

Le modèle a aussi répondu « other » (autre) pour le type de produit de cette photo. La question autorisait « other », et le modèle l’a utilisé pour 5 des 50 photos. Une valeur autorisée « Je ne suis pas sûr » est utile : elle indique quelles photos envoyer à une personne.

Les leçons relisent des réponses enregistrées. Vous pouvez aussi envoyer vos photos à un modèle hébergé avec votre propre clé et votre compte. Dans ce cas, une règle passe avant tout : n’envoyez jamais une photo contenant une personne à un modèle hébergé, sauf si cette personne est floutée. La photo quitte votre ordinateur et va chez le fournisseur. Les photos du catalogue, les dessins de palettes et les photos de bougies du cours ne contiennent personne. L’équipe du cours a vérifié chaque ensemble avant tout enregistrement. Les personnes dans les images, au module 8, explique comment le service d’images floute les visages par défaut.

Erreur courante

Le JSON qui se lisait

Symptôme : Tomás écrit seulement la première vérification : si json.loads lit la réponse, les attributs vont sur le site. La réponse du petit modèle pour la photo des coussins passe. Le site montre maintenant deux coussins blancs comme un bol en céramique, avec le texte de remplacement « brown » (brun).

Cause : du JSON valide n’est pas une réponse correcte. Cette réponse contient alt_text deux fois. json.loads accepte les clés répétées et garde la dernière valeur. Ainsi, "red" (rouge) a été perdu et "brown" conservé. Aucune de ces valeurs n’est un texte de remplacement. Et bowl est une valeur autorisée, alors la vérification des valeurs autorisées passe aussi.

Correction : vérifiez strictement le format. Refusez une réponse avec des clés répétées (json.loads(text, object_pairs_hook=...) peut les détecter), ainsi que les valeurs hors des listes. Mesurez ensuite la fréquence des valeurs correctes sur des photos étiquetées avant de transmettre une valeur à un client. C’est le sujet de la prochaine leçon.

Conséquence pour le travail en IA : une vérification du format détecte les réponses mal formées, pas les réponses fausses. Chaque pipeline de sortie structurée a besoin des deux vérifications. Il faut vérifier strictement le format de chaque réponse et vérifier régulièrement l’exactitude par rapport aux étiquettes.

Quand utiliser un modèle vision-langage, et à quel coût

Section intitulée « Quand utiliser un modèle vision-langage, et à quel coût »

Utilisez-en un quand vous avez besoin de mots sur une photo. Exemples : texte de remplacement, légende, réponse à une nouvelle question sans nouvel entraînement, ou attributs provisoires à faire confirmer. Il n’a pas besoin de photos étiquetées pour commencer. C’est sa grande force, et la raison pour laquelle Tomás en veut partout.

Ses coûts sont réels. Le modèle hébergé coûte environ 1,38 $ US pour 1 000 photos et prend 5,43 secondes par réponse. Chaque photo quitte votre ordinateur. Le petit modèle local ne coûte rien. Mais sur le processeur d’un portable, il prend plus de 4 secondes par réponse et n’a pas pu suivre notre question. Les deux écrivent un texte fluide qui peut être faux, sans indiquer quelles parties sont des suppositions. N’en utilisez pas quand une méthode moins chère donne déjà une réponse mesurée : apparier un produit ou le classer parmi huit classes connues.

  1. Ouvrez le carnet depuis l’encadré Faites cette leçon dans un carnet Jupyter en haut de cette page.
  2. Exécutez les cellules de préparation. La deuxième se termine par une ligne Ready: (prêt).
  3. Exécutez la section 1. Vous voyez 120 réponses par modèle : 50 réponses d’attributs, 30 décomptes de palettes et 40 vérifications de bougies.
  4. Avant d’exécuter la section 2, prédisez si la réponse du petit modèle sera du JSON utilisable. Exécutez-la ensuite.
  5. Exécutez la section 3 jusqu’à la tâche. is_json_object affiche True False (vrai, faux) pour ses deux textes de test.
  6. Exécutez les sections 4 et 5. Lisez la réponse mal formée et les trois textes de remplacement.

À vous de jouer : combien de réponses sont du JSON?

Section intitulée « À vous de jouer : combien de réponses sont du JSON? »

Dans la section 3 du carnet, comptez les réponses du modèle local (les 120) pour lesquelles is_json_object est vrai. Placez le nombre dans n_json_local et exécutez la cellule de vérification. Changez ensuite une condition : exécutez la cellule suivante, qui vérifie aussi les valeurs autorisées, et comparez les deux modèles.

Afficher la réponse
n_json_local = sum(is_json_object(a["answer"]) for a in local)
print(n_json_local, "of", len(local))
4 of 120

La cellule suivante affiche :

hosted usable: 50 of 50
local usable: 3 of 50

Seulement 4 réponses locales sont un seul objet JSON, et 3 des 50 réponses d’attributs passent les deux vérifications. L’une de ces 3 réponses est le « bol » de la photo des coussins. Réussir les vérifications signifie que la réponse peut être lue, pas qu’elle est correcte.

Vérifiez votre compréhension

Dans vos mots : quelles sont les deux parties d'un modèle vision-langage? Pourquoi peut-il écrire un texte de remplacement, répondre à une question et remplir des attributs?

Afficher la réponse

Un encodeur d’images transforme la photo en jetons d’image, comme celui de CLIP transforme une photo en nombres. Un modèle de langage lit ces jetons avec ceux de la question et écrit la réponse un jeton à la fois. Le modèle produit seulement du texte, et la question détermine lequel. Une nouvelle tâche demande donc une nouvelle question, pas un nouveau modèle ni de nouvelles étiquettes. Exemples : « décrivez cet objet », « combien de cartons? » ou « répondez en JSON avec ces clés ».

Vérifiez votre compréhension

Pour la photo des coussins, le petit modèle produit du JSON valide avec des valeurs permises : type de produit bol, matériau céramique. Pourquoi cela ne suffit-il pas pour l'utiliser, et qu'ajouteriez-vous?

Afficher la réponse

Les deux vérifications montrent seulement que la réponse est lisible. Elles ne montrent pas qu’elle est juste : la photo montre deux coussins, pas un bol en céramique. La réponse contient aussi des clés répétées, et json.loads a conservé le dernier alt_text (texte de remplacement) sans avertissement. Ajoutez une vérification stricte qui refuse les clés répétées. Si une réponse échoue aux vérifications, réessayez, puis faites appel à une personne. Mesurez aussi l’exactitude avec des photos étiquetées avant d’envoyer la moindre valeur au site Web.

Vérifiez votre compréhension

Omar veut des textes de remplacement pour les 733 photos du catalogue. Comparez une personne qui les écrit au modèle hébergé, avec les chiffres de cette leçon. Que recommanderiez-vous?

Afficher la réponse

Une personne : environ une minute par photo, donc environ 12 heures et 367 $ US au tarif supposé dans le cours. Le modèle hébergé : environ 1,38 $ US par 1 000 photos, donc environ 1 $ US, et 5 secondes par photo. Les textes de remplacement du modèle étaient généralement précis et justes, mais certains peuvent être faux (la « lampe » qui serait du verre en fusion dans un four). Recommandez le modèle pour un premier brouillon, en lui envoyant seulement des photos sans personnes. Une personne doit lire et corriger chaque texte avant sa publication. Lire prend moins de temps qu’écrire.

Récapitulatif

  • Un modèle vision-langage comprend un encodeur d’images qui crée des jetons d’image. Son modèle de langage les lit avec la question et écrit du texte.
  • Un seul modèle produit des légendes, du texte de remplacement, des réponses aux questions visuelles et une sortie structurée. Vous changez la question, pas le modèle.
  • Le modèle hébergé a écrit un seul objet JSON valide dans chacune des 120 réponses enregistrées, pour environ 1,38 $ US par 1 000 photos. SmolVLM-256M fonctionne gratuitement sur votre processeur, mais a écrit du JSON valide dans seulement 4 réponses sur 120.
  • Vérifiez chaque réponse : un seul objet JSON, aucune clé répétée, des valeurs permises; sinon, réessayez, puis faites appel à une personne.
  • N’envoyez jamais une photo contenant une personne à un modèle hébergé. Les réponses du cours sont enregistrées, donc vous n’avez besoin d’aucune clé.

Vous pouvez maintenant demander à un modèle de parler d’une photo et vérifier la structure de sa réponse. Mais une réponse bien structurée peut quand même être fausse. Le « bol » de la photo des coussins a passé toutes les vérifications. Ensuite, vous mesurerez à quelle fréquence chaque modèle répond correctement, et où il invente des détails.

Leçon suivante : Vérifier ce que dit un modèle vision-langage