Aller au contenu
English

Découvrir les images de Larkfield

  • Leçon 4
  • 35 min
  • Module 1 : Voir est un problème d'affaires

Où nous en sommes

Nous savons qu'une image est une grille de nombres, et que la lumière et la taille les changent. Maintenant, ouvrons les vraies images. Dans cette leçon, nous exécutons le carnet de configuration et examinons chaque jeu d'images de Larkfield et ses licences. Nous découvrons aussi le tableau comparatif que chaque module remplit. D'abord, une cuisinière vérifie sa cuisine avant de commencer.

Leçon 4 sur 30 · IA de vision : voir, compter et inspecterDécouvrir les images de Larkfield

Ce que vous saurez faire

Ouvrez chaque jeu d’images de Larkfield, vérifiez votre configuration et lisez le tableau comparatif que tout le cours remplit. La qualité d’une méthode dépend des images qu’elle utilise et de la façon dont vous l’évaluez.

Carnet JupyterFaites cette leçon dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter contient toutes les cellules de code, les tâches et les vérifications de cette leçon, avec les consignes. Ses cellules de configuration installent NumPy, pandas, Pillow, scikit-learn, scikit-image et matplotlib. Elles téléchargent les images du cours (environ 38 Mo, sous forme de fichiers zip). Le carnet ne nécessite donc aucune configuration locale. Environ 25 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 35 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

  • L’option carnet (recommandée) : un navigateur et un compte Google gratuit pour Colab, ou un compte Kaggle gratuit. Rien à installer.
  • L’option projet (pour la seconde moitié de cette leçon) : Python 3.12, Git et un terminal. Les étapes se trouvent dans Le projet sur votre ordinateur ci-dessous.

Testé avec Python 3.12.13 sur macOS, dans Jupyter et dans un terminal. Les commandes Windows, Linux, Colab et Kaggle n’ont pas été testées.

Une cuisinière de restaurant commence son quart de travail sans rien cuisiner. Elle lit les commandes du jour. Elle vérifie que chaque ingrédient est présent et frais, puis le met à sa place. Rien de tout cela n’est de la cuisine. Mais si la farine est vieille ou s’il manque du sel, tous les plats du soir seront ratés. Elle ne le découvre que lorsqu’un client se plaint.

C’est la même chose pour une méthode de vision. Si un jeu d’images manque ou qu’une étiquette est fausse, la méthode affiche quand même un nombre. Aucune erreur ne se déclenche. Le nombre est simplement faux. Avant de construire une méthode, vous vérifiez donc les images et le tableau des résultats une fois, avec soin. C’est le but de cette leçon.

  1. Ouvrez le carnet à partir de l’encadré Faites cette leçon dans un carnet Jupyter, en haut de cette page.
  2. Exécutez la première cellule de configuration. Elle installe les paquets et affiche une ligne par paquet, par exemple numpy 2.5.4.
  3. Si vous voyez d’autres versions, redémarrez le noyau, puis exécutez de nouveau la cellule.
  4. Exécutez la deuxième cellule de configuration. Elle télécharge cinq fichiers zip dans le dossier larkfield-images, vérifie leur somme de contrôle et les décompresse dans larkfield-images/data.
  5. Vérifiez sa dernière ligne : Ready: 2113 files in larkfield-images/data. (prêt : 2 113 fichiers dans larkfield-images/data).
  6. Exécutez la cellule des fonctions utilitaires. Elle charge NumPy sous np, pandas sous pd, Image de Pillow, matplotlib et l’utilitaire du cours compare.py sous cp. Elle n’affiche rien.

Une somme de contrôle est une courte empreinte d’un fichier. Si un octet téléchargé est incorrect, l’empreinte change et la cellule s’arrête avec wrong checksum (somme de contrôle incorrecte). Supprimez alors le dossier larkfield-images, puis exécutez de nouveau la cellule. Si la cellule indique Could not download (téléchargement impossible), vérifiez votre connexion Internet. Dans Kaggle, activez aussi Internet dans les paramètres du carnet.

Le cours comprend quatre jeux d’images et quelques copies modifiées. Chaque jeu correspond à un type de réponse et aux personnes de Larkfield qui la demandent :

Cinq encadrés sur une ligne. Catalogue : 733 photos de produits, 8 catégories, 256 sur 256, entraînement 453, validation 120, test 160, Open Images, CC BY 2.0, auteur de chaque photo; utilisés dans les modules 2, 3, 7 et 8. Retours : 735 photos de lampions, entraînement 380 plus 25 endommagés, validation 100 plus 12, test 200 plus 18, VisA, CC BY 4.0; modules 5 à 8. Palettes : 90 scènes, 512 sur 384, entraînement 40, validation 20, test 30, dessinées par notre code, CC0, synthétiques; modules 4, 5 et 7. Photos de clients : 160 photos des produits de test prises avec un téléphone, créées à partir de celles-ci par du code, synthétiques; module 7. Changements : nouveau studio, 160 photos de test avec une lumière plus chaude; un mois de retours, 135 photos, sans étiquettes, modifiées par du code; module 8. En dessous, un encadré en pointillés : les données de test cachées de 160 photos du catalogue, 135 retours et 30 palettes ne figurent pas dans les fichiers du cours; l'équipe du cours les conserve et utilise chaque jeu une seule fois, pour confirmer un choix.
Les jeux d'images de Larkfield, leurs sources et leurs licences, et les modules qui les utilisent. Les données de test cachées ne figurent pas dans les fichiers du cours.
Description textuelle du diagramme

Le schéma présente cinq encadrés sur une ligne (l’un sous l’autre sur un téléphone). Le catalogue contient 733 photos de produits dans 8 catégories, de 256 × 256 pixels : 453 pour l’entraînement, 120 pour la validation et 160 pour le test. Elles sont découpées dans des photos d’Open Images sous licence CC BY 2.0, et l’auteur de chaque photo est indiqué. Les modules 2, 3, 7 et 8 les utilisent. Les retours comprennent 735 photos de lampions : 380 en bon état et 25 endommagés pour l’entraînement, 100 et 12 pour la validation, 200 et 18 pour le test. Ce sont des photos de VisA sous licence CC BY 4.0, utilisées dans les modules 5 à 8. Les palettes comprennent 90 scènes de 512 × 384 pixels, dessinées par notre code (CC0, synthétiques) : 40 pour l’entraînement, 20 pour la validation et 30 pour le test, utilisées dans les modules 4, 5 et 7. Les photos de clients comprennent 160 photos des produits de test prises avec un téléphone, créées à partir de celles-ci par du code, utilisées dans le module 7. Les changements comprennent le nouveau studio, 160 photos de test avec une lumière plus chaude, et un mois de 135 photos de retours sans étiquettes. Notre code a modifié les deux jeux, et le module 8 les utilise. Sous les cinq encadrés, un encadré en pointillés présente les données de test cachées : 160 photos du catalogue, 135 retours et 30 palettes. Elles ne figurent pas dans les fichiers du cours. L’équipe du cours les conserve et utilise chaque jeu une seule fois, pour confirmer un choix fait sur les données de validation.

La section 1 du carnet lit le manifeste du catalogue : un tableau avec une ligne par photo. Il indique le fichier, la répartition (train, val ou test, soit entraînement, validation ou test), l’étiquette et la source de la photo :

catalogue = pd.read_csv("data/catalogue/manifest.csv")
print(catalogue["split"].value_counts().to_string())
print(catalogue[catalogue["split"] == "train"]["label"].value_counts().to_string())

La sortie :

split
train 453
test 160
val 120
label
chair 70
vase 70
lamp 67
plant_pot 66
mug 63
bowl 61
cushion 41
candle 15

Le catalogue contient 733 photos, et les huit catégories n’ont pas le même nombre de photos d’entraînement. Le graphique fait ressortir l’une d’elles :

  • Photos d'entraînement
  • Bougie : un problème que nous avons inséré
Photos d'entraînement par catégorie du catalogue (Boug : bougie, Cous : coussin, Pot : pot de fleurs). La catégorie bougie en compte seulement 15, contre 41 à 70 pour les autres : un problème que nous avons inséré.
Description textuelle du graphique

Un diagramme à huit colonnes, une par catégorie, sur un axe allant de 0 à 80 photos. La catégorie bol compte 61 photos d’entraînement, bougie 15, chaise 70, coussin 41, lampe 67, tasse 63, pot de fleurs 66 et vase 70. La colonne des bougies est beaucoup plus courte que toutes les autres.

La catégorie bougie compte seulement 15 photos d’entraînement. C’est un problème que nous avons inséré : Larkfield a commencé à vendre des bougies récemment. Une méthode qui apprend à partir de nombreux exemples des autres catégories peut ignorer la petite catégorie. Le module 3 mesure ce problème et le corrige.

Les vraies étiquettes contiennent aussi des erreurs. Les photos du catalogue viennent d’Open Images, un grand jeu public de photos dont des personnes ont vérifié les étiquettes. Malgré cela, certaines photos étiquetées « lampe » montrent des citrouilles sculptées avec une lumière à l’intérieur. Certaines photos étiquetées « tasse » montrent des verres à bière. Le cours les conserve, car les vrais catalogues contiennent aussi de telles photos. La section 7 du carnet montre certaines photos de lampes : examinez-les et demandez-vous si votre modèle devrait apprendre d’une citrouille.

Chaque photo du catalogue a un auteur et une licence dans le manifeste. Les photos sont sous licence CC BY 2.0. Cette licence permet d’utiliser, de modifier et de partager la photo, même en entreprise, si vous nommez l’auteur et la licence. Chaque photo du catalogue sur les pages du cours indique donc son auteur dans la légende. Vous devriez faire de même dans votre propre travail.

Open Images indique ne pas pouvoir garantir la licence de chaque photo. Pour un vrai produit, Larkfield utiliserait ses propres photos. Pour apprendre, des photos ouvertes avec un auteur nommé sont un bon choix.

Aucune photo du catalogue ne montre une personne. Le cours a retiré 160 photos contenant une personne. Il a utilisé quatre vérifications : les étiquettes de personnes d’Open Images, un détecteur de visages, un détecteur de personnes et une personne qui a examiné chaque photo. Si vous trouvez encore une personne, dites-le-nous. Le cours ne construit rien qui reconnaît les personnes. Le service d’images du module 8 floute les visages par défaut.

La section 3 lit le manifeste des retours et compte les photos par répartition et par état :

returns = pd.read_csv("data/returns/manifest.csv")
print(returns.groupby(["split", "status"]).size().unstack().to_string())
status damaged good
split
test 18 200
train 25 380
val 12 100

Ce sont les photos de lampions de Le retour qui a coûté deux fois : 18 des 218 photos de test montrent des dommages. Chaque photo de dommage a un masque enregistré en PNG, comme le recommandait Les images sont des nombres. Les photos viennent de VisA, un jeu public de photos d’inspection créé par des chercheurs d’Amazon, sous licence CC BY 4.0.

Le carnet dessine ensuite une palette avec ses cartons et montre une photo de client à côté de sa photo du catalogue. Les deux sont synthétiques. Notre code a dessiné les palettes, donc chaque carton est connu avec précision. Il a aussi créé chaque photo de client à partir d’une photo de test du catalogue : autre angle, mauvais éclairage, flou et bruit. Il n’existe pas de vraies photos ouvertes de ces mêmes produits prises avec un téléphone.

La section 2 ouvre une photo du catalogue sous forme de nombres, comme dans Les images sont des nombres :

path = "data/" + catalogue.iloc[0]["file"]
pixels = np.asarray(Image.open(path))
print(pixels.shape, pixels.dtype)
print("the pixel in the middle:", pixels[128, 128], " mean of each channel:", pixels.reshape(-1, 3).mean(0).round(1))
(256, 256, 3) uint8
the pixel in the middle: [66 61 55] mean of each channel: [137.3 145.7 158.3]

La forme indique les lignes, les colonnes et les canaux. uint8 est le type de chaque nombre : un entier de 0 à 255. Le pixel du milieu est gris foncé, et la photo est un peu bleue en moyenne.

Vous connaissez les trois jeux du cours d’apprentissage automatique. Vous apprenez sur les données d’entraînement, choisissez sur les données de validation et évaluez une fois sur les données de test. Ce cours ajoute une règle. Pour le catalogue, les retours et les palettes, l’équipe du cours conserve des données de test cachées. Elles ne figurent pas dans les fichiers du cours, et personne ne s’en sert pour faire un choix.

Pourquoi un quatrième jeu? Les données de test sont dans vos fichiers. Chaque personne qui y essaie « juste un changement de plus » les utilise un peu, souvent sans le vouloir. Les données de test cachées ne peuvent pas servir ainsi. À deux reprises, une leçon montre ce qui s’est passé lors du test caché unique d’une méthode choisie sur les données de validation. Un de ces résultats est une vraie surprise, et le module 6 l’explique.

Le cours contient aussi un fichier data/sealed-key.txt. Il contient les réponses à deux problèmes insérés que vous cherchez dans le module 3 : les mauvaises étiquettes et les photos présentes deux fois dans le catalogue. Le fichier est emballé pour éviter que vous le lisiez par hasard. Il est scellé, pas secret : compare.reveal() le décompresse pour évaluer votre recherche. Traitez-le comme les réponses à la fin d’un livre.

Chaque module exécute ses méthodes sur les mêmes photos, avec les mêmes répartitions, et ajoute des lignes à un tableau comparatif. Cela permet de comparer équitablement une règle de couleurs du module 2 et un grand modèle du module 7. La section 4 du carnet affiche le tableau des coûts et la première partie du tableau comparatif :

print(json.load(open("data/costs.json")))
table = cp.Table.load("data/comparison_table.json")
table.show("catalogue", columns=("method", "setting", "value", "worst", "worst_value", "model_mb", "labelled_images"))

Les premières lignes du tableau :

catalogue: accuracy
method setting value worst worst_value model_mb labelled_images
colour and brightness rules catalogue test 0.269 bowl 0.000 0 0
colour and brightness rules new studio 0.244 bowl 0.000 0 0
colour histogram + 5-NN catalogue test 0.263 vase 0.050 0 453
colour histogram + 5-NN new studio 0.225 cushion 0.000 0 453
HOG + logistic regression catalogue test 0.356 candle 0.100 0 453
HOG + logistic regression new studio 0.356 candle 0.100 0 453
Colonne Ce qu’elle indique
task Le type de tâche : catalogue (étiquettes), inspect (inspection des retours), count (comptage des cartons), match (appariement) ou attributes (attributs, texte)
method, setting La méthode exécutée et les photos utilisées : par exemple, le test du catalogue ou le nouveau studio
value Le nombre principal de la tâche : exactitude pour le catalogue, coût par jour pour l’inspection, erreur de comptage pour les palettes
worst, worst_value La catégorie au pire résultat, et ce résultat
ms_per_image Le temps processeur pour une photo, en millisecondes
model_mb La taille du fichier du modèle, en mégaoctets
labelled_images Le nombre de photos étiquetées dont la méthode a eu besoin
licence La licence des poids du modèle, ou « notre code »

Le tableau compte 66 lignes pour cinq tâches : 37 pour le catalogue, 12 pour l’inspection, 10 pour le comptage, 5 pour l’appariement et 2 pour les attributs. Les tâches ne peuvent pas partager un seul nombre, comme l’a montré Cinq types de réponse. Chaque tâche a donc sa propre value (valeur), et vous comparez les lignes seulement au sein d’une même tâche.

Lisez les premières lignes avec ce que vous savez. Les résultats des règles de couleurs et de l’histogramme de couleurs baissent sous l’éclairage du nouveau studio; HOG ne change pas. La colonne worst (pire résultat) en dit plus que le nombre principal : les règles de couleurs ne classent correctement aucun bol (0.000).

Encore une précaution. Le test du catalogue compte 160 photos, donc une photo représente 0,6 point d’exactitude. Traitez un écart inférieur à environ 3 points entre deux méthodes comme du bruit.

Le carnet (notebook) Jupyter sert à explorer. Le cours comprend aussi un petit projet Python, larkvision, avec un outil en ligne de commande appelé vision. Il évolue à chaque module et devient un petit service d’images au module 8. Aujourd’hui, vous installez sa première version, l’instantané start, et exécutez ses trois commandes.

  1. Ouvrez un terminal et allez dans le dossier où vous gardez vos projets, par exemple ~/projects.

  2. Récupérez les fichiers d’exercice du cours :

    Fenêtre de terminal
    git clone https://github.com/Nextia-Intelligence/nextia-learning-labs.git

    Sans Git, téléchargez le fichier ZIP du dépôt et décompressez-le ici. Son dossier s’appelle alors nextia-learning-labs-main : utilisez ce nom dans les prochaines étapes.

  3. Copiez l’instantané start dans un nouveau dossier larkvision, à côté de nextia-learning-labs, puis ouvrez ce dossier :

    Fenêtre de terminal
    cp -R nextia-learning-labs/C42/snapshots/start larkvision
    cd larkvision
  4. Créez un environnement virtuel et installez le projet. Un environnement virtuel est un dossier avec ses propres paquets Python. Ainsi, ce projet ne modifie pas vos autres projets :

    Fenêtre de terminal
    python3.12 -m venv .venv
    source .venv/bin/activate
    pip install -r requirements.txt
    pip install -e . --no-deps
  5. Indiquez à la commande vision où se trouvent les images du cours. La variable d’environnement LARKVISION_DATA contient le chemin complet du dossier nextia-learning-labs/C42/data. Définissez-la dans le même terminal :

    Fenêtre de terminal
    export LARKVISION_DATA="$(cd ../nextia-learning-labs/C42/data && pwd)"
  6. Exécutez les tests. Vous voyez 9 passed (9 tests réussis) :

    Fenêtre de terminal
    python -m pytest -q
  7. Exécutez vision info. La commande décrit le dossier de données, avec les licences et les coûts.

Une variable d’environnement existe seulement dans le terminal où vous la définissez. Chaque fois que vous ouvrez un nouveau terminal pour ce cours, allez dans larkvision. Activez .venv et définissez de nouveau LARKVISION_DATA. Ce sont les étapes 4 et 5, sans les deux commandes pip. Les images restent au même endroit, dans nextia-learning-labs, et chaque module du cours les lit à cet endroit.

La sortie de vision info prouve que la configuration fonctionne. Sa première ligne indique le dossier de données sur votre ordinateur :

Data folder: /Users/you/projects/nextia-learning-labs/C42/data
Catalogue: 453 train, 120 validation, 160 test photos in 8 categories; new studio: 160 (light changed by code)
Returns: 405 train (25 damaged), 112 validation (12 damaged), 218 test (18 damaged); month: 135 photos, no labels
Pallets: 40 train, 20 validation, 30 test photos (drawn by code)
Customer photos: 160 (simulated from catalogue photos by code)
Licences: 870 photos CC BY 4.0; 733 photos CC BY 2.0; pallets CC0 1.0
Costs (assumptions): damaged item sold as new 45 dollars, good item marked damaged 28, a person's check 0.50; 100 checks a day for 600 returns
The hidden test sets are not here: the course team keeps them.

Les 870 photos sous licence CC BY 4.0 sont les retours VisA : 735 avec des étiquettes et les 135 du mois. Affichez maintenant les lignes d’inspection du tableau comparatif :

Fenêtre de terminal
vision compare --task inspect

Vers la fin de la sortie, vous trouvez trois lignes de référence. Vous avez calculé leurs coûts dans Le retour qui a coûté deux fois. Les voici, sans les colonnes de droite :

no inspection (every return goes back on sale) returns test 2229.4 all damaged items sold -
a person checks 100 random returns a day returns test 1907.8 expected value -
a perfect inspector checks only the damaged items returns test 24.8 the floor -

Les autres lignes sont des méthodes que les modules suivants construisent. Elles vont d’une règle de couleur aux modèles qui comparent de petites parties de chaque photo. Chacune coûte entre 24,8 et 2 229,4 $ US par jour. Enfin, exécutez vision reset. La commande supprime vos propres sorties et vérifie chaque fichier de données à l’aide de sa somme de contrôle :

Reset: removed outputs; data: all 2113 files are right.

Elle affiche removed outputs (sorties supprimées), car vision compare a créé un dossier outputs vide pour vos propres lignes. Si vous modifiez un fichier de données par erreur, vision reset le nomme, par exemple changed: catalogue/train/candle/P-00402f5d.jpg (fichier modifié). Pour le réparer, exécutez git checkout -- C42/data dans le dossier nextia-learning-labs, ou décompressez de nouveau le fichier ZIP.

Erreur courante

Aucun dossier de données trouvé

Symptôme : le lendemain, vous ouvrez un nouveau terminal, allez dans larkvision, activez l’environnement et exécutez vision info. Vous obtenez ceci, et rien d’autre :

Error: no data folder found (set LARKVISION_DATA, or copy the course's data folder here)

Cause : le nouveau terminal n’a pas LARKVISION_DATA. Une variable d’environnement existe seulement dans le terminal où vous la définissez. Sans elle, la commande vision cherche seulement dans data, ../data et ../../data, à partir du dossier actuel. Les images ne s’y trouvent pas.

Correction : définissez de nouveau la variable depuis le dossier larkvision, comme à l’étape 5 ci-dessus. Puis exécutez de nouveau vision info : sa première ligne nomme le dossier de données. Si l’erreur persiste, vérifiez que nextia-learning-labs/C42/data/catalogue/manifest.csv existe à côté de larkvision.

Conséquence pour le travail en IA : un outil qui devine où sont ses données peut aussi trouver les mauvaises données. Ce peut être une ancienne copie ou un autre jeu de données. Le message d’erreur est le cas favorable. Avant de faire confiance à un nombre, vérifiez quel dossier de données l’a produit. vision info l’affiche sur sa première ligne.

À vous de jouer : les photos d’entraînement avec des dommages

Section intitulée « À vous de jouer : les photos d’entraînement avec des dommages »

La section 6 du carnet propose une tâche avec une cellule de vérification. Chaque photo avec des dommages a un ou plusieurs types de dommages dans la colonne damage. Le séparateur "; " se trouve entre deux types.

  1. Prenez les photos d’entraînement des retours dont le statut est damaged (endommagé).
  2. Divisez chaque texte de damage au séparateur "; ".
  3. Comptez chaque type. Placez le résultat dans damage_counts : un dictionnaire qui associe chaque type à son décompte.
  4. Exécutez la cellule de vérification. Elle affiche Check passed: damage_counts is right. (vérification réussie : damage_counts est correct) quand votre réponse est bonne.
Afficher la réponse
from collections import Counter
damage_counts = Counter()
for text in returns[(returns["split"] == "train") & (returns["status"] == "damaged")]["damage"]:
for kind in text.split("; "):
damage_counts[kind] += 1
damage_counts = dict(damage_counts)
print(damage_counts)
{'foreign particals on candle': 6, 'damaged corner of packaging': 7, 'weird candle wick': 3, 'different colour spot': 6, 'chunk of wax missing': 5, 'wax melded out of the candle': 2, 'extra wax in candle': 2}

Les 25 photos d’entraînement avec des dommages comptent 31 occurrences de types de dommages : certaines photos en ont deux. Sept types se partagent 25 photos, donc chaque type a seulement 2 à 7 exemples. Une méthode qui doit apprendre chaque type de dommage à partir d’exemples étiquetés a très peu d’exemples pour apprendre. Le module 6 part de ce constat. Les noms des types viennent de VisA, sans modification, avec leur orthographe (« particals », « melded »).

Si quelque chose ne fonctionne plus dans le carnet, supprimez le dossier larkfield-images et réexécutez le carnet depuis le début.

Vérifiez votre compréhension

La catégorie des bougies a 15 photos d'entraînement, et les autres catégories en ont de 41 à 70. Pourquoi cela peut-il compter pour un modèle, et pourquoi le cours garde-t-il cette catégorie?

Afficher la réponse

Un modèle qui apprend à partir d’exemples voit les bougies beaucoup moins souvent que les chaises ou les vases. Il peut apprendre à favoriser les grandes catégories et se tromper sur les bougies, tout en gardant une bonne exactitude globale. La colonne worst (pire résultat) du tableau comparatif le montre. Dans les premières lignes, la catégorie des bougies est la pire pour HOG, avec un résultat de 0,100. Le cours garde cette petite catégorie parce que les vrais catalogues ont de nouvelles catégories avec peu de photos. C’est un problème que nous avons inséré, et le module 3 le mesure et le corrige.

Vérifiez votre compréhension

Pourquoi le cours garde-t-il des données de test cachées, alors que vos fichiers contiennent déjà des données de test?

Afficher la réponse

Les données de test sont dans vos fichiers. Chaque consultation, et chaque modification faite après une consultation, les utilise donc un peu. Leur score devient alors trop bon, comme un examen vu la veille. Les données de test cachées ne sont pas dans les fichiers, donc personne ne peut s’en servir pour faire des choix. Une leçon choisit une méthode à partir des données de validation, puis l’évalue une seule fois sur le test caché. Le résultat donne une estimation honnête pour de nouvelles photos.

Vérifiez votre compréhension

Dans le tableau comparatif, une méthode de catalogue a une valeur de 0,894 et une méthode d'inspection, de 369. Laquelle est meilleure? Que comparez-vous plutôt?

Afficher la réponse

Aucune : les deux nombres mesurent des choses différentes. Pour le catalogue, value (valeur) est une exactitude : plus elle est élevée, mieux c’est. Pour l’inspection, c’est un coût en dollars par jour : plus il est bas, mieux c’est. Comparez les lignes seulement pour une même tâche. Pour cette tâche, regardez aussi la colonne worst, le temps processeur, la taille du modèle, les photos étiquetées nécessaires et la licence. Avec 160 photos de test, traitez les écarts inférieurs à environ 3 points d’exactitude comme du bruit.

Récapitulatif

  • Le cours comprend quatre jeux d’images. Le catalogue compte 733 photos (CC BY 2.0, chacune avec son auteur), et les retours, 735 photos de lampions VisA (CC BY 4.0). Notre code crée les palettes (90 scènes) et les photos des clients. Le nouveau studio et le mois sont des copies modifiées.
  • Certains problèmes sont insérés : la catégorie des bougies a seulement 15 photos d’entraînement, et certaines étiquettes sont incorrectes. Aucune photo du catalogue ne montre une personne : nous en avons retiré 160.
  • Les données de test cachées ne sont pas dans vos fichiers. Elles servent une seule fois, pour une méthode choisie à partir des données de validation. sealed-key.txt est scellé, pas secret.
  • Le tableau comparatif compte 66 lignes pour cinq tâches. Chaque tâche a son propre nombre principal. Comparez les lignes seulement pour une même tâche et traitez les écarts inférieurs à environ 3 points comme du bruit.
  • Le projet larkvision se trouve à côté de nextia-learning-labs et trouve les images grâce à LARKVISION_DATA. Son premier instantané exécute vision info, vision compare et vision reset. Les lignes de référence pour les retours sont de 2 229,4, 1 907,8 et 24,8 $ US par jour.

Vous pouvez maintenant charger chaque jeu d’images et lire le tableau comparatif. Mais les premières lignes du tableau sont seulement des nombres mesurés par quelqu’un d’autre. Ensuite, vous construisez vous-même les méthodes les plus simples : les règles de couleur et les histogrammes de couleurs. Vous voyez où elles réussissent et où elles échouent.

Leçon suivante : Règles et histogrammes de couleurs