Aller au contenu
English

Le comptage, et le suivi en bref

  • Leçon 16
  • 35 min
  • Module 4 : Détecter et compter

Où nous en sommes

Nos détecteurs trouvent les cartons de Larkfield. Hamid ne veut pas de boîtes englobantes : il veut un nombre. Dans cette leçon, nous comptons à partir de boîtes englobantes, d'une estimation de densité et d'une règle. Nous voyons où l'encombrement fait échouer chaque méthode.

Leçon 16 sur 30 · IA de vision : voir, compter et inspecterLe comptage, et le suivi en bref

Ce que vous saurez faire

Transformez des photos de palettes en un décompte que Hamid peut utiliser. Comparez trois façons de compter : à partir des boîtes englobantes d’un détecteur, avec une règle et avec une estimation de densité. Voyez où l’encombrement fait échouer chaque méthode. Décidez ensuite quand une seule photo suffit et quand vous devez suivre les objets entre les images d’une vidéo.

Carnet JupyterFaites cette leçon dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter compte les 30 palettes de test de trois façons. Il utilise les boîtes englobantes enregistrées du détecteur réglé finement, la règle des étiquettes blanches et une estimation de densité. Il entraîne cette dernière sur les 40 palettes d’entraînement. Il trace les trois décomptes en fonction du décompte réel. Ses cellules de préparation installent PyTorch et téléchargent les photos de palettes et un modèle ResNet-18 (47 Mo). Prévoyez environ 35 minutes; après la préparation, les cellules s’exécutent en moins d’une minute.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 35 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

  • Pour le carnet : rien. Il s’exécute dans Colab ou Kaggle.
  • Pour les étapes du projet : votre projet larkvision avec la commande vision count.

Testé avec Python 3.12, PyTorch 2.15.0 et timm 1.0.31 sur macOS. Les commandes Windows sont les mêmes; elles n’ont pas été exécutées.

Un magasin ferme pour la journée. Combien d’argent contient le carton de monnaie? Il y a trois façons de le savoir.

  • Une par une : prenez chaque pièce et comptez-la. C’est exact, mais lent. Dans un gros tas, vous pouvez facilement perdre le fil du décompte.
  • Avec une règle : comptez seulement les grosses pièces, puis multipliez selon ce que vous savez de la répartition. C’est rapide, mais faux les jours où la répartition change.
  • Par le poids : posez tout le carton sur une balance. Vous ne touchez aucune pièce. C’est rapide et utile pour les gros tas, mais jamais exact.

Les trois mêmes façons s’appliquent au comptage des cartons sur une palette.

Le problème : Hamid veut un nombre, pas des boîtes englobantes

Section intitulée « Le problème : Hamid veut un nombre, pas des boîtes englobantes »

Hamid ne regarde pas les rectangles. Il compare le nombre de cartons sur une palette au nombre indiqué sur le bon de livraison. Un décompte erroné peut laisser un carton manquant sans recherche, ou déclencher la recherche d’un carton qui n’a jamais existé.

Le détecteur de la dernière leçon compte presque parfaitement les palettes espacées et moyennes. Sur les palettes serrées, son erreur est de 6,9 cartons par photo. Peut-on compter sans devoir trouver chaque carton?

Méthode 1 : compter les boîtes englobantes d’un détecteur

Section intitulée « Méthode 1 : compter les boîtes englobantes d’un détecteur »

Vous connaissez la première méthode : exécutez un détecteur, appliquez le seuil de score et la NMS, puis comptez les boîtes englobantes restantes. C’est la méthode « une par une ».

Le décompte dépend des deux seuils. Essayez-les de nouveau sur la palette serrée, cette fois en pensant au décompte.

Explorer

Deux seuils, un décompte

  • Vraie boîte englobante (pointillés)
  • Boîte englobante gardée, juste
  • Boîte englobante gardée, fausse

Les boîtes englobantes sont celles qu'a enregistrées le détecteur réglé finement sur 40 photos de palettes, avant la suppression des non-maxima. Il garde ses 200 meilleures boîtes englobantes par photo, donc le score le plus bas ici est d'environ 0,34. Les photos sont dessinées par notre code (synthétiques).

Cartons sur la palette
22
Boîtes englobantes au-dessus du seuil de score
133 sur 200
Décompte : boîtes englobantes gardées après la NMS
22
Erreur de comptage
0
Boîtes englobantes justes (IoU d'au moins 0,5)
21
Boîtes englobantes fausses
1
Boîtes englobantes manquées
1

Le seuil de score 0,60 garde 133 des 200 boîtes englobantes enregistrées. La NMS à une IoU de 0,50 retire 111 boîtes englobantes qui se chevauchent et en garde 22. La palette a 22 cartons. 21 boîtes englobantes gardées sont justes, 1 est fausse, et 1 vraie boîte englobante est manquée. Le décompte est juste, mais les boîtes englobantes ne sont pas toutes justes : une boîte englobante fausse et une boîte englobante manquée s'annulent.

La palette serrée S-063 (22 cartons) et la palette moyenne S-062 (24 cartons). Les boîtes englobantes enregistrées proviennent du détecteur réglé finement sur 40 photos, avant la NMS. Le même explorateur que dans Les boîtes englobantes et l'IoU, sans votre boîte englobante.
Description textuelle de l’explorateur

L’explorateur montre une photo de palette avec les boîtes englobantes réelles en pointillés. Les boîtes englobantes conservées bleues correspondent à une boîte englobante réelle; les orange ne correspondent à aucune. Les commandes permettent de choisir la photo : S-063, serrée, ou S-062, moyenne. Elles règlent aussi le seuil de score de 0,30 à 0,95 et le seuil de NMS de 0,10 à 1,00. L’affichage indique les boîtes englobantes au-dessus du seuil de score, le décompte après NMS et l’erreur de comptage. Il indique aussi les boîtes englobantes correctes, incorrectes et manquées. Sur S-063, avec la NMS à 0,50 et le score à 0,60, le décompte est de 22. Il y a 21 boîtes englobantes correctes, 1 incorrecte et 1 manquée. Au score de 0,50, le décompte est de 23. Au score de 0,90, il est de 13, toutes correctes, avec 9 boîtes englobantes manquées. Sur S-062, le décompte reste à 24 pour tous les seuils de score de 0,40 à 0,90. Cela vaut pour une NMS entre 0,10 et 0,60.

Au score de 0,90, le décompte descend à 13 : toutes les boîtes englobantes conservées sont correctes, mais 9 boîtes englobantes sont manquées. Le détecteur est moins certain des boîtes englobantes qui se touchent. Un seuil élevé élimine donc précisément les boîtes englobantes difficiles. Sur la palette moyenne, le décompte reste à 24 pour tous les seuils de score de 0,40 à 0,90. Cela vaut pour tout seuil de NMS allant jusqu’à 0,60. L’encombrement rend le décompte sensible aux seuils.

Regardez de nouveau les photos de palettes. La plupart des cartons portent une étiquette d’expédition blanche. Le blanc est facile à trouver : un pixel dont les valeurs rouge, verte et bleue dépassent toutes 200.

La règle :

  1. Trouvez les pixels très clairs.
  2. Regroupez les pixels clairs qui se touchent en amas, et gardez les amas d’au moins 12 pixels.
  3. Sur ces palettes, 7 cartons sur 10 portent une étiquette. Divisez donc le nombre d’amas par 0,7.

C’est la méthode « compter les grosses pièces ». Elle ne nécessite ni modèle, ni étiquettes d’entraînement, ni entraînement. Elle s’exécute en environ 4 millisecondes par photo.

La palette serrée S-063 avec un rectangle vert autour de chaque étiquette blanche. Le titre indique : 18 étiquettes blanches, 18 divisé par 0,7 donne 25,7, donc 26 cartons; le décompte réel est de 22.
La règle des étiquettes sur la palette serrée S-063 : 18 étiquettes blanches, 18 ÷ 0,7 = 25,7. La règle indique donc 26 cartons. La palette en contient 22 : ici, 18 cartons sur 22 portent une étiquette, soit 82 % et non 70 %.
Description textuelle du diagramme

Une palette synthétique avec 22 cartons en rangées serrées. Chacune des 18 petites étiquettes blanches est entourée d’un rectangle vert. Quatre cartons n’ont pas d’étiquette. Le titre donne le calcul : 18 étiquettes divisées par 0,7 donnent 25,7, arrondi à 26 cartons, contre 22 cartons réels.

Sur les 30 palettes de test, l’erreur de comptage de la règle est de 5,23 cartons par photo. Elle est la plus élevée sur les palettes espacées (6,1), et non sur les serrées (5,2). Deux problèmes surviennent, et aucun ne vient de l’encombrement :

  • La proportion d’étiquettes varie. En moyenne, 7 cartons sur 10 portent une étiquette. Sur une palette, ce peut être 9 sur 9 : alors, 9 ÷ 0,7 = 13 pour 9 cartons. Moins une palette contient de cartons, plus la proportion varie.
  • D’autres éléments blancs sont comptés. Sur S-064, un arrière-plan très clair forme un énorme amas blanc. La règle indique alors 31 pour 9 cartons.

La troisième méthode est celle de la balance. Une estimation de densité ne trouve aucune boîte englobante. Elle découpe la photo en petites cellules et prédit la quantité de « carton » dans chacune. Le décompte est la somme de toutes les cellules.

Voici un exemple construit : une photo découpée en 4 × 5 cellules. Un modèle a inscrit dans chaque cellule le nombre de centres de cartons qu’il prévoit y trouver.

Une grille de 4 rangées et 5 colonnes de cellules bleues avec des nombres entre 0,0 et 2,6. Les sommes des rangées sont 2,5, 6,9, 7,9 et 3,7, et le décompte est de 21,0.
Une carte de densité construite. Aucune cellule ne contient un carton entier. Les nombres indiquent combien de centres de cartons le modèle prévoit dans chaque cellule. Leur somme, 21,0, est le décompte.
Description textuelle du diagramme

Une grille de 4 rangées et 5 colonnes. Rangée 1 : 0,0, 0,4, 1,1, 0,9, 0,1. Rangée 2 : 0,2, 1,8, 2,3, 2,0, 0,6. Rangée 3 : 0,3, 2,1, 2,6, 2,2, 0,7. Rangée 4 : 0,0, 0,9, 1,4, 1,2, 0,2. Les cellules plus foncées contiennent les nombres plus élevés. Les sommes des rangées sont 2,5, 6,9, 7,9 et 3,7. Le décompte est de 21,0, soit environ 21 cartons.

Aucune cellule n’a besoin d’être exacte. Une cellule peut indiquer 2,3 quand la valeur réelle est 2; la suivante indique 1,8 quand la valeur réelle est 2. Les erreurs s’annulent en partie dans la somme. Voilà pourquoi les estimations de densité sont populaires pour les scènes serrées, comme des groupes d’oiseaux ou des cellules au microscope.

L’estimation de densité du cours est volontairement petite :

  • Caractéristiques : le ResNet-18 préentraîné des modules 2 et 3 fournit 256 nombres pour chaque cellule de 16 × 16 pixels. Une photo de palette contient 24 × 32 cellules.
  • Cible : pour chaque cellule d’une photo d’entraînement, le nombre de centres de boîtes englobantes réelles qu’elle contient. Nous connaissons chaque boîte englobante des photos d’entraînement, donc cette cible ne demande aucun travail supplémentaire.
  • Modèle : une régression ridge (un modèle linéaire qui pénalise les poids élevés) transforme les 256 nombres en nombre de centres. Elle est entraînée sur les 40 palettes d’entraînement.

L’erreur de comptage est de 3,33 cartons par photo : 3,46 pour les espacées, 2,77 pour les moyennes et 3,76 pour les serrées. Cette méthode prend environ 23 millisecondes par photo et utilise le ResNet-18 de 47 Mo.

Cette estimation de densité est faible : elle fait moins bien que le détecteur sur les palettes espacées et moyennes. Le détecteur y est presque parfait. C’est un membre simple de sa famille, avec un modèle linéaire et 40 photos. Les modèles de recherche pour compter les foules sont beaucoup plus grands. Pourtant, même celui-ci fait une chose que le détecteur ne peut pas faire. Son erreur sur les palettes serrées (3,76) est environ la moitié de celle du détecteur (6,9).

  • Boîtes englobantes (détecteur)
  • Estimation de densité
  • Règle : étiquettes ÷ 0,7
Erreur de comptage selon l'encombrement sur les 30 palettes de test. Le détecteur est presque parfait sur les palettes espacées et moyennes, et fait le moins bien sur les serrées. L'estimation de densité est à peu près constante; la règle fait le moins bien sur les palettes espacées.
Description textuelle du graphique

Un graphique avec trois points sur l’axe horizontal : espacées, moyennes et serrées. L’erreur de comptage va de 0 à 8 sur l’axe vertical. Boîtes englobantes du détecteur réglé finement : 0,2, 0,4 et 6,9. Estimation de densité : 3,46, 2,77 et 3,76. Règle : 6,1, 4,4 et 5,2.

Chaque palette, avec un point par méthode :

  • Boîtes englobantes (détecteur)
  • Estimation de densité
  • Règle
Le décompte de chaque méthode en fonction du décompte réel, pour chacune des 30 palettes de test. Un point sur la ligne indique un décompte correct. Au-dessus : trop de cartons; en dessous : trop peu. Les points du détecteur quittent la ligne à droite, là où les palettes sont serrées.
Description textuelle du graphique

Un nuage de points avec le décompte réel de 0 à 60 sur l’axe horizontal. Les cartons comptés vont de 0 à 70 sur l’axe vertical. Une ligne indique où les deux sont égaux. Les points du détecteur restent sur la ligne jusqu’à environ 24 cartons. Sur les palettes serrées, contenant de 22 à 51 cartons, ils se dispersent. Par exemple : 57 pour 51, 65 pour 46, 35 pour 44 et 40 pour 27. Les points de densité restent à environ 4 cartons de la ligne sur la plupart des palettes, de toute taille. Les plus grandes erreurs sont 11 cartons de trop et 8,5 de moins. Sur les palettes serrées, ils sont généralement un peu sous la ligne : par exemple, 44,1 pour 51 et 36,9 pour 44. Les points de la règle se dispersent des deux côtés, pour toutes les tailles. Par exemple : 31 pour 9 cartons et 63 pour 51.

Le tableau comparatif, avec le coût de chaque méthode :

Méthode Erreur de comptage Encombrement le plus difficile Temps processeur par photo Modèle Photos étiquetées
Boîtes englobantes : détecteur réglé finement, score de 0,6 2,5 serrées, 6,9 87 ms 74 Mo 40
Estimation de densité (ResNet-18 + ridge) 3,33 serrées, 3,76 23 ms 47 Mo 40
Règle : étiquettes ÷ 0,7 5,23 espacées, 6,1 4 ms aucun 0
OWLv2, « a cardboard box » (un carton) 14,0 serrées, 36,9 1 260 ms 620 Mo 0

Le tableau contient deux autres lignes : les modèles vision-langage, que le module 7 mesure. Un modèle hébergé, dont les réponses sont enregistrées, a compté exactement les 30 palettes (erreur de 0,0). Un petit modèle local avait une erreur de 12,3. Nos palettes sont des dessins nets, donc ce score parfait dit peu de choses sur les vraies photos.

  1. Allez dans votre dossier larkvision, avec l’environnement virtuel actif et LARKVISION_DATA défini. Dans un nouveau terminal, consultez Découvrir les images de Larkfield. Comptez avec la règle :

    Fenêtre de terminal
    vision count --method label-rule
    rule: count the white labels, divide by 0.7: count error 5.23 boxes a photo (bias +3.7), exact on 13% of photos
    loose 10 photos: error 6.1, bias +5.5
    medium 10 photos: error 4.4, bias +2.2
    tight 10 photos: error 5.2, bias +3.4

    La règle n’a pas de ligne AP : elle ne trouve aucune boîte englobante.

  2. Regardez les lignes de comptage. vision compare --task count affiche d’abord les dix lignes du cours, puis vos exécutions, marquées (yours) (les vôtres). Ajoutez --mine pour voir seulement les vôtres :

    Fenêtre de terminal
    vision compare --task count --mine

    Voici les lignes après toutes les exécutions de ce module, dans l’ordre des leçons. Elles comprennent le seuil de score de 0,1 de la section « À vous de jouer » dans Les détecteurs préentraînés :

    count: count error (MAE, boxes)
    method setting value worst worst_value ms_per_image model_mb labelled_images licence
    finetuned-40 (score >= 0.6) (yours) pallets test 2.500 tight 6.900 - - - -
    finetuned-40 (score >= 0.5) (yours) pallets test 5.800 tight 16.7 - - - -
    fasterrcnn-coco (score >= 0.5) (yours) pallets test 20.5 tight 37.0 - - - -
    rtdetr-coco (score >= 0.5) (yours) pallets test 19.7 tight 36.3 - - - -
    rtdetr-coco (score >= 0.1) (yours) pallets test 16.3 tight 21.8 - - - -
    finetuned-10 (score >= 0.1) (yours) pallets test 5.000 tight 11.9 - - - -
    owlv2 (score >= 0.075, NMS 0.3) (yours) pallets test 14.0 tight 36.9 - - - -
    rule: count the white labels, divide by 0.7 (yours) pallets test 5.230 loose 6.100 - - - -

    Si vous avez essayé d’autres seuils, vous voyez davantage de lignes.

    vision reset supprime vos lignes quand vous voulez un tableau vierge.

Erreur courante

Un meilleur seuil, trouvé sur les photos de test

Symptôme : Tomás essaie davantage de seuils de NMS dans le projet et trouve un décompte bien meilleur :

Fenêtre de terminal
vision count --method finetuned-40 --score 0.5 --nms 0.3
finetuned-40 (score >= 0.5, NMS 0.3): count error 1.57 boxes a photo (bias -1.17), exact on 70% of photos
loose 10 photos: error 0.2, bias +0.2
medium 10 photos: error 0.0, bias +0.0
tight 10 photos: error 4.5, bias -3.7
AP at IoU 0.5: 0.867; kept boxes that cover two boxes: 26

Il veut présenter 1,57 au lieu de 2,5.

Cause : il a choisi les seuils en regardant les palettes de test. Les 30 photos de test font maintenant partie de son choix. Le résultat de 1,57 est donc trop bon pour être fiable. Sur les 30 prochaines palettes, il pourrait être meilleur ou pire; personne ne le sait encore. Regardez les palettes serrées : le biais est passé de +4,3 à −3,7. Le seuil bas de NMS supprime maintenant des boîtes englobantes réelles qui touchent leurs voisines.

Correction : choisissez les seuils de score et de NMS uniquement sur les 20 palettes de validation. Le cours l’a fait pour le seuil de score. Mesurez ensuite la paire choisie une fois sur les palettes de test. Mesurez-la encore sur les palettes cachées avant que Hamid l’utilise. Les boîtes englobantes enregistrées dans le projet couvrent seulement les palettes de test. Ce choix nécessite donc une exécution du détecteur sur les palettes de validation.

Conséquence pour le travail en IA : tout nombre utilisé pour choisir quelque chose n’est plus un test équitable de ce choix. Gardez un jeu de photos pour choisir et un autre pour présenter les résultats.

Jusqu’ici, chaque décompte provenait d’une seule photo. Certains décomptes proviennent d’une vidéo : des cartons sur un convoyeur, ou des palettes qui passent devant une barrière. Un carton apparaît dans plusieurs images. Si vous comptez les cartons dans chaque image et additionnez les résultats, vous comptez chaque carton plusieurs fois.

Le suivi donne à chaque objet une identité qui reste la même d’une image à l’autre. Un système de suivi simple utilise ce que vous connaissez déjà :

  1. Détectez les cartons dans chaque image.
  2. Appariez chaque boîte englobante à une boîte englobante de l’image précédente quand leur IoU est élevée (l’objet a peu bougé).
  3. Une boîte englobante sans correspondance est un nouvel objet : donnez-lui un nouveau numéro. Un objet sans correspondance pendant plusieurs images est parti.
  4. Comptez chaque numéro une fois, par exemple quand sa boîte englobante traverse une ligne.
Trois images d'un convoyeur. Les cartons numérotés #1, #2 et #3 se déplacent vers la droite et traversent une ligne de comptage en pointillés. #2 traverse la ligne dans l'image 2 et #1 dans l'image 3; le décompte est de 2.
Un exemple construit de suivi : chaque carton garde son numéro d'une image à l'autre. Il ajoute un au décompte quand il traverse la ligne en pointillés. Le carton #2 apparaît dans les trois images, mais compte une seule fois.
Description textuelle du diagramme

Trois images d’un convoyeur, superposées, chacune avec une ligne de comptage verticale en pointillés. Image 1 : les cartons #1 et #2, tous deux à gauche de la ligne. Image 2 : #2 a traversé la ligne (décompte de 1), #1 est encore à gauche et #3 est arrivé à gauche. Image 3 : #1 a traversé la ligne (décompte de 2), #2 est plus à droite et #3 a bougé sans traverser. Le carton #2 apparaît dans trois images et est compté une seule fois.

Le suivi ajoute de nouveaux problèmes. Deux cartons qui se touchent peuvent échanger leurs numéros. Un carton caché par un chariot élévateur pendant quelques images peut revenir avec un nouveau numéro et être compté deux fois. Les systèmes de suivi mesurent ces erreurs avec leurs propres mesures; un cours consacré au suivi les expliquerait. Des systèmes de suivi publics existent sous forme de bibliothèques; vérifiez leurs licences, comme pour les modèles YOLO.

Quand une photo suffit : les objets restent immobiles et sont tous visibles en même temps, comme sur les palettes de Larkfield. Une photo par palette, prise du même endroit, coûte moins cher et est plus facile à vérifier qu’une vidéo.

Quand le suivi est nécessaire : les objets bougent, ou ne sont jamais tous visibles en même temps. Par exemple : un convoyeur, un quai de chargement ou des étagères filmées par un robot mobile.

  • Palettes espacées et moyennes : le détecteur réglé finement. Son erreur est de 0,2 à 0,4 carton par photo, et Hamid peut regarder les boîtes englobantes pour les vérifier.
  • Palettes serrées : aucune méthode ne suffit seule. L’erreur du détecteur est de 6,9, celle de l’estimation de densité de 3,76. Envoyez ces palettes à une personne, ou prenez deux photos de deux côtés.
  • Pas encore d’étiquettes d’entraînement : la règle, pour un premier nombre et pour vérifier les autres méthodes. Elle nécessite des cartons portant des étiquettes et un arrière-plan qui n’est pas blanc.

Une erreur de comptage de 2,5 cartons par photo est une moyenne. Le décompte qui compte est celui du bon de livraison. Un bon service signale une palette quand deux méthodes diffèrent de plus de quelques cartons, et demande l’aide d’une personne.

  1. Ouvrez le carnet à partir de l’encadré Faites cette leçon dans un carnet Jupyter en haut de cette page.
  2. Exécutez les cellules de préparation. La première installe PyTorch, ce qui peut prendre 2 minutes la première fois.
  3. Dans la section 1, exécutez la cellule. Les palettes espacées contiennent de 6 à 12 cartons, les moyennes de 11 à 24, les serrées de 22 à 51.
  4. Dans la section 2, exécutez la cellule. Vous voyez error 2.5 (erreur de 2,5) au score de 0,6 et error 5.8 (erreur de 5,8) à 0,5.
  5. Dans la section 3, prédisez où la règle donne les pires résultats. Puis exécutez la cellule. Vous voyez error 5.23 | loose 6.1 medium 4.4 tight 5.2 (erreur de 5,23 | espacées 6,1, moyennes 4,4, serrées 5,2).
  6. Dans la section 4, exécutez la cellule. Elle télécharge ResNet-18 (47 Mo) et ajuste l’estimation de densité : error 3.33 (erreur de 3,33).
  7. Dans la section 5, exécutez la cellule. Elle trace les trois décomptes par rapport aux valeurs réelles.
  8. Dans la section 6, mettez l’erreur de l’estimation de densité sur les palettes serrées dans density_tight. La cellule de vérification affiche Check passed (vérification réussie).

À vous de jouer : deux méthodes sur les palettes encombrées

Section intitulée « À vous de jouer : deux méthodes sur les palettes encombrées »

Comptez les cartons des 30 palettes de test avec deux méthodes. Rapportez l’erreur sur les 10 palettes serrées. Utilisez les boîtes englobantes du détecteur au score de 0,6 et une méthode qui ne trouve aucune boîte englobante. Avant toute exécution, prédisez laquelle des deux gagne sur les palettes serrées.

Afficher la réponse

Avec l’estimation de densité : l’erreur du détecteur sur les palettes serrées est de 6,9, celle de l’estimation de densité de 3,76. L’estimation de densité gagne sur les palettes serrées et perd partout ailleurs (3,46 contre 0,2 sur les espacées).

Avec la règle : l’erreur de la règle sur les palettes serrées est de 5,2. Elle y bat aussi le détecteur, mais de moins. Elle est la pire des trois sur les palettes espacées.

Un rapport pour Hamid : « Sur les palettes serrées, notre meilleur décompte s’écarte d’environ 4 cartons par photo. Une personne doit vérifier chaque palette serrée. Sur les palettes espacées et moyennes, le détecteur se trompe de moins d’un demi-carton. »

Vérifiez votre compréhension

Une carte de densité contient ces valeurs de cellule : 0,4, 1,2, 0,9, 1,6, 0,0 et 0,7. Quel décompte donne-t-elle? Pourquoi aucune cellule ne peut-elle être « juste » à elle seule?

Afficher la réponse

Le décompte est la somme : 0,4 + 1,2 + 0,9 + 1,6 + 0,0 + 0,7 = 4,8, soit environ 5 cartons. Une cellule ne contient pas des cartons entiers. Elle contient la part du décompte que le modèle y prévoit. Ainsi, 1,2 signifie « un peu plus d’un centre de carton ». Seule la somme est comparée à la valeur réelle. Les erreurs des cellules s’y annulent en partie.

Vérifiez votre compréhension

La règle des étiquettes donne ses pires résultats sur les palettes espacées (erreur de 6,1). Pourtant, ces palettes sont les plus faciles pour le détecteur. Expliquez pourquoi.

Afficher la réponse

La règle ne regarde pas les cartons; elle compte les étiquettes blanches et divise par 0,7. Deux choses la font échouer, et aucune n’est l’encombrement. D’abord, la proportion de cartons avec une étiquette varie d’une palette à l’autre, surtout sur les petites palettes : 9 étiquettes sur 9 cartons donnent 9 ÷ 0,7 = 13. Ensuite, d’autres zones blanches comptent comme des étiquettes. Sur S-064, un arrière-plan très clair forme une seule zone immense. La règle annonce alors 31 pour 9 cartons. Les palettes espacées contiennent peu de cartons, mais ils sont grands. Les deux erreurs pèsent donc davantage.

Vérifiez votre compréhension

Choisissez une méthode pour compter les cartons des palettes de Larkfield. Donnez son erreur, son temps de calcul sur processeur et sa licence. Dites aussi ce qu'une personne doit encore vérifier.

Afficher la réponse

Le détecteur Faster R-CNN MobileNetV3, réglé finement sur 40 photos de palettes étiquetées, au seuil de score de 0,6 choisi sur les données de validation. Erreur de comptage de 2,5 cartons par photo : 0,2 sur les palettes espacées, 0,4 sur les moyennes et 6,9 sur les serrées. AP50 de 0,867. Environ 87 millisecondes par photo sur le processeur d’un portable, 74 Mo. Licence : code sous BSD-3-Clause (torchvision), avec des poids préentraînés sur COCO. L’équipe doit vérifier les conditions d’utilisation de ses photos. Une personne doit encore vérifier chaque palette serrée : le décompte s’y écarte d’environ 7 cartons. Un décompte juste peut aussi cacher des boîtes englobantes mal détectées. Une personne doit également vérifier toute palette où le détecteur et une seconde méthode, comme l’estimation de densité, diffèrent de plus de quelques cartons.

Récapitulatif

  • Compter à partir des boîtes englobantes : le détecteur réglé finement au score de 0,6 se trompe de 2,5 cartons par photo. Il est presque parfait sur les palettes espacées et moyennes. Son erreur est de 6,9 sur les serrées. Les seuils changent le décompte et doivent être choisis sur les photos de validation.
  • Compter avec une règle : étiquettes blanches ÷ 0,7, erreur de 5,23, en 4 ms et sans modèle. Elle échoue quand la proportion d’étiquettes varie ou que d’autres éléments sont blancs, pas quand les cartons se touchent.
  • Compter par densité : la somme d’une carte de cellules. Une version linéaire peu performante (ResNet-18 + régression ridge, 40 photos) a une erreur de 3,33, presque identique à chaque niveau d’encombrement. Sur les palettes serrées, elle est de 3,76, soit la moitié de celle du détecteur.
  • Le suivi conserve le numéro d’un objet d’une image vidéo à l’autre. Un carton en mouvement compte donc une seule fois. Une photo suffit quand les objets restent immobiles et sont tous visibles.

Vous pouvez maintenant compter les cartons des palettes de Larkfield de trois façons et expliquer où chacune échoue. Mais une boîte englobante reste une forme approximative. Sur une palette serrée, les rectangles se chevauchent et ne peuvent pas indiquer quels pixels appartiennent à quel carton. Ensuite, nous donnons à chaque objet son contour exact et voyons quand cela vaut le coût supplémentaire.

Leçon suivante : Segmentation sémantique et segmentation d'instances