Le comptage, et le suivi en bref
- Leçon 16
- 35 min
- Module 4 : Détecter et compter
Où nous en sommes
Nos détecteurs trouvent les cartons de Larkfield. Hamid ne veut pas de boîtes englobantes : il veut un nombre. Dans cette leçon, nous comptons à partir de boîtes englobantes, d'une estimation de densité et d'une règle. Nous voyons où l'encombrement fait échouer chaque méthode.
Leçon 16 sur 30 · IA de vision : voir, compter et inspecterLe comptage, et le suivi en bref
1. Voir est un problème d'affaires
2. Références de base et classificateurs préentraînés
3. Plongements, CLIP et peu d'étiquettes
4. Détecter et compter
5. Segmenter
6. Inspecter pour trouver les défauts
7. Apparier, chercher et décrire
8. Exploiter la vision en production
Ce que vous saurez faire
Transformez des photos de palettes en un décompte que Hamid peut utiliser. Comparez trois façons de compter : à partir des boîtes englobantes d’un détecteur, avec une règle et avec une estimation de densité. Voyez où l’encombrement fait échouer chaque méthode. Décidez ensuite quand une seule photo suffit et quand vous devez suivre les objets entre les images d’une vidéo.
Carnet JupyterFaites cette leçon dans un carnet Jupyter
Le carnet (notebook) Jupyter compte les 30 palettes de test de trois façons. Il utilise les boîtes englobantes enregistrées du détecteur réglé finement, la règle des étiquettes blanches et une estimation de densité. Il entraîne cette dernière sur les 40 palettes d’entraînement. Il trace les trois décomptes en fonction du décompte réel. Ses cellules de préparation installent PyTorch et téléchargent les photos de palettes et un modèle ResNet-18 (47 Mo). Prévoyez environ 35 minutes; après la préparation, les cellules s’exécutent en moins d’une minute.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Les boîtes englobantes, l’IoU et la NMS, vus dans Les boîtes englobantes et l’IoU.
- Le détecteur réglé finement et OWLv2, vus dans Régler finement un détecteur sur quelques images.
- Les caractéristiques d’image d’un réseau préentraîné, vues dans L’idée : un plongement, dans Les plongements d’images.
Ce qu’il vous faut sur votre ordinateur
- Pour le carnet : rien. Il s’exécute dans Colab ou Kaggle.
- Pour les étapes du projet : votre projet
larkvisionavec la commandevision count.
Testé avec Python 3.12, PyTorch 2.15.0 et timm 1.0.31 sur macOS. Les commandes Windows sont les mêmes; elles n’ont pas été exécutées.
Trois façons de compter des pièces de monnaie
Section intitulée « Trois façons de compter des pièces de monnaie »Un magasin ferme pour la journée. Combien d’argent contient le carton de monnaie? Il y a trois façons de le savoir.
- Une par une : prenez chaque pièce et comptez-la. C’est exact, mais lent. Dans un gros tas, vous pouvez facilement perdre le fil du décompte.
- Avec une règle : comptez seulement les grosses pièces, puis multipliez selon ce que vous savez de la répartition. C’est rapide, mais faux les jours où la répartition change.
- Par le poids : posez tout le carton sur une balance. Vous ne touchez aucune pièce. C’est rapide et utile pour les gros tas, mais jamais exact.
Les trois mêmes façons s’appliquent au comptage des cartons sur une palette.
Le problème : Hamid veut un nombre, pas des boîtes englobantes
Section intitulée « Le problème : Hamid veut un nombre, pas des boîtes englobantes »Hamid ne regarde pas les rectangles. Il compare le nombre de cartons sur une palette au nombre indiqué sur le bon de livraison. Un décompte erroné peut laisser un carton manquant sans recherche, ou déclencher la recherche d’un carton qui n’a jamais existé.
Le détecteur de la dernière leçon compte presque parfaitement les palettes espacées et moyennes. Sur les palettes serrées, son erreur est de 6,9 cartons par photo. Peut-on compter sans devoir trouver chaque carton?
Méthode 1 : compter les boîtes englobantes d’un détecteur
Section intitulée « Méthode 1 : compter les boîtes englobantes d’un détecteur »Vous connaissez la première méthode : exécutez un détecteur, appliquez le seuil de score et la NMS, puis comptez les boîtes englobantes restantes. C’est la méthode « une par une ».
Le décompte dépend des deux seuils. Essayez-les de nouveau sur la palette serrée, cette fois en pensant au décompte.
Explorer
Deux seuils, un décompte
Prédisez d’abord : Sur la palette serrée S-063, avec la NMS à 0,50, vous montez le seuil de score de 0,60 à 0,90. Le décompte va-t-il monter, descendre ou rester à 22?
- Vraie boîte englobante (pointillés)
- Boîte englobante gardée, juste
- Boîte englobante gardée, fausse
Les boîtes englobantes sont celles qu'a enregistrées le détecteur réglé finement sur 40 photos de palettes, avant la suppression des non-maxima. Il garde ses 200 meilleures boîtes englobantes par photo, donc le score le plus bas ici est d'environ 0,34. Les photos sont dessinées par notre code (synthétiques).
- Cartons sur la palette
- 22
- Boîtes englobantes au-dessus du seuil de score
- 133 sur 200
- Décompte : boîtes englobantes gardées après la NMS
- 22
- Erreur de comptage
- 0
- Boîtes englobantes justes (IoU d'au moins 0,5)
- 21
- Boîtes englobantes fausses
- 1
- Boîtes englobantes manquées
- 1
Le seuil de score 0,60 garde 133 des 200 boîtes englobantes enregistrées. La NMS à une IoU de 0,50 retire 111 boîtes englobantes qui se chevauchent et en garde 22. La palette a 22 cartons. 21 boîtes englobantes gardées sont justes, 1 est fausse, et 1 vraie boîte englobante est manquée. Le décompte est juste, mais les boîtes englobantes ne sont pas toutes justes : une boîte englobante fausse et une boîte englobante manquée s'annulent.
Description textuelle de l’explorateur
L’explorateur montre une photo de palette avec les boîtes englobantes réelles en pointillés. Les boîtes englobantes conservées bleues correspondent à une boîte englobante réelle; les orange ne correspondent à aucune. Les commandes permettent de choisir la photo : S-063, serrée, ou S-062, moyenne. Elles règlent aussi le seuil de score de 0,30 à 0,95 et le seuil de NMS de 0,10 à 1,00. L’affichage indique les boîtes englobantes au-dessus du seuil de score, le décompte après NMS et l’erreur de comptage. Il indique aussi les boîtes englobantes correctes, incorrectes et manquées. Sur S-063, avec la NMS à 0,50 et le score à 0,60, le décompte est de 22. Il y a 21 boîtes englobantes correctes, 1 incorrecte et 1 manquée. Au score de 0,50, le décompte est de 23. Au score de 0,90, il est de 13, toutes correctes, avec 9 boîtes englobantes manquées. Sur S-062, le décompte reste à 24 pour tous les seuils de score de 0,40 à 0,90. Cela vaut pour une NMS entre 0,10 et 0,60.
Au score de 0,90, le décompte descend à 13 : toutes les boîtes englobantes conservées sont correctes, mais 9 boîtes englobantes sont manquées. Le détecteur est moins certain des boîtes englobantes qui se touchent. Un seuil élevé élimine donc précisément les boîtes englobantes difficiles. Sur la palette moyenne, le décompte reste à 24 pour tous les seuils de score de 0,40 à 0,90. Cela vaut pour tout seuil de NMS allant jusqu’à 0,60. L’encombrement rend le décompte sensible aux seuils.
Méthode 2 : une règle sans modèle
Section intitulée « Méthode 2 : une règle sans modèle »Regardez de nouveau les photos de palettes. La plupart des cartons portent une étiquette d’expédition blanche. Le blanc est facile à trouver : un pixel dont les valeurs rouge, verte et bleue dépassent toutes 200.
La règle :
- Trouvez les pixels très clairs.
- Regroupez les pixels clairs qui se touchent en amas, et gardez les amas d’au moins 12 pixels.
- Sur ces palettes, 7 cartons sur 10 portent une étiquette. Divisez donc le nombre d’amas par 0,7.
C’est la méthode « compter les grosses pièces ». Elle ne nécessite ni modèle, ni étiquettes d’entraînement, ni entraînement. Elle s’exécute en environ 4 millisecondes par photo.

Description textuelle du diagramme
Une palette synthétique avec 22 cartons en rangées serrées. Chacune des 18 petites étiquettes blanches est entourée d’un rectangle vert. Quatre cartons n’ont pas d’étiquette. Le titre donne le calcul : 18 étiquettes divisées par 0,7 donnent 25,7, arrondi à 26 cartons, contre 22 cartons réels.
Sur les 30 palettes de test, l’erreur de comptage de la règle est de 5,23 cartons par photo. Elle est la plus élevée sur les palettes espacées (6,1), et non sur les serrées (5,2). Deux problèmes surviennent, et aucun ne vient de l’encombrement :
- La proportion d’étiquettes varie. En moyenne, 7 cartons sur 10 portent une étiquette. Sur une palette, ce peut être 9 sur 9 : alors, 9 ÷ 0,7 = 13 pour 9 cartons. Moins une palette contient de cartons, plus la proportion varie.
- D’autres éléments blancs sont comptés. Sur S-064, un arrière-plan très clair forme un énorme amas blanc. La règle indique alors 31 pour 9 cartons.
Méthode 3 : une estimation de densité
Section intitulée « Méthode 3 : une estimation de densité »La troisième méthode est celle de la balance. Une estimation de densité ne trouve aucune boîte englobante. Elle découpe la photo en petites cellules et prédit la quantité de « carton » dans chacune. Le décompte est la somme de toutes les cellules.
Un petit exemple
Section intitulée « Un petit exemple »Voici un exemple construit : une photo découpée en 4 × 5 cellules. Un modèle a inscrit dans chaque cellule le nombre de centres de cartons qu’il prévoit y trouver.
Description textuelle du diagramme
Une grille de 4 rangées et 5 colonnes. Rangée 1 : 0,0, 0,4, 1,1, 0,9, 0,1. Rangée 2 : 0,2, 1,8, 2,3, 2,0, 0,6. Rangée 3 : 0,3, 2,1, 2,6, 2,2, 0,7. Rangée 4 : 0,0, 0,9, 1,4, 1,2, 0,2. Les cellules plus foncées contiennent les nombres plus élevés. Les sommes des rangées sont 2,5, 6,9, 7,9 et 3,7. Le décompte est de 21,0, soit environ 21 cartons.
Aucune cellule n’a besoin d’être exacte. Une cellule peut indiquer 2,3 quand la valeur réelle est 2; la suivante indique 1,8 quand la valeur réelle est 2. Les erreurs s’annulent en partie dans la somme. Voilà pourquoi les estimations de densité sont populaires pour les scènes serrées, comme des groupes d’oiseaux ou des cellules au microscope.
L’estimation de densité de Larkfield
Section intitulée « L’estimation de densité de Larkfield »L’estimation de densité du cours est volontairement petite :
- Caractéristiques : le ResNet-18 préentraîné des modules 2 et 3 fournit 256 nombres pour chaque cellule de 16 × 16 pixels. Une photo de palette contient 24 × 32 cellules.
- Cible : pour chaque cellule d’une photo d’entraînement, le nombre de centres de boîtes englobantes réelles qu’elle contient. Nous connaissons chaque boîte englobante des photos d’entraînement, donc cette cible ne demande aucun travail supplémentaire.
- Modèle : une régression ridge (un modèle linéaire qui pénalise les poids élevés) transforme les 256 nombres en nombre de centres. Elle est entraînée sur les 40 palettes d’entraînement.
L’erreur de comptage est de 3,33 cartons par photo : 3,46 pour les espacées, 2,77 pour les moyennes et 3,76 pour les serrées. Cette méthode prend environ 23 millisecondes par photo et utilise le ResNet-18 de 47 Mo.
Cette estimation de densité est faible : elle fait moins bien que le détecteur sur les palettes espacées et moyennes. Le détecteur y est presque parfait. C’est un membre simple de sa famille, avec un modèle linéaire et 40 photos. Les modèles de recherche pour compter les foules sont beaucoup plus grands. Pourtant, même celui-ci fait une chose que le détecteur ne peut pas faire. Son erreur sur les palettes serrées (3,76) est environ la moitié de celle du détecteur (6,9).
Les trois méthodes côte à côte
Section intitulée « Les trois méthodes côte à côte »- Boîtes englobantes (détecteur)
- Estimation de densité
- Règle : étiquettes ÷ 0,7
Description textuelle du graphique
Un graphique avec trois points sur l’axe horizontal : espacées, moyennes et serrées. L’erreur de comptage va de 0 à 8 sur l’axe vertical. Boîtes englobantes du détecteur réglé finement : 0,2, 0,4 et 6,9. Estimation de densité : 3,46, 2,77 et 3,76. Règle : 6,1, 4,4 et 5,2.
Chaque palette, avec un point par méthode :
- Boîtes englobantes (détecteur)
- Estimation de densité
- Règle
Description textuelle du graphique
Un nuage de points avec le décompte réel de 0 à 60 sur l’axe horizontal. Les cartons comptés vont de 0 à 70 sur l’axe vertical. Une ligne indique où les deux sont égaux. Les points du détecteur restent sur la ligne jusqu’à environ 24 cartons. Sur les palettes serrées, contenant de 22 à 51 cartons, ils se dispersent. Par exemple : 57 pour 51, 65 pour 46, 35 pour 44 et 40 pour 27. Les points de densité restent à environ 4 cartons de la ligne sur la plupart des palettes, de toute taille. Les plus grandes erreurs sont 11 cartons de trop et 8,5 de moins. Sur les palettes serrées, ils sont généralement un peu sous la ligne : par exemple, 44,1 pour 51 et 36,9 pour 44. Les points de la règle se dispersent des deux côtés, pour toutes les tailles. Par exemple : 31 pour 9 cartons et 63 pour 51.
Le tableau comparatif, avec le coût de chaque méthode :
| Méthode | Erreur de comptage | Encombrement le plus difficile | Temps processeur par photo | Modèle | Photos étiquetées |
|---|---|---|---|---|---|
| Boîtes englobantes : détecteur réglé finement, score de 0,6 | 2,5 | serrées, 6,9 | 87 ms | 74 Mo | 40 |
| Estimation de densité (ResNet-18 + ridge) | 3,33 | serrées, 3,76 | 23 ms | 47 Mo | 40 |
| Règle : étiquettes ÷ 0,7 | 5,23 | espacées, 6,1 | 4 ms | aucun | 0 |
| OWLv2, « a cardboard box » (un carton) | 14,0 | serrées, 36,9 | 1 260 ms | 620 Mo | 0 |
Le tableau contient deux autres lignes : les modèles vision-langage, que le module 7 mesure. Un modèle hébergé, dont les réponses sont enregistrées, a compté exactement les 30 palettes (erreur de 0,0). Un petit modèle local avait une erreur de 12,3. Nos palettes sont des dessins nets, donc ce score parfait dit peu de choses sur les vraies photos.
Larkfield : le tableau des décomptes dans le projet
Section intitulée « Larkfield : le tableau des décomptes dans le projet »-
Allez dans votre dossier
larkvision, avec l’environnement virtuel actif etLARKVISION_DATAdéfini. Dans un nouveau terminal, consultez Découvrir les images de Larkfield. Comptez avec la règle :Fenêtre de terminal vision count --method label-rulerule: count the white labels, divide by 0.7: count error 5.23 boxes a photo (bias +3.7), exact on 13% of photosloose 10 photos: error 6.1, bias +5.5medium 10 photos: error 4.4, bias +2.2tight 10 photos: error 5.2, bias +3.4La règle n’a pas de ligne AP : elle ne trouve aucune boîte englobante.
-
Regardez les lignes de comptage.
vision compare --task countaffiche d’abord les dix lignes du cours, puis vos exécutions, marquées(yours)(les vôtres). Ajoutez--minepour voir seulement les vôtres :Fenêtre de terminal vision compare --task count --mineVoici les lignes après toutes les exécutions de ce module, dans l’ordre des leçons. Elles comprennent le seuil de score de 0,1 de la section « À vous de jouer » dans Les détecteurs préentraînés :
count: count error (MAE, boxes)method setting value worst worst_value ms_per_image model_mb labelled_images licencefinetuned-40 (score >= 0.6) (yours) pallets test 2.500 tight 6.900 - - - -finetuned-40 (score >= 0.5) (yours) pallets test 5.800 tight 16.7 - - - -fasterrcnn-coco (score >= 0.5) (yours) pallets test 20.5 tight 37.0 - - - -rtdetr-coco (score >= 0.5) (yours) pallets test 19.7 tight 36.3 - - - -rtdetr-coco (score >= 0.1) (yours) pallets test 16.3 tight 21.8 - - - -finetuned-10 (score >= 0.1) (yours) pallets test 5.000 tight 11.9 - - - -owlv2 (score >= 0.075, NMS 0.3) (yours) pallets test 14.0 tight 36.9 - - - -rule: count the white labels, divide by 0.7 (yours) pallets test 5.230 loose 6.100 - - - -Si vous avez essayé d’autres seuils, vous voyez davantage de lignes.
vision resetsupprime vos lignes quand vous voulez un tableau vierge.
Erreur courante
Un meilleur seuil, trouvé sur les photos de test
Symptôme : Tomás essaie davantage de seuils de NMS dans le projet et trouve un décompte bien meilleur :
vision count --method finetuned-40 --score 0.5 --nms 0.3finetuned-40 (score >= 0.5, NMS 0.3): count error 1.57 boxes a photo (bias -1.17), exact on 70% of photos loose 10 photos: error 0.2, bias +0.2 medium 10 photos: error 0.0, bias +0.0 tight 10 photos: error 4.5, bias -3.7 AP at IoU 0.5: 0.867; kept boxes that cover two boxes: 26Il veut présenter 1,57 au lieu de 2,5.
Cause : il a choisi les seuils en regardant les palettes de test. Les 30 photos de test font maintenant partie de son choix. Le résultat de 1,57 est donc trop bon pour être fiable. Sur les 30 prochaines palettes, il pourrait être meilleur ou pire; personne ne le sait encore. Regardez les palettes serrées : le biais est passé de +4,3 à −3,7. Le seuil bas de NMS supprime maintenant des boîtes englobantes réelles qui touchent leurs voisines.
Correction : choisissez les seuils de score et de NMS uniquement sur les 20 palettes de validation. Le cours l’a fait pour le seuil de score. Mesurez ensuite la paire choisie une fois sur les palettes de test. Mesurez-la encore sur les palettes cachées avant que Hamid l’utilise. Les boîtes englobantes enregistrées dans le projet couvrent seulement les palettes de test. Ce choix nécessite donc une exécution du détecteur sur les palettes de validation.
Conséquence pour le travail en IA : tout nombre utilisé pour choisir quelque chose n’est plus un test équitable de ce choix. Gardez un jeu de photos pour choisir et un autre pour présenter les résultats.
Le suivi, en bref
Section intitulée « Le suivi, en bref »Jusqu’ici, chaque décompte provenait d’une seule photo. Certains décomptes proviennent d’une vidéo : des cartons sur un convoyeur, ou des palettes qui passent devant une barrière. Un carton apparaît dans plusieurs images. Si vous comptez les cartons dans chaque image et additionnez les résultats, vous comptez chaque carton plusieurs fois.
Le suivi donne à chaque objet une identité qui reste la même d’une image à l’autre. Un système de suivi simple utilise ce que vous connaissez déjà :
- Détectez les cartons dans chaque image.
- Appariez chaque boîte englobante à une boîte englobante de l’image précédente quand leur IoU est élevée (l’objet a peu bougé).
- Une boîte englobante sans correspondance est un nouvel objet : donnez-lui un nouveau numéro. Un objet sans correspondance pendant plusieurs images est parti.
- Comptez chaque numéro une fois, par exemple quand sa boîte englobante traverse une ligne.
Description textuelle du diagramme
Trois images d’un convoyeur, superposées, chacune avec une ligne de comptage verticale en pointillés. Image 1 : les cartons #1 et #2, tous deux à gauche de la ligne. Image 2 : #2 a traversé la ligne (décompte de 1), #1 est encore à gauche et #3 est arrivé à gauche. Image 3 : #1 a traversé la ligne (décompte de 2), #2 est plus à droite et #3 a bougé sans traverser. Le carton #2 apparaît dans trois images et est compté une seule fois.
Le suivi ajoute de nouveaux problèmes. Deux cartons qui se touchent peuvent échanger leurs numéros. Un carton caché par un chariot élévateur pendant quelques images peut revenir avec un nouveau numéro et être compté deux fois. Les systèmes de suivi mesurent ces erreurs avec leurs propres mesures; un cours consacré au suivi les expliquerait. Des systèmes de suivi publics existent sous forme de bibliothèques; vérifiez leurs licences, comme pour les modèles YOLO.
Quand une photo suffit : les objets restent immobiles et sont tous visibles en même temps, comme sur les palettes de Larkfield. Une photo par palette, prise du même endroit, coûte moins cher et est plus facile à vérifier qu’une vidéo.
Quand le suivi est nécessaire : les objets bougent, ou ne sont jamais tous visibles en même temps. Par exemple : un convoyeur, un quai de chargement ou des étagères filmées par un robot mobile.
Quel décompte pour Hamid?
Section intitulée « Quel décompte pour Hamid? »- Palettes espacées et moyennes : le détecteur réglé finement. Son erreur est de 0,2 à 0,4 carton par photo, et Hamid peut regarder les boîtes englobantes pour les vérifier.
- Palettes serrées : aucune méthode ne suffit seule. L’erreur du détecteur est de 6,9, celle de l’estimation de densité de 3,76. Envoyez ces palettes à une personne, ou prenez deux photos de deux côtés.
- Pas encore d’étiquettes d’entraînement : la règle, pour un premier nombre et pour vérifier les autres méthodes. Elle nécessite des cartons portant des étiquettes et un arrière-plan qui n’est pas blanc.
Une erreur de comptage de 2,5 cartons par photo est une moyenne. Le décompte qui compte est celui du bon de livraison. Un bon service signale une palette quand deux méthodes diffèrent de plus de quelques cartons, et demande l’aide d’une personne.
Exercice guidé : trois décomptes dans le carnet
Section intitulée « Exercice guidé : trois décomptes dans le carnet »- Ouvrez le carnet à partir de l’encadré Faites cette leçon dans un carnet Jupyter en haut de cette page.
- Exécutez les cellules de préparation. La première installe PyTorch, ce qui peut prendre 2 minutes la première fois.
- Dans la section 1, exécutez la cellule. Les palettes espacées contiennent de 6 à 12 cartons, les moyennes de 11 à 24, les serrées de 22 à 51.
- Dans la section 2, exécutez la cellule. Vous voyez
error 2.5(erreur de 2,5) au score de 0,6 eterror 5.8(erreur de 5,8) à 0,5. - Dans la section 3, prédisez où la règle donne les pires résultats. Puis exécutez la cellule. Vous voyez
error 5.23 | loose 6.1 medium 4.4 tight 5.2(erreur de 5,23 | espacées 6,1, moyennes 4,4, serrées 5,2). - Dans la section 4, exécutez la cellule. Elle télécharge ResNet-18 (47 Mo) et ajuste l’estimation de densité :
error 3.33(erreur de 3,33). - Dans la section 5, exécutez la cellule. Elle trace les trois décomptes par rapport aux valeurs réelles.
- Dans la section 6, mettez l’erreur de l’estimation de densité sur les palettes serrées dans
density_tight. La cellule de vérification afficheCheck passed(vérification réussie).
À vous de jouer : deux méthodes sur les palettes encombrées
Section intitulée « À vous de jouer : deux méthodes sur les palettes encombrées »Comptez les cartons des 30 palettes de test avec deux méthodes. Rapportez l’erreur sur les 10 palettes serrées. Utilisez les boîtes englobantes du détecteur au score de 0,6 et une méthode qui ne trouve aucune boîte englobante. Avant toute exécution, prédisez laquelle des deux gagne sur les palettes serrées.
Afficher la réponse
Avec l’estimation de densité : l’erreur du détecteur sur les palettes serrées est de 6,9, celle de l’estimation de densité de 3,76. L’estimation de densité gagne sur les palettes serrées et perd partout ailleurs (3,46 contre 0,2 sur les espacées).
Avec la règle : l’erreur de la règle sur les palettes serrées est de 5,2. Elle y bat aussi le détecteur, mais de moins. Elle est la pire des trois sur les palettes espacées.
Un rapport pour Hamid : « Sur les palettes serrées, notre meilleur décompte s’écarte d’environ 4 cartons par photo. Une personne doit vérifier chaque palette serrée. Sur les palettes espacées et moyennes, le détecteur se trompe de moins d’un demi-carton. »
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Une carte de densité contient ces valeurs de cellule : 0,4, 1,2, 0,9, 1,6, 0,0 et 0,7. Quel décompte donne-t-elle? Pourquoi aucune cellule ne peut-elle être « juste » à elle seule?
Afficher la réponse
Le décompte est la somme : 0,4 + 1,2 + 0,9 + 1,6 + 0,0 + 0,7 = 4,8, soit environ 5 cartons. Une cellule ne contient pas des cartons entiers. Elle contient la part du décompte que le modèle y prévoit. Ainsi, 1,2 signifie « un peu plus d’un centre de carton ». Seule la somme est comparée à la valeur réelle. Les erreurs des cellules s’y annulent en partie.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
La règle des étiquettes donne ses pires résultats sur les palettes espacées (erreur de 6,1). Pourtant, ces palettes sont les plus faciles pour le détecteur. Expliquez pourquoi.
Afficher la réponse
La règle ne regarde pas les cartons; elle compte les étiquettes blanches et divise par 0,7. Deux choses la font échouer, et aucune n’est l’encombrement. D’abord, la proportion de cartons avec une étiquette varie d’une palette à l’autre, surtout sur les petites palettes : 9 étiquettes sur 9 cartons donnent 9 ÷ 0,7 = 13. Ensuite, d’autres zones blanches comptent comme des étiquettes. Sur S-064, un arrière-plan très clair forme une seule zone immense. La règle annonce alors 31 pour 9 cartons. Les palettes espacées contiennent peu de cartons, mais ils sont grands. Les deux erreurs pèsent donc davantage.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Choisissez une méthode pour compter les cartons des palettes de Larkfield. Donnez son erreur, son temps de calcul sur processeur et sa licence. Dites aussi ce qu'une personne doit encore vérifier.
Afficher la réponse
Le détecteur Faster R-CNN MobileNetV3, réglé finement sur 40 photos de palettes étiquetées, au seuil de score de 0,6 choisi sur les données de validation. Erreur de comptage de 2,5 cartons par photo : 0,2 sur les palettes espacées, 0,4 sur les moyennes et 6,9 sur les serrées. AP50 de 0,867. Environ 87 millisecondes par photo sur le processeur d’un portable, 74 Mo. Licence : code sous BSD-3-Clause (torchvision), avec des poids préentraînés sur COCO. L’équipe doit vérifier les conditions d’utilisation de ses photos. Une personne doit encore vérifier chaque palette serrée : le décompte s’y écarte d’environ 7 cartons. Un décompte juste peut aussi cacher des boîtes englobantes mal détectées. Une personne doit également vérifier toute palette où le détecteur et une seconde méthode, comme l’estimation de densité, diffèrent de plus de quelques cartons.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Compter à partir des boîtes englobantes : le détecteur réglé finement au score de 0,6 se trompe de 2,5 cartons par photo. Il est presque parfait sur les palettes espacées et moyennes. Son erreur est de 6,9 sur les serrées. Les seuils changent le décompte et doivent être choisis sur les photos de validation.
- Compter avec une règle : étiquettes blanches ÷ 0,7, erreur de 5,23, en 4 ms et sans modèle. Elle échoue quand la proportion d’étiquettes varie ou que d’autres éléments sont blancs, pas quand les cartons se touchent.
- Compter par densité : la somme d’une carte de cellules. Une version linéaire peu performante (ResNet-18 + régression ridge, 40 photos) a une erreur de 3,33, presque identique à chaque niveau d’encombrement. Sur les palettes serrées, elle est de 3,76, soit la moitié de celle du détecteur.
- Le suivi conserve le numéro d’un objet d’une image vidéo à l’autre. Un carton en mouvement compte donc une seule fois. Une photo suffit quand les objets restent immobiles et sont tous visibles.
Vous pouvez maintenant compter les cartons des palettes de Larkfield de trois façons et expliquer où chacune échoue. Mais une boîte englobante reste une forme approximative. Sur une palette serrée, les rectangles se chevauchent et ne peuvent pas indiquer quels pixels appartiennent à quel carton. Ensuite, nous donnons à chaque objet son contour exact et voyons quand cela vaut le coût supplémentaire.
Leçon suivante : Segmentation sémantique et segmentation d'instances