Compter et détecter dans des scènes encombrées
- Étude de cas 3
- 150 min
- Facultative · 1 étude de cas requise pour le certificat
Où nous en sommes
Pendant huit modules, nous avons compté les cartons sur les palettes de Larkfield. Dans cette étude de cas, nous comptons les objets dans des photos ouvertes encombrées. Nous comparons deux détecteurs, une méthode de densité et un modèle vision-langage selon l'erreur de comptage par encombrement.
Étude de cas 3 sur 3 · IA de vision : voir, compter et inspecterCompter et détecter dans des scènes encombrées
1. Voir est un problème d'affaires
2. Références de base et classificateurs préentraînés
3. Plongements, CLIP et peu d'étiquettes
4. Détecter et compter
5. Segmenter
6. Inspecter pour trouver les défauts
7. Apparier, chercher et décrire
8. Exploiter la vision en production
Ce que vous saurez faire
Comptez les fenêtres et les voitures dans de vraies photos ouvertes, de trois objets jusqu’aux scènes encombrées. Vous comparez cinq compteurs selon leur erreur de comptage par encombrement et le coût des erreurs pour une petite entreprise. Sur les photos de validation, vous choisissez un compteur et décidez quand une personne compte à sa place. Ensuite, vous testez une seule fois, appliquez la décision à de nouvelles photos et la consignez pour la propriétaire.
Le carnet (notebook) Jupyter exécute chaque étape de cette page, avec le même code et les mêmes sorties. Il ajoute trois tâches avec des vérifications. Ses cellules de configuration installent les paquets et téléchargent les photos (15 Mo) et trois modèles : RT-DETR (81 Mo), Faster R-CNN (74 Mo) et ResNet-18 (47 Mo). Après les téléchargements, il s’exécute en environ 4 minutes sur le processeur d’un portable. Les réponses du modèle hébergé sont enregistrées. Vous n’avez donc besoin ni de clé ni de compte.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
Cette étude de cas utilise surtout le module 4. Ces leçons sont importantes :
- Les boîtes englobantes, l’IoU et le seuil de score, dans Les boîtes englobantes et l’IoU.
- Les détecteurs COCO et l’AP, dans Les détecteurs préentraînés.
- Le réglage fin d’un détecteur sur un processeur, dans Régler finement un détecteur sur quelques images.
- Le comptage à partir de boîtes englobantes ou d’une estimation de densité, et l’erreur de comptage, dans Le comptage, et le suivi en bref.
- Les réponses enregistrées d’un modèle hébergé, dans Vérifier ce que dit un modèle vision-langage.
Ce qu’il vous faut sur votre ordinateur
Rien pour le carnet dans Colab ou Kaggle. Pour l’exécuter localement, utilisez un environnement virtuel avec Python 3.12 et Jupyter, comme dans Découvrir les images de Larkfield. Le carnet travaille dans un nouveau dossier crowded-scenes. Pour recommencer, supprimez ce dossier. Cette étude de cas n’utilise pas le projet larkvision.
Testé sur macOS avec Python 3.12.13, PyTorch 2.15.0, torchvision 0.29.2, timm 1.0.31, Transformers 5.22.2 et scikit-learn 1.9.1. Nous l’avons exécuté dans Jupyter après un nouveau démarrage. Colab, Kaggle, Windows et Linux n’ont pas été testés.
La situation
Section intitulée « La situation »Clearline est une petite entreprise de nettoyage (une entreprise fictive). Elle nettoie les fenêtres d’immeubles de bureaux et lave les voitures dans leurs stationnements. Un nouveau client envoie une photo : la façade de l’immeuble ou le stationnement. Marta, la propriétaire, compte les fenêtres ou les voitures et envoie une soumission.
Marta reçoit plus de photos chaque mois. Compter à l’œil les fenêtres d’un grand immeuble prend du temps. Elle demande à Diego, un scientifique des données : « L’ordinateur peut-il compter les objets sur les photos pour moi? Je peux encore en compter moi-même sur certaines photos. » Leo, qui prépare les soumissions avec elle, a une idée plus simple : « Demande simplement à un des grands modèles d’IA. »
Un mauvais décompte coûte de l’argent de deux façons. Trop peu, et Clearline nettoie des fenêtres sans être payée. Trop, et la soumission est trop élevée : le client choisit une autre entreprise. Marta a fixé un prix pour chaque erreur. Ce sont des hypothèses, ses estimations, et non des faits mesurés :
- Une fenêtre mal comptée coûte 3 $ US : le prix du nettoyage d’une fenêtre.
- Une voiture mal comptée coûte 12 $ US : le prix du lavage d’une voiture.
- Une photo comptée par une personne coûte 0,50 $ US : environ une minute à 30 $ US l’heure. Une personne ne se trompe jamais.
- Le bureau peut compter au plus 250 photos sur 1 000. Pour les autres photos, la soumission doit utiliser le décompte de l’ordinateur.
C’est le comptage des palettes de Hamid du module 4, avec de vraies photos et un prix pour chaque erreur.
Ce que vous allez construire
Section intitulée « Ce que vous allez construire »Vous allez construire cinq compteurs. Un compteur reçoit une photo et renvoie un nombre. Une règle supplémentaire transforme un compteur en décision : un seuil pour confier le comptage à une personne. Une photo dont le décompte atteint ou dépasse ce seuil va au bureau, tant que le budget le permet. Pour toutes les autres photos, la soumission utilise leur décompte.
Pourquoi un seuil aide-t-il? Un compteur fait ses plus grandes erreurs sur les photos encombrées. Ces photos obtiennent généralement un décompte élevé. Les décomptes les plus élevés désignent donc les meilleures photos à confier à une personne. C’est la zone de vérification de Fixer les seuils avec l’entrepôt, avec un seuil plutôt que deux. Vous comparez les compteurs selon le coût par 1 000 photos, dans le budget de 250 photos confiées à une personne.
Les données
Section intitulée « Les données »Les photos proviennent d’Open Images V7, un grand ensemble de photos Flickr avec des boîtes englobantes tracées et vérifiées par des personnes. Les photos du catalogue du cours en proviennent aussi. Nous utilisons deux de ses classes : Window (fenêtre) et Car (voiture).

Description textuelle du diagramme
Rangée du haut, fenêtres. D’abord, une porte vitrée entre des murs de briques : Open Images encadre 3 fenêtres, les panneaux vitrés de la porte et de son cadre. Ensuite, une longue maison en bois sur une colline herbeuse : 8 fenêtres. Enfin, une grande maison de campagne en briques rouges avec un jardin à la française : 19 fenêtres sur deux étages et le toit. Rangée du bas, voitures. D’abord, une petite voiture grise vue de côté avec toutes ses portières ouvertes : 3 boîtes englobantes, la voiture et deux voitures loin derrière. Ensuite, une voiture sport classique argentée sur l’herbe devant une clôture : 6 boîtes englobantes, la voiture sport et cinq voitures stationnées derrière la clôture. Enfin, un carrefour urbain achalandé vu de très haut : 30 petites boîtes englobantes sur les voitures dans les rues.
Chaque photo a une classe, ce que Marta y compte. Le vrai décompte est le nombre de boîtes englobantes tracées par les annotateurs d’Open Images. Le groupe d’encombrement vient du vrai décompte : 3 à 5, 6 à 9, ou 10 objets ou plus.
| Ensemble | Fenêtres | Voitures | Son utilité |
|---|---|---|---|
train (entraînement) |
39 | 28 | données utilisées pour l’apprentissage du détecteur réglé finement et de l’estimation de densité |
val (validation) |
24 | 19 | choisir les seuils de score, le seuil pour confier le comptage à une personne et le compteur |
test (test) |
36 | 31 | mesurer une seule fois, à la fin |
new (nouvelles photos) |
12 | 9 | exécution de bout en bout sur de nouvelles photos |
Chaque ensemble contient les trois groupes en proportions à peu près égales. Les photos de voitures encombrées font exception : l’échantillon contient seulement 15 photos avec 10 voitures ou plus (7 dans les données de test). Nous expliquons pourquoi ci-dessous.
Premières vérifications
Section intitulée « Premières vérifications »Avant tout modèle, Diego cherche les photos en double, les décomptes qui ne correspondent pas aux boîtes englobantes et vérifie leur taille.
print("photos:", len(photos), "| different source photos:", photos["source_sha256"].nunique())print("boxes:", len(boxes), "| counts match the boxes:", (boxes.groupby("photo_id").size().reindex(photos["photo_id"]).values == photos["count"].values).all())boxes["side"] = np.sqrt(boxes["w"] * boxes["h"]) # the side of a square with the same area, in pixelsprint(boxes.groupby("class")["side"].describe(percentiles=[0.1, 0.5]).round(1)[["count", "10%", "50%", "max"]])print(photos.groupby("class")["count"].describe()[["min", "50%", "max"]])photos: 198 | different source photos: 198boxes: 2153 | counts match the boxes: True count 10% 50% maxclasscar 606.0 11.8 43.2 550.8window 1547.0 8.5 22.6 521.4 min 50% maxclasscar 3.0 6.0 30.0window 3.0 7.0 188.0Ce que cela nous apprend. Aucune photo n’est en double, et chaque décompte correspond à ses boîtes englobantes. Les photos mesurent 640 pixels sur leur côté le plus long. Une boîte englobante de fenêtre typique mesure seulement environ 23 pixels de large, et une boîte englobante de voiture, environ 43. Une façade compte 188 fenêtres; la photo de voitures la plus encombrée compte 30 voitures.
Deux pièges dans les étiquettes
Section intitulée « Deux pièges dans les étiquettes »Un groupe dense n’a pas de décompte. Quand plus de cinq objets se touchent et se cachent mutuellement, les annotateurs d’Open Images tracent une boîte englobante de groupe autour d’eux. Une boîte englobante de groupe indique « beaucoup de voitures ici », sans préciser combien. Diego a gardé seulement les photos sans boîte englobante de groupe de leur classe. C’est pourquoi les photos de voitures encombrées sont rares. Dans les données de validation et de test, 1 975 photos sans personne ont une boîte englobante de groupe de voitures. Seulement 52 ont 10 boîtes englobantes de voitures distinctes ou plus.
Qu’est-ce qu’une fenêtre? Regardez deux photos de test avec leurs vraies boîtes englobantes, à côté du décompte du modèle hébergé :

Description textuelle du diagramme
À gauche : un immeuble de trois étages en briques et panneaux gris. Chaque étage a de longues bandes de vitres, et chaque bande a une boîte englobante orange. Une bande de huit ou dix vitres compte donc comme une fenêtre. Il y a 15 boîtes englobantes. Le modèle hébergé indique 77 : il compte les vitres. À droite : un grand immeuble moderne avec deux ailes et un hall d’entrée vitré au milieu. Beaucoup de petites fenêtres des deux ailes ont des boîtes englobantes. Le grand mur vitré du hall n’a aucune boîte englobante. Il y a 55 boîtes englobantes. Le modèle hébergé indique 224.
Les deux réponses sont « justes » selon un certain sens du mot « fenêtre ». Marta en a un troisième : ce que son équipe nettoie et facture. Entendez-vous sur ce qu’est un objet avant de compter. Ici, le vrai décompte est celui des annotateurs. Certains de leurs décomptes sont sûrement erronés d’une ou deux unités.
Plus facile et plus difficile que les photos de Marta
Section intitulée « Plus facile et plus difficile que les photos de Marta »- Plus facile : les photos Flickr sont bien cadrées et nettes. La photo prise au téléphone d’un client peut être sombre, inclinée ou partiellement cachée par un arbre.
- Plus difficile : les fenêtres sont minuscules à 640 pixels, et le sens de « fenêtre » change d’une photo à l’autre.
- Encombrement modéré : les scènes réelles les plus encombrées ont des boîtes englobantes de groupe, donc elles ne figurent pas dans l’échantillon. Un stationnement plein est plus difficile que notre groupe « 10 ou plus ».
- Peu de photos : 36 photos de fenêtres et 31 de voitures pour le test; 7 photos de voitures encombrées pour le test. Une erreur de 10 fenêtres sur une photo change le coût de test de 1 000 ÷ 36 × 10 × 3 = 833 $ US par 1 000 photos. Les petites différences sont du bruit.
Définir le problème
Section intitulée « Définir le problème »- Un élément est une photo.
- La réponse est un décompte de la classe de la photo.
- L’erreur de comptage est la moyenne des écarts absolus par rapport aux vrais décomptes (MAE), comme au module 4. Le biais est l’écart moyen : une valeur positive indique un décompte trop élevé. Le pire cas est le groupe d’encombrement ayant la plus grande erreur.
- Le coût est calculé par 1 000 photos, avec les prix de Marta. Les photos dont le décompte atteint ou dépasse le seuil vont à une personne tant que le budget le permet (250 photos sur 1 000). Si davantage de photos dépassent le seuil, la personne prend celles dont les décomptes sont les plus élevés.
- Les seuils et le compteur sont choisis uniquement sur les photos de validation, séparément pour les fenêtres et les voitures. Ce sont des tâches différentes avec des prix différents.
- Les photos de test sont ouvertes une seule fois, après le choix.
Dans le carnet, quote_cost donne le coût par 1 000 photos pour un compteur et un seuil. choose_line retient le seuil le moins coûteux sur les photos de validation.
Cinq compteurs sur les mêmes photos
Section intitulée « Cinq compteurs sur les mêmes photos »Description textuelle du diagramme
En haut, un encadré : les mêmes photos de fenêtres et de voitures des clients. Cinq lignes descendent vers cinq compteurs. Décompte moyen attribue à chaque photo la moyenne d’entraînement. RT-DETR est un détecteur COCO sans nouvel entraînement. Réglé finement est Faster R-CNN, entraîné pendant 10 époques sur un processeur avec 67 photos et leurs boîtes englobantes. Densité utilise les cellules de ResNet-18 et une régression ridge, à partir des mêmes 67 photos. On demande au modèle hébergé « combien? », et ses réponses sont enregistrées. En dessous, trois encadrés en colonne. D’abord, validation avec 43 photos : choisir les seuils et un compteur par classe, avec au plus 250 photos sur 1 000 confiées à une personne. Ensuite, test avec 67 photos, une seule fois. Enfin, 21 nouvelles photos : soumission à partir du décompte, ou comptage par une personne.
Une référence de base : le décompte moyen
Section intitulée « Une référence de base : le décompte moyen »Le premier compteur ne regarde jamais la photo. Il attribue à chaque photo le décompte moyen des photos d’entraînement de sa classe : 12,0 fenêtres ou 6,6 voitures. Tout vrai compteur doit faire mieux.
Détecteur 1 : RT-DETR, sans nouvel entraînement
Section intitulée « Détecteur 1 : RT-DETR, sans nouvel entraînement »RT-DETR R18 (Apache-2.0) a appris à partir de COCO, comme dans Les détecteurs préentraînés. COCO a une classe « car » (voiture). Il n’a aucune classe « window » (fenêtre). Diego garde les boîtes englobantes RT-DETR de la classe de la photo et choisit le seuil de score sur les données de validation : 0,35 pour les voitures.
Prédisez. Sur les palettes de Larkfield, les détecteurs COCO n’avaient aucune classe « box » (carton) et trouvaient des panneaux d’arrêt et des trains. Que comptera RT-DETR sur une photo de fenêtres?
Il compte 0 fenêtre sur chaque photo. Son erreur pour les fenêtres est donc le vrai décompte moyen. Pour les voitures, c’est le meilleur compteur de tous.
Détecteur 2 : Faster R-CNN, réglé finement sur 67 photos
Section intitulée « Détecteur 2 : Faster R-CNN, réglé finement sur 67 photos »C’est la méthode de Régler finement un détecteur sur quelques images. Faster R-CNN MobileNetV3, entraîné sur COCO, reçoit une nouvelle dernière couche pour deux classes, fenêtre et voiture. Son réseau de base (backbone) est gelé. Le détecteur apprend à partir des 67 photos d’entraînement et de leurs 652 boîtes englobantes, pendant 10 époques, avec des retournements et un écrêtage du gradient. Sur le processeur d’un portable, cela a pris environ 2,5 à 3 minutes (149 à 173 secondes dans nos exécutions).
frcnn = fasterrcnn_mobilenet_v3_large_fpn(weights=FasterRCNN_MobileNet_V3_Large_FPN_Weights.COCO_V1, min_size=480, max_size=640, box_detections_per_img=300, box_score_thresh=0.05)frcnn.roi_heads.box_predictor = FastRCNNPredictor(frcnn.roi_heads.box_predictor.cls_score.in_features, 3)for p in frcnn.backbone.body.parameters(): p.requires_grad = False # the backbone stays as it is (frozen), as in Module 4Prédisez. RT-DETR connaît déjà les voitures grâce à COCO. Un détecteur réglé finement sur seulement 28 photos de voitures les comptera-t-il mieux ou moins bien?
Une estimation de densité
Section intitulée « Une estimation de densité »C’est l’estimation de densité de Le comptage, et le suivi en bref. ResNet-18 donne 256 nombres pour chaque cellule de 16 × 16 pixels. Une régression ridge apprend combien de centres de boîtes englobantes chaque cellule contient. Une régression ridge par classe apprend à partir des mêmes 67 photos. Le décompte est la somme sur les cellules; aucune boîte englobante n’est trouvée.
Le modèle vision-langage hébergé, réponses enregistrées
Section intitulée « Le modèle vision-langage hébergé, réponses enregistrées »L’idée de Leo : demander à un grand modèle. Le cours a envoyé chaque photo de validation, de test et nouvelle une fois au modèle hébergé du module 7. Chaque classe a une question :
How many windows of buildings can you see in this photo? Count every window you can see, also small,far or partly hidden ones. Answer with JSON only: {"count": <number>}.La question pour les voitures est identique, avec « cars » (voitures). Chaque réponse était du JSON valide. Le carnet rejoue les 112 réponses enregistrées. Le budget d’enregistrement (0,50 $ US pour cette étude de cas) s’est épuisé avant les 19 dernières photos de fenêtres de validation. Le modèle n’a donc que 5 réponses de validation pour les fenêtres (voir la décision).
Une comparaison équitable
Section intitulée « Une comparaison équitable »L’erreur de comptage sur les photos de test
Section intitulée « L’erreur de comptage sur les photos de test »Chaque méthode de comptage a maintenant un décompte pour chaque photo de test. Diego les compare :
METHODS = {"baseline: mean count": baseline, "RT-DETR (COCO, no training)": rt_counts, "Faster R-CNN fine-tuned": ft_counts, "density estimate": density, "hosted VLM (recorded)": vlm}rows = [r for name, counts in METHODS.items() for r in count_rows(name, counts)] method class count error bias exact 3-5 6-9 10+ baseline: mean count window 14.08 -5.58 0.000 8.42 4.25 29.58 baseline: mean count car 3.89 -1.24 0.065 3.24 0.98 10.00RT-DETR (COCO, no training) window 17.58 -17.58 0.000 3.58 7.75 41.42RT-DETR (COCO, no training) car 1.94 -0.84 0.258 0.67 1.75 4.43 Faster R-CNN fine-tuned window 10.92 3.97 0.000 4.58 7.58 20.58 Faster R-CNN fine-tuned car 3.39 -1.45 0.258 1.17 1.83 9.86 density estimate window 12.57 -1.52 0.000 7.98 8.08 21.65 density estimate car 4.18 -2.73 0.097 2.67 2.23 10.14 hosted VLM (recorded) window 21.22 20.89 0.111 4.08 17.50 42.08 hosted VLM (recorded) car 3.39 2.87 0.258 0.75 2.17 10.00« exact » désigne la proportion des photos de test comptées exactement. Les trois dernières colonnes donnent l’erreur de comptage dans chaque tranche d’encombrement.
- Décompte moyen
- RT-DETR
- Réglé finement
- Densité
- Modèle hébergé
Description textuelle du graphique
Un graphique avec trois points à l’horizontale : 3 à 5, 6 à 9, et 10 fenêtres ou plus. L’erreur de comptage va de 0 à 45 à la verticale. Décompte moyen : 8,42, 4,25, 29,58. RT-DETR : 3,58, 7,75, 41,42 (il ne compte aucune fenêtre, donc son erreur correspond au décompte réel). Réglé finement : 4,58, 7,58, 20,58. Densité : 7,98, 8,08, 21,65. Modèle hébergé : 4,08, 17,50, 42,08.
- Décompte moyen
- RT-DETR
- Réglé finement
- Densité
- Modèle hébergé
Description textuelle du graphique
Un graphique avec trois points à l’horizontale : 3 à 5, 6 à 9, et 10 voitures ou plus. L’erreur de comptage va de 0 à 11 à la verticale. Décompte moyen : 3,24, 0,98, 10,00. RT-DETR : 0,67, 1,75, 4,43. Réglé finement : 1,17, 1,83, 9,86. Densité : 2,67, 2,23, 10,14. Modèle hébergé : 0,75, 2,17, 10,00.
Ce que cela nous apprend.
- L’encombrement est le pire cas pour chaque méthode de comptage. Pour les fenêtres, la tranche encombrée donne des erreurs de 20 à 42 fenêtres par photo. Pour les voitures, de 4 à 10.
- COCO détermine les résultats des détecteurs. Pour les voitures, RT-DETR sans entraînement est la meilleure méthode de comptage : erreur 1,94, AP50 0,773. Le détecteur réglé finement sur 28 photos de voitures est moins bon : erreur 3,39, AP50 0,378. Pour les fenêtres, RT-DETR ne compte rien.
- Le détecteur réglé finement a la plus faible erreur sur les fenêtres (10,92), mais de mauvaises boîtes englobantes. Son AP50 sur les fenêtres n’est que de 0,069. Regardez ses boîtes englobantes :

Description textuelle du diagramme
Rangée du haut : une autoroute qui serpente dans une vallée avec des éoliennes sur les collines. La photo de gauche a 30 boîtes englobantes orange : de grandes voitures devant et beaucoup de petites voitures plus loin. La photo de droite a les 17 boîtes englobantes bleues de RT-DETR. Il trouve les voitures proches et quelques voitures éloignées, mais manque la plupart des petites voitures éloignées. Rangée du bas : un bâtiment en pierre de quatre étages avec des rangées de hautes fenêtres. La photo de gauche a 64 boîtes englobantes orange, une autour de chaque fenêtre. La photo de droite a les 80 boîtes englobantes bleues du détecteur réglé finement. Beaucoup sont de grandes boîtes englobantes autour de groupes de deux à six fenêtres, et elles se chevauchent. Son décompte est proche, mais ses boîtes englobantes sont incorrectes.
Un décompte de 80 pour 64 fenêtres semble proche, mais les boîtes englobantes couvrent des groupes de fenêtres. Un décompte peut être juste pour la mauvaise raison, comme dans Le comptage, et le suivi en bref. Les boîtes englobantes de voitures de RT-DETR, par contre, sont correctes; il manque les petites voitures éloignées.
- Le modèle hébergé compte autre chose. Son biais sur les fenêtres est de +20,89 : sur les photos ci-dessus, il comptait les carreaux. Pour les voitures, son erreur (3,39) est proche de celle du détecteur réglé finement.
- L’estimation de densité est faible, comme dans le module 4. Elle ne gagne clairement dans aucune tranche. Nous l’avons gardée aussi simple que celle du cours : un modèle linéaire par classe.
Le carnet (notebook) Jupyter ajoute ces lignes au tableau comparatif du cours, avec la tâche count (comptage).
La décision : un seuil pour confier la photo à une personne
Section intitulée « La décision : un seuil pour confier la photo à une personne »La validation d’abord
Section intitulée « La validation d’abord »Une faible erreur de comptage n’est pas encore une décision. Marta doit savoir quelles photos compter elle-même. Pour chaque méthode de comptage et chaque classe, choose_line essaie tous les seuils sur les photos de validation. Elle garde le moins coûteux. Puis Diego choisit, pour chaque classe, la méthode dont le coût de validation est le plus faible. Une autre règle : une méthode doit fournir un décompte pour chaque photo de validation. Le modèle hébergé n’a que 5 réponses sur 24 pour les fenêtres; on ne peut donc pas le choisir pour elles.
method class line validation cost test cost, no person test cost with the line photos to a person per 1,000 baseline: mean count window 12.0 26250.00 42250.00 31208.30 250.0 baseline: mean count car 7.0 21578.90 46838.70 39596.80 225.8RT-DETR (COCO, no training) window 0.0 35250.00 52750.00 38208.30 250.0RT-DETR (COCO, no training) car 9.0 8315.80 23225.80 13274.20 225.8 Faster R-CNN fine-tuned window 19.0 12625.00 32750.00 14458.30 250.0 Faster R-CNN fine-tuned car 7.0 36078.90 40645.20 14822.60 225.8 density estimate window 16.0 17500.00 37583.30 14041.70 250.0 density estimate car 8.0 24105.30 51096.80 35306.50 161.3 hosted VLM (recorded) window 12.0 4303.73 63670.43 12212.03 250.0 hosted VLM (recorded) car 11.0 7056.33 40648.93 9406.93 225.8chosen on validation: {'window': 'Faster R-CNN fine-tuned', 'car': 'hosted VLM (recorded)'}Les coûts sont en dollars par 1 000 photos. Les coûts du modèle hébergé comprennent sa facture : 3,73 $ US par 1 000 photos, selon le tableau des prix du cours (hypothèse). Les méthodes locales fonctionnent sur le portable du bureau pour presque rien.
Ce que cela nous apprend. Sur les données de validation, le détecteur réglé finement est le moins coûteux pour les fenêtres (12 625). Le modèle hébergé est le moins coûteux pour les voitures (7 056), et RT-DETR arrive deuxième (8 316). Diego les choisit maintenant, avant de regarder les colonnes de test.
Le test, une seule fois
Section intitulée « Le test, une seule fois »Description textuelle du graphique
Un graphique à six colonnes. Vérifications aléatoires : 31 812 $ US par 1 000 photos. Décompte moyen avec son seuil : 31 208. RT-DETR : 38 208. Réglé finement : 14 458. Densité : 14 042. Modèle hébergé : 12 212.
Description textuelle du graphique
Un graphique à six colonnes. Vérifications aléatoires : 35 254 $ US par 1 000 photos. Décompte moyen avec son seuil : 39 597. RT-DETR : 13 274. Réglé finement : 14 823. Densité : 35 307. Modèle hébergé : 9 407.
Ce que cela nous apprend.
- Fenêtres : le détecteur réglé finement coûte 14 458 dollars par 1 000 photos. C’est 31 812 avec le décompte moyen et les vérifications aléatoires : 55 % de moins. L’estimation de densité (14 042) et le modèle hébergé (12 212) sont dans le même ordre de grandeur. Une différence de 400 $ US représente une demi-photo : du bruit.
- Voitures : le modèle hébergé coûte 9 407, contre 35 254 avec les vérifications aléatoires : 73 % de moins. RT-DETR, local et gratuit, coûte 13 274.
- Le seuil fait l’essentiel du travail. Sans intervention humaine, le détecteur réglé finement coûte 32 750 pour les fenêtres. Le seuil envoie au bureau les 9 photos aux décomptes les plus élevés et réduit le coût de plus de moitié.
- Le coût reste élevé. Environ 14 $ US par photo de fenêtres représente une grosse erreur dans une soumission. Marta ne devrait pas utiliser ces décomptes pour une soumission sans prévoir une marge.
Erreur courante
Choisir à partir de 5 photos
Symptôme : Leo lit la colonne de validation et dit : « Le modèle hébergé est de loin le moins cher pour les fenêtres : 4 304 contre 12 625. Utilisez-le. » Sur les données de test, il est effectivement le moins coûteux (12 212).
Cause : son coût de validation vient de 5 photos, pas de 24, car le budget d’enregistrement était épuisé. Cinq photos peuvent facilement être cinq photos faciles. Sur les photos de test, son erreur de comptage des fenêtres est de 21,22, la pire de toutes. Son seuil fonctionne seulement parce qu’il surcompte encore davantage les façades encombrées.
Correction : comparez les méthodes de comptage sur les mêmes photos de validation. Enregistrez les réponses manquantes (environ 0,07 $ US de plus) avant de choisir. Ou choisissez parmi les méthodes qui ont toutes les réponses, comme Diego.
Conséquence pour le travail en IA : un chiffre tiré de moins d’exemples n’est pas le même chiffre. Vérifiez combien de photos soutiennent chaque ligne avant de comparer les lignes.
La recommandation
Section intitulée « La recommandation »Diego écrit à Marta dans ses mots :
- Fenêtres : utilisez le détecteur réglé finement. Comptez vous-même la photo quand le détecteur indique 19 fenêtres ou plus : environ un quart des photos.
- Voitures : utilisez le modèle hébergé avec un seuil à 11 voitures. Une option locale gratuite est presque aussi bonne : RT-DETR avec un seuil à 9 voitures (13 274 contre 9 407 $ US par 1 000 photos sur les données de test).
- Le coût attendu est d’environ 14 458 dollars par 1 000 photos de fenêtres et 9 407 par 1 000 photos de voitures, aux prix de Marta. C’est environ 31 800 et 35 300 avec le décompte moyen et les vérifications aléatoires.
- Toujours comptées par une personne : chaque photo au-dessus du seuil, et un petit échantillon aléatoire des autres chaque mois. Cela permet de mesurer l’erreur réelle sur les propres photos de Marta.
- Avant de faire une soumission à partir d’un décompte, convenez de ce qui constitue une fenêtre. Étiquetez ensuite 50 photos de vos propres clients selon cette règle, et fixez les seuils de nouveau.
Et les usages à éviter :
- Pas pour un prix final. Une soumission pour des fenêtres comporte une erreur d’environ 5 à 8 fenêtres sur les photos sous le seuil. Donnez un intervalle de prix, ou confirmez sur place.
- Pas pour les stationnements pleins. L’échantillon ne contenait aucun stationnement de plus de 30 voitures. Une personne doit compter un stationnement plein.
- Pas pour les photos avec des personnes envoyées au modèle hébergé. Floutez d’abord les visages, comme dans Les personnes dans les images, et vérifiez le contrat du fournisseur.
De bout en bout : de nouvelles photos
Section intitulée « De bout en bout : de nouvelles photos »La décision s’applique maintenant à 21 nouvelles photos qu’aucune étape n’a vues : 12 photos de fenêtres et 9 photos de voitures. Clearline prépare une soumission pour chacune à partir du décompte de la méthode choisie, ou l’envoie à une personne :
use = {"window": ft_counts, "car": vlm}for cls in CLASSES: line = choose_line(use[cls], cls) new = split_photos(cls, "new") c = np.array([use[cls][i] for i in new["photo_id"]]) print(f"{cls}: line {line}, count of each photo:", np.round(c).astype(int).tolist()) print(f"{' ' * len(cls)} true counts: ", new["count"].tolist()) print(f"{' ' * len(cls)} cost per 1,000 photos and photos to a person per 1,000:", quote_cost(use[cls], cls, "new", line))window: line 19.0, count of each photo: [0, 43, 30, 50, 3, 5, 0, 2, 12, 10, 14, 3] true counts: [14, 37, 13, 19, 4, 4, 3, 5, 6, 6, 6, 7] cost per 1,000 photos and photos to a person per 1,000: (11125.0, 250.0)car: line 11.0, count of each photo: [11, 4, 6, 7, 3, 5, 13, 9, 8] true counts: [10, 4, 4, 4, 3, 6, 7, 7, 8] cost per 1,000 photos and photos to a person per 1,000: (10777.8, 222.2)Ce que cela nous apprend.
- Fenêtres : trois photos sont allées au bureau (décomptes de 43, 30 et 50). L’une n’a que 13 fenêtres : la personne a repéré le surcomptage. Une photo avec 14 fenêtres a reçu un décompte de 0 et une soumission pour 0 fenêtre. Marta a reçu cette photo parce qu’elle montre des fenêtres; un décompte de 0 signale donc un échec. Une règle simple le repère : envoyez aussi chaque décompte inférieur à 3 à une personne.
- Voitures : deux photos sont allées au bureau. Les sept autres ont reçu des soumissions avec des erreurs de 0 à 3 voitures.
- Ces 21 photos donnent un premier aperçu de la décision en action, pas une nouvelle mesure.
Ce qu’apporterait une deuxième personne
Section intitulée « Ce qu’apporterait une deuxième personne »Marta demande : « Et si j’embauche une aide à temps partiel, pour que le bureau puisse compter 500 photos sur 1 000? » Le carnet choisit de nouveau les seuils sur les données de validation pour chaque budget, puis mesure sur les données de test. C’est une expérience pour planifier, pas un nouveau choix.
| Photos confiées à une personne, par 1 000 | Fenêtres : réglé finement | Voitures : modèle hébergé |
|---|---|---|
| 0 | 32 750 | 40 645 |
| 100 | 24 375 | 27 113 |
| 250 (aujourd’hui) | 14 458 | 9 403 |
| 500 | 4 833 | 4 887 |
La colonne des voitures exclut la facture du modèle de 3,73 $ US par 1 000 photos. Avec 500 vérifications, le coût des fenêtres tombe au tiers : 4 833. Les 250 vérifications supplémentaires coûtent 125 $ US par 1 000 photos et économisent presque 10 000. Ici, mieux vaut dépenser le prochain dollar en temps de comptage qu’en modèle plus gros.
Constats et limites
Section intitulée « Constats et limites »- Comparaison avec les palettes de Larkfield. Sur les palettes dessinées, le détecteur réglé finement avait une AP50 de 0,867. Le modèle hébergé comptait exactement les 30 palettes de test. Sur les vraies fenêtres, la même recette donne une AP50 de 0,069. Le modèle hébergé compte exactement 11 % des photos de test de fenêtres. Les scènes dessinées sont nettes; les scènes réelles ne le sont pas. Mesurez sur vos propres photos.
- Une classe connue de COCO pose un problème différent d’une classe inconnue. Pour les voitures, partez d’un détecteur COCO. Pour les fenêtres, le réglage fin est la seule voie pour un détecteur. Et 39 photos ne suffisent pas pour obtenir de bonnes boîtes englobantes.
- La définition compte autant que le modèle. Écrivez la règle de comptage, avec des images, avant d’étiqueter ou de mesurer.
- Petits objets. La moitié des fenêtres font moins de 23 pixels de largeur. Des photos plus grandes aideraient les détecteurs et demanderaient plus de temps.
- Non testés ici : davantage de photos de fenêtres, des photos plus grandes, OWLv2 avec le texte « a window » (une fenêtre), la règle « envoyer les décomptes inférieurs à 3 à une personne », et les réponses de validation manquantes. Un essai avec de plus petites boîtes englobantes d’ancrage a donné une erreur de 9,31 pour les fenêtres et une erreur plus élevée pour les voitures; il ne figure pas dans la comparaison.
- Vitesse : sur le processeur d’un portable, RT-DETR prenait environ 120 millisecondes par photo, le détecteur réglé finement environ 120 et l’estimation de densité environ 45. Le modèle hébergé prenait environ 9 secondes par réponse.
Utilisation responsable
Section intitulée « Utilisation responsable »- Les licences. Chaque photo est sous CC BY 2.0 : si vous partagez votre travail, nommez son auteur (dans
manifest.csv) et indiquez vos modifications. Les boîtes englobantes sont sous CC BY 4.0 (Google). - Les poids des modèles. RT-DETR est sous Apache-2.0 et le code de torchvision sous BSD-3-Clause. Mais les deux ont appris à partir de COCO, dont les photos ont leurs propres licences. ResNet-18 a appris à partir d’ImageNet. Comme l’explique Quand ne pas le construire, consultez votre équipe juridique avant de les livrer.
- Personnes et plaques d’immatriculation. Nous avons retiré toutes les photos avec une personne, à l’aide des étiquettes, de deux détecteurs et d’un examen de chaque photo. Les photos des clients montreront des personnes et des plaques d’immatriculation. Floutez les visages avant qu’une photo quitte le bureau, et ne lisez ni ne conservez jamais les plaques d’immatriculation.
- Un modèle hébergé voit la photo du client. Vérifiez où le fournisseur la conserve, et pendant combien de temps. RT-DETR n’envoie rien.
- Les coûts sont des hypothèses. Affichez les prix de Marta à côté de chaque coût, et modifiez-les quand les chiffres réels arrivent. Les seuils changent avec eux.
En faire un projet de portfolio
Section intitulée « En faire un projet de portfolio »Ce projet montre que vous savez transformer un modèle de comptage en décision chiffrée, et vérifier le sens des étiquettes. Personnalisez-le avec un changement : une autre classe d’Open Images (par exemple Flower, Bottle ou Chair), un autre budget, ou la règle « les décomptes inférieurs à 3 vont à une personne ».
Quoi mettre dans le dépôt :
README.md(modèle ci-dessous).- Le carnet, exécuté du début à la fin, avec ses sorties.
- Le tableau comparatif en CSV : méthode de comptage, classe, erreur de comptage, biais, erreur par tranche, AP50, seuil, coût de validation, coût de test.
MODEL_CARD.md: l’utilisation prévue (un premier décompte pour une soumission, avec une personne au-dessus du seuil) et les usages à éviter (prix finaux, stationnements pleins, photos avec des personnes envoyées à un modèle hébergé). Ajoutez les données, les seuils, les hypothèses de coût et les limites.- La source et la licence des données avec l’attribution : les auteurs des photos montrées, et Google pour les boîtes englobantes. Un lien et la somme de contrôle suffisent; vous n’avez pas besoin de partager les photos.
Un modèle de README :
# Counting windows and cars for cleaning quotes
## ProblemA cleaning company quotes from a customer's photo. A window counted wrong costs3 dollars, a car 12; a person counts a photo for 0.50 and can count 250 photosin 1,000 (assumptions).
## Data and licenceOpen Images V7: 198 photos (CC BY 2.0, each by its Flickr author), boxes CC BY 4.0(Google). No group boxes, no people. 67 train, 43 validation, 67 test, 21 new.
## ApproachFive counters on the same photos: training mean, RT-DETR (COCO, no training),Faster R-CNN fine-tuned on 67 photos, a density estimate, a hostedvision-language model (recorded). A line to a person, chosen on validation.
## Results (test set, used once)Windows: fine-tuned detector, 14,458 dollars per 1,000 photos (random checks31,812). Cars: hosted model 9,407; RT-DETR (local) 13,274.
## Limits"Window" means different things to annotators and models; window boxes aresmall; few crowded car photos; costs are assumptions.Comment le décrire en entrevue : « J’ai comparé deux détecteurs, une estimation de densité et un modèle vision-langage pour compter des fenêtres et des voitures sur de vraies photos. J’ai transformé les décomptes en décision avec un seuil pour confier la photo à une personne. J’ai choisi ce seuil sur les données de validation, dans un budget fixé. Cela a réduit le coût attendu de plus de moitié. La plus grosse erreur venait d’une définition différente d’une fenêtre. »
Pour aller plus loin :
- Ajoutez la règle « les décomptes inférieurs à 3 vont à une personne ». Prédisez d’abord : combien économise-t-elle sur les nouvelles photos?
- Faites un réglage fin avec des photos de 800 pixels et mesurez l’AP des fenêtres et le temps par photo.
- Exécutez OWLv2 avec le texte « a window of a building » (une fenêtre d’un bâtiment), comme dans Régler finement un détecteur sur quelques images, et ajoutez sa ligne.
- Écrivez votre propre règle de comptage des fenêtres, réétiquetez 20 photos de test et mesurez de nouveau chaque méthode de comptage.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Sans entraînement, RT-DETR avait une erreur de comptage des voitures de 1,94. Après réglage fin sur 28 photos de voitures, le même type de détecteur avait une erreur de 3,39. Le collègue de Diego dit que le réglage fin aide toujours. Que répondez-vous?
Afficher la réponse
Le réglage fin aide quand le modèle préentraîné manque de quelque chose : une classe (fenêtres, cartons de Larkfield) ou un type de photo. COCO contient plusieurs milliers de photos de voitures. Un détecteur entraîné sur COCO connaît donc déjà bien les voitures (AP50 de 0,773 ici). Le détecteur réglé finement a appris deux classes à la fois avec seulement 28 photos de voitures et 39 photos de fenêtres. Son AP50 pour les voitures est tombée à 0,378. Avec si peu de photos, le réglage fin peut dégrader un modèle performant. Partez du modèle préentraîné, évaluez-le sur vos propres photos de validation et réglez-le finement seulement s’il ne suffit pas.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Le modèle hébergé a compté 77 fenêtres sur une école ayant 15 boîtes englobantes de fenêtres, et 224 sur un bâtiment en ayant 55. Le modèle se trompe-t-il?
Afficher la réponse
Ce n’est pas simplement une erreur : il compte autre chose. Les annotateurs ont tracé une boîte englobante autour de chaque longue bande de vitres et ont ignoré la paroi vitrée du hall d’entrée. Le modèle a compté les vitres. L’erreur de comptage mesure l’accord avec ce que les annotateurs appellent une « fenêtre », pas la vérité. Pour Marta, la bonne définition correspond à ce que son équipe nettoie et facture. Écrivez cette règle avec des exemples en images, étiquetez ses propres photos selon cette règle et mesurez à nouveau. La question peut aussi changer la réponse : « comptez chaque cadre de fenêtre, pas chaque vitre ».
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Marta peut acheter un meilleur compteur ou payer une personne pour aider le bureau à compter 500 photos sur 1 000 plutôt que 250. Que conseillez-vous en premier, selon les chiffres de cette étude de cas?
Afficher la réponse
La personne qui aide, d’abord. En confiant 500 photos à une personne, le coût sur le test des fenêtres passe de 14 458 à 4 833 $ US par 1 000 photos. Pour les voitures, il passe de 9 403 à 4 887 $ US. Les 250 vérifications supplémentaires coûtent 125 $ US par 1 000 photos. Aucun compteur n’a approché ce gain : les meilleurs compteurs de fenêtres coûtaient tous entre environ 12 000 et 14 500 $ US avec le budget actuel. Un meilleur compteur devient rentable quand le nombre de photos augmente. Il le devient aussi lorsqu’une règle de comptage claire et les photos étiquetées de Marta rendent un détecteur beaucoup plus exact.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Vous avez compté des fenêtres et des voitures dans 198 photos réelles ouvertes avec cinq compteurs (Open Images V7, photos CC BY 2.0, boîtes englobantes CC BY 4.0). Vous avez mesuré l’erreur de comptage selon l’encombrement. Chaque compteur a obtenu ses pires résultats dans la tranche encombrée.
- Pour les voitures, RT-DETR sans entraînement était le meilleur compteur (erreur de 1,94, AP50 de 0,773). Le réglage fin sur 28 photos l’a dégradé. Pour les fenêtres, absentes de COCO, le détecteur réglé finement avait l’erreur la plus faible (10,92), mais de mauvaises boîtes englobantes (AP50 de 0,069).
- Le modèle hébergé comptait les vitres : un biais de +20,89 pour les fenêtres. Entendez-vous sur ce qui constitue un article avant de compter.
- Un seuil pour confier les photos à une personne a fait l’essentiel du travail. Vous l’avez choisi sur les données de validation, avec un budget de 250 photos sur 1 000. Sur les données de test : 14 458 $ US par 1 000 photos de fenêtres et 9 407 $ US par 1 000 photos de voitures. Les vérifications aléatoires coûtaient environ 31 800 et 35 300 $ US.
- Comparez les compteurs sur les mêmes photos de validation : une ligne calculée sur 5 photos n’équivaut pas à une ligne sur 24.
- Plus de temps de comptage a fait mieux qu’un meilleur modèle : 500 vérifications par 1 000 photos ont réduit le coût des fenêtres à 4 833 $ US.
Ensuite, le travail final : un deuxième entrepôt avec une caméra différente et une nouvelle catégorie de produits. Vous y réunirez les apprentissages de tout le cours.
Leçon suivante : Travail final