Du non supervisé au semi-supervisé
- Leçon 33
- 35 min
- Module 8 : Apprendre des réviseurs
Où nous en sommes
L'équipe de Sofia examine 50 alertes par jour et indique si chacune est réelle ou non. Nos détecteurs ignorent ces réponses. Dans cette leçon, nous utilisons les étiquettes des réviseurs pour entraîner un petit classificateur ajouté aux scores d'anomalie. Nous mesurons ensuite son amélioration de la précision au budget.
Leçon 33 sur 38 · Détection d'anomalies : trouver ce qui est inhabituelDu non supervisé au semi-supervisé
1. Ce que « inhabituel » veut dire
2. Des références de base simples et difficiles à battre
3. Maîtrise statistique des procédés et dérive de distribution
- Cartes de contrôle : cette variation est-elle normale?
- Règles pour les motifs, et le prix de chaque règle
- Cartes pour les taux et les dénombrements
- Petits décalages durables : CUSUM et EWMA
- La distribution a-t-elle changé?
- Dérive dans de nombreuses variables, et quoi faire
- Loi de Benford et autres vérifications d'affaires
4. Distance, densité et isolement
5. Les anomalies dans le temps
6. Méthodes profondes et plongements
7. Évaluer avec peu d'étiquettes
8. Apprendre des réviseurs
9. Exploiter un détecteur en production
Ce que vous saurez faire
Utilisez les réponses que les réviseurs donnent déjà chaque jour. Un petit deuxième modèle apprend de ces réponses et place les alertes réelles en premier. Mesurez ensuite, honnêtement, son apport au budget de 50 alertes par jour.
Carnet JupyterFaites cette leçon dans un carnet
Le carnet (notebook) Jupyter contient toutes les cellules de code, tâches et vérifications de cette leçon. Il attribue des scores aux paiements avec Isolation Forest (forêt d’isolement), simule quatre semaines de révision et entraîne le modèle de reclassement (reranker). Il le mesure ensuite sur les semaines suivantes. Ses cellules de préparation installent les paquets et téléchargent les données (environ 7 Mo). Environ 35 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Le budget d’alertes de 50 par jour et la précision au budget, vus dans Le paiement qui ne cadrait pas.
- Le cadre semi-supervisé et la rareté des étiquettes révisées, vus dans Les étiquettes sont rares, et cela change tout.
- Une régression logistique transforme une somme pondérée de variables en un score de 0 à 1. Comprendre la classification, dans Apprentissage automatique : du problème à un modèle fiable, l’explique. Cette leçon explique les éléments qu’elle utilise.
Ce qu’il vous faut sur votre ordinateur
Rien. Le carnet fonctionne dans Colab, Kaggle ou VS Code.
Testé avec Python 3.12.13 dans Jupyter sur macOS, avec pandas 3.1.1 et scikit-learn 1.9.1. Colab et Kaggle n’ont pas été testés.
La nouvelle collègue au comptoir des retours
Section intitulée « La nouvelle collègue au comptoir des retours »Imaginez une nouvelle employée au comptoir des retours d’un magasin. Une règle lui demande d’appeler un gestionnaire pour chaque retour sans reçu. Durant sa première semaine, elle appelle le gestionnaire vingt fois par jour. Le gestionnaire vient, regarde et dit « celui-là est correct » la plupart du temps.
Après un mois, elle a appris quelque chose. Un client régulier qui retourne un cadeau sans reçu ne pose presque jamais de problème. Un inconnu qui retourne cinq téléphones neufs, par contre, pose problème. Elle suit toujours la règle, mais elle organise mieux ses appels. Le gestionnaire voit maintenant les cas inquiétants en premier.
Personne ne lui a donné de nouvelle règle. Elle a appris des réponses du gestionnaire. Cette leçon fait la même chose pour les alertes de Larkfield.
Le problème : le détecteur n’apprend jamais
Section intitulée « Le problème : le détecteur n’apprend jamais »Isolation Forest est le détecteur de ce module. Vous l’avez construit dans Isolation Forest. Ici, un seul fait suffit. Il donne un score à chaque paiement : plus le score est élevé, plus le paiement est inhabituel. Chaque jour, l’équipe de Sofia examine les 50 paiements aux scores les plus élevés.
Avec de bonnes variables, environ la moitié de ces 50 alertes sont des fraudes insérées. L’autre moitié correspond à des paiements honnêtes qui semblent inhabituels. L’équipe de Sofia indique si chaque alerte est réelle ou non. Puis le lendemain arrive, et le détecteur attribue les scores aux nouveaux paiements exactement de la même façon. Il ne sait pas ce que l’équipe a dit hier.
Les mêmes types de fausses alertes reviennent donc chaque jour. Les clients d’affaires qui achètent en gros en sont un exemple. Tranches et équité a mesuré les fausses alertes par 10 000 paiements honnêtes. Pour les comptes d’affaires, le nombre était de 444,1; pour les comptes personnels, de 47,5. L’équipe de Sofia répond « non » à ces commandes en gros encore et encore. Chaque « non » coûte 4 minutes, soit environ 3 dollars (une hypothèse du cours). Et le détecteur ignore chacune de ces réponses.
L’idée : un deuxième modèle qui réordonne les alertes
Section intitulée « L’idée : un deuxième modèle qui réordonne les alertes »Les réponses des réviseurs sont des étiquettes : la bonne réponse pour un exemple, consignée par écrit. Nous ne pouvons pas remplacer le détecteur avec elles. Les étiquettes existent seulement pour les alertes que l’équipe a vues. Mais nous pouvons les utiliser pour une tâche plus limitée : réordonner les premiers candidats du détecteur.
Cette conception comporte deux étapes :
- Première étape, le détecteur. Isolation Forest attribue un score à chaque paiement. Chaque jour, les 200 scores les plus élevés sont les candidats. Il n’a besoin d’aucune étiquette.
- Deuxième étape, le modèle de reclassement. Un petit classificateur apprend des alertes révisées. Il donne un nouveau score à chaque candidat : sa probabilité d’être réel. L’équipe examine les 50 candidats aux nouveaux scores les plus élevés.
Le deuxième modèle s’appelle un modèle de reclassement, car il change le classement, soit l’ordre de la liste. Il n’examine jamais les 1 875 paiements d’une journée au complet. Il examine seulement les candidats du détecteur.
Description textuelle du diagramme
Le diagramme montre un flux de gauche à droite. Tous les paiements d’une journée, environ 1 875, passent à la première étape : Isolation Forest, qui n’a besoin d’aucune étiquette. Sa sortie contient les 200 scores les plus élevés de la journée, les candidats. Ils passent à la deuxième étape : le modèle de reclassement, une régression logistique. Elle utilise le score de la forêt et huit variables de comportement. Sa sortie contient les 50 premiers, qui passent à l’équipe de Sofia. L’équipe indique si chaque alerte est réelle ou non. Une flèche en pointillé relie ces étiquettes au modèle de reclassement. Elle porte la mention « quatre semaines d’étiquettes servent à l’entraîner ».
Pourquoi le nom « semi-supervisé »
Section intitulée « Pourquoi le nom « semi-supervisé » »Dans Les étiquettes sont rares, et cela change tout, « semi-supervisé » signifiait : apprendre de données que vous considérez comme normales. Le mot a un deuxième sens courant : beaucoup de données sans étiquettes, plus quelques lignes avec étiquettes. La conception en deux étapes appartient à ce deuxième type. Le détecteur apprend de tous les paiements sans étiquettes. Le modèle de reclassement apprend des quelques paiements révisés. Le diagramme de cette leçon-là avait une flèche pour cette étape : « les révisions ajoutent quelques étiquettes ».
Un tout petit exemple : six alertes et un budget de trois
Section intitulée « Un tout petit exemple : six alertes et un budget de trois »Voici un exemple construit, assez petit pour être vérifié à la main. Un détecteur donne six candidats. L’équipe peut en examiner trois. Chaque candidat a deux renseignements : l’appareil était-il nouveau pour ce client, et s’agit-il d’un compte d’affaires? La dernière colonne contient la réponse des réviseurs, tirée des jours précédents.
| Alerte | Score de la forêt | Nouvel appareil | Compte d’affaires | Réponse des réviseurs |
|---|---|---|---|---|
| A | 0,80 | non | oui | non |
| B | 0,78 | oui | non | réelle |
| C | 0,76 | non | oui | non |
| D | 0,74 | oui | non | réelle |
| E | 0,72 | oui | non | réelle |
| F | 0,70 | non | non | non |
Les trois premiers du détecteur sont A, B et C. Seul B est réel : une précision de 1 ÷ 3 = 0,33.
Au fil des jours précédents, les réviseurs ont appris deux tendances. Un nouvel appareil signifiait souvent une fraude. Un compte d’affaires signifiait souvent une commande en gros. Nous donnons donc un nouveau score à chaque candidat : le score de la forêt, plus 0,10 pour un nouvel appareil, moins 0,10 pour un compte d’affaires.
| Alerte | Score de la forêt | + nouvel appareil | − compte d’affaires | Nouveau score | Nouveau rang |
|---|---|---|---|---|---|
| A | 0,80 | 0 | −0,10 | 0,70 | 4 |
| B | 0,78 | +0,10 | 0 | 0,88 | 1 |
| C | 0,76 | 0 | −0,10 | 0,66 | 6 |
| D | 0,74 | +0,10 | 0 | 0,84 | 2 |
| E | 0,72 | +0,10 | 0 | 0,82 | 3 |
| F | 0,70 | 0 | 0 | 0,70 | 4 |
Les trois nouveaux premiers sont B, D et E. Tous les trois sont réels : une précision de 3 ÷ 3 = 1,00. Le détecteur avait trouvé les bons candidats. Il les avait simplement placés dans le mauvais ordre.
Ici, nous avons choisi les poids de 0,10 à la main. Un vrai modèle de reclassement apprend ses poids à partir des étiquettes. La régression logistique fait exactement cela. Elle trouve les poids qui séparent le mieux les alertes « réelles » des « non réelles » parmi les alertes révisées. Puis elle transforme la somme pondérée en un nombre entre 0 et 1.
Larkfield : quatre semaines de révision
Section intitulée « Larkfield : quatre semaines de révision »Passons aux vraies données. Le cours simule l’équipe de Sofia pendant les quatre semaines du 1er au 28 septembre 2025. Chaque jour, Isolation Forest attribue un score aux paiements. Les 200 scores les plus élevés sont les candidats, et l’équipe examine les 50 premiers. Chaque alerte révisée reçoit sa réponse du corrigé.
C’est une hypothèse : les vrais réviseurs font des erreurs, et certaines réponses arrivent des semaines plus tard. Ici, chaque réponse est correcte et immédiate.
18,200 candidates in 91 days1,400 reviewed alerts in 4 weeks, 708 real (50.6%)Le modèle de reclassement apprend donc de 1 400 étiquettes : 708 réelles et 692 non réelles.
Ce que le modèle de reclassement examine
Section intitulée « Ce que le modèle de reclassement examine »Le modèle de reclassement utilise neuf nombres pour chaque candidat : le score de la forêt et les huit variables de comportement. Chaque variable compare un paiement au passé du client, comme le module 4 les construit :
| Variable | Ce qu’elle indique |
|---|---|
iso |
Le score d’Isolation Forest : à quel point le paiement est inhabituel dans l’ensemble |
log_amount_vs_usual |
Le montant comparé au montant habituel du client (0 = identique, sur une échelle logarithmique) |
new_country |
1 si le client n’a jamais payé depuis ce pays avant aujourd’hui |
new_device |
1 si le client n’a jamais utilisé cet appareil avant aujourd’hui |
log_minutes_since_last |
Le temps depuis le dernier paiement du client (échelle logarithmique) |
payments_last_hour |
Les paiements du client dans la dernière heure |
device_payments_last_hour |
Les paiements de l’appareil dans la dernière heure, pour tous les clients |
night |
1 si le paiement a eu lieu entre minuit et 6 h |
is_business |
1 pour un compte d’affaires |
Entraînez-le
Section intitulée « Entraînez-le »Le carnet met les neuf nombres à l’échelle pour que chacun ait une moyenne de 0 et la même dispersion. Puis il ajuste une régression logistique sur les alertes révisées seulement :
FEATS = ["iso"] + list(behaviour.columns)re_scaler = StandardScaler().fit(labels[FEATS])re_ranker = LogisticRegression(max_iter=2000).fit(re_scaler.transform(labels[FEATS]), labels.label)Chaque variable reçoit un poids. Un poids positif fait monter un candidat dans la liste. Un poids négatif le fait descendre. Comme les variables sont mises à l’échelle, vous pouvez comparer la grandeur des poids :
| Variable | Poids |
|---|---|
iso |
1,98 |
new_device |
1,78 |
is_business |
−1,72 |
new_country |
1,22 |
device_payments_last_hour |
1,08 |
log_minutes_since_last |
−0,91 |
log_amount_vs_usual |
−0,72 |
night |
0,68 |
payments_last_hour |
−0,55 |
Les trois plus grands poids correspondent au score de la forêt, à un nouvel appareil et à un compte d’affaires. Le poids du compte d’affaires est négatif. Parmi les alertes, les comptes d’affaires étaient surtout des commandes en gros. Le modèle de reclassement les fait donc descendre. C’est la leçon de la collègue au comptoir des retours, apprise à partir de 1 400 réponses.
Deux poids semblent étranges. Un montant plus élevé que d’habitude a un poids négatif. Un nombre accru de paiements dans la dernière heure aussi. Pourquoi? Le modèle de reclassement a appris des alertes, pas de tous les paiements. Parmi les alertes, beaucoup de fraudes réelles sont des tests de carte : de minuscules montants, bien en dessous du montant habituel du client. Un poids décrit ce qui sépare le réel du non réel parmi les candidats. Il ne décrit pas la fraude en général.
Le résultat, présenté honnêtement
Section intitulée « Le résultat, présenté honnêtement »Passons au test. Le modèle de reclassement réordonne les candidats des semaines suivantes, du 29 septembre au 30 novembre 2025 (63 jours). Il n’a jamais vu ces jours. L’équipe examine toujours 50 alertes par jour.
test weeks: Isolation Forest alone 0.498 precision, 0.834 of the real candidates found re-ranked 0.514 precision, 0.862 of the real candidates foundLa précision au budget passe de 0,498 à 0,514. C’est un gain réel, mais petit. Comptez les paiements réellement frauduleux sur les 63 jours. L’équipe en trouve 1 568 avec la forêt seule et 1 619 avec le modèle de reclassement : 51 de plus, moins d’un par jour. Les fausses alertes passent de 1 582 à 1 531. La plupart des commandes en gros quittent les 50 premiers, mais d’autres fausses alertes prennent leurs places. Le cas d’échec ci-dessous montre les chiffres.
La mesure du cours donne trois scores supplémentaires à un modèle de reclassement. Ils viennent de l’autoencodeur du module 6, de la MAD par client et des deux règles du module 2. Il atteint 0,516 (rappel 0,834 → 0,865). Plus d’entrées, presque le même résultat.
Pourquoi le gain est petit
Section intitulée « Pourquoi le gain est petit »Est-ce que 0,514 est bon ou mauvais? Comparez cette valeur au meilleur ordre possible. Supposons qu’un modèle de reclassement connaisse les réponses et place chaque candidat réel en premier. Pendant les semaines de test, sa précision au budget serait de 0,533, pas de 1. Sur 55 des 63 jours de test, les 200 candidats contiennent moins de 50 paiements réellement frauduleux. La journée médiane en compte 28. Aucun ordre ne peut remplir 50 places avec 28 fraudes.
Description textuelle du graphique
Un diagramme à trois colonnes, sur un axe de 0 à 0,6. Isolation Forest seul atteint 0,498. Le modèle de reclassement atteint 0,514. Un modèle de reclassement qui connaît les réponses, et place donc chaque candidat réel en premier, atteint 0,533. Les trois colonnes sont proches : la forêt place déjà la plupart des candidats réels dans les 50 premiers.
L’écart entre la forêt et le meilleur ordre est donc seulement de 0,035. Le modèle de reclassement en comble 0,016, soit environ la moitié. Avec de bonnes variables, Isolation Forest place déjà la plupart des candidats réels dans les 50 premiers. Un modèle de reclassement aide surtout lorsque les premières alertes du détecteur contiennent beaucoup de fausses alertes. Il aide encore plus lorsque ces fausses alertes répètent un comportement que les étiquettes peuvent lui enseigner.
Pas de ligne dans le tableau comparatif
Section intitulée « Pas de ligne dans le tableau comparatif »Le tableau comparatif mesure chaque détecteur sur les mêmes trois mois, de septembre à novembre. Le modèle de reclassement ne peut pas utiliser septembre : il en apprend. Ses chiffres viennent donc seulement des semaines suivantes et ne figurent pas dans le tableau. Comparez-le seulement à la forêt sur les mêmes semaines, comme ci-dessus.
Quand utiliser un modèle de reclassement, et à quel coût
Section intitulée « Quand utiliser un modèle de reclassement, et à quel coût »Afficher quand l’utiliser, quand l’éviter et le coût
Utilisez-le quand :
- L’équipe fournit des étiquettes chaque jour, et elles arrivent rapidement.
- Les mêmes types de fausses alertes reviennent, comme les commandes en gros.
- Vous avez quelques centaines d’étiquettes, avec les deux réponses. Ici : 708 réelles et 692 non réelles.
Ne l’utilisez pas quand :
- Vous avez seulement quelques dizaines d’étiquettes. Les poids suivent alors le hasard.
- Les réponses des réviseurs sont souvent incorrectes ou tardives. Le modèle de reclassement reproduit leurs erreurs.
- Les nouveaux types de fraude comptent le plus. Le modèle de reclassement apprend les types qu’il a vus. La prochaine leçon montre ce qu’il fait des types qu’il a rarement vus.
Ce qu’il coûte :
- Un deuxième modèle à entraîner, stocker et vérifier. Ici, la régression logistique s’entraîne en moins d’une seconde.
- Un calendrier : réentraînez-le toutes les quelques semaines avec les étiquettes les plus récentes, et mesurez-le sur les semaines suivantes.
- Gardez le détecteur comme première étape. Sans lui, rien ne trouve les candidats que personne n’a encore étiquetés.
Exercice guidé : le modèle de reclassement dans le carnet
Section intitulée « Exercice guidé : le modèle de reclassement dans le carnet »- Ouvrez le carnet dans l’encadré Faites cette leçon dans un carnet en haut de cette page.
- Exécutez les cellules de préparation. La cellule des données se termine par la ligne
Ready:(prêt). - Dans la section 2, exécutez la première cellule. Vous voyez
18,200 candidates in 91 days(18 200 candidats en 91 jours). - Exécutez la cellule de révision. Vous voyez
1,400 reviewed alerts in 4 weeks, 708 real (50.6%)(1 400 alertes révisées en 4 semaines, 708 réelles, soit 50,6 %). - Dans la section 3, exécutez la cellule d’entraînement. Les plus grands poids sont ceux de
iso,new_deviceetis_business. - Écrivez votre prédiction pour les semaines de test. Puis exécutez la cellule de test. Vous voyez
0.498et0.514. - Dans la section 5, écrivez les deux réponses et exécutez chaque cellule de vérification. Chacune affiche
Check passed(vérification réussie).
À vous de jouer : moins de semaines de révision
Section intitulée « À vous de jouer : moins de semaines de révision »Changez une seule chose : entraînez le modèle de reclassement sur deux semaines de révision (du 1er au 14 septembre), plutôt que quatre. Testez-le sur les mêmes semaines. Avant de l’exécuter, faites une prédiction : la précision au budget baisse-t-elle beaucoup, un peu ou pas du tout?
Afficher la réponse
labels_2w = candidates[(candidates.day <= "2025-09-14") & candidates.shown]s2 = StandardScaler().fit(labels_2w[FEATS])r2 = LogisticRegression(max_iter=2000).fit(s2.transform(labels_2w[FEATS]), labels_2w.label)test["re_rank_2w"] = r2.predict_proba(s2.transform(test[FEATS]))[:, 1]precision_two_weeks = precision_at_50(test, "re_rank_2w")[0]Check passed: precision_two_weeks is right.Avec deux semaines de révision (700 étiquettes), la précision au budget est de 0,511. Avec quatre semaines, elle est de 0,514. Ici, deux semaines d’étiquettes enseignent déjà l’essentiel de ce que quatre semaines enseignent. Les tendances sont peu nombreuses et fortes : un nouvel appareil, un compte d’entreprise. Avec des tendances moins marquées, il faudrait plus de semaines.
Erreur courante
85 % moins de fausses alertes, et presque la même précision
Symptôme : Omar lit les nouveaux chiffres hebdomadaires. Pendant les semaines de test, les fausses alertes liées aux comptes d’entreprise sont passées de 1 102 à 168. Il dit à l’équipe : « Le modèle de reclassement a éliminé 85 % des fausses alertes. » Mais l’équipe de Sofia ne sent pas la différence.
false alerts in the top 50, 63 days: business accounts 1102 -> 168 all 1582 -> 1531Cause : le budget est fixé à 50 alertes par jour. Quand le modèle de reclassement fait descendre une commande en gros, le candidat suivant prend sa place. La plupart du temps, ce candidat est une autre fausse alerte, liée à un compte personnel. Un type de fausse alerte a donc presque disparu, mais le total n’a baissé que de 51, soit environ 3 %.
Solution : mesurez les 50 premiers candidats au complet, chaque jour : précision au budget, rappel et coût par semaine. Compter un seul type d’alerte ne suffit pas à mesurer le résultat. Présentez ce nombre avec les totaux, comme ici.
Conséquence pour le travail en IA : un chiffre sur une tranche peut sembler un grand succès sans changer la charge de travail de l’équipe. Avec un budget fixe, demandez-vous : qu’est-ce qui a pris les places libres?
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Expliquez les deux étapes d'une architecture avec un modèle de reclassement. À partir de quoi chaque étape apprend-elle? Pourquoi ne pas remplacer le détecteur par un classificateur entraîné sur les révisions?
Afficher la réponse
À la première étape, le détecteur attribue un score à chaque paiement sans étiquettes et garde les meilleurs candidats (ici, 200 par jour). À la deuxième étape, le modèle de reclassement est un petit classificateur entraîné sur les alertes révisées. Il reclasse les candidats, et l’équipe révise les 50 premiers. Nous gardons le détecteur, car seules les alertes vues par l’équipe ont des étiquettes. Un classificateur entraîné sur ces alertes ne connaît rien des paiements qu’aucun détecteur n’a montrés. C’est le détecteur qui trouve les cas nouveaux et sans étiquette.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Le modèle de reclassement a fait passer la précision au budget de 0,498 à 0,514 pendant les semaines de test. Un ordre parfait des candidats donnerait 0,533. Que vous disent ces trois chiffres, et pourquoi le gain est-il faible?
Afficher la réponse
Le gain est réel, mais faible : environ 51 paiements réellement frauduleux de plus en 63 jours, soit moins d’un par jour. Le meilleur ordre possible des mêmes candidats atteint seulement 0,533. En effet, la plupart des jours, les candidats comprennent moins de 50 paiements réellement frauduleux. La forêt était donc déjà proche du plafond : l’écart était de 0,035, et le modèle de reclassement l’a réduit de moitié environ. Un modèle de reclassement aide davantage quand les premières alertes du détecteur comprennent beaucoup de fausses alertes qui suivent une même tendance.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Le poids du « montant comparé au montant habituel » est négatif dans le modèle de reclassement. Cela signifie-t-il que les montants élevés risquent moins d'être frauduleux? Expliquez.
Afficher la réponse
Non, pas en général. Le modèle de reclassement a appris uniquement à partir des alertes du détecteur. Parmi ces alertes, beaucoup de fraudes réelles sont des tests de carte avec de très petits montants. Ces montants sont bien inférieurs au montant habituel du client. Parmi les candidats, un montant plus faible est donc associé à une fraude « réelle ». Un poids décrit ce qui distingue les fraudes réelles des fausses alertes parmi les alertes utilisées pour entraîner le modèle. Il ne dit rien sur l’ensemble des paiements.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Les réponses des réviseurs sont des étiquettes. Un modèle de reclassement, petit classificateur ajouté au détecteur, peut apprendre de ces réponses et placer les alertes réelles en premier.
- Deux étapes : le détecteur trouve les candidats sans étiquettes; le modèle de reclassement les ordonne. Gardez les deux.
- Pendant les semaines de test de Larkfield, la précision au budget est passée de 0,498 à 0,514. Le meilleur ordre possible des candidats donne 0,533. Le gain est faible, car la forêt était déjà proche du plafond.
- Entraînez le modèle sur les premières semaines. Mesurez ses résultats sur des semaines suivantes qu’il n’a jamais vues.
- Avec un budget fixe, une fausse alerte retirée laisse une place au candidat suivant. Mesurez les 50 premiers candidats au complet.
Le modèle de reclassement a appris uniquement à partir des alertes vues par l’équipe. Il n’a jamais vu une fraude que le détecteur avait classée au 120e rang. Ensuite, nous mesurons l’effet sur les étiquettes et sur les types de fraude que le détecteur montre rarement.
Leçon suivante : La boucle de rétroaction et ses pièges