Aller au contenu
English

Boucles de rétroaction et biais de popularité

  • Leçon 26
  • 35 min
  • Module 8 : Des scores hors ligne au vrai magasin

Où nous en sommes

Nous avons choisi une liste avec un test en ligne. Mais après la mise en production, un système de recommandation continue d'apprendre. Il apprend des clics sur ses propres suggestions. Dans cette leçon, nous observons une boucle de rétroaction, ajoutons une petite part d'exploration et suivons la couverture au fil du temps.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité
Leçon 26 sur 29 · Recommandation et personnalisation : montrer à chacun ce qui compteBoucles de rétroaction et biais de popularité
Aperçu du cours

5. La factorisation matricielle pour la rétroaction implicite

  1. Goûts cachés
  2. ALS et BPR avec implicit
  3. Régler sans vous tromper vous-même

Ce que vous saurez faire

Voyez comment un système de recommandation qui apprend de ses propres suggestions peut se limiter aux mêmes quelques produits. Mesurez cette boucle avec la couverture au fil du temps. Voyez ce qu’une petite part d’exploration apporte et coûte dans la simulation de Larkfield.

Carnet JupyterFaites cette leçon dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet simule une petite page d’accueil de 5 cases qui apprend seulement de ses propres clics. Il le fait avec et sans case aléatoire. Vous écrivez le calcul de la couverture au fil du temps, puis tracez les 12 semaines simulées de Larkfield. Ses cellules de préparation téléchargent moins de 1 Mo. Environ 15 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 35 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur (seulement pour les étapes du projet)

  • Votre projet larkfield-recs avec la commande online de Tests en ligne et garde-fous, et son environnement virtuel actif.
  • Les fichiers d’exercice dans ../nextia-learning-labs, à côté du dossier du projet. Vous copiez deux fichiers de son instantané end-of-m08.

Testé sur macOS avec Python 3.12. Les commandes Windows (PowerShell) n’ont pas été exécutées.

Pensez à une petite station de radio. Chaque semaine, elle joue les dix chansons les plus demandées par les auditeurs la semaine précédente. Cela semble juste : les auditeurs choisissent.

Mais les auditeurs demandent surtout des chansons qu’ils ont entendues à cette station. Une nouvelle chanson jamais diffusée ne reçoit aucune demande. La station ne la joue donc jamais. Après quelques semaines, les mêmes dix chansons occupent chaque semaine. La station n’a pas décidé d’ignorer la nouvelle musique. Sa propre règle l’a fait.

Le problème : une page d’accueil qui montre seulement ce qu’elle montrait

Section intitulée « Le problème : une page d’accueil qui montre seulement ce qu’elle montrait »

Un système de recommandation en production a le même problème. Il montre une liste. Les clients cliquent sur certains produits de cette liste. Le journal enregistre les clics. La semaine suivante, le modèle apprend du journal et montre ce qui a reçu des clics. Mais seuls les produits montrés peuvent recevoir des clics.

Ce cycle est une boucle de rétroaction : la sortie du système devient sa prochaine entrée.

Un cercle de quatre étapes. La page d'accueil de cette semaine montre les 10 premiers produits. Les clients voient seulement ces 10 produits et cliquent sur certains. Le journal enregistre les clics sur les 10 produits montrés. Le modèle compte les clics des deux dernières semaines et choisit les 10 premiers produits de la semaine suivante. Cela ferme le cercle. Une flèche pointillée vient de l'extérieur du cercle : exploration, 1 case sur 10 montre un produit en vente choisi au hasard.
La boucle de rétroaction d'une page d'accueil qui apprend seulement de ses propres clics. L'exploration est la seule porte d'entrée pour un produit qui n'est pas déjà montré.
Description textuelle du diagramme

L’image est un cercle de quatre étapes. La page d’accueil de cette semaine montre les 10 premiers produits. Les clients voient seulement ces 10 produits et cliquent sur certains. Le journal enregistre les clics sur les 10 produits montrés. Le modèle compte les clics des deux dernières semaines et choisit les 10 premiers produits de la semaine suivante. Le cercle recommence. Une flèche pointillée venant de l’extérieur du cercle montre l’exploration : 1 case sur 10 montre un produit en vente choisi au hasard. C’est la seule porte d’entrée pour un produit qui n’est pas déjà montré.

Voici un exemple construit. Un magasin a quatre produits, et la page d’accueil a deux cases. Chaque semaine, la page montre les deux produits qui ont reçu le plus de clics la semaine précédente. Le produit D est celui que les clients préfèrent, mais l’ancienne page ne le montrait jamais.

Semaine Produits montrés Clics : A B C D Page de la semaine suivante
1 A, B 30 20 0 0 A, B
2 A, B 31 19 0 0 A, B
3 A, B 29 21 0 0 A, B

C et D reçoivent 0 clic parce que personne ne les voit, pas parce que personne n’en veut. La boucle ne peut jamais apprendre que D est le meilleur produit. Gardez maintenant la case 1 pour le produit ayant reçu le plus de clics la semaine précédente. Montrez un produit choisi au hasard dans la case 2 :

Semaine Produits montrés Clics : A B C D Case 1 la semaine suivante
1 A, C (au hasard) 30 0 12 0 A
2 A, D (au hasard) 30 0 0 45 D
3 D, B (au hasard) 0 15 0 60 D

À la semaine 2, la case aléatoire montre D par hasard. Il reçoit plus de clics que A. Dès la semaine 3, il occupe donc la première case. Une case aléatoire a ouvert la boucle.

Le cours a exécuté une boucle comme celle-ci avec son modèle de comportement. Elle est simulée, ce n’est pas une vraie page d’accueil. Elle a fonctionné pendant 12 semaines à partir du 6 avril 2026, avec 6 000 clients. Chaque client avait une probabilité de visite de 40 % pendant une semaine donnée. À la semaine 1, la page montrait les 10 produits les plus commandés de mars 2026. Ensuite, elle montrait les choix du modèle, tirés de son propre journal des deux dernières semaines.

Il y avait deux modèles :

  • clics : les 10 produits avec le plus de clics;
  • taux de clics (ctr dans la sortie, pour taux de clics) : les 10 produits avec le meilleur nombre de clics par affichage. Il compte 100 affichages « moyens » supplémentaires pour chaque produit, pour qu’un seul clic chanceux ne suffise pas à gagner.

L’exploration consiste à donner certaines cases à des produits que le modèle ne choisirait pas. Ici, à 10 %, une des 10 cases de chaque visite montre un produit en vente choisi au hasard. La case est aussi choisie au hasard. À 20 %, deux cases le font.

La couverture au fil du temps est le nombre de produits différents montrés au moins une fois, compté semaine par semaine. C’est la mesure d’une boucle.

  • clics, exploration de 10 %
  • taux de clics, exploration de 20 %
  • clics, sans exploration
Simulation : produits montrés au moins une fois, semaine par semaine. Sans exploration, la ligne reste à 10. Avec exploration, chacun des 2 994 produits est montré au plus tard à la semaine 11.
Description textuelle du graphique

Un graphique en courbes sur 12 semaines. L’axe vertical montre le nombre de produits montrés au moins une fois jusqu’ici, de 0 à 3 000. Clics, sans exploration : une ligne plate à 10 pendant les 12 semaines. Clics, exploration de 10 % : 1 581 produits à la semaine 1, 2 219 à la semaine 2 et 2 509 à la semaine 3. Ensuite, 2 841 à la semaine 5, 2 970 à la semaine 7 et 2 994, soit tous les produits, aux semaines 11 et 12. Taux de clics, exploration de 20 % : 2 266 à la semaine 1, 2 656 à la semaine 2 et 2 994 dès la semaine 9. Sans exploration, le modèle de taux de clics donne le même résultat que le modèle de clics : 10 produits.

Sans exploration, les deux modèles montrent les mêmes 10 produits pendant les 12 semaines : 10 sur 2 994. Ils viennent tous de la semaine 1. La boucle n’a jamais laissé entrer un autre produit.

Avec 10 % d’exploration, une case aléatoire sur chacune des quelque 2 400 visites hebdomadaires atteint rapidement de nombreux produits. Pendant la semaine 1 seulement, la page a montré 1 581 produits différents. À la semaine 11, les 2 994 produits avaient tous été montrés au moins une fois.

La couverture n’est pas la mesure d’affaires. Voici le revenu par visite, semaine par semaine. Dans cette simulation, c’est l’argent des commandes de produits suggérés, divisé par le nombre de visites.

  • clics, sans exploration
  • clics, exploration de 10 %
  • taux de clics, exploration de 10 %
Simulation : revenu par visite, semaine par semaine. La page sans exploration rapporte le plus. L'exploration réduit le revenu dans cette simulation, et le modèle de taux de clics avec exploration rapporte le moins.
Description textuelle du graphique

Un graphique en courbes sur 12 semaines. L’axe vertical montre le revenu par visite en dollars, de 0 à 1,8. Les valeurs montent et descendent d’une semaine à l’autre. Clics, sans exploration : entre 0,75 et 1,48 $, avec une moyenne de 0,88 aux semaines 1 à 4 et de 1,31 aux semaines 9 à 12. Clics, exploration de 10 % : entre 0,35 et 0,82, avec une moyenne de 0,62 aux semaines 1 à 4 et de 0,47 aux semaines 9 à 12. Taux de clics, exploration de 10 % : 0,63 à la semaine 1, puis entre 0,10 et 0,46. La moyenne est de 0,14 aux semaines 9 à 12.

Voici le résultat honnête de cette simulation : l’exploration coûte du revenu ici. Aux semaines 9 à 12, la page sans exploration rapporte 1,31 $ par visite. Avec 10 % d’exploration, le modèle de clics rapporte 0,47, et le modèle de taux de clics, 0,14.

Pourquoi? La simulation ne consigne pas de raison, mais le modèle de comportement en suggère une. Les produits de la semaine 1 sont les meilleurs vendeurs de mars. Le modèle a aussi une longue traîne : la plupart des produits intéressent peu de clients. Une case aléatoire revient donc généralement à un produit qui se vend rarement. Elle fait aussi descendre les meilleurs vendeurs d’une case. Les valeurs hebdomadaires sont également bruitées : chaque semaine compte seulement environ 40 à 60 commandes provenant de suggestions. Lisez les moyennes sur quatre semaines, pas les semaines isolées.

Dans le petit magasin du carnet, le résultat est inverse. Ses produits de la semaine 1 étaient cinq produits choisis sans données. La case aléatoire en a donc trouvé de meilleurs, et les clics par visite ont augmenté. La rentabilité de l’exploration dépend de la qualité de la liste actuelle.

Le modèle de taux de clics montre un deuxième danger. Avec exploration, il a remplacé 8 des 10 produits de la semaine 1 après une semaine. Son revenu a encore davantage baissé. L’exploration change les données que le modèle lit. Vous devez donc vérifier le modèle autant que l’exploration.

L’exploration apporte deux choses dont les 12 semaines ne chiffrent pas la valeur. La première est l’information sur les produits que la page n’a jamais montrés. La deuxième est la couverture : une chance pour chaque produit d’être vu. Traitez-la comme un coût que vous choisissez et mesurez, pas comme un gain gratuit.

Une boucle de rétroaction aggrave le biais de popularité : les produits populaires sont montrés, reçoivent des clics et restent donc populaires. L’exploration est un remède. Elle ajoute des produits choisis au hasard. Vous connaissez déjà un deuxième remède, présenté dans Au-delà de l’exactitude : une pénalité de popularité. Elle fait légèrement descendre les produits populaires dans chaque liste personnelle.

L’explorateur ci-dessous présente les mêmes résultats mesurés que dans cette leçon : ALS réglé sur la période de test, avec neuf pénalités. Cette fois, regardez la couverture et la part des cases occupées par les 1 % de produits les plus populaires.

Explorer

Une pénalité de popularité contre le biais de popularité

Pénalité
0,0
Recall@10
0,149
NDCG@10
0,097
Couverture
16,5 %
Nouveauté (bits)
5,70
Part du top 1 %
38,8 %
Nouveaux produits
10,0 %

Sans pénalité : l’ALS réglé tel quel. Le recall@10 est de 0,149. 16,5 % des produits en vente apparaissent dans au moins une liste, et les 1 % de produits les plus populaires prennent 38,8 % des places.

  • Pénalité choisie
  • Niveau sans pénalité (tirets)
0 %15 %30 %0,00,10,20,30,40,50,60,70,80,91,0Couverture des produits en venteniveau sans pénalitéCouverture des produits en ventePénalité de popularité 0,1 : 17,4 %Pénalité de popularité 0,2 : 18,4 %Pénalité de popularité 0,3 : 20,2 %Pénalité de popularité 0,4 : 22,6 %Pénalité de popularité 0,5 : 24,7 %Pénalité de popularité 0,6 : 25,0 %Pénalité de popularité 0,8 : 20,9 %Pénalité de popularité 1,0 : 14,9 %Pénalité de popularité 0,0 : 16,5 %16,5 %0 %25 %50 %0,00,10,20,30,40,50,60,70,80,91,0Part des 1 % de produits les plus populairesPart des 1 % de produits les plus populairesPénalité de popularité 0,1 : 37,4 %Pénalité de popularité 0,2 : 36,0 %Pénalité de popularité 0,3 : 34,5 %Pénalité de popularité 0,4 : 33,0 %Pénalité de popularité 0,5 : 31,6 %Pénalité de popularité 0,6 : 30,1 %Pénalité de popularité 0,8 : 25,9 %Pénalité de popularité 1,0 : 21,6 %Pénalité de popularité 0,0 : 38,8 %38,8 %0,000,100,200,00,10,20,30,40,50,60,70,80,91,0Pénalité de popularitéRecall@10Recall@10Pénalité de popularité 0,1 : 0,150Pénalité de popularité 0,2 : 0,151Pénalité de popularité 0,3 : 0,151Pénalité de popularité 0,4 : 0,148Pénalité de popularité 0,5 : 0,143Pénalité de popularité 0,6 : 0,137Pénalité de popularité 0,8 : 0,113Pénalité de popularité 1,0 : 0,068Pénalité de popularité 0,0 : 0,1490,149
0 %15 %30 %0,00,20,40,60,81,0Couverture des produits en venteCouverture des produits en ventePénalité de popularité 0,1 : 17,4 %Pénalité de popularité 0,2 : 18,4 %Pénalité de popularité 0,3 : 20,2 %Pénalité de popularité 0,4 : 22,6 %Pénalité de popularité 0,5 : 24,7 %Pénalité de popularité 0,6 : 25,0 %Pénalité de popularité 0,8 : 20,9 %Pénalité de popularité 1,0 : 14,9 %Pénalité de popularité 0,0 : 16,5 %16,5 %0 %25 %50 %0,00,20,40,60,81,0Part des 1 % de produits les plus populairesPart des 1 % de produits les plus populairesPénalité de popularité 0,1 : 37,4 %Pénalité de popularité 0,2 : 36,0 %Pénalité de popularité 0,3 : 34,5 %Pénalité de popularité 0,4 : 33,0 %Pénalité de popularité 0,5 : 31,6 %Pénalité de popularité 0,6 : 30,1 %Pénalité de popularité 0,8 : 25,9 %Pénalité de popularité 1,0 : 21,6 %Pénalité de popularité 0,0 : 38,8 %38,8 %0,000,100,200,00,20,40,60,81,0Pénalité de popularitéRecall@10Recall@10Pénalité de popularité 0,1 : 0,150Pénalité de popularité 0,2 : 0,151Pénalité de popularité 0,3 : 0,151Pénalité de popularité 0,4 : 0,148Pénalité de popularité 0,5 : 0,143Pénalité de popularité 0,6 : 0,137Pénalité de popularité 0,8 : 0,113Pénalité de popularité 1,0 : 0,068Pénalité de popularité 0,0 : 0,1490,149
ALS réglé sur la période de test (2 118 clients), avec neuf pénalités de popularité mesurées. Observez la hausse de la couverture et la baisse de la part des 1 % de produits les plus populaires. Vérifiez aussi ce qui arrive au rappel à 10 (recall@10).
Description textuelle de l’explorateur

L’explorateur montre les résultats mesurés d’ALS réglé avec une pénalité de popularité, sur les 2 118 clients de test. Un curseur choisit une des neuf pénalités : 0, 0,1, 0,2, 0,3, 0,4, 0,5, 0,6, 0,8 et 1. Trois panneaux montrent la couverture, la part des cases occupées par les 1 % de produits les plus populaires et le recall@10. La pénalité choisie est indiquée.

Sans pénalité : couverture 16,5 %, part des 1 % les plus populaires 38,8 %, recall@10 0,149. Pénalité de 0,3 : couverture 20,2 %, part des 1 % les plus populaires 34,5 %, rappel 0,151. Pénalité de 0,6 : couverture 25,0 %, la plus élevée, part des 1 % les plus populaires 30,1 %, rappel 0,137. Pénalité de 1 : couverture 14,9 %, part des 1 % les plus populaires 21,6 %, rappel 0,068. La part des 1 % les plus populaires baisse à chaque étape. La couverture augmente jusqu’à 0,6, puis diminue.

La part des 1 % les plus populaires baisse régulièrement, de 38,8 % sans pénalité à 21,6 % avec une pénalité de 1. La couverture est maximale à 0,6, soit 25,0 %. À ce point, le recall@10 est passé de 0,149 à 0,137. Une petite pénalité de 0,3 donne une partie de cette couverture sans perte de rappel.

Les deux remèdes diffèrent. Une pénalité se mesure hors ligne et ne coûte aucun trafic réel. Mais elle réordonne seulement les produits que le modèle évalue déjà. Elle ne peut donc pas ajouter d’information. L’exploration ajoute de l’information sur les produits que personne n’a vus. Elle utilise des visites réelles pour l’obtenir.

Vous copiez la commande loop et les tests de ce module depuis l’instantané de fin du module 8. Les semaines simulées, data/online/feedback_loop.csv, sont déjà dans votre dossier data.

  1. Dans votre dossier larkfield-recs, avec l’environnement virtuel actif, copiez la commande et les tests :

    Fenêtre de terminal
    S=../nextia-learning-labs/C37/snapshots/end-of-m08
    cp $S/larkfield_recs/commands/loop.py larkfield_recs/commands/
    cp $S/tests/test_m08.py tests/
  2. Lisez le résumé de la boucle simulée :

    Fenêtre de terminal
    recs loop
    SIMULATED on the course's behaviour model: 12 weeks, the home page learns only from its own log
    learner exploration products shown in 12 weeks week-1 products still in the top 10 revenue/visit weeks 1-4 weeks 9-12
    clicks 0% 10 10 0.88 1.31
    clicks 10% 2,994 9 0.62 0.47
    ctr 0% 10 10 0.88 1.36
    ctr 10% 2,994 3 0.33 0.14
    ctr 20% 2,994 2 0.55 0.23
  3. Affichez aussi chaque semaine :

    Fenêtre de terminal
    recs loop --weeks

    Après le résumé, la commande affiche une ligne par semaine et par variante, soit 60 lignes. Voici les premières lignes du modèle de clics avec 10 % d’exploration :

    week week_start learner exploration visits click_rate orders_per_1000_visits revenue_per_visit products_shown_this_week products_shown_so_far top10_same_as_week1
    1 2026-04-06 clicks 0.1 2396 0.080134 20.450751 0.634186 1581 1581 10
    2 2026-04-13 clicks 0.1 2351 0.082093 19.991493 0.710561 1585 2219 9
    3 2026-04-20 clicks 0.1 2353 0.076923 17.849554 0.510234 1588 2509 9
  4. Exécutez les tests avec python -m pytest -q. Vous voyez 28 passed (28 tests réussis).

Votre projet correspond maintenant à l’instantané end-of-m08, sauf son README.md. Pour vérifier sur macOS et Linux : diff -rq larkfield_recs ../nextia-learning-labs/C37/snapshots/end-of-m08/larkfield_recs affiche seulement des lignes concernant les dossiers __pycache__.

La boucle est discrète. Rien ne plante, et la liste de chaque semaine semble raisonnable prise seule. C’est pourquoi une équipe doit la surveiller. Amira ajoute trois nombres au rapport hebdomadaire de Larkfield :

  • les produits montrés cette semaine, et leur part parmi les produits en vente;
  • les produits montrés jusqu’ici depuis la dernière mise en production;
  • la part des cases occupées par les 1 % de produits les plus populaires.

Une baisse soudaine du nombre de produits montrés est un avertissement. Sans exploration, la page simulée montrait 10 produits à la semaine 1 et n’en a jamais montré un de plus. Dans Surveiller et réentraîner, le rapport hebdomadaire du projet affiche la couverture semaine par semaine.

Regardez la sortie de l’étape 2. Avant de vérifier, répondez à deux questions. Quel modèle a gardé le plus de produits de la semaine 1 avec exploration? Quelle variante choisiriez-vous si Hana demande que chaque produit soit vu, avec la plus faible perte de revenu?

Afficher la réponse

Le modèle de clics avec 10 % d’exploration a gardé 9 des 10 produits de la semaine 1. Le modèle de taux de clics en a gardé seulement 3 (10 %) ou 2 (20 %). Pour l’objectif de Hana, choisissez le modèle de clics avec 10 % d’exploration. Il montre les 2 994 produits et rapporte 0,47 $ par visite aux semaines 9 à 12. C’est le revenu le plus élevé des trois variantes avec exploration. Il reste bien inférieur à 1,31 sans exploration. La réponse honnête à Hana est donc un prix. Dans cette simulation, montrer chaque produit coûte environ 0,84 $ par visite.

Explorez quand la liste dépend de son propre journal. Par exemple, une page d’accueil qui apprend des clics, ou une liste de « tendances » construite à partir des commandes suggérées. Gardez une part petite, fixe et mesurée. Donnez aux produits choisis au hasard des cases autres que la première.

N’explorez pas avec des produits sensibles ou réservés à certains âges. Évitez aussi les emplacements où une mauvaise suggestion coûte cher, comme un courriel partagé par une famille. Les règles d’affaires du module 7 s’appliquent toujours aux produits choisis au hasard.

Les coûts dans le cas simulé de Larkfield : avec 10 % d’exploration, le revenu par visite aux semaines 9 à 12 est passé de 1,31 à 0,47 $. En échange, chaque produit a été montré, et le journal contient maintenant des données sur chacun.

Erreur courante

« La liste est stable, donc le modèle est bon »

Symptôme : Tomás voit que la page d’accueil montre les mêmes 10 produits depuis 12 semaines. Il dit que le modèle a trouvé les meilleurs produits.

Cause : le modèle apprend seulement de ce qu’il a montré. Dans la simulation, les mêmes 10 produits sont restés parce qu’aucun autre produit ne pouvait recevoir un clic. Ce n’est pas parce qu’ils étaient les meilleurs.

Solution : surveillez la couverture au fil du temps à côté du revenu. Dix produits sur 2 994 pendant 12 semaines, c’est une boucle, pas un résultat.

Erreur courante

FAILED tests/test_m08.py::test_loop

Symptôme : après avoir copié seulement les tests, python -m pytest -q se termine par :

FAILED tests/test_m08.py::test_loop - SystemExit: 2
1 failed, 27 passed in 0.75s

Au-dessus, la sortie capturée indique recs: error: argument COMMAND: invalid choice: 'loop' (erreur : choix non valide pour l’argument COMMAND : « loop »). Vous voyez cela dans un projet avec online.py et les tests, mais sans loop.py.

Cause : tests/test_m08.py teste les deux commandes de ce module, online et loop. Ici, loop.py manque.

Solution : copiez larkfield_recs/commands/loop.py comme à l’étape 1, puis exécutez les tests de nouveau.

Vérifiez votre compréhension

Dans la simulation, la page d'accueil sans exploration a montré les mêmes 10 produits pendant 12 semaines. Expliquez pourquoi avec la boucle de rétroaction.

Afficher la réponse

La page apprenait seulement des clics sur les produits qu’elle montrait. La première semaine, elle montrait les 10 meilleurs vendeurs de mars. Seuls ces 10 produits pouvaient recevoir des clics. Ils avaient donc encore le plus de clics, et la page les montrait de nouveau. Aucun autre produit ne pouvait recevoir de clic, donc aucun ne pouvait entrer dans la liste. La boucle est fermée : 10 produits sur 2 994 pendant 12 semaines.

Vérifiez votre compréhension

Avec 10 % d'exploration, les 2 994 produits ont été montrés. Mais le revenu par visite des semaines 9 à 12 est passé de 1,31 à 0,47 $. L'exploration est-elle une erreur? Donnez une raison pour et une raison contre.

Afficher la réponse

Pas nécessairement : c’est un compromis dont le prix est mesuré. Pour : chaque produit a une chance d’être vu. Le journal recueille des données sur les produits que la page ne montrait jamais. Le modèle peut ainsi trouver de bons produits que la boucle cachait. Contre : dans cette simulation, l’exploration a coûté environ 0,84 $ par visite durant les semaines 9 à 12. Les cases aléatoires ont surtout été attribuées à des produits qui se vendent rarement. Une équipe choisit la part d’exploration selon la valeur qu’elle accorde à l’information et à la couverture.

Vérifiez votre compréhension

Dans votre projet, exécutez recs loop. Quelle ligne montre que le modèle apprenant du taux de clics a beaucoup plus changé la page d'accueil que celui apprenant des clics? Quel est le nombre?

Afficher la réponse

La ligne ctr 10% : la colonne « week-1 products still in the top 10 » (produits de la première semaine encore parmi les 10 premiers) indique 3, contre 9 pour clicks 10%. Avec les mêmes 10 % d’exploration, le modèle apprenant du taux de clics a remplacé 7 produits de la première semaine avant la semaine 12 (et 8 après une semaine). Son revenu par visite durant les semaines 9 à 12 était le plus faible : 0,14 $.

Récapitulatif

  • Une boucle de rétroaction : les suggestions du système de recommandation déterminent ses clics, et ses clics déterminent ses prochaines suggestions. Seuls les produits montrés peuvent recevoir des clics.
  • Dans la simulation de Larkfield, une page qui apprend seulement de ses propres clics a montré les mêmes 10 produits pendant 12 semaines.
  • L’exploration (10 % : 1 case aléatoire sur 10) a montré les 2 994 produits. Mais le revenu par visite des semaines 9 à 12 est passé de 1,31 à 0,47 $ (0,14 $ pour le modèle apprenant du taux de clics). Elle achète de l’information et de la couverture à un prix mesuré.
  • Une pénalité de popularité est une deuxième solution, mesurée hors ligne. À 0,3, ALS réglé a une couverture de 20,2 % contre 16,5 %, sans perte de rappel.
  • Surveillez la couverture au fil du temps : produits montrés chaque semaine, produits montrés jusqu’ici et part des 1 % de produits les plus populaires.

Vous pouvez maintenant évaluer un système de recommandation hors ligne, en ligne et au fil du temps. Le module 9 le met en production. D’abord, vous choisissez entre des listes calculées chaque nuit et des listes calculées à chaque requête. Vous voyez aussi ce que coûte chaque option.

Leçon suivante : En lot ou en temps réel