Boucles de rétroaction et biais de popularité
- Leçon 26
- 35 min
- Module 8 : Des scores hors ligne au vrai magasin
Où nous en sommes
Nous avons choisi une liste avec un test en ligne. Mais après la mise en production, un système de recommandation continue d'apprendre. Il apprend des clics sur ses propres suggestions. Dans cette leçon, nous observons une boucle de rétroaction, ajoutons une petite part d'exploration et suivons la couverture au fil du temps.
Leçon 26 sur 29 · Recommandation et personnalisation : montrer à chacun ce qui compteBoucles de rétroaction et biais de popularité
1. Le problème de la recommandation
2. Les données, la rétroaction implicite et un découpage honnête
3. Mesurer les recommandations hors ligne
4. Les voisins et le filtrage collaboratif
5. La factorisation matricielle pour la rétroaction implicite
6. Le contenu, les hybrides et le démarrage à froid
7. Deux étapes : les candidats et le classement
8. Des scores hors ligne au vrai magasin
9. L'exploiter en production
Ce que vous saurez faire
Voyez comment un système de recommandation qui apprend de ses propres suggestions peut se limiter aux mêmes quelques produits. Mesurez cette boucle avec la couverture au fil du temps. Voyez ce qu’une petite part d’exploration apporte et coûte dans la simulation de Larkfield.
Carnet JupyterFaites cette leçon dans un carnet Jupyter
Le carnet simule une petite page d’accueil de 5 cases qui apprend seulement de ses propres clics. Il le fait avec et sans case aléatoire. Vous écrivez le calcul de la couverture au fil du temps, puis tracez les 12 semaines simulées de Larkfield. Ses cellules de préparation téléchargent moins de 1 Mo. Environ 15 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- La couverture et le biais de popularité, présentés dans Au-delà de l’exactitude.
- Le biais de position et le biais des données consignées, présentés dans Les gains hors ligne ne sont pas des gains en ligne.
Ce qu’il vous faut sur votre ordinateur (seulement pour les étapes du projet)
- Votre projet
larkfield-recsavec la commandeonlinede Tests en ligne et garde-fous, et son environnement virtuel actif. - Les fichiers d’exercice dans
../nextia-learning-labs, à côté du dossier du projet. Vous copiez deux fichiers de son instantanéend-of-m08.
Testé sur macOS avec Python 3.12. Les commandes Windows (PowerShell) n’ont pas été exécutées.
Une station de radio qui joue les chansons demandées
Section intitulée « Une station de radio qui joue les chansons demandées »Pensez à une petite station de radio. Chaque semaine, elle joue les dix chansons les plus demandées par les auditeurs la semaine précédente. Cela semble juste : les auditeurs choisissent.
Mais les auditeurs demandent surtout des chansons qu’ils ont entendues à cette station. Une nouvelle chanson jamais diffusée ne reçoit aucune demande. La station ne la joue donc jamais. Après quelques semaines, les mêmes dix chansons occupent chaque semaine. La station n’a pas décidé d’ignorer la nouvelle musique. Sa propre règle l’a fait.
Le problème : une page d’accueil qui montre seulement ce qu’elle montrait
Section intitulée « Le problème : une page d’accueil qui montre seulement ce qu’elle montrait »Un système de recommandation en production a le même problème. Il montre une liste. Les clients cliquent sur certains produits de cette liste. Le journal enregistre les clics. La semaine suivante, le modèle apprend du journal et montre ce qui a reçu des clics. Mais seuls les produits montrés peuvent recevoir des clics.
Ce cycle est une boucle de rétroaction : la sortie du système devient sa prochaine entrée.
Description textuelle du diagramme
L’image est un cercle de quatre étapes. La page d’accueil de cette semaine montre les 10 premiers produits. Les clients voient seulement ces 10 produits et cliquent sur certains. Le journal enregistre les clics sur les 10 produits montrés. Le modèle compte les clics des deux dernières semaines et choisit les 10 premiers produits de la semaine suivante. Le cercle recommence. Une flèche pointillée venant de l’extérieur du cercle montre l’exploration : 1 case sur 10 montre un produit en vente choisi au hasard. C’est la seule porte d’entrée pour un produit qui n’est pas déjà montré.
Un tout petit exemple où chaque valeur est visible
Section intitulée « Un tout petit exemple où chaque valeur est visible »Voici un exemple construit. Un magasin a quatre produits, et la page d’accueil a deux cases. Chaque semaine, la page montre les deux produits qui ont reçu le plus de clics la semaine précédente. Le produit D est celui que les clients préfèrent, mais l’ancienne page ne le montrait jamais.
| Semaine | Produits montrés | Clics : A | B | C | D | Page de la semaine suivante |
|---|---|---|---|---|---|---|
| 1 | A, B | 30 | 20 | 0 | 0 | A, B |
| 2 | A, B | 31 | 19 | 0 | 0 | A, B |
| 3 | A, B | 29 | 21 | 0 | 0 | A, B |
C et D reçoivent 0 clic parce que personne ne les voit, pas parce que personne n’en veut. La boucle ne peut jamais apprendre que D est le meilleur produit. Gardez maintenant la case 1 pour le produit ayant reçu le plus de clics la semaine précédente. Montrez un produit choisi au hasard dans la case 2 :
| Semaine | Produits montrés | Clics : A | B | C | D | Case 1 la semaine suivante |
|---|---|---|---|---|---|---|
| 1 | A, C (au hasard) | 30 | 0 | 12 | 0 | A |
| 2 | A, D (au hasard) | 30 | 0 | 0 | 45 | D |
| 3 | D, B (au hasard) | 0 | 15 | 0 | 60 | D |
À la semaine 2, la case aléatoire montre D par hasard. Il reçoit plus de clics que A. Dès la semaine 3, il occupe donc la première case. Une case aléatoire a ouvert la boucle.
La boucle de rétroaction simulée de Larkfield
Section intitulée « La boucle de rétroaction simulée de Larkfield »Le cours a exécuté une boucle comme celle-ci avec son modèle de comportement. Elle est simulée, ce n’est pas une vraie page d’accueil. Elle a fonctionné pendant 12 semaines à partir du 6 avril 2026, avec 6 000 clients. Chaque client avait une probabilité de visite de 40 % pendant une semaine donnée. À la semaine 1, la page montrait les 10 produits les plus commandés de mars 2026. Ensuite, elle montrait les choix du modèle, tirés de son propre journal des deux dernières semaines.
Il y avait deux modèles :
- clics : les 10 produits avec le plus de clics;
- taux de clics (
ctrdans la sortie, pour taux de clics) : les 10 produits avec le meilleur nombre de clics par affichage. Il compte 100 affichages « moyens » supplémentaires pour chaque produit, pour qu’un seul clic chanceux ne suffise pas à gagner.
L’exploration consiste à donner certaines cases à des produits que le modèle ne choisirait pas. Ici, à 10 %, une des 10 cases de chaque visite montre un produit en vente choisi au hasard. La case est aussi choisie au hasard. À 20 %, deux cases le font.
La couverture au fil du temps
Section intitulée « La couverture au fil du temps »La couverture au fil du temps est le nombre de produits différents montrés au moins une fois, compté semaine par semaine. C’est la mesure d’une boucle.
- clics, exploration de 10 %
- taux de clics, exploration de 20 %
- clics, sans exploration
Description textuelle du graphique
Un graphique en courbes sur 12 semaines. L’axe vertical montre le nombre de produits montrés au moins une fois jusqu’ici, de 0 à 3 000. Clics, sans exploration : une ligne plate à 10 pendant les 12 semaines. Clics, exploration de 10 % : 1 581 produits à la semaine 1, 2 219 à la semaine 2 et 2 509 à la semaine 3. Ensuite, 2 841 à la semaine 5, 2 970 à la semaine 7 et 2 994, soit tous les produits, aux semaines 11 et 12. Taux de clics, exploration de 20 % : 2 266 à la semaine 1, 2 656 à la semaine 2 et 2 994 dès la semaine 9. Sans exploration, le modèle de taux de clics donne le même résultat que le modèle de clics : 10 produits.
Sans exploration, les deux modèles montrent les mêmes 10 produits pendant les 12 semaines : 10 sur 2 994. Ils viennent tous de la semaine 1. La boucle n’a jamais laissé entrer un autre produit.
Avec 10 % d’exploration, une case aléatoire sur chacune des quelque 2 400 visites hebdomadaires atteint rapidement de nombreux produits. Pendant la semaine 1 seulement, la page a montré 1 581 produits différents. À la semaine 11, les 2 994 produits avaient tous été montrés au moins une fois.
Le coût de l’exploration dans cette simulation
Section intitulée « Le coût de l’exploration dans cette simulation »La couverture n’est pas la mesure d’affaires. Voici le revenu par visite, semaine par semaine. Dans cette simulation, c’est l’argent des commandes de produits suggérés, divisé par le nombre de visites.
- clics, sans exploration
- clics, exploration de 10 %
- taux de clics, exploration de 10 %
Description textuelle du graphique
Un graphique en courbes sur 12 semaines. L’axe vertical montre le revenu par visite en dollars, de 0 à 1,8. Les valeurs montent et descendent d’une semaine à l’autre. Clics, sans exploration : entre 0,75 et 1,48 $, avec une moyenne de 0,88 aux semaines 1 à 4 et de 1,31 aux semaines 9 à 12. Clics, exploration de 10 % : entre 0,35 et 0,82, avec une moyenne de 0,62 aux semaines 1 à 4 et de 0,47 aux semaines 9 à 12. Taux de clics, exploration de 10 % : 0,63 à la semaine 1, puis entre 0,10 et 0,46. La moyenne est de 0,14 aux semaines 9 à 12.
Voici le résultat honnête de cette simulation : l’exploration coûte du revenu ici. Aux semaines 9 à 12, la page sans exploration rapporte 1,31 $ par visite. Avec 10 % d’exploration, le modèle de clics rapporte 0,47, et le modèle de taux de clics, 0,14.
Pourquoi? La simulation ne consigne pas de raison, mais le modèle de comportement en suggère une. Les produits de la semaine 1 sont les meilleurs vendeurs de mars. Le modèle a aussi une longue traîne : la plupart des produits intéressent peu de clients. Une case aléatoire revient donc généralement à un produit qui se vend rarement. Elle fait aussi descendre les meilleurs vendeurs d’une case. Les valeurs hebdomadaires sont également bruitées : chaque semaine compte seulement environ 40 à 60 commandes provenant de suggestions. Lisez les moyennes sur quatre semaines, pas les semaines isolées.
Dans le petit magasin du carnet, le résultat est inverse. Ses produits de la semaine 1 étaient cinq produits choisis sans données. La case aléatoire en a donc trouvé de meilleurs, et les clics par visite ont augmenté. La rentabilité de l’exploration dépend de la qualité de la liste actuelle.
Le modèle de taux de clics montre un deuxième danger. Avec exploration, il a remplacé 8 des 10 produits de la semaine 1 après une semaine. Son revenu a encore davantage baissé. L’exploration change les données que le modèle lit. Vous devez donc vérifier le modèle autant que l’exploration.
L’exploration apporte deux choses dont les 12 semaines ne chiffrent pas la valeur. La première est l’information sur les produits que la page n’a jamais montrés. La deuxième est la couverture : une chance pour chaque produit d’être vu. Traitez-la comme un coût que vous choisissez et mesurez, pas comme un gain gratuit.
Le biais de popularité et un deuxième remède
Section intitulée « Le biais de popularité et un deuxième remède »Une boucle de rétroaction aggrave le biais de popularité : les produits populaires sont montrés, reçoivent des clics et restent donc populaires. L’exploration est un remède. Elle ajoute des produits choisis au hasard. Vous connaissez déjà un deuxième remède, présenté dans Au-delà de l’exactitude : une pénalité de popularité. Elle fait légèrement descendre les produits populaires dans chaque liste personnelle.
L’explorateur ci-dessous présente les mêmes résultats mesurés que dans cette leçon : ALS réglé sur la période de test, avec neuf pénalités. Cette fois, regardez la couverture et la part des cases occupées par les 1 % de produits les plus populaires.
Explorer
Une pénalité de popularité contre le biais de popularité
Prédisez d’abord : Quelle pénalité donne la meilleure couverture? Avec cette pénalité, combien perd-on en recall@10?
- Pénalité
- 0,0
- Recall@10
- 0,149
- NDCG@10
- 0,097
- Couverture
- 16,5 %
- Nouveauté (bits)
- 5,70
- Part du top 1 %
- 38,8 %
- Nouveaux produits
- 10,0 %
Sans pénalité : l’ALS réglé tel quel. Le recall@10 est de 0,149. 16,5 % des produits en vente apparaissent dans au moins une liste, et les 1 % de produits les plus populaires prennent 38,8 % des places.
- Pénalité choisie
- Niveau sans pénalité (tirets)
Description textuelle de l’explorateur
L’explorateur montre les résultats mesurés d’ALS réglé avec une pénalité de popularité, sur les 2 118 clients de test. Un curseur choisit une des neuf pénalités : 0, 0,1, 0,2, 0,3, 0,4, 0,5, 0,6, 0,8 et 1. Trois panneaux montrent la couverture, la part des cases occupées par les 1 % de produits les plus populaires et le recall@10. La pénalité choisie est indiquée.
Sans pénalité : couverture 16,5 %, part des 1 % les plus populaires 38,8 %, recall@10 0,149. Pénalité de 0,3 : couverture 20,2 %, part des 1 % les plus populaires 34,5 %, rappel 0,151. Pénalité de 0,6 : couverture 25,0 %, la plus élevée, part des 1 % les plus populaires 30,1 %, rappel 0,137. Pénalité de 1 : couverture 14,9 %, part des 1 % les plus populaires 21,6 %, rappel 0,068. La part des 1 % les plus populaires baisse à chaque étape. La couverture augmente jusqu’à 0,6, puis diminue.
La part des 1 % les plus populaires baisse régulièrement, de 38,8 % sans pénalité à 21,6 % avec une pénalité de 1. La couverture est maximale à 0,6, soit 25,0 %. À ce point, le recall@10 est passé de 0,149 à 0,137. Une petite pénalité de 0,3 donne une partie de cette couverture sans perte de rappel.
Les deux remèdes diffèrent. Une pénalité se mesure hors ligne et ne coûte aucun trafic réel. Mais elle réordonne seulement les produits que le modèle évalue déjà. Elle ne peut donc pas ajouter d’information. L’exploration ajoute de l’information sur les produits que personne n’a vus. Elle utilise des visites réelles pour l’obtenir.
Exercice guidé : la boucle dans le projet
Section intitulée « Exercice guidé : la boucle dans le projet »Vous copiez la commande loop et les tests de ce module depuis l’instantané de fin du module 8. Les semaines simulées, data/online/feedback_loop.csv, sont déjà dans votre dossier data.
-
Dans votre dossier
larkfield-recs, avec l’environnement virtuel actif, copiez la commande et les tests :Fenêtre de terminal S=../nextia-learning-labs/C37/snapshots/end-of-m08cp $S/larkfield_recs/commands/loop.py larkfield_recs/commands/cp $S/tests/test_m08.py tests/Fenêtre de terminal $S = "..\nextia-learning-labs\C37\snapshots\end-of-m08"Copy-Item "$S\larkfield_recs\commands\loop.py" larkfield_recs\commands\Copy-Item "$S\tests\test_m08.py" tests\ -
Lisez le résumé de la boucle simulée :
Fenêtre de terminal recs loopSIMULATED on the course's behaviour model: 12 weeks, the home page learns only from its own loglearner exploration products shown in 12 weeks week-1 products still in the top 10 revenue/visit weeks 1-4 weeks 9-12clicks 0% 10 10 0.88 1.31clicks 10% 2,994 9 0.62 0.47ctr 0% 10 10 0.88 1.36ctr 10% 2,994 3 0.33 0.14ctr 20% 2,994 2 0.55 0.23 -
Affichez aussi chaque semaine :
Fenêtre de terminal recs loop --weeksAprès le résumé, la commande affiche une ligne par semaine et par variante, soit 60 lignes. Voici les premières lignes du modèle de clics avec 10 % d’exploration :
week week_start learner exploration visits click_rate orders_per_1000_visits revenue_per_visit products_shown_this_week products_shown_so_far top10_same_as_week11 2026-04-06 clicks 0.1 2396 0.080134 20.450751 0.634186 1581 1581 102 2026-04-13 clicks 0.1 2351 0.082093 19.991493 0.710561 1585 2219 93 2026-04-20 clicks 0.1 2353 0.076923 17.849554 0.510234 1588 2509 9 -
Exécutez les tests avec
python -m pytest -q. Vous voyez28 passed(28 tests réussis).
Votre projet correspond maintenant à l’instantané end-of-m08, sauf son README.md. Pour vérifier sur macOS et Linux : diff -rq larkfield_recs ../nextia-learning-labs/C37/snapshots/end-of-m08/larkfield_recs affiche seulement des lignes concernant les dossiers __pycache__.
Surveiller la couverture au fil du temps
Section intitulée « Surveiller la couverture au fil du temps »La boucle est discrète. Rien ne plante, et la liste de chaque semaine semble raisonnable prise seule. C’est pourquoi une équipe doit la surveiller. Amira ajoute trois nombres au rapport hebdomadaire de Larkfield :
- les produits montrés cette semaine, et leur part parmi les produits en vente;
- les produits montrés jusqu’ici depuis la dernière mise en production;
- la part des cases occupées par les 1 % de produits les plus populaires.
Une baisse soudaine du nombre de produits montrés est un avertissement. Sans exploration, la page simulée montrait 10 produits à la semaine 1 et n’en a jamais montré un de plus. Dans Surveiller et réentraîner, le rapport hebdomadaire du projet affiche la couverture semaine par semaine.
À vous de jouer : prédire à partir du tableau
Section intitulée « À vous de jouer : prédire à partir du tableau »Regardez la sortie de l’étape 2. Avant de vérifier, répondez à deux questions. Quel modèle a gardé le plus de produits de la semaine 1 avec exploration? Quelle variante choisiriez-vous si Hana demande que chaque produit soit vu, avec la plus faible perte de revenu?
Afficher la réponse
Le modèle de clics avec 10 % d’exploration a gardé 9 des 10 produits de la semaine 1. Le modèle de taux de clics en a gardé seulement 3 (10 %) ou 2 (20 %). Pour l’objectif de Hana, choisissez le modèle de clics avec 10 % d’exploration. Il montre les 2 994 produits et rapporte 0,47 $ par visite aux semaines 9 à 12. C’est le revenu le plus élevé des trois variantes avec exploration. Il reste bien inférieur à 1,31 sans exploration. La réponse honnête à Hana est donc un prix. Dans cette simulation, montrer chaque produit coûte environ 0,84 $ par visite.
Quand explorer et à quel coût
Section intitulée « Quand explorer et à quel coût »Explorez quand la liste dépend de son propre journal. Par exemple, une page d’accueil qui apprend des clics, ou une liste de « tendances » construite à partir des commandes suggérées. Gardez une part petite, fixe et mesurée. Donnez aux produits choisis au hasard des cases autres que la première.
N’explorez pas avec des produits sensibles ou réservés à certains âges. Évitez aussi les emplacements où une mauvaise suggestion coûte cher, comme un courriel partagé par une famille. Les règles d’affaires du module 7 s’appliquent toujours aux produits choisis au hasard.
Les coûts dans le cas simulé de Larkfield : avec 10 % d’exploration, le revenu par visite aux semaines 9 à 12 est passé de 1,31 à 0,47 $. En échange, chaque produit a été montré, et le journal contient maintenant des données sur chacun.
Erreurs fréquentes
Section intitulée « Erreurs fréquentes »Erreur courante
« La liste est stable, donc le modèle est bon »
Symptôme : Tomás voit que la page d’accueil montre les mêmes 10 produits depuis 12 semaines. Il dit que le modèle a trouvé les meilleurs produits.
Cause : le modèle apprend seulement de ce qu’il a montré. Dans la simulation, les mêmes 10 produits sont restés parce qu’aucun autre produit ne pouvait recevoir un clic. Ce n’est pas parce qu’ils étaient les meilleurs.
Solution : surveillez la couverture au fil du temps à côté du revenu. Dix produits sur 2 994 pendant 12 semaines, c’est une boucle, pas un résultat.
Erreur courante
FAILED tests/test_m08.py::test_loop
Symptôme : après avoir copié seulement les tests, python -m pytest -q se termine par :
FAILED tests/test_m08.py::test_loop - SystemExit: 21 failed, 27 passed in 0.75sAu-dessus, la sortie capturée indique recs: error: argument COMMAND: invalid choice: 'loop' (erreur : choix non valide pour l’argument COMMAND : « loop »). Vous voyez cela dans un projet avec online.py et les tests, mais sans loop.py.
Cause : tests/test_m08.py teste les deux commandes de ce module, online et loop. Ici, loop.py manque.
Solution : copiez larkfield_recs/commands/loop.py comme à l’étape 1, puis exécutez les tests de nouveau.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Dans la simulation, la page d'accueil sans exploration a montré les mêmes 10 produits pendant 12 semaines. Expliquez pourquoi avec la boucle de rétroaction.
Afficher la réponse
La page apprenait seulement des clics sur les produits qu’elle montrait. La première semaine, elle montrait les 10 meilleurs vendeurs de mars. Seuls ces 10 produits pouvaient recevoir des clics. Ils avaient donc encore le plus de clics, et la page les montrait de nouveau. Aucun autre produit ne pouvait recevoir de clic, donc aucun ne pouvait entrer dans la liste. La boucle est fermée : 10 produits sur 2 994 pendant 12 semaines.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Avec 10 % d'exploration, les 2 994 produits ont été montrés. Mais le revenu par visite des semaines 9 à 12 est passé de 1,31 à 0,47 $. L'exploration est-elle une erreur? Donnez une raison pour et une raison contre.
Afficher la réponse
Pas nécessairement : c’est un compromis dont le prix est mesuré. Pour : chaque produit a une chance d’être vu. Le journal recueille des données sur les produits que la page ne montrait jamais. Le modèle peut ainsi trouver de bons produits que la boucle cachait. Contre : dans cette simulation, l’exploration a coûté environ 0,84 $ par visite durant les semaines 9 à 12. Les cases aléatoires ont surtout été attribuées à des produits qui se vendent rarement. Une équipe choisit la part d’exploration selon la valeur qu’elle accorde à l’information et à la couverture.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Dans votre projet, exécutez recs loop. Quelle ligne montre que le modèle apprenant du taux de clics a beaucoup plus changé la page d'accueil que celui apprenant des clics? Quel est le nombre?
Afficher la réponse
La ligne ctr 10% : la colonne « week-1 products still in the top 10 » (produits de la première semaine encore parmi les 10 premiers) indique 3, contre 9 pour clicks 10%. Avec les mêmes 10 % d’exploration, le modèle apprenant du taux de clics a remplacé 7 produits de la première semaine avant la semaine 12 (et 8 après une semaine). Son revenu par visite durant les semaines 9 à 12 était le plus faible : 0,14 $.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Une boucle de rétroaction : les suggestions du système de recommandation déterminent ses clics, et ses clics déterminent ses prochaines suggestions. Seuls les produits montrés peuvent recevoir des clics.
- Dans la simulation de Larkfield, une page qui apprend seulement de ses propres clics a montré les mêmes 10 produits pendant 12 semaines.
- L’exploration (10 % : 1 case aléatoire sur 10) a montré les 2 994 produits. Mais le revenu par visite des semaines 9 à 12 est passé de 1,31 à 0,47 $ (0,14 $ pour le modèle apprenant du taux de clics). Elle achète de l’information et de la couverture à un prix mesuré.
- Une pénalité de popularité est une deuxième solution, mesurée hors ligne. À 0,3, ALS réglé a une couverture de 20,2 % contre 16,5 %, sans perte de rappel.
- Surveillez la couverture au fil du temps : produits montrés chaque semaine, produits montrés jusqu’ici et part des 1 % de produits les plus populaires.
Vous pouvez maintenant évaluer un système de recommandation hors ligne, en ligne et au fil du temps. Le module 9 le met en production. D’abord, vous choisissez entre des listes calculées chaque nuit et des listes calculées à chaque requête. Vous voyez aussi ce que coûte chaque option.
Leçon suivante : En lot ou en temps réel