Des livres pour les lecteurs
- Étude de cas 3
- 150 min
- Facultative · 1 étude de cas requise pour le certificat
Où nous en sommes
Pendant neuf modules, nous avons recommandé des produits. Dans cette étude de cas, nous recommandons des livres à partir de notes publiques et de données sur les livres. Nous comparons la couverture et la nouveauté des méthodes par le contenu, collaboratives et hybrides.
Étude de cas 3 sur 4 · Recommandation et personnalisation : montrer à chacun ce qui compteDes livres pour les lecteurs
1. Le problème de la recommandation
2. Les données, la rétroaction implicite et un découpage honnête
3. Mesurer les recommandations hors ligne
4. Les voisins et le filtrage collaboratif
5. La factorisation matricielle pour la rétroaction implicite
6. Le contenu, les hybrides et le démarrage à froid
7. Deux étapes : les candidats et le classement
8. Des scores hors ligne au vrai magasin
9. L'exploiter en production
Ce que vous saurez faire
Créez et comparez des systèmes de recommandation sur six millions de vraies notes de livres. Découpez-les selon leur position dans le fichier, car les données n’ont pas de dates. Vous mesurez l’exactitude, la couverture, la nouveauté et la part des livres célèbres, par segment. Ensuite, vous décidez ce qu’une librairie devrait montrer, à qui, à quel coût et ce qu’une personne vérifie encore. Enfin, vous exécutez la conception une fois sur des notes qu’aucune méthode n’a vues.
Cette étude de cas est un carnet (notebook) Jupyter, pas le projet larkfield-recs. Il contient tous les blocs de code de cette page, dans le même ordre, avec trois tâches et leurs vérifications. Ses cellules de préparation installent les paquets et téléchargent les données (29 Mo) à la source. La méthode par le contenu télécharge le modèle de texte du cours (environ 200 Mo, une seule fois). Lisez les explications ici et exécutez le code dans le carnet.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Le découpage temporel, dans Découper selon le temps, et les références de base, dans Les références de base à battre.
- Le rappel à 10 (recall@10) et le NDCG@10, dans Mesures de classement; la couverture, la nouveauté et la diversité, dans Au-delà de l’exactitude; les segments et les différences appariées, dans Évaluer par segment.
- La cooccurrence, le lift (rapport d’association) et le cosinus, dans Les clients ont aussi acheté, et ALS, dans Goûts cachés.
- Les plongements de texte et les listes par le contenu, dans Recommandations par le contenu, et les mélanges, dans Hybrides.
Ce qu’il vous faut sur votre ordinateur (seulement pour l’exécution locale; le carnet dans Colab ou Kaggle n’en a pas besoin)
- Python 3.12 dans un nouvel environnement virtuel, avec Jupyter. La première cellule du carnet installe NumPy, pandas, SciPy, matplotlib, implicit et sentence-transformers (avec PyTorch).
- Un nouveau dossier vide. La cellule de préparation télécharge les données dans un dossier
books-for-readers. Pour recommencer, supprimez-le et exécutez le carnet depuis le début.
Testé sur macOS (Apple M4, 16 Go) dans Jupyter, avec Python 3.12, NumPy 2.5.4, pandas 3.1.1, SciPy 1.18.1, implicit 0.7.3, sentence-transformers 6.2.0 et PyTorch 2.15.0. Aucune exécution sur Windows, Linux, Colab ou Kaggle.
La situation
Section intitulée « La situation »Une petite librairie en ligne vend des livres neufs et d’occasion. Ses lecteurs se connectent pour acheter et noter leurs lectures. La page d’accueil peut accueillir un bloc de dix livres : « Des livres pour vous ».
Mina choisit les livres que la librairie garde en stock. Elle a un souhait et une crainte. Son souhait : « Aidez chaque lecteur à trouver son prochain livre. » Sa crainte : « Ne montrez pas Harry Potter à tout le monde, s’il vous plaît. Nos lecteurs le connaissent déjà. »
Leo est le développeur de la librairie. Il créera et exploitera ce que vous recommanderez. Il demande : « Quelle méthode, pour qui? Combien de temps faut-il chaque nuit? Que dois-je faire en cas de panne? »
Le souhait et la crainte s’opposent. Les livres célèbres gaspillent le meilleur emplacement de la page, car les lecteurs les connaissent. Les livres inconnus dont personne ne veut le gaspillent aussi.
Mina, Leo et la librairie sont fictifs. Les notes sont réelles.
Ce que vous allez créer
Section intitulée « Ce que vous allez créer »Une comparaison de sept méthodes sur les mêmes lecteurs et la même fenêtre de notes. Ce sont la popularité (popular, trending), les voisins (co-occurrence, item-cf), ALS (als), une méthode par le contenu (content) et un hybride (hybrid). Le résultat est une recommandation pour Mina et Leo : une conception, ses réglages, son coût et ce qu’une personne vérifie encore.
Les données
Section intitulée « Les données »Goodbooks-10k est un jeu de données public de notes provenant de Goodreads. Sur ce site, les gens consignent et notent leurs lectures. Il contient les 10 000 livres ayant le plus de notes et les lecteurs qui les ont notés.
| Source | github.com/zygmuntz/goodbooks-10k, version v1.0 |
| Créateur | Zygmunt Zając |
| Licence | Creative Commons Attribution-ShareAlike 4.0 International (CC BY-SA 4.0) |
| Attribution | “goodbooks-10k” by Zygmunt Zając, https://github.com/zygmuntz/goodbooks-10k, licensed under CC BY-SA 4.0. |
| Fichiers | ratings.zip, books.zip, book_tags.zip et tags.zip (29 Mo au total). Le cours ne conserve pas de copie : le carnet les télécharge depuis la page de version du jeu de données et vérifie leurs sommes de contrôle. La fiche du jeu de données donne les détails. |
ShareAlike signifie « partage dans les mêmes conditions ». Si vous partagez les données ou une version modifiée, vous devez utiliser la même licence et donner la même attribution. Le cours fournit donc un lien vers la source et ne copie pas les fichiers.
Une ligne de ratings.csv est la note qu’un lecteur donne à un livre, de 1 à 5 étoiles. Il y a 5 976 479 lignes, provenant de 53 424 lecteurs, sur 10 000 livres, sans dates.
Les fichiers utilisés :
| Fichier | Son contenu |
|---|---|
ratings.csv |
user_id (le lecteur), book_id (1 à 10 000) et rating (1 à 5). |
books.csv |
Le titre (avec la série entre parenthèses, comme (Harry Potter, #1)), les auteurs et l’année de première publication de chaque livre. |
book_tags.csv et tags.csv |
Les mots que les utilisateurs de Goodreads associent à chaque livre, comme fantasy (fantastique), history (histoire) ou to-read (à lire), avec leur fréquence. |
Ce qui distingue ces données de celles de Larkfield
Section intitulée « Ce qui distingue ces données de celles de Larkfield »Le journal du magasin Larkfield est synthétique. Ces données représentent le comportement réel de vrais lecteurs (sous pseudonyme). Quatre différences comptent :
- Aucune date. Nous connaissons seulement l’ordre des notes (voir le découpage ci-dessous).
- Tout le monde a un historique. Chaque lecteur a au moins 19 notes (médiane 111); chez Larkfield, 53,7 % des acheteurs ont commandé une seule fois. Le jeu de données conserve seulement les livres les plus notés et les lecteurs ayant beaucoup de notes.
- Quelques livres sont partout. Les 100 livres les plus lus (1 % des livres) reçoivent environ 17 % de toutes les notes. Harry Potter, The Hunger Games et Twilight sont près du sommet.
- Du vrai texte. Chaque livre a un titre, un auteur et des mots-clés écrits par des lecteurs, pas par un modèle.
Une note n’est pas non plus une vente : beaucoup de lecteurs notent d’anciens livres lors de leur inscription. Nous prédisons quels livres un lecteur note ensuite, le signal le plus proche de « quel livre il veut ensuite ».
Définir le problème
Section intitulée « Définir le problème »- Quand les listes sont-elles produites? Chaque nuit, à partir de toutes les notes reçues avant cette nuit. Une méthode ne peut utiliser que le passé.
- Que prédisons-nous? Pour chaque lecteur qui note des livres dans la prochaine fenêtre, les livres qu’il y note. Un livre déjà noté par le lecteur n’est jamais affiché.
- La mesure principale : le recall@10, la part des livres notés parmi les 10 premières suggestions, en moyenne sur les lecteurs. Le NDCG@10 accorde aussi plus de poids aux premiers rangs.
- Au-delà de l’exactitude, comme dans Au-delà de l’exactitude :
- couverture : la part des livres qui apparaissent dans au moins une liste;
- nouveauté, en bits : un livre que tous les lecteurs ont noté a une nouveauté proche de 0;
- diversité : ici, la part des paires d’une liste dont les auteurs diffèrent;
- 100 premiers : la part des suggestions parmi les 100 livres les plus lus;
- séries : la part des suggestions qui poursuivent une série commencée par le lecteur.
- Les segments, comptés en notes avant la fenêtre. Les nouveaux lecteurs n’en ont aucune, les peu actifs en ont de 1 à 49, et les très actifs, 50 ou plus. Nous comptons les notes, pas les commandes. Les noms diffèrent donc des nouveaux, occasionnels et fidèles de Larkfield.
Un découpage sans dates
Section intitulée « Un découpage sans dates »Le README du jeu de données indique que les notes sont « triées selon le temps ». Nous avons vérifié. Le fichier n’est pas regroupé par lecteur : les lecteurs sont mélangés, en 2 865 964 séquences. Les numéros des lecteurs augmentent selon la position de leur première note. Les nouveaux livres apparaissent seulement vers la fin du fichier :
Description textuelle du graphique
La ligne montre, pour chaque dixième du fichier, la part des notes de livres publiés pour la première fois en 2015 ou après. Elle est de 0,00 % dans le premier dixième et reste près de zéro jusqu’au septième dixième. Puis elle augmente : 0,9 % dans le huitième, 7,5 % dans le neuvième et 19,5 % dans le dernier dixième.
La position dans le fichier sert donc d’horloge, mais pas de date. Nous ne pouvons pas dire combien de semaines couvre une fenêtre. Elle respecte la règle de Découper selon le temps : une méthode apprend seulement des notes arrivées avant celles qu’elle prédit.
Description textuelle du diagramme
La validation couvre de 85 % à 90 % du fichier. Nous y essayons 9 réglages ALS et 15 pondérations hybrides, puis gardons les meilleurs. Le test couvre de 90 % à 95 %. Chaque méthode s’exécute une fois avec toutes les notes avant 90 %, et nous rapportons ces résultats. Les nouvelles données sont les derniers 5 % : seule la conception choisie s’exécute, une fois.
Pour garder le carnet rapide, nous conservons un lecteur sur quatre (numéros de lecteur divisibles par 4) : 13 356 lecteurs et 1 493 771 notes. Chaque note garde sa position dans le fichier complet, donc les fenêtres restent les mêmes.
full, books, book_tags = read("data")ratings = sample(full)W = windows(len(full))test = Period(ratings, *W["test"])La fenêtre de test compte 5 591 lecteurs : 180 nouveaux, 535 peu actifs et 4 876 très actifs. Ils ont chacun noté 13,4 livres en moyenne (médiane 7).
Explorer les besoins de la décision
Section intitulée « Explorer les besoins de la décision »La popularité est forte, mais elle évolue. Dans la fenêtre de test, 9,6 % des notes concernent les 100 livres ayant le plus de lecteurs avant la fenêtre. Mais 16,4 % concernent des livres publiés pour la première fois en 2015 ou après. La première tâche du carnet calcule cette part. Les premiers résultats de popular et trending avant la fenêtre le montrent :
| Rang | popular (toutes les notes avant la fenêtre) | trending (les 300 000 dernières notes) |
|---|---|---|
| 1 | The Hunger Games (The Hunger Games, #1) | The Girl on the Train |
| 2 | Harry Potter and the Sorcerer's Stone (Harry Potter, #1) | The Martian |
| 3 | To Kill a Mockingbird | Go Set a Watchman |
| 4 | Twilight (Twilight, #1) | All the Light We Cannot See |
| 5 | Catching Fire (The Hunger Games, #2) | To Kill a Mockingbird |
popular montre les livres célèbres de toutes les époques. trending montre ce que les lecteurs notent maintenant, comme The Girl on the Train. Une méthode qui n’accorde aucun poids au passé récent manquera ces livres.
Les séries sont partout. 4 422 des 10 000 livres font partie d’une série (leur titre se termine par quelque chose comme (Harry Potter, #3)). Un lecteur du tome 1 note souvent le tome 2 ensuite, mais le trouverait probablement sans aide. Nous comptons donc ces suggestions séparément.
Les références de base
Section intitulée « Les références de base »Ce sont les références de base du cours, dans Les références de base à battre. popular classe les livres selon le nombre de lecteurs qui les ont déjà notés. trending fait de même pour les 300 000 dernières notes avant la fenêtre, soit environ 5 % du fichier. Tout le monde reçoit la même liste, sans les livres déjà notés :
def popular(period): """The books with the most readers before the cut.""" return np.argsort(-period.item_readers, kind="stable")
def trending(period): """The books with the most readers in the last 300,000 ratings before the cut (about 5% of the file).""" return np.argsort(-period.recent_readers, kind="stable")Sur la fenêtre de test : popular 0,015 et trending 0,044 (intervalle à 95 % 0,041 à 0,046). La méthode de tendances est 3,0 fois meilleure que celle de popularité. Les lecteurs suivent les nouveautés dont on parle, comme les clients de Larkfield suivaient la saison.
Mais regardez le coût des tendances. Ses listes utilisent 0,41 % des livres, et 55 % de ses suggestions figurent parmi les 100 livres les plus lus. C’est exactement la crainte de Mina.
Les autres options
Section intitulée « Les autres options »Les voisins et le problème Harry Potter
Section intitulée « Les voisins et le problème Harry Potter »La cooccurrence compte les lecteurs qui ont évalué les deux livres : « les lecteurs de ce livre ont aussi lu celui-là », comme dans Les clients ont aussi acheté. Item-cf divise ce nombre par le nombre de lecteurs de chaque livre (cosinus). Nous gardons les 100 livres les plus proches de chaque livre. Le score d’un livre pour un lecteur additionne sa similarité avec chaque livre que ce lecteur a évalué.
Le problème Harry Potter vient des décomptes. Dans une bibliothèque où presque tout le monde a lu Harry Potter, la plupart des lecteurs de The Martian l’ont aussi lu. Le décompte indique « Harry Potter est proche de The Martian », mais c’est le hasard, pas le goût. Larkfield avait le même problème avec un manteau d’hiver dans Filtrage collaboratif article-article.
Voici les cinq livres les plus proches de The Martian (937 lecteurs dans l’échantillon), selon l’historique avant la fenêtre de test :
| Rang | Par décompte (lecteurs communs) | Par cosinus | Par texte (la méthode par le contenu, ci-dessous) |
|---|---|---|---|
| 1 | The Hunger Games (The Hunger Games, #1) | Ready Player One | The Martian Chronicles |
| 2 | Gone Girl | Station Eleven | The Egg |
| 3 | Catching Fire (The Hunger Games, #2) | The Girl on the Train | Life of Pi |
| 4 | Mockingjay (The Hunger Games, #3) | All the Light We Cannot See | The Humans |
| 5 | Harry Potter and the Sorcerer's Stone (Harry Potter, #1) | Armada | Airman |
Par décompte, les voisins de The Martian sont les livres célèbres de tout le site. Par cosinus, ce sont les livres que le même type de lecteur évalue. Les listes des lecteurs le montrent aussi :
Description textuelle du graphique
Sept colonnes, une par méthode : la part des lecteurs dont la liste de 10 contient au moins un livre Harry Potter. Produits populaires 87 %, tendances 86 %, cooccurrence 83 %, item-cf 46 %, ALS 15 %, contenu 5 %, hybride 28 %.
La cooccurrence obtient 0,016 et item-cf 0,024. Le cosinus est plus exact et montre bien moins de livres célèbres (71 % des suggestions parmi les 100 premiers, contre 98 %). Les deux sont loin derrière les tendances : ils apprennent de toutes les anciennes évaluations et connaissent donc peu les livres de cette année.
ALS apprend un vecteur pour chaque lecteur et chaque livre, comme dans Goûts cachés. La bibliothèque implicit ajuste le modèle, avec chaque évaluation comme un signal « lu » (les étoiles ne servent pas).
ALS a des réglages. Nous en avons essayé 9 sur la fenêtre de validation, comme dans Régler sans vous tromper vous-même :
Description textuelle du graphique
Une ligne, pour une régularisation de 10, avec 32, 64 et 128 facteurs. Les 9 réglages : 32 facteurs, régularisation 0,1 : 0,031; 32 facteurs, régularisation 1 : 0,031; 32 facteurs, régularisation 10 : 0,031; 64 facteurs, régularisation 0,1 : 0,035; 64 facteurs, régularisation 1 : 0,034; 64 facteurs, régularisation 10 : 0,034; 128 facteurs, régularisation 0,1 : 0,038; 128 facteurs, régularisation 1 : 0,038; 128 facteurs, régularisation 10 : 0,039.
Les plus grands modèles étaient meilleurs. Nous nous sommes arrêtés à 128 facteurs pour garder la tâche nocturne et le carnet (notebook) Jupyter rapides; un modèle plus grand pourrait être un peu plus exact.
Sur la fenêtre de test, ALS obtient 0,034 (0,031 à 0,036). C’est mieux que les voisins, mais moins bien que les tendances : la différence appariée ALS moins tendances est de −0,010 (−0,013 à −0,006).
Contenu : des livres aux textes similaires
Section intitulée « Contenu : des livres aux textes similaires »Une méthode par le contenu compare les textes des livres, comme dans Recommandations par le contenu. Elle n’a pas besoin d’autres lecteurs et peut donc suggérer un livre que peu de gens ont évalué.
Le texte de chaque livre comprend son titre, son premier auteur et jusqu’à 8 étiquettes qui décrivent le livre. Nous retirons les étiquettes qui décrivent les actions du lecteur, comme to-read, owned ou favorites. Par exemple, le livre 2 :
{c.text_examples['2']}Le modèle de texte du cours est IBM Granite Embedding 97M multilingual R2 (Apache-2.0, selon sa fiche de modèle). Il transforme chaque texte en un vecteur de 384 nombres. Les textes de sens similaire obtiennent des vecteurs qui pointent dans la même direction. Le profil d’un lecteur est le vecteur moyen de ses 20 derniers livres évalués à 4 ou 5 étoiles. Le score d’un livre est le cosinus entre son vecteur et le profil.
def profiles(period, emb, rows, last=20): """A reader's taste as one vector: the mean embedding of their last `last` books rated 4 or 5 (or of their last books, if they rated none 4 or 5), scaled to length 1.""" P = np.zeros((len(rows), emb.shape[1]), np.float32) for i, r in enumerate(rows): books, order = period.O[r].indices, period.O[r].data # the reader's books and their order (1 = first) liked = period.R[r].toarray().ravel()[books] >= 4 if liked.any(): books, order = books[liked], order[liked] P[i] = emb[books[np.argsort(-order)[:last]]].mean(axis=0) # the newest `last` books return P / np.maximum(np.linalg.norm(P, axis=1, keepdims=True), 1e-9)
def content_scores(period, emb, rows): """Cosine between each book's embedding and the reader's profile.""" return profiles(period, emb, rows) @ emb.TDans la troisième colonne du tableau des voisins, le texte le plus proche de The Martian est The Martian Chronicles : le titre contient le même mot. La similarité textuelle voit les mots, pas la qualité ni les tendances.
Le contenu obtient 0,018, près de la cooccurrence et loin derrière ALS (différence appariée −0,016 (−0,019 à −0,012)). Ses listes explorent les rayons : couverture 39,5 %, nouveauté 7,62 bits, et seulement 3 % de ses suggestions parmi les 100 premiers. Mais il ne sait pas ce que les lecteurs veulent maintenant.
Un hybride
Section intitulée « Un hybride »Les tendances connaissent le moment, ALS connaît les goûts de chaque lecteur, et le contenu connaît les livres peu évalués. Un hybride additionne leurs scores, comme dans Hybrides : chaque score est ramené entre 0 et 1 pour chaque lecteur, multiplié par un poids, puis additionné.
def hybrid_scores(period, model, emb, rows, w_als=1.0, w_content=1.0, w_trending=0.0): """A weighted sum of ALS, content and trending scores, each scaled 0..1 for each reader.""" t = np.tile(np.log1p(period.recent_readers), (len(rows), 1)) return (w_als * scale(als_scores(model, rows)) + w_content * scale(content_scores(period, emb, rows)) + w_trending * scale(t))Nous avons choisi les poids sur la fenêtre de validation : 1 pour ALS, et de petites grilles pour le contenu et les tendances.
- contenu 0
- contenu 0,5
- contenu 1
Description textuelle du graphique
Trois lignes, pour les poids du contenu 0, 0,5 et 1, avec les poids des tendances 0, 0,5, 1, 2 et 4. contenu 0, tendances 0 : 0,039. contenu 0, tendances 0,5 : 0,049. contenu 0, tendances 1 : 0,058. contenu 0, tendances 2 : 0,061. contenu 0, tendances 4 : 0,058. contenu 0,5, tendances 0 : 0,042. contenu 0,5, tendances 0,5 : 0,054. contenu 0,5, tendances 1 : 0,061. contenu 0,5, tendances 2 : 0,064. contenu 0,5, tendances 4 : 0,059. contenu 1, tendances 0 : 0,041. contenu 1, tendances 0,5 : 0,055. contenu 1, tendances 1 : 0,061. contenu 1, tendances 2 : 0,065. contenu 1, tendances 4 : 0,061.
Sur la fenêtre de test, l’hybride obtient 0,057 (0,054 à 0,061).
Une comparaison équitable
Section intitulée « Une comparaison équitable »Chaque méthode a traité les mêmes 5 591 lecteurs de la fenêtre de test, avec le même historique et les mêmes mesures. Voici le tableau comparatif de l’étude de cas :
| Méthode | recall@10 (intervalle à 95 %) | NDCG@10 | couverture | nouveauté (bits) | diversité | 100 premiers | séries | entraînement (s) |
|---|---|---|---|---|---|---|---|---|
popular | 0,015 (0,013 à 0,016) | 0,031 | 0,5 % | 1,75 | 0,84 | 100 % | 14 % | 0,0 |
trending | 0,044 (0,041 à 0,046) | 0,063 | 0,4 % | 2,82 | 0,88 | 55 % | 11 % | 0,0 |
co-occurrence | 0,016 (0,015 à 0,018) | 0,033 | 1,9 % | 1,87 | 0,88 | 98 % | 16 % | 6,2 |
item-cf | 0,024 (0,022 à 0,026) | 0,042 | 21,0 % | 2,95 | 0,89 | 71 % | 18 % | 4,0 |
als | 0,034 (0,031 à 0,036) | 0,052 | 14,6 % | 3,87 | 0,91 | 25 % | 23 % | 27,5 |
content | 0,018 (0,016 à 0,020) | 0,026 | 39,5 % | 7,62 | 0,92 | 3 % | 7 % | 0,0 |
hybrid | 0,057 (0,054 à 0,061) | 0,077 | 4,2 % | 3,21 | 0,97 | 43 % | 13 % | 27,5 |
« Entraînement » est le temps d’entraînement sur un fil d’exécution (Apple M4), pour un lecteur sur quatre. La méthode par le contenu ne nécessite aucun entraînement : ses vecteurs de texte sont créés une seule fois, avant (voir les coûts ci-dessous).
Comment lire le tableau :
- L’hybride est le meilleur pour le rappel et le NDCG. Face aux tendances, la différence appariée est de +0,014 (+0,011 à +0,017). Il est meilleur pour 822 lecteurs, moins bon pour 295 et identique pour 4 474.
- Les tendances battent chaque méthode personnalisée utilisée seule. ALS moins tendances donne −0,010 (−0,013 à −0,006). Le passé récent est un signal fort, comme durant la période de test de Larkfield (tendances 0,156).
- L’exactitude et la nouveauté vont dans des directions opposées. L’image ci-dessous les place côte à côte.
Description textuelle du graphique
Un nuage de points avec un point par méthode. Produits populaires : nouveauté 1,75 bits, rappel 0,015. Tendances : 2,82, 0,044. Cooccurrence : 1,87, 0,016. item-cf : 2,95, 0,024. ALS : 3,87, 0,034. Contenu : 7,62, 0,018. Hybride : 3,21, 0,057.
La nouveauté de l’hybride se situe entre celle des tendances et celle d’ALS. Sa couverture est faible (4,2 %), car les tendances placent les mêmes livres récents dans de nombreuses listes. Mais seulement 28 % de ses listes contiennent un livre Harry Potter, contre 86 % pour les tendances.
Par segment
Section intitulée « Par segment »La moyenne cache les segments. Voici le rappel à 10 (recall@10) par segment, avec des intervalles à 95 % :
Description textuelle du graphique
Trois panneaux, un par segment, avec cinq méthodes chacun. Nouveaux lecteurs (180) : chaque méthode affiche la liste des tendances et obtient 0,022. Lecteurs peu actifs (535) : tendances 0,023, item-cf 0,050, ALS 0,041, contenu 0,024, hybride 0,035. Lecteurs très actifs (4 876) : tendances 0,047, item-cf 0,021, ALS 0,033, contenu 0,017, hybride 0,061.
- Les lecteurs très actifs forment la majorité des lecteurs. Pour eux, l’hybride est clairement le meilleur : 0,061 contre 0,047 pour les tendances (différence appariée +0,014 (+0,011 à +0,018)).
- Les lecteurs peu actifs ont de 1 à 49 évaluations. Pour eux, les méthodes personnalisées battent les tendances : ALS moins tendances donne +0,018 (+0,008 à +0,029). Item-cf est le meilleur pour eux (0,050; face à l’hybride +0,015 (+0,003 à +0,027)). La recommandation revient sur ce point.
- Les nouveaux lecteurs n’ont aucune évaluation avant la fenêtre, donc chaque méthode personnalisée se replie sur les tendances. Une surprise :
popularobtient un meilleur score pour eux (0,026 contre 0,022). Les nouveaux lecteurs commencent souvent par évaluer de nombreux livres lus il y a des années. Dans la fenêtre de test, un nouveau lecteur a évalué 77 livres en moyenne, dont 15 % parmi les 100 plus lus. Un lecteur très actif a évalué 9 livres, dont 7 % parmi les 100 premiers. Le rappel récompense une liste qui « prédit » ces évaluations, mais le lecteur n’a pas besoin de suggestions de livres déjà lus. La mesure et l’objectif ne concordent pas, donc nous ne suivons pas la mesure.
Cas d’échec : le décompte produit une liste Harry Potter
Section intitulée « Cas d’échec : le décompte produit une liste Harry Potter »Erreur courante
Les lecteurs ont aussi lu Harry Potter
Symptôme : Leo crée « les lecteurs de vos livres ont aussi lu » avec de simples décomptes, car c’est la méthode la plus simple. Mina ouvre les listes de dix lecteurs. 83 % de tous les lecteurs reçoivent au moins un livre Harry Potter, et 98 % de toutes les suggestions sont parmi les 100 livres les plus lus. Le recall@10 est seulement de 0,016, loin derrière les tendances (0,044).
Cause : le problème Harry Potter. Le nombre de lecteurs communs est élevé pour tout livre que presque tout le monde a lu. Les livres célèbres sont donc « proches » de chaque livre.
Diagnostic : regardez les livres les plus proches de quelques livres sans lien entre eux, comme dans le tableau de The Martian. Si les mêmes livres célèbres reviennent chaque fois, la similarité mesure la popularité, pas le goût. Mesurez ensuite la part des suggestions parmi les 100 premiers.
Correction : divisez par la popularité. Le cosinus (item-cf) réduit de moitié les listes Harry Potter (46 %) et augmente le rappel (0,024; différence appariée +0,007 (+0,005 à +0,009)). ALS et le contenu vont plus loin. Le lift (rapport d’association), présenté dans Les clients ont aussi acheté, divise encore plus par la popularité, mais se fie aux petits nombres; nous ne l’avons pas mesuré ici.
La recommandation
Section intitulée « La recommandation »Description textuelle du diagramme
Un lecteur sans évaluation voit les tendances. Un lecteur avec au moins une évaluation voit la liste hybride, créée chaque nuit. Une personne vérifie les deux listes chaque semaine.
Ce que nous disons à Mina et Leo :
-
Lecteurs avec un historique : l’hybride. Il additionne trois scores :
- ALS : 128 facteurs, régularisation 10, 15 itérations;
- contenu : vecteurs de texte Granite du titre, de l’auteur et des étiquettes, et profil des 20 derniers livres évalués à 4 ou 5;
- tendances : les 300 000 dernières évaluations.
Poids : ALS 1, contenu 1, tendances 2, choisis sur la fenêtre de validation. Les livres que le lecteur a déjà évalués ne sont jamais affichés.
-
Nouveaux lecteurs : les tendances. Nous n’utilisons pas
popular, même s’il obtient un meilleur score pour les nouveaux lecteurs, pour la raison donnée dans la section sur les segments. -
La solution de repli est les tendances, sans les livres que le lecteur a évalués, si la tâche nocturne échoue.
-
Ce qu’une personne vérifie chaque semaine :
- la part des listes avec les livres les plus célèbres (la crainte de Mina; Harry Potter apparaît dans 28 % des listes hybrides);
- deux livres de la même série dans une liste (l’exemple ci-dessous contient les livres 1 et 2 d’une série);
- les livres sur des sujets sensibles, comme dans Vie privée et suggestions sensibles.
Deux choix pour Mina
Section intitulée « Deux choix pour Mina »Deux variantes ont été mesurées sur les mêmes lecteurs. Ce sont des choix d’affaires, pas des erreurs :
- Plus de découvertes. Avec un poids des tendances de 1 plutôt que 2, le recall@10 est de 0,054 plutôt que 0,057 (différence appariée −0,003 (−0,006 à −0,001)). La couverture passe de 4,2 % à 9,4 %, et la nouveauté de 3,21 à 3,42 bits. Si Mina privilégie la découverte, c’est le meilleur réglage; un test en ligne peut indiquer lequel rapporte le plus.
- Une méthode par segment. Item-cf pour les lecteurs peu actifs, l’hybride pour les autres (
switch) : recall@10 0,059 contre 0,057 (différence appariée +0,001 (+0,000 à +0,003)). Sur la fenêtre de validation, les deux étaient proches pour les lecteurs peu actifs (0,045 contre 0,043), donc nous n’avions pas prévu ce changement. Nous ne changeons pas la conception à cause du test : essayez cette variante lors de la prochaine validation, puis dans un test en ligne.
Ce que cela coûte
Section intitulée « Ce que cela coûte »Mesures sur un fil d’exécution d’un Apple M4, pour un lecteur sur quatre (13 099 lecteurs avec un historique). Le magasin complet a quatre fois plus de lecteurs. Les coûts en argent sont des hypothèses.
| Poste | L’hybride | Tendances |
|---|---|---|
| Entraînement chaque nuit (ALS) | 27 s (environ 4 fois plus pour tous les lecteurs) | 0 s |
| Vecteurs de texte pour les 10 000 livres | une fois; ensuite seulement les nouveaux livres chaque nuit | aucun |
| Listes pour les 13 099 lecteurs avec un historique | 12 s | moins de 1 s |
| Mémoire (toute l’analyse, toutes les méthodes, un processus) | 1,6 Go au maximum | moins |
| Temps serveur, hypothèse : un serveur de 4 vCPU à 0,17 $ US l’heure, facturé pour 1 heure par nuit | 0,17 $ US par nuit, environ 62 $ US par année | environ pareil |
| Temps de Leo, hypothèse | vérification mensuelle des chiffres et des poids, et correction quand les données changent | presque aucun |
Le serveur est presque gratuit. Le vrai coût est le temps de Leo : deux modèles (ALS et le modèle de texte) à maintenir en fonctionnement. L’hybride ajoute +0,014 au recall@10 par rapport aux tendances (de +0,011 à +0,017). Les 10 premiers trouvent donc environ 32 % de plus des livres évalués, avec bien moins de livres célèbres. La valeur de ce gain face au temps de Leo dépend de ce que rapporte un livre trouvé. Le rappel hors ligne ne peut pas le dire.
Notre conseil : livrez d’abord les tendances, puis l’hybride, et testez-le en ligne face aux tendances avant de le garder. Les gains hors ligne ne sont pas des gains en ligne a montré pourquoi, et Tests en ligne et garde-fous a montré comment.
De bout en bout sur de nouvelles données d’entrée
Section intitulée « De bout en bout sur de nouvelles données d’entrée »Les derniers 5 % du fichier n’ont jamais servi. Nous exécutons toute la conception une fois : ALS apprend sur toutes les évaluations avant les 95 % du fichier, et l’hybride classe avec les mêmes poids. Les nouveaux lecteurs reçoivent les tendances.
| Méthode | recall@10 (intervalle à 95 %) | nouveaux | peu actifs | très actifs | couverture |
|---|---|---|---|---|---|
trending | 0,041 (0,037 à 0,044) | 0,013 | 0,027 | 0,042 | 0,3 % |
als | 0,029 (0,026 à 0,031) | 0,013 | 0,037 | 0,028 | 15,0 % |
content | 0,016 (0,014 à 0,018) | 0,013 | 0,019 | 0,016 | 38,5 % |
| l'hybride (la conception) | 0,055 (0,051 à 0,058) | 0,013 | 0,033 | 0,057 | 4,4 % |
5 568 lecteurs ont évalué des livres dans la dernière fenêtre : 77 nouveaux, 294 peu actifs et 5 197 très actifs. L’ordre est le même que dans le test : l’hybride, les tendances, ALS, puis le contenu. Les tendances ont changé (Me Before You (Me Before You, #1) et The Nightingale sont maintenant près du sommet), et la composante tendances de l’hybride suit sans réentraînement.
La liste d’un lecteur
Section intitulée « La liste d’un lecteur »Le lecteur 1260 est peu actif : 40 évaluations avant la dernière fenêtre. Ses cinq derniers livres étaient *The God of Small Things* (5 étoiles), *The Glass Palace* (5 étoiles), *A Fine Balance* (3 étoiles), *White Teeth* (2 étoiles), *The Da Vinci Code (Robert Langdon, #2)* (4 étoiles). Dans la dernière fenêtre, ce lecteur a évalué 117 livres. Voici sa liste hybride :
| Rang | Livre | Auteur | Lecteurs avant | Évalué dans la fenêtre |
|---|---|---|---|---|
| 1 | The Girl on the Train | Paula Hawkins | 1 855 | oui |
| 2 | The Nightingale | Kristin Hannah | 713 | oui |
| 3 | The Kite Runner | Khaled Hosseini | 3 171 | |
| 4 | Me Before You (Me Before You, #1) | Jojo Moyes | 1 215 | oui |
| 5 | After You (Me Before You, #2) | Jojo Moyes | 338 | |
| 6 | The Martian | Andy Weir | 1 228 | |
| 7 | The Goldfinch | Donna Tartt | 1 197 | oui |
| 8 | Room | Emma Donoghue | 1 286 | |
| 9 | The Lovely Bones | Alice Sebold | 2 844 | |
| 10 | Fates and Furies | Lauren Groff | 216 |
4 des 10 ont été évalués dans la fenêtre, donc le recall@10 de ce lecteur est de 4 sur 117 = 0,034. Une liste de 10 peut trouver au plus 10 des 117 livres. La liste mélange des romans récents issus des tendances avec des livres proches de la fiction littéraire du lecteur. Les rangs 4 et 5 sont les livres 1 et 2 de la même série. Une personne en garderait un et utiliserait l’autre case pour autre chose (point 4 de la recommandation).
Constats et limites
Section intitulée « Constats et limites »Ce que nous avons appris :
- Le passé récent est le signal le plus fort ici. La méthode des tendances a battu chaque méthode personnalisée utilisée seule.
- Un modèle hybride peut être plus exact et moins monotone à la fois. Il a battu les tendances de +0,014. Il a montré Harry Potter à 28 % des lecteurs, contre 86 % pour les tendances.
- Le comptage a un problème Harry Potter. Utilisez la similarité cosinus ou un modèle (ALS) avant d’afficher « les lecteurs ont aussi lu ».
- Les segments ont besoin de méthodes différentes. item-cf servait mieux les lecteurs peu actifs; le modèle hybride, les lecteurs très actifs.
Comparaison avec le magasin synthétique de Larkfield : ces données sont plus faciles pour les méthodes personnalisées, car chaque lecteur a un historique. Elles sont plus difficiles, car elles n’ont pas de dates et la popularité est extrême. De plus, seuls les livres et les lecteurs ayant le plus de notes ont été conservés. Comparez l’ordre des méthodes, pas les valeurs. Sur la période de test de Larkfield, les tendances (0,156) ont aussi battu chaque méthode personnalisée utilisée seule. Un mélange hybride réglé (0,193) y a aussi battu les tendances, dans chaque segment.
Limites :
- Aucune date. Nous ne connaissons pas la durée d’une fenêtre. Un vrai magasin ferait le découpage par date.
- Données sélectionnées. Les 10 000 livres ayant le plus de notes, et les lecteurs ayant de 19 à 200 notes. Un vrai magasin compte beaucoup plus de livres rares et de lecteurs avec une seule note.
- Une note n’est pas une vente. Nous prédisons les notes. C’est proche de ce que le magasin souhaite, mais ce n’est pas la même chose.
- Les livres sans note avant la fenêtre ne sont jamais montrés. Ils représentent 2,4 % des notes de la fenêtre de test. Le contenu pourrait les montrer dès le premier jour, comme les nouveaux produits de Larkfield dans Démarrage à froid pour les nouveaux produits et les nouveaux clients. Nous n’avons pas mesuré cela.
- Évaluation hors ligne seulement. Le rappel ne dit pas si la liste a causé l’attribution d’une note. Seul un test en ligne peut mesurer ce que le bloc ajoute.
Utilisation responsable
Section intitulée « Utilisation responsable »- Les lecteurs sont réels. N’essayez pas d’identifier un lecteur. Ne combinez pas ces données avec des profils Goodreads ou d’autres données.
- La lecture est personnelle. Les livres peuvent révéler la santé, la religion, les opinions politiques ou la sexualité. Une liste sur un écran partagé peut exposer ces renseignements. Suivez les vérifications de Vie privée et suggestions sensibles.
- Un système de recommandation décide de ce que les gens voient. La couverture du modèle hybride est faible : la plupart des 10 000 livres ne sont jamais montrés. Surveillez la couverture et réservez volontairement une place aux livres rares et nouveaux.
- Dites ce qui est mesuré. Chaque chiffre ici provient d’une évaluation hors ligne, sur des notes passées. Ne promettez pas plus de ventes à Mina.
- Citez la source des données et partagez selon les mêmes conditions. Donnez l’attribution ci-dessus et utilisez la même licence pour toute copie partagée. Fournissez un lien vers la source plutôt que de copier les fichiers.
Faites-en un projet de portfolio
Section intitulée « Faites-en un projet de portfolio »Cette étude de cas montre à un employeur que vous pouvez comparer des méthodes au-delà de l’exactitude. Vous expliquez un compromis à la personne qui décide. Vous traitez aussi honnêtement un jeu de données sans dates.
Quoi mettre dans le dépôt :
README.md(modèle ci-dessous).- Le carnet (notebook) Jupyter, exécuté du début à la fin, avec ses sorties.
DECISION.md: la recommandation, les réglages, les deux choix pour Mina, les coûts et leurs hypothèses, et les vérifications hebdomadaires.- La source des données, la licence et l’attribution. N’incluez pas les données dans un commit (enregistrement des modifications), à cause de ShareAlike et de leur taille. Fournissez un lien vers la source et le SHA-256 de chaque fichier.
Un modèle de README :
# Book suggestions for readers
## QuestionWhat should a bookshop show in a block of 10 books, for new and returningreaders, without showing the same famous books to everybody?
## Data and licencegoodbooks-10k (Zygmunt Zajac, github.com/zygmuntz/goodbooks-10k), CC BY-SA 4.0.5,976,479 ratings, 53,424 readers, 10,000 books, with tags. Not copied:downloaded from the source and checked with SHA-256. One reader in four.
## ApproachNo dates: split by position in ratings.csv (sorted by time). Choose on 85-90%,test once on 90-95%, run the chosen design once on 95-100%. Methods: popular,trending, co-occurrence, item-cf, ALS (implicit), content (Granite embeddingsof title, author, tags), a hybrid of ALS + content + trending.Measures: recall@10 with bootstrap intervals, NDCG@10, coverage, novelty,diversity, share from the top 100 books, series share, by segment.
## Results(the comparison table, the recall-novelty chart and the segment chart)
## DecisionHybrid for readers with history, trending for new readers, trending as thefallback. Weekly checks: famous books, series, sensitive topics.
## LimitsNo dates, selected books and readers, ratings not sales, offline only.Comment le décrire en trois phrases : « J’ai comparé sept méthodes de recommandation sur six millions de notes réelles de livres, avec un découpage temporel et des segments de lecteurs. Un modèle hybride combinant ALS, des plongements textuels et les tendances était le plus exact et montrait beaucoup moins de livres célèbres que la popularité. J’ai expliqué le compromis entre exactitude et découverte à la personne qui décide. »
Pour aller plus loin :
- Essayez le changement (item-cf pour les lecteurs peu actifs) dans une nouvelle ronde de validation, sur une autre partie du fichier.
- Ajoutez une règle pour les séries : au plus un livre d’une série par liste. Mesurez ce que cela coûte en rappel.
- Laissez le contenu montrer des livres sans notes dans une case de la liste. Mesurez le rappel sur ces livres seulement.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Selon le décompte, les livres les plus proches de The Martian sont The Hunger Games et Harry Potter. Pourquoi, et comment corriger cela?
Afficher la réponse
Le nombre de lecteurs communs est élevé pour tout livre que presque tout le monde a lu. Les livres célèbres sont donc « proches » de chaque livre par hasard : c’est le problème Harry Potter. Divisez le décompte par la popularité des livres. La similarité cosinus (item-cf) fait cela : elle réduit de moitié les listes contenant un livre Harry Potter (83 % à 46 %). Le rappel augmente aussi. ALS et le modèle hybride vont plus loin.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
La méthode par le contenu a la nouveauté et la couverture les plus élevées. Pourquoi n'est-elle pas la conception recommandée?
Afficher la réponse
La nouveauté et la couverture indiquent que les listes sont inhabituelles, pas que les lecteurs veulent les livres. Le rappel à 10 (recall@10) du contenu est de 0,018, bien inférieur à ALS (0,034) et aux tendances (0,044). La similarité textuelle voit les mots, pas la qualité ni ce qui est populaire maintenant. Elle est utile dans le modèle hybride, la méthode la plus exacte.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Sur la fenêtre de test, item-cf dépasse le modèle hybride pour les lecteurs peu actifs. Devriez-vous passer ces lecteurs à item-cf maintenant?
Afficher la réponse
Non, pas à cause du test. La conception a été choisie sur la fenêtre de validation, où les deux méthodes étaient proches. Si nous la changeons après avoir regardé le test, son résultat ne montre plus son comportement sur de nouvelles données. Essayez le changement dans la prochaine ronde de validation, puis dans un test en ligne.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Vous pouvez découper honnêtement des données sans dates quand le fichier suit l’ordre temporel : ici, selon la position dans le fichier.
- Les tendances (0,044) ont battu chaque méthode personnalisée utilisée seule; ALS (0,034), item-cf (0,024) et le contenu (0,018) étaient en dessous.
- Le comptage a un problème Harry Potter : la cooccurrence a placé un livre Harry Potter dans 83 % des listes. La similarité cosinus, ALS et le modèle hybride montrent beaucoup moins de livres célèbres.
- Le modèle hybride combinant ALS, le contenu et les tendances était le plus exact (0,057). Il montrait beaucoup moins de livres célèbres que les tendances. Le contenu seul avait la nouveauté la plus élevée et une faible exactitude.
- La conception : les tendances pour les nouveaux lecteurs, le modèle hybride pour les lecteurs avec un historique, les tendances comme solution de repli, et une vérification hebdomadaire par une personne. Mina choisit entre exactitude et découverte; un test en ligne tranche.
Vient ensuite une étude de cas facultative. Nous suggérons la prochaine leçon sur une plateforme d’apprentissage. L’ordre des leçons et les préalables de chacune y comptent plus que la popularité.
Leçon suivante : Quoi apprendre ensuite