Aller au contenu
English

Goûts cachés

  • Leçon 14
  • 35 min
  • Module 5 : La factorisation matricielle pour la rétroaction implicite

Où nous en sommes

Dans le module 4, les méthodes par voisins comparaient les produits selon leurs clients communs. Elles ne voient pas un goût plus profond, comme « aime le bois naturel ». Dans cette leçon, nous factorisons la matrice en vecteurs de clients et de produits, d'abord à la main.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité
Leçon 14 sur 29 · Recommandation et personnalisation : montrer à chacun ce qui compteGoûts cachés
Aperçu du cours

5. La factorisation matricielle pour la rétroaction implicite

  1. Goûts cachés
  2. ALS et BPR avec implicit
  3. Régler sans vous tromper vous-même

Ce que vous saurez faire

Comprendre la factorisation matricielle : donner à chaque client et chaque produit une courte liste de nombres. Une seule multiplication permet alors d’attribuer un score à n’importe quel produit pour n’importe quel client. Faites un petit exemple à la main. Découvrez ensuite les goûts que la méthode trouve dans le journal du magasin de Larkfield.

Carnet JupyterFaites cette leçon dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter factorise la petite matrice de cette leçon avec dix lignes de NumPy. Vous calculez vous-même un score. Ensuite, il entraîne la même méthode sur tout le journal du magasin avec la bibliothèque implicit. Il trace aussi la carte des produits de cette leçon. Ses cellules de configuration téléchargent environ 8 Mo de données d’exercice et installent implicit. Environ 20 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 35 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

Rien pour la leçon. Le carnet est facultatif. Votre projet larkfield-recs reçoit la nouvelle méthode dans la prochaine leçon.

Pensez à une bonne vendeuse dans un magasin pour la maison et le jardin. Un client régulier entre. La vendeuse ne se souvient pas de tous les produits qu’il a achetés. Elle retient quelques détails sur lui : « il aime le bois naturel », « il a un grand jardin », « les couleurs vives lui importent peu ».

Elle connaît aussi quelques détails sur chaque produit. Une nouvelle lampe en chêne est « en bois naturel, pour l’intérieur, de couleur douce ». Elle peut donc suggérer cette lampe, même si ce client n’a jamais acheté de lampe. Elle fait correspondre ses goûts aux caractéristiques du produit.

C’est l’idée de cette leçon. Quelques goûts cachés décrivent chaque client, et les mêmes goûts décrivent chaque produit. La différence avec la vendeuse : personne ne dit à la méthode quels sont ces goûts. Elle les trouve dans le journal du magasin.

Le problème : les voisins ont besoin d’un client commun

Section intitulée « Le problème : les voisins ont besoin d’un client commun »

Dans le module 4, le filtrage collaboratif article-article comparait deux produits selon les clients ayant interagi avec les deux. Cela fonctionne bien quand plusieurs clients relient deux produits. Mais un lien exige au moins un client commun.

Voici un petit exemple que nous avons construit. Ana a acheté un banc et une étagère en chêne. Ben a acheté l’étagère et une lampe en chêne. Chen a acheté seulement le banc en chêne. Que devrait-on montrer à Chen?

Trois produits. Le banc et l'étagère en chêne sont liés, car Ana a acheté les deux. L'étagère et la lampe en chêne sont liées, car Ben a acheté les deux. Une ligne pointillée entre le banc et la lampe indique qu'aucun client n'a acheté les deux. Leur similarité est donc de 0. Chen a acheté seulement le banc.
Un exemple construit. La similarité article-article relie seulement les produits ayant un client commun. Le banc ne mène donc jamais à la lampe.
Description textuelle du diagramme

Trois produits alignés : banc en chêne, étagère en chêne, lampe en chêne. Une ligne relie le banc et l’étagère : Ana a acheté les deux. Une ligne relie l’étagère et la lampe : Ben a acheté les deux. Une ligne pointillée relie le banc et la lampe : aucun client n’a acheté les deux. Leur similarité cosinus est donc de 0. Une flèche part de Chen vers le banc, le seul produit qu’il a acheté. La lampe a une bordure épaisse.

La méthode article-article propose l’étagère à Chen, car l’étagère partage un client avec le banc. Elle ne lui propose jamais la lampe. Le banc et la lampe n’ont aucun client commun. Leur similarité est donc exactement de 0. Une personne voit immédiatement le lien : les trois produits sont en chêne naturel, et les trois clients aiment le chêne. La méthode voit seulement les liens directs.

Ce cas n’est pas rare dans le journal du magasin de Larkfield. Comptez chaque paire de produits. Vérifiez si au moins un client a interagi avec les deux, par n’importe quel événement avant la période de test. Seulement 52,7 % des paires partagent un client. Pour les 47,3 % restantes, la similarité article-article est de 0.

Nos mesures du module 4 ont montré le coût. Sur la période de test, item-cf obtient un rappel à 10 (recall@10) de 0,088. Il est de seulement 0,045 pour les clients occasionnels. Leurs une ou deux anciennes commandes renvoient à d’anciens produits. La méthode peut seulement suivre les liens directs à partir de ces produits.

Nous voulons une méthode qui voit « aime le chêne » sans qu’on le lui dise. Voici le plan :

  1. Donnez à chaque client une courte liste de nombres, par exemple 2 nombres. Une liste par client.
  2. Donnez à chaque produit une liste de la même longueur.
  3. Pour attribuer un score à un produit pour un client, multipliez leurs listes nombre par nombre, puis additionnez les résultats.

Une telle liste de nombres est un vecteur. La multiplication suivie de l’addition à l’étape 3 est le produit scalaire. Un grand produit scalaire signifie « les goûts de ce client correspondent à ce produit ». Un petit produit scalaire signifie qu’ils ne correspondent pas.

Supposons, seulement pour cet exemple, que les deux nombres signifient « aime les articles de jardin » et « aime les articles de chambre ». Nous avons inventé ces nombres pour montrer le calcul.

Jardin Chambre
Cliente Ana 0,9 0,1
Produit : banc de jardin 1,0 0,0
Produit : couette 0,0 1,0
Produit : couverture de pique-nique 0,6 0,4

Les scores pour Ana :

Produit Produit scalaire Score
Banc de jardin 0,9 × 1,0 + 0,1 × 0,0 0,90
Couverture de pique-nique 0,9 × 0,6 + 0,1 × 0,4 0,58
Couette 0,9 × 0,0 + 0,1 × 1,0 0,10

La liste pour Ana commence donc par le banc, puis la couverture de pique-nique. La couette arrive en dernier. Chaque score demande seulement deux multiplications et une addition.

Factoriser un nombre, c’est l’écrire comme un produit de nombres plus petits : 12 = 3 × 4. Ici, nous faisons la même chose avec la matrice utilisateurs-articles. Nous écrivons la grande matrice comme le produit de deux tableaux étroits : les vecteurs des clients et ceux des produits.

La matrice de 40 000 clients et 2 994 produits contient 119,8 millions de cellules. Seulement 467 160 sont remplies (0,39 %). Elle se rapproche du produit de deux tableaux : les vecteurs des clients, 40 000 lignes de 32 nombres, et les vecteurs des produits, 2 994 lignes de 32 nombres. Le score pour n'importe quel client et produit est le produit scalaire de leurs deux lignes. Chaque cellule reçoit donc un score, même les cellules vides.
Factorisation matricielle de la matrice de Larkfield avant la période de test, avec 32 nombres par vecteur.
Description textuelle du diagramme

Quatre encadrés de gauche à droite. La matrice : 40 000 clients et 2 994 produits, 119,8 millions de cellules, seulement 467 160 remplies (0,39 %). Une flèche nommée « se rapproche de » mène aux vecteurs des clients : 40 000 lignes de 32 nombres. Une ligne nommée « multiplié par » mène aux vecteurs des produits : 2 994 lignes de 32 nombres. Le dernier encadré a une bordure épaisse : le score pour n’importe quel client et produit est le produit scalaire de leurs deux lignes. Chaque cellule reçoit un score, même les cellules vides.

Les deux tableaux étroits contiennent 32 × (40 000 + 2 994), soit environ 1,4 million de nombres. La matrice complète contient 119,8 millions de cellules. Les vecteurs doivent donc résumer : ils ne peuvent pas copier chaque cellule. Pour approcher les cellules remplies avec si peu de nombres, la méthode doit trouver des tendances communes à plusieurs clients. Ces tendances sont les goûts cachés. Leur nom technique est facteurs latents : « latent » signifie caché.

Deux faits rendent cela utile :

  • La méthode apprend les vecteurs à partir des cellules remplies seulement.
  • Ensuite, elle peut attribuer un score aux cellules vides. Une cellule vide au score élevé représente un produit avec lequel le client n’a pas interagi, mais qu’il aime probablement. C’est une suggestion.

Comment la méthode trouve les vecteurs : un petit exemple

Section intitulée « Comment la méthode trouve les vecteurs : un petit exemple »

Voici maintenant la vraie méthode, sur une matrice assez petite pour être lisible. Cinq clients et quatre produits. Un 1 signifie « acheté », un 0 signifie « aucun événement ». Les produits A et B sont des produits de jardin. Les produits C et D sont des produits de chambre. Le client 4 a acheté dans les deux groupes.

A banc de jardin B parasol C couette D oreiller
Client 0 1 1 0 0
Client 1 1 0 0 0
Client 2 0 0 1 1
Client 3 0 0 1 0
Client 4 1 1 1 0

La question de cet exemple : le client 1 a acheté seulement le banc de jardin. Devrait-on suggérer le parasol (B) ou la couette (C)?

Nous ne connaissons pas les vecteurs. La méthode les trouve par cycles :

  1. Commencez avec de petits nombres aléatoires, 2 nombres par client et par produit.
  2. Gardez les vecteurs des produits fixes. Pour chaque client, trouvez les 2 nombres dont les scores approchent le mieux sa ligne de la matrice. « Le mieux » signifie la plus petite somme des différences au carré. C’est un problème de moindres carrés, qui a une solution exacte.
  3. Gardez les vecteurs des clients fixes. Pour chaque produit, trouvez les 2 nombres qui approchent le mieux sa colonne, de la même façon.
  4. Répétez les étapes 2 et 3. À chaque cycle, les scores se rapprochent de la matrice.

La méthode alterne : les clients, puis les produits, puis les clients à nouveau. Son nom est donc moindres carrés alternés, ou ALS. Un autre détail : une petite pénalité pour les grands nombres, la régularisation, empêche les vecteurs de reproduire exactement chaque cellule. Le carnet utilise 0,1. La prochaine leçon explique ce réglage.

Après 20 cycles, le carnet affiche ces vecteurs :

Client Nombre 1 Nombre 2
0 −0,84 0,44
1 −0,47 0,28
2 −0,3 −0,94
3 −0,27 −0,59
4 −1,11 −0,15
Produit Nombre 1 Nombre 2
A banc de jardin −1,02 0,42
B parasol −0,82 0,23
C couette −0,65 −0,99
D oreiller −0,1 −0,57

Et les scores, soit le produit scalaire de chaque client avec chaque produit :

A banc de jardin B parasol C couette D oreiller
Client 0 1,04 0,79 0,11 −0,17
Client 1 0,59 0,45 0,03 −0,11
Client 2 −0,09 0,03 1,13 0,57
Client 3 0,03 0,08 0,76 0,36
Client 4 1,07 0,87 0,87 0,2

Vérifiez un score à la main. Le client 1 et le parasol : −0,47 × −0,82 + 0,28 × 0,23 = 0,385 + 0,064 = 0,45.

Le client 1 n’a jamais acheté le parasol, mais son score est de 0,45. La couette obtient 0,03 et l’oreiller −0,11. La réponse est donc le parasol. Le client 1 ressemble aux clients 0 et 4, qui ont acheté le banc et le parasol. Les vecteurs transmettent cette tendance au client 1.

Remarquez aussi que les scores ne sont pas exactement 0 et 1. Le client 0 obtient 1,04 pour le banc, près de son 1. Les cellules d’achat sont proches de 1, mais pas égales à 1. Avec 2 nombres par vecteur, la méthode ne peut pas copier la matrice. Elle peut seulement la résumer, et ce résumé remplit les cellules vides.

Avec 2 nombres par vecteur, nous pouvons dessiner chaque vecteur comme une flèche sur une page. Dans l’image suivante, nous avons changé le signe du nombre 1 pour chaque client et chaque produit. Les scores restent les mêmes, car −a × −b = a × b. L’image est plus facile à lire quand la plupart des flèches pointent vers la droite.

  • produits (flèches)
  • clients 0 à 4 (points)
Le petit exemple après 20 cycles d'ALS. Les produits de jardin pointent vers le haut et la droite, ceux de chambre vers le bas. Chaque client se trouve près des produits qu'il a achetés.
Description textuelle du graphique

Les produits sont des flèches partant de l’origine. A, le banc de jardin, se termine à 1,02, 0,42. B, le parasol, se termine à 0,82, 0,23. C, la couette, se termine à 0,65, −0,99. D, l’oreiller, se termine à 0,10, −0,57. Les clients sont des points. Le client 0 à 0,84, 0,44 et le client 1 à 0,47, 0,28 sont en haut à droite, près de A et B. Le client 2 à 0,30, −0,94 et le client 3 à 0,27, −0,59 sont en bas, près de C et D. Le client 4 à 1,11, −0,15 est loin à droite, entre les deux groupes.

Lisez l’image ainsi : un client et un produit qui pointent dans la même direction donnent un score élevé. S’ils pointent dans des directions différentes, le score est faible ou négatif. Le client 1 est un point près de l’origine, dans la direction du jardin. Le parasol obtient donc un bon score et l’oreiller un mauvais score.

La méthode n’a pas nommé les deux directions. Nous voyons « jardin » et « chambre » parce que nous connaissons les produits. Les nombres n’ont pas de noms. Dans un vrai modèle avec 32 ou 64 nombres, la plupart des directions mélangent plusieurs goûts. Personne ne peut les nommer.

Les goûts qu’ALS trouve dans le journal du magasin de Larkfield

Section intitulée « Les goûts qu’ALS trouve dans le journal du magasin de Larkfield »

La section 3 du carnet entraîne ALS sur chaque événement avant la période de test, avec 32 nombres par vecteur. Elle utilise les 38 377 clients et les 2 988 produits ayant au moins un événement. Une consultation compte pour 1, un ajout au panier pour 3 et une commande pour 5. C’est le même calcul que dans Des interactions, pas des notes. Le modèle ne voit jamais la catégorie ni le titre d’un produit.

Les produits d’une même catégorie obtiennent-ils des vecteurs similaires? Nous pouvons le mesurer. Prenez la similarité cosinus de deux vecteurs de produits : 1 s’ils pointent dans la même direction, 0 s’ils n’ont rien en commun. Vous avez utilisé le cosinus dans le module 4 sur les colonnes de la matrice. Ici, nous l’utilisons sur les 32 nombres appris.

Paires de produits Similarité cosinus moyenne de leurs vecteurs
Même catégorie 0,627
Catégories différentes 0,01

Les produits d’une même catégorie pointent dans des directions clairement similaires. Les produits de catégories différentes n’ont presque aucun lien. Le modèle a trouvé les catégories à partir des interactions entre clients et produits.

Une image le montre mieux. Nous avons pris les produits de quatre catégories. Nous avons ramené chaque vecteur à une longueur de 1, pour que seule sa direction compte. Ensuite, nous avons conservé les deux directions dans lesquelles ces vecteurs diffèrent le plus. Cette méthode s’appelle l’analyse en composantes principales. Nous avons tracé 75 produits de chaque catégorie.

  • Meubles de jardin
  • Literie et linge de maison
  • Animaux
  • Vêtements de plein air
Produits placés selon leurs vecteurs ALS appris (32 nombres, présentés dans deux directions), colorés par catégorie. Le modèle n'a jamais vu les catégories.
Description textuelle du graphique

Un nuage de points de 300 produits, 75 pour chacune des quatre catégories, sur deux axes : direction 1 et direction 2. Chaque catégorie forme son propre nuage. Les vêtements de plein air sont à droite, autour de 0,67, 0,25. La literie et le linge de maison sont en haut à gauche, autour de −0,49, 0,5. Les meubles de jardin sont en bas au centre, autour de −0,01, −0,38. Les articles pour animaux sont en bas à gauche, autour de −0,21, −0,48, près des meubles de jardin. Dans cette image, 97,5 % des produits de ces quatre catégories sont plus proches du centre de leur propre catégorie.

Les quatre catégories forment quatre nuages. Dans l’image, 97,5 % de leurs produits sont plus proches du centre de leur catégorie que de tout autre centre. Les articles pour animaux et les meubles de jardin sont proches les uns des autres. Peut-être que les mêmes clients achètent les deux : les personnes ayant un jardin ont souvent un chien. Le modèle a appris cela aussi.

Faites attention à un point. Le journal du magasin est synthétique : notre modèle de comportement donne à chaque client un goût pour certaines catégories. Nous nous attendons donc à des nuages bien distincts ici. Dans un vrai magasin, les nuages se chevauchent davantage. La méthode fonctionne de la même façon.

Le carnet affiche les vecteurs du petit exemple. Avant d’exécuter la cellule de l’exercice, faites une prédiction. Le score du parasol pour le client 1 est-il plus proche du score du banc ou de celui de la couette?

Calculez-le ensuite vous-même, dans la section 2 du carnet ou sur papier avec les vecteurs ci-dessus.

Afficher la réponse

score_1_B = float(U[1] @ V[1]) donne 0,447. La vérification affiche Check passed: score_1_B is 0.447. (vérification réussie : score_1_B vaut 0,447). Avec les nombres arrondis du tableau, vous obtenez 0,45.

Il est plus proche du score du banc, 0,59, que de celui de la couette, 0,03. Le client 1 a acheté seulement le banc, mais les vecteurs le placent avec les clients amateurs de jardin.

Quand utiliser la factorisation matricielle et à quel coût

Section intitulée « Quand utiliser la factorisation matricielle et à quel coût »

Utilisez-la quand beaucoup de clients ont chacun quelques interactions, comme chez Larkfield. Elle relie les produits par des goûts communs, pas seulement par des clients communs. Elle donne un score à chaque produit pour chaque client connu, avec un produit scalaire par paire.

Ne vous attendez pas à ce qu’elle puisse :

  • Servir un client ou un produit sans événements. Sans événements, pas de vecteur. Le modèle als du projet donne plutôt la liste des tendances à ce client. Le module 6 traite de ce problème de démarrage à froid.
  • S’expliquer facilement. Le filtrage article-article peut dire « parce que vous avez acheté le banc en chêne ». Un modèle de factorisation peut seulement dire « vos 32 nombres correspondent aux 32 nombres de ce produit ». Les nombres n’ont pas de nom.
  • Fonctionner sans réglages. Combien de nombres par vecteur? Quelle force donner à la pénalité? Les deux prochaines leçons choisissent ces réglages avec soin.

Son coût : un vecteur par client et par produit, soit environ 1,4 million de nombres ici. L’entraînement d’ALS avec les réglages du projet a pris 3,8 secondes et 496 Mo de mémoire sur notre portable. Cette mesure utilise un seul fil d’exécution. La prochaine leçon entraîne le modèle.

Erreur courante

Interpréter un nombre du vecteur comme un goût nommé

Symptôme : quelqu’un regarde le nombre 7 des vecteurs de produits et dit « le nombre 7 est le goût pour le jardin ».

Cause : la méthode ne nomme pas ses nombres. Entraînez-la à nouveau avec un autre départ aléatoire. Les mêmes goûts peuvent alors apparaître dans d’autres nombres, avec d’autres signes. Dans le petit exemple, nous avons changé le signe du nombre 1, et tous les scores sont restés identiques.

Solution : utilisez les vecteurs par leurs produits scalaires et leurs similarités. Pour savoir ce que le modèle a appris, regardez quels produits sont proches, comme sur la carte des produits.

Erreur courante

« No module named implicit » (aucun module nommé implicit) dans le carnet Jupyter

Symptôme : la cellule qui entraîne ALS sur le journal du magasin s’arrête avec ModuleNotFoundError: No module named 'implicit' (module introuvable : aucun module nommé « implicit »).

Cause : la première cellule du carnet Jupyter installe implicit 0.7.3. Elle n’a pas été exécutée, ou le noyau a démarré avant l’installation.

Solution : exécutez la cellule d’installation. Si elle affiche implicit 0.7.3 et que l’erreur persiste, redémarrez le noyau et exécutez à nouveau toutes les cellules.

Vérifiez votre compréhension

Le vecteur d'un client est (0,5, 0,8). Le produit X est (1,0, 0,0) et le produit Y est (0,2, 0,9). Quel produit arrive en premier dans la liste du client? Montrez les deux produits scalaires.

Afficher la réponse

Y arrive en premier. X : 0,5 × 1,0 + 0,8 × 0,0 = 0,50. Y : 0,5 × 0,2 + 0,8 × 0,9 = 0,10 + 0,72 = 0,82. Le vecteur du client pointe surtout dans la deuxième direction, tout comme celui de Y.

Vérifiez votre compréhension

Dans l'exemple du chêne, le filtrage article-article ne suggère jamais la lampe en chêne à Chen. Pourquoi la factorisation matricielle peut-elle la suggérer?

Afficher la réponse

Le filtrage article-article a besoin d’un client qui a interagi avec le banc et la lampe. Aucun client ne l’a fait, donc leur similarité est de 0. La factorisation matricielle donne à chaque produit un vecteur qui doit correspondre à tous ses clients. L’étagère relie le banc (par Ana) et la lampe (par Ben), donc les trois obtiennent des vecteurs similaires. Le vecteur de Chen, qui correspond au banc, donne alors aussi un score élevé à la lampe. Dans le journal du magasin de Larkfield, seulement 52,7 % des paires de produits partagent un client. Cette capacité est donc importante.

Vérifiez votre compréhension

Tomás dit : « Le modèle a découvert que le nombre 3 signifie vêtements de plein air. » Qu'est-ce qui est vrai et faux dans cette phrase?

Afficher la réponse

Vrai : les vecteurs contiennent bien de l’information sur les catégories. Les produits d’une même catégorie ont une similarité cosinus moyenne de 0,627, contre 0,010 pour des catégories différentes. Les catégories forment aussi des nuages sur la carte des produits. Faux : aucun nombre seul ne représente une catégorie. Un goût est une direction, généralement un mélange de plusieurs nombres. Un autre entraînement peut le placer dans d’autres nombres avec d’autres signes. Utilisez les vecteurs par leurs similarités, pas un nombre à la fois.

Récapitulatif

  • Le filtrage article-article a besoin d’un client commun. Dans le journal du magasin de Larkfield, seulement 52,7 % des paires de produits en ont un. Pour les autres, la similarité article-article est de 0.
  • La factorisation matricielle donne à chaque client et à chaque produit un court vecteur de goûts cachés (facteurs latents). Le score est leur produit scalaire.
  • Les vecteurs sont appris à partir des cellules remplies et remplissent les cellules vides. Une cellule vide avec un score élevé est une suggestion.
  • ALS (moindres carrés alternés) les trouve par étapes : fixer les produits et ajuster les clients, puis fixer les clients et ajuster les produits.
  • Dans le petit exemple, le client 1 a acheté seulement le banc. Il obtient 0,45 pour le parasol, contre 0,03 pour la couette.
  • Dans le journal du magasin, les produits d’une même catégorie obtiennent des vecteurs similaires (similarité cosinus moyenne de 0,627 contre 0,010). Pourtant, le modèle n’a jamais vu de catégorie. Les nombres eux-mêmes n’ont pas de nom.

Vous avez appliqué ALS à la main sur 20 cellules. Ensuite, la bibliothèque implicit l’entraîne sur tout le journal du magasin en quelques secondes. Une deuxième méthode, BPR, apprend plutôt l’ordre des produits.

Leçon suivante : ALS et BPR avec implicit