Aller au contenu
English

Sessions, séquences et LLM, en bref

  • Leçon 23
  • 35 min
  • Module 7 : Deux étapes : les candidats et le classement

Où nous en sommes

Notre système utilise tout l'historique d'un client. Parfois, nous connaissons seulement la visite actuelle. Dans cette leçon, nous essayons des suggestions simples par session. Nous examinons aussi l'apport d'un LLM aux explications et au reclassement, ainsi que son coût.

Leçon 23 sur 29 · Recommandation et personnalisation : montrer à chacun ce qui compteSessions, séquences et LLM, en bref
Aperçu du cours

5. La factorisation matricielle pour la rétroaction implicite

  1. Goûts cachés
  2. ALS et BPR avec implicit
  3. Régler sans vous tromper vous-même

Ce que vous saurez faire

Suggérez le produit suivant à partir de la visite actuelle seulement, avec une référence de base de Markov simple. Examinez ensuite ce qu’un modèle de langage ajoute à un système de recommandation, à partir de réponses enregistrées. Vous verrez des produits inventés, un reclassement inutile, des appels lents et payants, des explications et des demandes refusées.

Carnet JupyterFaites cette leçon dans un carnetColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter compte les produits consultés ensuite, dans toutes les visites avant la période de test. Il évalue ces suggestions de Markov sur les visites de la période de test. Vous évaluez la liste des tendances sur les mêmes visites. Ensuite, il lit les réponses enregistrées du modèle de langage et vérifie quels noms de produits existent vraiment. Aucune clé n’est nécessaire. Ses cellules de préparation téléchargent environ 7 Mo de données d’exercice. Environ 20 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 35 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur (seulement pour les étapes du projet)

  • Votre projet larkfield-recs avec les fichiers de la dernière leçon : recs rules two-stage --quick fonctionne.
  • Aucune clé de modèle. Le projet rejoue les réponses enregistrées.

Testé sur macOS avec Python 3.12. Les commandes Windows (PowerShell) et Linux n’ont pas été exécutées.

Une inconnue entre dans le magasin. La vendeuse ne l’a jamais vue. Elle ne connaît ni son nom ni ses commandes passées. Mais elle observe. L’inconnue regarde un fauteuil en rotin, puis prend une table d’appoint.

La vendeuse a souvent vu cela. Les personnes qui regardent ce fauteuil regardent souvent un coussin de siège ensuite. Elle dit donc : « Ce coussin convient à ce fauteuil. » Elle utilise seulement cette visite.

Cette leçon comporte deux parties. D’abord, les suggestions à partir de la visite actuelle. Ensuite, un bref aperçu des modèles de langage dans un système de recommandation.

Partie 1 : suggestions à partir de la visite actuelle

Section intitulée « Partie 1 : suggestions à partir de la visite actuelle »

Le système de recommandation ne connaît pas beaucoup de visiteurs. Ils ne se connectent pas, ou ils sont nouveaux. Sur les 952 nouveaux clients de test de Larkfield, 633 n’avaient eu aucune interaction avant la période. Pour eux, un modèle de classement de page d’accueil peut seulement montrer les produits populaires.

Mais pendant la visite, chaque clic est un indice. Une liste populaire l’ignore. Sur les visites de la période de test, la liste des tendances contenait le prochain produit consulté seulement 2,7 % du temps.

L’idée : compter ce que les gens consultent ensuite

Section intitulée « L’idée : compter ce que les gens consultent ensuite »

Une session est une visite : les consultations, ajouts au panier et commandes d’un visiteur, rapprochés dans le temps. Dans toutes les sessions passées, nous comptons les consultations du produit B juste après le produit A. Quand un visiteur consulte A, nous suggérons les produits aux décomptes les plus élevés.

C’est un modèle de Markov, nommé d’après le mathématicien Andrey Markov. Il suppose que l’étape suivante dépend seulement de l’étape actuelle, pas des étapes précédentes.

Un visiteur consulte la page Rattan Armchair. Les flèches montrent les produits consultés ensuite lors des visites passées : Rattan Side Table 6 fois, Seat Cushion 4 fois, Garden Parasol 1 fois. Les suggestions, dans l'ordre : 1. Rattan Side Table, 2. Seat Cushion, 3. Garden Parasol.
Une suggestion de Markov (un petit exemple construit) : classer les produits selon le nombre de consultations juste après le produit actuel.
Description textuelle du diagramme

Un visiteur consulte la page de Rattan Armchair. Lors des visites passées, les gens sur cette page ont ensuite consulté Rattan Side Table 6 fois. Ils ont consulté Seat Cushion 4 fois et Garden Parasol une fois. Les suggestions sont donc, dans l’ordre : la table d’appoint, le coussin, le parasol.

Pour l’évaluer, nous utilisons les visites de la période de test. Pour chaque passage d’un produit consulté au suivant, nous posons deux questions :

  • hit@10 : le produit suivant figure-t-il parmi les 10 suggestions?
  • MRR@10 (moyenne des rangs réciproques) : 1 divisé par son rang, ou 0 s’il est absent. Le rang 1 donne 1, le rang 2 donne 0,5, le rang 4 donne 0,25. Le MRR est la moyenne.
Suggestions de produit suivant sur les visites de la période de test (16 801 passages d'un produit consulté au suivant). Markov et les voisins item-cf trouvent chacun le produit suivant environ 62 % du temps; trending, 2,7 %. Markov+ utilise Markov avec trending pour départager les égalités.
Description textuelle du graphique

Un diagramme à quatre colonnes, sur 16 801 passages d’un produit consulté au suivant pendant la période de test. Les transitions de Markov trouvent le produit suivant parmi 10 suggestions 62,2 % du temps (MRR@10 0,238). Voisins item-cf du produit actuel : 62,0 % (MRR 0,235). Markov avec trending pour départager les égalités : 62,8 % (MRR 0,241). Trending : 2,7 % (MRR 0,011).

Le produit actuel est un indice très fort. Markov trouve le produit suivant 62,2 % du temps; trending le trouve 2,7 % du temps.

Markov et item-cf sont presque à égalité. Les deux trouvent des produits liés au produit actuel. Ce sont souvent des options que les gens comparent. Dans le carnet, les gens qui consultaient le fauteuil Driftwood regardaient surtout d’autres fauteuils ensuite. Item-cf compte les clients qui ont interagi avec les deux produits, à n’importe quel moment. Markov compte les consultations dans l’ordre, au sein d’une visite. Ici, l’ordre apporte peu. Ajouter trending pour départager les égalités aide un peu plus : 62,8 %.

Markov regarde seulement le dernier produit. Les modèles de séquence neuronaux lisent toute la visite. GRU4Rec (2016) utilise un réseau de neurones récurrent; SASRec (2018) utilise l’autoattention, l’idée derrière les transformeurs. Ils peuvent apprendre que « fauteuil, puis table d’appoint, puis coussin » désigne un ensemble de patio. Ils demandent beaucoup plus de données et un entraînement plus long. Nous n’en avons pas construit pour Larkfield, donc nous ignorons s’il dépasserait 0,622. Commencez par Markov : c’est une référence de base solide, et un seul décompte explique chaque suggestion. L’étude de cas L’article suivant à partir des sessions de navigation utilise de vraies sessions.

L’idée de Tomás : « demander simplement à un LLM »

Section intitulée « L’idée de Tomás : « demander simplement à un LLM » »

Tomás a un plan simple. Envoyer les produits récents du client à un grand modèle de langage (LLM) et demander ce qu’il achètera ensuite. Les LLM connaissent bien les maisons et les jardins.

Imaginez une amie qui connaît bien les meubles, mais qui n’a jamais vu le catalogue de Larkfield. Elle peut donner de bons conseils généraux. Peut-elle nommer les produits sur les étagères de Larkfield?

Nous l’avons testé une fois, avec des réponses enregistrées. Les appels visaient un petit modèle conversationnel sur Azure; l’équipe du cours l’appelle chat-small. Chaque réponse a été enregistrée une fois et recs llm la rejoue. Vous n’avez donc besoin d’aucune clé.

Pour 30 clients, le modèle a reçu les 10 produits les plus récents du client et cette instruction :

You help Larkfield, an online home and garden shop, choose product suggestions for one customer. You get the
customer's recent products (newest first, with what they did). Name 10 products from Larkfield's shop that this
customer is likely to buy next, best first, with their exact product titles. Answer with JSON:
{"products": ["<title>", ...]}.
Les 290 noms de produits dans les réponses enregistrées de chat-small (29 clients; une demande a été refusée). 210 noms ne figurent pas au catalogue; 77 des 80 noms réels sont copiés de l'historique du client.
Description textuelle du graphique

Un diagramme à trois colonnes : inventés, copiés de l’historique, et réels et nouveaux. Il compte les 290 noms de produits dans les réponses enregistrées pour 29 clients. 210 noms n’existent pas dans le catalogue de Larkfield. 77 sont des produits réels copiés des produits récents du client. Seulement 3 sont des produits réels avec lesquels le client n’avait pas interagi. Un produit nommé a été commandé pendant la période de test.

Les résultats, à partir des réponses enregistrées de chat-small :

  • 210 noms sur 290 n’existent pas. Le modèle écrit des titres qui ressemblent à ceux des produits de Larkfield. Un client qui avait consulté des bols pour animaux a reçu dix produits pour chats. Parmi eux : « Stainless Steel Cat Water Fountain » et « Wall-Mounted Cat Perch ». Larkfield n’en vend aucun. Une réponse inventée qui semble juste s’appelle une hallucination.
  • 77 des 80 noms réels sont copiés de l’historique. Pour un client, la réponse contenait ses dix produits récents dans un nouvel ordre. Un whisky single malt et une liqueur de café en faisaient partie.
  • Seulement 1 produit nommé a été commandé pendant la période de test.

L’amie donne des conseils généraux, pas le contenu des étagères de Larkfield. Un LLM ne peut pas connaître un catalogue qu’il n’a pas reçu.

Avec une liste : reclasser les 20 premiers candidats du modèle de classement

Section intitulée « Avec une liste : reclasser les 20 premiers candidats du modèle de classement »

Un meilleur usage : donner une liste au modèle. Pour 100 clients, le modèle a reçu les produits récents et les 20 premiers candidats du modèle de classement. La liste comprenait les identifiants et les titres. Il devait en choisir et en ordonner 10, en utilisant seulement les identifiants de la liste. Il devait aussi donner une courte raison pour les trois premiers.

Le modèle de classement seul Modèle de classement + reclassement par LLM
recall@10 sur ces clients 0,211 0,194
Différence (intervalle à 95 %) -0,017 (-0,088 à +0,052) : pas claire
Identifiants inventés – 0
Temps par client environ 10 ms 4,8 s (médiane), 6,8 s (95e centile)
Coût par 1 000 clients quelques secondes de processeur 0,36 $ US
Demandes refusées 0 2 sur 100

Avec une liste, le modèle n’a inventé aucun identifiant. Mais il n’a pas amélioré l’ordre : le rappel a baissé de 0,017. L’intervalle comprend zéro, donc nous ne pouvons même pas dire que le résultat est pire. Il est environ 470 fois plus lent que le modèle de classement (4,8 secondes contre 10 millisecondes). Et chaque appel coûte de l’argent. Pour un courriel hebdomadaire aux 40 000 clients, les appels coûteraient environ 40 × 0,36 $ US = 14,40 $ US par semaine à ce tarif. Les prix changent : consultez la page actuelle du fournisseur.

Les explications : elles semblent justes, mais sont-elles vraies?

Section intitulée « Les explications : elles semblent justes, mais sont-elles vraies? »

Les réponses de reclassement incluent des raisons. Pour le client C100159, qui a ajouté des bottes de jardin au panier et consulté des chapeaux de soleil et des ampoules globe :

P10448 Sage Green Globe Light Bulb: You recently viewed this sage green globe bulb.
P10590 Navy Tilting Patio Parasol: A patio parasol could complement your garden-ready footwear and sun hats.
P11781 Oak Fringe-Trimmed Garden Parasol: This garden parasol pairs well with your recent outdoor and gardening interests.

La première raison est vraie. La deuxième est une supposition qui semble bienveillante. La troisième ne dit presque rien. Une raison écrite n’est pas la vraie raison du choix de la liste. Les vraies raisons du modèle de classement sont ses caractéristiques, comme « consulté il y a 2 jours ». Un gabarit tiré des données, « Parce que vous avez consulté… », est toujours vrai et ne coûte rien.

Le filtre de contenu du fournisseur a refusé 3 demandes : 2 des 100 demandes de reclassement et 1 des 30 demandes libres. Dans deux cas, l’historique du client contenait des produits pour l’incontinence ou la grossesse. Dans le troisième, un produit pour l’incontinence figurait parmi les candidats. Le fournisseur n’a pas expliqué pourquoi.

Une étape avec un LLM peut donc échouer pour des raisons que vous ne contrôlez pas. Il lui faut une solution de repli : montrer la liste du modèle de classement. Envoyer l’historique de santé d’un client à un fournisseur externe pose aussi une question de vie privée. Vie privée et suggestions sensibles y revient.

Quand les utiliser, quand les éviter et à quel coût

Section intitulée « Quand les utiliser, quand les éviter et à quel coût »

Utilisez Markov ou les voisins item-cf pour la page produit et les visiteurs sans historique. Ils sont peu coûteux et performants : un hit@10 d’environ 62,2 % sur les visites de Larkfield. Si vous utilisez un LLM, donnez-lui une courte liste créée par votre système. Par exemple, il peut écrire une phrase amicale pour un courriel qu’une personne vérifie.

N’utilisez pas un LLM pour nommer des produits de mémoire : 210 noms sur 290 n’existaient pas. Ne l’ajoutez pas à une page d’accueil qui doit répondre en 100 millisecondes : un appel prend plusieurs secondes. Ne l’utilisez pas pour reclasser avant de mesurer ses résultats : ici, il n’a pas aidé.

Coût : compter et évaluer les transitions de Markov prend environ 2 secondes dans le projet. Le reclassement par LLM a pris 4,8 s par appel et coûté 0,36 $ US par 1 000 clients. Les refus nécessitent une solution de repli.

Exercice guidé : évaluer les sessions et rejouer le LLM

Section intitulée « Exercice guidé : évaluer les sessions et rejouer le LLM »
  1. Ouvrez le carnet dans l’encadré Faites cette leçon dans un carnet en haut de cette page. Exécutez les cellules de préparation.

  2. Exécutez la section 1. Elle compte les consultations suivantes dans toutes les visites avant la période de test. Elle montre les principaux produits suivants pour un produit.

  3. Exécutez la section 2. Elle évalue les suggestions de Markov sur les visites de la période de test.

  4. Dans la section 3, évaluez la liste des tendances sur les mêmes visites. La vérification affiche Check passed (vérification réussie).

  5. Exécutez la section 4. Elle lit les réponses libres enregistrées et vérifie chaque nom de produit dans le catalogue.

  6. Dans un terminal, dans votre dossier larkfield-recs avec l’environnement virtuel actif, copiez les derniers fichiers de ce module :

    Fenêtre de terminal
    S=../nextia-learning-labs/C37/snapshots/end-of-m07
    cp $S/larkfield_recs/session.py larkfield_recs/
    cp $S/larkfield_recs/commands/session.py larkfield_recs/commands/
    cp $S/larkfield_recs/commands/llm.py larkfield_recs/commands/
    cp $S/tests/test_m07.py tests/
  7. Évaluez les méthodes de produit suivant :

    Fenêtre de terminal
    recs session
    Test period: 16,801 moves from one viewed product to the next
    method hit@10 MRR@10
    markov 0.622 0.238
    item-cf 0.620 0.235
    markov+trending 0.628 0.241
    trending 0.027 0.011
  8. Rejouez et évaluez les réponses de reclassement enregistrées :

    Fenêtre de terminal
    recs llm
    Recorded answers from chat-small: 100 customers; refused by the provider's content filter: 2
    Time per call p50 4.8 s, p95 6.8 s; US$0.36 per 1,000 customers
    recall@10 on these customers: ranker 0.211, ranker + LLM re-ranking 0.194; difference -0.017 (95% interval -0.088 to +0.052)
    IDs not in the candidate list (made up or changed): 0
    Example reasons for C100159:
    P10448 Sage Green Globe Light Bulb: You recently viewed this sage green globe bulb.
    P10590 Navy Tilting Patio Parasol: A patio parasol could complement your garden-ready footwear and sun hats.
    P11781 Oak Fringe-Trimmed Garden Parasol: This garden parasol pairs well with your recent outdoor and gardening interests.
  9. Exécutez les tests de tout le module :

    Fenêtre de terminal
    python -m pytest -q

    La dernière ligne est 26 passed (26 tests réussis). Votre projet contient maintenant tous les fichiers de l’instantané end-of-m07.

Avant de l’exécuter, faites une prédiction : quelle proportion des produits nommés sans liste existe dans le catalogue de Larkfield?

Fenêtre de terminal
recs llm freeform
Afficher la réponse
Recorded answers from chat-small: 30 customers; refused by the provider's content filter: 1
Time per call p50 3.6 s, p95 6.6 s; US$0.23 per 1,000 customers
Products named: 290; exact titles that exist in the catalogue: 80 (28%), 77 of them copied from the customer's own history; the other 210 do not exist
Named products that the customer ordered in the test period: 1
Example: Birka Green Pine Shelf with Drawers; Classic Walnut Low Media Shelf; Cove Brass Corner Display Shelf; Saltmarsh Charcoal Pine Ladder Shelf

Seulement 28 % existent, et presque tous sont les produits récents du client. L’exemple est l’un de ces cas : ses quatre noms sont les quatre produits les plus récents du client, réordonnés. Sans liste, le modèle répète l’historique ou invente.

Erreur courante

Afficher tels quels les noms de produits d'un LLM

Symptôme : le courriel prototype de Tomás montre « Wall-Mounted Cat Perch ». Un client clique dessus et arrive sur une page d’erreur.

Cause : le modèle a écrit un titre plausible. Larkfield ne vend pas ce produit. 210 noms sur 290 dans nos réponses enregistrées n’existaient pas.

Diagnostic : appariez chaque nom ou identifiant au catalogue avant de l’afficher, et comptez les noms sans correspondance.

Correction : ne laissez jamais le modèle nommer librement des produits. Donnez-lui une liste de candidats réels, et acceptez seulement les identifiants de cette liste. Revenez à la liste du modèle de classement quand la réponse est incorrecte, lente ou refusée.

Erreur courante

Une étape avec un LLM sans solution de repli

Symptôme : lors d’un test du courriel hebdomadaire, certains clients ne reçoivent aucun courriel.

Cause : le fournisseur a refusé leurs demandes. Dans nos enregistrements, il a refusé 3 demandes contenant des produits de santé. Le code ne prévoyait rien en cas d’erreur.

Diagnostic : consignez chaque appel échoué avec le client et l’erreur, et comptez-les.

Correction : en cas d’erreur ou d’expiration du délai, envoyez la liste du modèle de classement. Mieux encore, n’envoyez aucun historique sensible à un modèle externe.

Vérifiez votre compréhension

Lors de visites passées, après une lampe, les gens ont consulté un abat-jour 8 fois, une ampoule 5 fois et un tapis 2 fois. Un visiteur consulte la page de la lampe, puis celle de l'ampoule. Quel est le rang réciproque de cette transition dans la liste de Markov?

Afficher la réponse

La liste de Markov est : abat-jour (8), ampoule (5), tapis (2). L’ampoule est au rang 2, donc le rang réciproque est 1 / 2 = 0,5. La transition est aussi un succès à 10, car l’ampoule figure dans la liste.

Vérifiez votre compréhension

Quand on lui a demandé de nommer des produits, le modèle en a inventé 210 sur 290. Quand on lui a demandé de reclasser 20 candidats, il n'en a inventé aucun. Pourquoi cette différence?

Afficher la réponse

Sans liste, le modèle ne connaît pas le catalogue de Larkfield. Il écrit donc des titres qui semblent plausibles. Avec une liste, il choisit seulement parmi les vrais identifiants que notre système a trouvés. La consigne lui demande d’utiliser uniquement ces identifiants. La liste transforme une question ouverte en un choix.

Vérifiez votre compréhension

Omar demande : faut-il utiliser un LLM pour reclasser les produits de la page d'accueil? Appuyez votre réponse sur deux chiffres de cette leçon.

Afficher la réponse

Non, pas dans les conditions testées. Le rappel à 10 (recall@10) a changé de −0,017 (intervalle de −0,088 à +0,052) : aucun gain clair. Un appel prenait 4,8 secondes (médiane), bien au-delà du budget de 100 millisecondes. Il coûtait aussi 0,36 $ US par 1 000 clients. Deux requêtes sur 100 ont été refusées et auraient de toute façon nécessité la solution de repli.

Récapitulatif

  • Une session est une visite. Un modèle de Markov suggère ce que les gens ont consulté après le produit actuel. Pour les visites de Larkfield, il trouve le produit suivant 62,2 % du temps (MRR 0,238); item-cf 62,0 %; trending 2,7 %.
  • Les modèles de séquence comme GRU4Rec et SASRec lisent toute la visite. Nous n’en avons pas construit; Markov est la référence de base à battre.
  • Sans liste, un LLM a nommé 290 produits : 210 n’existent pas, et 77 des 80 vrais produits sont copiés de l’historique.
  • Avec une liste, il n’a inventé aucun identifiant, mais le reclassement n’a pas aidé : 0,211 → 0,194, sans gain clair. Il prend 4,8 secondes par appel et coûte 0,36 $ US par 1 000 clients.
  • Les raisons écrites peuvent sembler plausibles sans être vraies. Le filtre de contenu a refusé 3 requêtes contenant des produits de santé : une étape LLM nécessite une solution de repli.

Le module 7 a construit le meilleur système de recommandation hors ligne du cours : 0,234 sans règles, 0,215 avec elles. Mais les données hors ligne montrent seulement ce que l’ancien système a choisi de montrer. Nous verrons ensuite pourquoi un gain hors ligne n’est pas forcément un gain en ligne.

Leçon suivante : Les gains hors ligne ne sont pas des gains en ligne