Aller au contenu
English

Découper selon le temps

  • Leçon 6
  • 40 min
  • Module 2 : Les données, la rétroaction implicite et un découpage honnête

Où nous en sommes

Nous avons la matrice utilisateurs-articles. Pour tester une méthode, nous devons cacher certaines interactions et les prédire. Dans cette leçon, nous découpons par temps. Nous mesurons combien un découpage aléatoire fait paraître une méthode meilleure qu'elle ne l'est.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité
Leçon 6 sur 29 · Recommandation et personnalisation : montrer à chacun ce qui compteDécouper selon le temps
Aperçu du cours

5. La factorisation matricielle pour la rétroaction implicite

  1. Goûts cachés
  2. ALS et BPR avec implicit
  3. Régler sans vous tromper vous-même

Ce que vous saurez faire

Testez un système de recommandation comme le magasin l’utilisera : apprendre du passé, prévoir les semaines suivantes. Mesurez combien un découpage aléatoire fait paraître les méthodes meilleures. Expliquez pourquoi, pour ne jamais vous fier à un tel score.

Carnet JupyterFaites cette leçon dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet réalise le découpage temporel et le découpage aléatoire du projet avec pandas. Il compte les événements d’entraînement provenant du futur et évalue la popularité sur les deux découpages. Votre tâche : mesurer quels clients chaque découpage teste. Ses cellules de configuration installent les paquets et téléchargent les données. Environ 25 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 40 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

Après cette leçon, votre projet possède la commande recs leakage de l’instantané end-of-m02. Le journal du magasin est synthétique. L’équipe du cours a mesuré les résultats sur un ordinateur portable Apple M4. Testé sur macOS; les commandes Windows ne sont pas testées.

Larkfield veut savoir si une nouvelle vendeuse fait de bonnes suggestions. Voici un test équitable. Elle étudie les reçus de caisse de la dernière année. Pendant les deux semaines suivantes, elle note ce qu’elle pense que chaque client régulier achètera. À la fin des deux semaines, nous comparons ses prévisions avec les achats réels.

Voici un test inéquitable. Nous prenons les reçus de toute l’année, retirons 5 % des lignes au hasard et lui donnons le reste. Elle doit deviner les lignes manquantes. Mais les reçus qu’elle étudie incluent ceux du mois prochain. Elle voit qu’Ana a acheté une tente en mai et une lampe de camping en juillet. Elle devine donc facilement le sac de couchage qu’Ana a acheté en juin. Elle n’a rien prédit. Elle a lu la réponse dans le futur.

Le deuxième test est plus facile, donc elle obtient une meilleure note. Mais cette note ne dit rien sur son travail réel : prévoir la semaine prochaine, sans les reçus de cette semaine-là.

Tomás crée son premier modèle avec un tutoriel. Le tutoriel cache 5 % des commandes au hasard, entraîne sur le reste et mesure le recall@10. Son modèle de factorisation matricielle obtient 0,336 (ALS, que vous construirez dans ALS et BPR avec implicit). La popularité obtient 0,113. Il s’apprête à dire à Omar, le gestionnaire de produit, que le modèle est trois fois meilleur que la popularité.

Priya évalue le même modèle sur le découpage temporel. Il s’entraîne sur tous les événements avant le 22 juin 2026. Le test porte sur les commandes du 22 juin au 5 juillet. Le modèle obtient 0,142. La majeure partie du score de Tomás venait de sa façon de cacher les commandes, pas du modèle.

Cette erreur s’appelle une fuite de données : de l’information du test (ici, le futur) passe dans les données d’entraînement. Le modèle paraît bon au test et fonctionne moins bien en magasin.

Un découpage temporel coupe le journal à une date donnée. Tout ce qui précède la coupure sert de données d’entraînement. Les commandes après la coupure servent de test. Le modèle ne voit jamais d’événement après la coupure. C’est exactement la situation du magasin : ce soir, nous entraînons sur les données jusqu’à aujourd’hui, et demain les clients arrivent.

Deux lignes du temps de février 2025 à juillet 2026, avec des points pour les commandes. Découpage aléatoire : des points de test orange chaque mois, mêlés aux points d'entraînement bleus, aussi après le 22 juin 2026 (ligne pointillée). Découpage temporel : tous les points avant une ligne rouge au 22 juin 2026 sont bleus (entraînement). Les points après sont orange (test, du 22 juin au 5 juillet).
Le découpage aléatoire cache des commandes de chaque mois et entraîne sur le reste, futur compris. Le découpage temporel entraîne seulement sur le passé. Les points suivent les commandes réelles par mois; la proportion de points orange du découpage aléatoire n'est pas à l'échelle.
Description textuelle du diagramme

Deux lignes du temps vont de février 2025 à juillet 2026. Chaque point représente certaines commandes du magasin, avec plus de points dans les mois plus occupés. Dans le découpage aléatoire, des points orange (commandes cachées pour le test) apparaissent chaque mois, mêlés aux points bleus (entraînement). Des points bleus apparaissent aussi après les commandes cachées et après le 22 juin 2026. Le modèle s’entraîne donc sur le futur. Dans le découpage temporel, chaque point avant une ligne rouge au 22 juin 2026 est bleu. Seuls les points après cette ligne, les deux semaines jusqu’au 5 juillet, sont orange. Rien après la coupure ne sert à l’entraînement.

Voici un exemple construit avec une cliente et trois commandes :

Date Ana a commandé
10 mai une tente
3 juin un sac de couchage
20 juillet une lampe de camping

Découpage aléatoire. Le découpage cache le sac de couchage. Les données d’entraînement contiennent la tente (mai) et la lampe de camping (juillet). Beaucoup d’autres clients ont acheté une tente, un sac de couchage et une lampe ensemble. Toute méthode qui examine les articles achetés ensemble trouve donc facilement le sac de couchage. Elle a utilisé juillet pour deviner juin.

Découpage temporel, coupure au 1er juin. Les données d’entraînement contiennent seulement la tente. Le test comprend tout ce qu’Ana a commandé après le 1er juin : le sac de couchage et la lampe. La méthode doit les deviner à partir de la tente seulement, comme le magasin le ferait le 1er juin.

Le découpage temporel est plus difficile. C’est aussi le seul des deux qui répond à la question du magasin.

Mesure : combien un découpage aléatoire gonfle-t-il le score?

Section intitulée « Mesure : combien un découpage aléatoire gonfle-t-il le score? »

Priya évalue cinq méthodes sur les deux découpages, avec les mêmes 2 118 clients de test de chaque côté. Vous connaissez déjà la popularité. Trending (les produits les plus commandés des 28 derniers jours) et popular-category arrivent dans la prochaine leçon. Item-cf et ALS sont des méthodes personnalisées des modules suivants.

Avant d’explorer, faites une prédiction : quelle méthode gagne le plus avec le découpage aléatoire, et une méthode y perd-elle?

Explorer

Les cinq mêmes méthodes sur un découpage aléatoire et sur le découpage temporel

Découpage
Découpage temporel
Meilleure méthode sur ce découpage
trending (0,156)
Clients fidèles parmi les clients évalués
28,8 %

Entraîner avant le 22 juin 2026, tester sur les commandes des deux semaines suivantes. Le découpage temporel : le score honnête. trending est la meilleure de ces méthodes avec 0,156. Les clients fidèles sont 45,2 % des clients du découpage aléatoire et 28,8 % de ceux du découpage temporel.

  • Découpage temporel
  • intervalle à 95 %
recall@10 sur les clients du testtrait pointillé : le découpage aléatoire0,00,10,20,30,4popularpopular, Découpage temporel : recall@10 0,1060,106trendingtrending, Découpage temporel : recall@10 0,1560,156popular-categorypopular-category, Découpage temporel : recall@10 0,1430,143item-cfitem-cf, Découpage temporel : recall@10 0,0880,088alsals, Découpage temporel : recall@10 0,1420,142
recall@10 sur les clients du testtrait pointillé : le découpage aléatoire0,00,10,20,30,4popularpopular, Découpage temporel : recall@10 0,1060,106trendingtrending, Découpage temporel : recall@10 0,1560,156popular-categorypopular-category, Découpage temporel : recall@10 0,1430,143item-cfitem-cf, Découpage temporel : recall@10 0,0880,088alsals, Découpage temporel : recall@10 0,1420,142
Qui le découpage temporel évalue (part de ses clients)nouveaux : 45 %nouveaux 45 %occasionnels : 26,3 %occasionnels 26,3 %fidèles : 28,8 %fidèles 28,8 %
Qui le découpage temporel évalue (part de ses clients)nouveaux : 45 %45 %nouveauxoccasionnels : 26,3 %26 %occasionnelsfidèles : 28,8 %29 %fidèles
Montrer les deux découpages côte à côte
recall@10 de chaque méthode sur les deux découpages (2 118 clients chacun)
MéthodeDécoupage aléatoireDécoupage temporelAléatoire contre temporel
popular0,1130,106+7 %
trending0,0930,156−40 %
popular-category0,2270,143+59 %
item-cf0,3100,088+251 %
als0,3360,142+136 %
Le recall@10 de chaque méthode avec son intervalle à 95 % (*bootstrap* sur les clients), mesuré sur le journal synthétique du magasin. Sous les barres : les clients que chaque découpage évalue.
Description textuelle de l’explorateur

L’explorateur montre le recall@10 de cinq méthodes. Il commence par le découpage temporel. Là, popular obtient 0,106, trending 0,156, popular-category 0,143, item-cf 0,088 et ALS 0,142. Trending est la meilleure. Sur le découpage aléatoire, popular obtient 0,113 (+7 %) et trending 0,093 (−40 %). Popular-category obtient 0,227 (+59 %), item-cf 0,310 (+251 %) et ALS 0,336 (+136 %). ALS est alors la meilleure et item-cf arrive deuxième. Un repère pointillé sur chaque ligne montre le score de l’autre découpage. Sous les barres, une barre empilée montre les clients que le découpage évalue. Le découpage temporel compte 45,0 % de nouveaux clients, 26,3 % de clients occasionnels et 28,8 % de clients fidèles. Le découpage aléatoire compte 15,2 % de nouveaux clients, 39,6 % de clients occasionnels et 45,2 % de clients fidèles. Une section fermée montre les deux découpages côte à côte.

La réponse : item-cf gagne le plus (0,088 → 0,310, +251 %), puis ALS (+136 %) et popular-category (+59 %). La popularité bouge à peine (+7 %). Et trending y perd (0,156 → 0,093, −40 %). Le classement s’inverse : la meilleure méthode du découpage temporel devient la pire des cinq sur le découpage aléatoire.

Ce gonflement n’a pas de taille fixe. Il dépend de la méthode. Une méthode personnalisée qui apprend quels articles vont ensemble gagne le plus. Le futur lui dit exactement quels articles vont ensemble pour ce client.

1. Les données d’entraînement contiennent le futur. Le découpage aléatoire entraîne sur 34 813 événements survenus le 22 juin 2026 ou après, premier jour de la période de test. Certains sont les consultations, ajouts au panier et commandes ultérieurs des clients de test eux-mêmes. Item-cf trouve « les clients qui ont acheté X ont aussi acheté Y ». Avec le futur dans les données d’entraînement, Y est souvent une commande passée après celle qui est cachée, comme la lampe d’Ana.

2. Le découpage aléatoire teste des clients différents. Il choisit des commandes au hasard, pas des clients. Un client avec 20 commandes a 20 chances d’être choisi; un client avec une commande en a une. Le découpage aléatoire teste donc des clients qui achètent davantage. 45,2 % de ses clients sont fidèles (3 commandes antérieures ou plus), contre 28,8 % sur le découpage temporel. Les clients fidèles ont de longs historiques, donc les méthodes personnalisées prédisent leurs achats plus facilement. Le découpage temporel compte 45,0 % de nouveaux clients, qui n’ont aucune commande.

Et pourquoi trending y perd-elle? Trending est conçue pour « maintenant » : les meilleurs vendeurs des 28 jours avant le 22 juin, surtout des produits d’été. Les commandes cachées du découpage aléatoire viennent de tous les mois du journal, y compris l’hiver. Une liste d’été prédit mal une commande de décembre. Sur le découpage temporel, « maintenant » correspond exactement à ce que demande le test.

Erreur courante

Choisir une méthode sur un découpage aléatoire

Tomás compare les méthodes sur son découpage aléatoire et choisit ALS (0,336) plutôt que trending (0,093). Sur le découpage temporel, qui représente la situation réelle du magasin, trending est meilleure : 0,156 contre 0,142. Un découpage aléatoire ne fait pas que rendre chaque score trop élevé. Il peut changer la méthode gagnante. Toutes les comparaisons de ce cours utilisent le même découpage temporel. Si un article scientifique ou un tutoriel rapporte un score de recommandation, vérifiez le découpage des données avant de comparer.

Beaucoup d’articles scientifiques utilisent une troisième façon, le retrait de la dernière interaction (leave-last-out). Pour chaque client, la dernière interaction sert de test et tout le reste sert à l’entraînement. Cela ressemble à un découpage temporel, car le test porte toujours sur « la plus récente ». Mais la date de coupure diffère pour chaque client.

Trois lignes du temps pour Ana, Ben et Chen. La dernière commande de chaque client est orange (test), les autres sont bleues (entraînement). La dernière commande d'Ana arrive tôt. Une ligne rouge pointillée au jour du test d'Ana montre que Ben et Chen ont des commandes d'entraînement après.
Un exemple construit. La dernière commande de chaque client sert de test, mais à des jours différents. Le test d'Ana arrive tôt, donc les données d'entraînement contiennent les commandes ultérieures de Ben et Chen : pour Ana, c'est le futur.
Description textuelle du diagramme

Trois clients, chacun sur une ligne allant de gauche (tôt) à droite (tard). Ana a trois commandes, et sa dernière, le test, arrive tôt. Ben a deux commandes; son test arrive tard. Chen a quatre commandes; son test est le plus tardif. Une ligne rouge pointillée au jour du test d’Ana traverse les lignes de Ben et Chen. Chen a deux commandes d’entraînement après cette ligne. Quand le modèle prédit la dernière commande d’Ana, il a appris à partir de commandes arrivées plus tard.

Le retrait de la dernière interaction a deux limites :

  1. Le futur des autres clients passe dans l’entraînement. Le jour du test d’Ana est au printemps, mais le modèle s’entraîne sur les commandes d’été de Chen. Une tendance apparue après le jour du test d’Ana aide à prédire sa commande.
  2. Il teste une commande par client, à de nombreux jours différents. Le magasin ne fonctionne jamais ainsi. Il entraîne une fois, ce soir, et fait des suggestions à tout le monde demain.

Le retrait de la dernière interaction n’est pas toujours mauvais. Il est simple et convient pour un premier examen d’une méthode qui ignore le temps. Mais pour une décision concernant un vrai magasin, utilisez une date de coupure globale pour tous, comme le fait Larkfield.

Larkfield conserve trois périodes dans data/splits.json, toutes découpées par temps :

Période Dates Utilisation
validation 8 au 21 juin 2026 choisir les paramètres (réglage), plusieurs fois
test 22 juin au 5 juillet 2026 comparaison finale des méthodes
lancement 1er au 14 mai 2026 nouvelle gamme d’été, pour le démarrage à froid

Pour chaque période, les données d’entraînement comprennent tous les événements avant son premier jour. Les clients de test sont les 2 118 clients qui ont commandé pendant la période de test. Chaque méthode de ce cours est évaluée sur le même découpage. C’est ce qui rend équitable le tableau comparatif à la fin du cours.

Le projet contient le découpage aléatoire dès le début (recs evaluate popular --period random), pour que vous puissiez voir l’erreur. recs leakage évalue les méthodes sur les deux découpages côte à côte.

  1. Dans le dossier de votre projet, avec l’environnement virtuel actif, copiez la commande depuis l’instantané :

    Fenêtre de terminal
    cp ../nextia-learning-labs/C37/snapshots/end-of-m02/larkfield_recs/commands/leakage.py larkfield_recs/commands/leakage.py
  2. Évaluez la popularité sur le découpage aléatoire : recs evaluate popular --period random.

  3. Comparez les deux découpages : recs leakage.

  4. Ouvrez larkfield_recs/data.py et trouvez _random : le découpage aléatoire. Trouvez la ligne qui retire les commandes cachées des données d’entraînement. Tout le reste, futur compris, reste.

Afficher le résultat attendu

L’étape 2 affiche :

Method popular (the most ordered products over the whole training log), random split (leaky)
Customers scored: 2,118; trained on every event except the held-out orders
recall@10 0.113 (95% interval 0.099 to 0.125), NDCG@10 0.056
coverage 0.3% of the products on sale
time: fit 0.0 s, suggestions 0.0 s

La deuxième ligne indique ce que le modèle a appris : tout le journal, futur compris, sauf les commandes cachées. La troisième ligne donne le score gonflé : 0,113 contre 0,106 sur le découpage temporel.

L’étape 3 affiche (à ce stade, le projet contient la popularité; la prochaine leçon ajoute popular-category et trending) :

Random split: 2,118 customers, orders held out at random from the whole log (the training data contains the future)
Time split: 2,118 customers, the orders of 2026-06-22 to 2026-07-05
method random split time split random / time (recall@10)
popular 0.113 0.106 +7%

Si vous copiez d’abord methods/baselines.py (la prochaine leçon), recs leakage montre aussi popular-category 0.227 0.143 +59%. Item-cf et ALS rejoignent le tableau quand leurs modules les ajoutent. Trending n’est pas dans la liste par défaut, mais vous pouvez la nommer : recs leakage trending affiche trending 0.093 0.156 -40%.

  1. Ouvrez le carnet de cette leçon et exécutez les cellules de configuration.
  2. Exécutez la section 1, le découpage temporel.
  3. Exécutez la section 2. Elle réalise le même découpage aléatoire que le projet.
  4. Prédisez si le découpage aléatoire aide la popularité. Puis exécutez la section 3.
Afficher le résultat attendu
time split: 770,140 training events, the last on 2026-06-21
test: 2,118 customers ordered from 2026-06-22 to 2026-07-05
random split: 796,263 training events; 34,813 of them on or after 2026-06-22
test: 2,118 customers, with orders from any month
popular, recall@10: random split 0.113, time split 0.106

À vous de jouer : quels clients chaque découpage teste-t-il?

Section intitulée « À vous de jouer : quels clients chaque découpage teste-t-il? »

Écrivez loyal_share() dans la section 4 : la proportion de clients de test ayant au moins 3 commandes dans les données d’entraînement. Exécutez-la sur les deux découpages. Faites d’abord une prédiction : quel découpage compte plus de clients fidèles?

Afficher la réponse
def loyal_share(train, truth):
orders_before = train[train["event"] == "order"].groupby("customer_id")["session_id"].nunique()
n = orders_before.reindex(list(truth)).fillna(0)
return (n >= 3).mean()

Elle affiche loyal: random split 45.2%, time split 28.8% (clients fidèles : découpage aléatoire 45,2 %, découpage temporel 28,8 %). Les deux vérifications réussissent. Une commande est une session avec une commande. Nous comptons donc les valeurs distinctes de session_id, pas les lignes de commande. La section 5 montre ensuite trending : 0,093 sur le découpage aléatoire, 0,156 sur le découpage temporel.

Vérifiez votre compréhension

Vérification de fin de leçon : Tomás rapporte un recall@10 de 0,336 pour ALS avec un découpage aléatoire. Avec le découpage temporel, ALS obtient 0,142. Expliquez ce score gonflé en deux phrases.

Afficher la réponse

Le découpage aléatoire utilise tout pour l’entraînement, sauf les commandes cachées. Le modèle apprend donc d’événements survenus après les commandes qu’il doit deviner : 34 813 événements d’entraînement proviennent de la période de test ou d’après. Il teste aussi de plus gros acheteurs, plus faciles à deviner (45,2 % de clients fidèles contre 28,8 %). Ce ne sont pas les clients que le magasin doit servir.

Vérifiez votre compréhension

Prédisez et expliquez : trending obtient 0,156 avec le découpage temporel et 0,093 avec le découpage aléatoire. Pourquoi le découpage aléatoire fait-il paraître cette méthode moins bonne, alors qu'il améliore les résultats des autres?

Afficher la réponse

Trending présente les 10 produits les plus populaires des 28 derniers jours avant le 22 juin : des produits d’été. Les commandes cachées du découpage aléatoire viennent de tous les mois, y compris l’hiver. Une liste estivale prédit mal une commande de décembre. Le découpage temporel porte sur les deux semaines suivantes, exactement ce pour quoi trending est conçu. Un découpage aléatoire peut donc changer la méthode gagnante, pas seulement les scores.

Vérifiez votre compréhension

Un article scientifique évalue un système de recommandation avec le retrait de la dernière interaction (leave-last-out). Donnez deux raisons pour lesquelles son score pourrait ne pas refléter les résultats de la méthode au magasin de Larkfield.

Afficher la réponse

D’abord, la date de coupure varie selon le client. Pour un client dont la dernière commande est ancienne, les données d’entraînement contiennent des commandes ultérieures d’autres clients. Le futur s’infiltre dans les données. Ensuite, le test porte sur une commande par client, à de nombreuses dates différentes. Le magasin, lui, entraîne le modèle une fois et propose des suggestions à tous pour les jours suivants. Un découpage temporel global, avec la même date de coupure pour tous, correspond au fonctionnement du magasin.

Récapitulatif

  • Un découpage temporel utilise tout ce qui précède une date pour l’entraînement et les commandes suivantes pour le test. La période de test de Larkfield va du 22 juin au 5 juillet 2026, avec 2 118 clients.
  • Un découpage aléatoire laisse le futur s’infiltrer dans les données d’entraînement. Pour les mêmes clients, item-cf passe de 0,088 à 0,310 (+251 %) et ALS de 0,142 à 0,336 (+136 %). Popular-category gagne 59 % et popular, 7 %. Trending perd (0,156 → 0,093, −40 %).
  • Il y a deux raisons. Les données d’entraînement contiennent le futur (34 813 événements après la date de coupure). Et le découpage aléatoire teste de plus gros acheteurs (45,2 % de clients fidèles contre 28,8 %).
  • Un découpage aléatoire peut changer la méthode gagnante. Ne choisissez jamais une méthode à partir de ce découpage.
  • Le retrait de la dernière interaction fixe une date différente pour chaque client. Le futur des autres clients s’infiltre donc dans les données. Utilisez une seule date de coupure globale.

Ensuite, nous établissons les scores que toute méthode avancée doit battre : trois références de base de popularité sur le découpage temporel.

Leçon suivante : Les références de base à battre