Découper selon le temps
- Leçon 6
- 40 min
- Module 2 : Les données, la rétroaction implicite et un découpage honnête
Où nous en sommes
Nous avons la matrice utilisateurs-articles. Pour tester une méthode, nous devons cacher certaines interactions et les prédire. Dans cette leçon, nous découpons par temps. Nous mesurons combien un découpage aléatoire fait paraître une méthode meilleure qu'elle ne l'est.
Leçon 6 sur 29 · Recommandation et personnalisation : montrer à chacun ce qui compteDécouper selon le temps
1. Le problème de la recommandation
2. Les données, la rétroaction implicite et un découpage honnête
3. Mesurer les recommandations hors ligne
4. Les voisins et le filtrage collaboratif
5. La factorisation matricielle pour la rétroaction implicite
6. Le contenu, les hybrides et le démarrage à froid
7. Deux étapes : les candidats et le classement
8. Des scores hors ligne au vrai magasin
9. L'exploiter en production
Ce que vous saurez faire
Testez un système de recommandation comme le magasin l’utilisera : apprendre du passé, prévoir les semaines suivantes. Mesurez combien un découpage aléatoire fait paraître les méthodes meilleures. Expliquez pourquoi, pour ne jamais vous fier à un tel score.
Carnet JupyterFaites cette leçon dans un carnet Jupyter
Le carnet réalise le découpage temporel et le découpage aléatoire du projet avec pandas. Il compte les événements d’entraînement provenant du futur et évalue la popularité sur les deux découpages. Votre tâche : mesurer quels clients chaque découpage teste. Ses cellules de configuration installent les paquets et téléchargent les données. Environ 25 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- La matrice utilisateurs-articles et pourquoi elle est creuse, dans La matrice utilisateurs-articles.
- Le rappel à 10 (recall@10) et la référence de base par popularité (0,106 sur la période de test), dans Découvrir le journal du magasin.
- Les données d’entraînement, de validation et de test, dans Données d’entraînement, de validation et de test du cours d’apprentissage automatique. Cette leçon reprend les explications nécessaires.
Ce qu’il vous faut sur votre ordinateur
- Votre projet
larkfield-recsavecrecs matrix, de La matrice utilisateurs-articles, et le dépôt des exercices à côté.
Après cette leçon, votre projet possède la commande recs leakage de l’instantané end-of-m02. Le journal du magasin est synthétique. L’équipe du cours a mesuré les résultats sur un ordinateur portable Apple M4. Testé sur macOS; les commandes Windows ne sont pas testées.
Comment tester une vendeuse en magasin?
Section intitulée « Comment tester une vendeuse en magasin? »Larkfield veut savoir si une nouvelle vendeuse fait de bonnes suggestions. Voici un test équitable. Elle étudie les reçus de caisse de la dernière année. Pendant les deux semaines suivantes, elle note ce qu’elle pense que chaque client régulier achètera. À la fin des deux semaines, nous comparons ses prévisions avec les achats réels.
Voici un test inéquitable. Nous prenons les reçus de toute l’année, retirons 5 % des lignes au hasard et lui donnons le reste. Elle doit deviner les lignes manquantes. Mais les reçus qu’elle étudie incluent ceux du mois prochain. Elle voit qu’Ana a acheté une tente en mai et une lampe de camping en juillet. Elle devine donc facilement le sac de couchage qu’Ana a acheté en juin. Elle n’a rien prédit. Elle a lu la réponse dans le futur.
Le deuxième test est plus facile, donc elle obtient une meilleure note. Mais cette note ne dit rien sur son travail réel : prévoir la semaine prochaine, sans les reçus de cette semaine-là.
Le problème : un score trop bon
Section intitulée « Le problème : un score trop bon »Tomás crée son premier modèle avec un tutoriel. Le tutoriel cache 5 % des commandes au hasard, entraîne sur le reste et mesure le recall@10. Son modèle de factorisation matricielle obtient 0,336 (ALS, que vous construirez dans ALS et BPR avec implicit). La popularité obtient 0,113. Il s’apprête à dire à Omar, le gestionnaire de produit, que le modèle est trois fois meilleur que la popularité.
Priya évalue le même modèle sur le découpage temporel. Il s’entraîne sur tous les événements avant le 22 juin 2026. Le test porte sur les commandes du 22 juin au 5 juillet. Le modèle obtient 0,142. La majeure partie du score de Tomás venait de sa façon de cacher les commandes, pas du modèle.
Cette erreur s’appelle une fuite de données : de l’information du test (ici, le futur) passe dans les données d’entraînement. Le modèle paraît bon au test et fonctionne moins bien en magasin.
L’idée : découper selon le temps
Section intitulée « L’idée : découper selon le temps »Un découpage temporel coupe le journal à une date donnée. Tout ce qui précède la coupure sert de données d’entraînement. Les commandes après la coupure servent de test. Le modèle ne voit jamais d’événement après la coupure. C’est exactement la situation du magasin : ce soir, nous entraînons sur les données jusqu’à aujourd’hui, et demain les clients arrivent.
Description textuelle du diagramme
Deux lignes du temps vont de février 2025 à juillet 2026. Chaque point représente certaines commandes du magasin, avec plus de points dans les mois plus occupés. Dans le découpage aléatoire, des points orange (commandes cachées pour le test) apparaissent chaque mois, mêlés aux points bleus (entraînement). Des points bleus apparaissent aussi après les commandes cachées et après le 22 juin 2026. Le modèle s’entraîne donc sur le futur. Dans le découpage temporel, chaque point avant une ligne rouge au 22 juin 2026 est bleu. Seuls les points après cette ligne, les deux semaines jusqu’au 5 juillet, sont orange. Rien après la coupure ne sert à l’entraînement.
Un petit exemple : la tente d’Ana
Section intitulée « Un petit exemple : la tente d’Ana »Voici un exemple construit avec une cliente et trois commandes :
| Date | Ana a commandé |
|---|---|
| 10 mai | une tente |
| 3 juin | un sac de couchage |
| 20 juillet | une lampe de camping |
Découpage aléatoire. Le découpage cache le sac de couchage. Les données d’entraînement contiennent la tente (mai) et la lampe de camping (juillet). Beaucoup d’autres clients ont acheté une tente, un sac de couchage et une lampe ensemble. Toute méthode qui examine les articles achetés ensemble trouve donc facilement le sac de couchage. Elle a utilisé juillet pour deviner juin.
Découpage temporel, coupure au 1er juin. Les données d’entraînement contiennent seulement la tente. Le test comprend tout ce qu’Ana a commandé après le 1er juin : le sac de couchage et la lampe. La méthode doit les deviner à partir de la tente seulement, comme le magasin le ferait le 1er juin.
Le découpage temporel est plus difficile. C’est aussi le seul des deux qui répond à la question du magasin.
Mesure : combien un découpage aléatoire gonfle-t-il le score?
Section intitulée « Mesure : combien un découpage aléatoire gonfle-t-il le score? »Priya évalue cinq méthodes sur les deux découpages, avec les mêmes 2 118 clients de test de chaque côté. Vous connaissez déjà la popularité. Trending (les produits les plus commandés des 28 derniers jours) et popular-category arrivent dans la prochaine leçon. Item-cf et ALS sont des méthodes personnalisées des modules suivants.
Avant d’explorer, faites une prédiction : quelle méthode gagne le plus avec le découpage aléatoire, et une méthode y perd-elle?
Explorer
Les cinq mêmes méthodes sur un découpage aléatoire et sur le découpage temporel
Prédisez d’abord : Quelle méthode gagne le plus avec le découpage aléatoire, et laquelle y perd?
- Découpage
- Découpage temporel
- Meilleure méthode sur ce découpage
- trending (0,156)
- Clients fidèles parmi les clients évalués
- 28,8 %
Entraîner avant le 22 juin 2026, tester sur les commandes des deux semaines suivantes. Le découpage temporel : le score honnête. trending est la meilleure de ces méthodes avec 0,156. Les clients fidèles sont 45,2 % des clients du découpage aléatoire et 28,8 % de ceux du découpage temporel.
- Découpage temporel
- intervalle à 95 %
Montrer les deux découpages côte à côte
| Méthode | Découpage aléatoire | Découpage temporel | Aléatoire contre temporel |
|---|---|---|---|
popular | 0,113 | 0,106 | +7 % |
trending | 0,093 | 0,156 | −40 % |
popular-category | 0,227 | 0,143 | +59 % |
item-cf | 0,310 | 0,088 | +251 % |
als | 0,336 | 0,142 | +136 % |
Description textuelle de l’explorateur
L’explorateur montre le recall@10 de cinq méthodes. Il commence par le découpage temporel. Là, popular obtient 0,106, trending 0,156, popular-category 0,143, item-cf 0,088 et ALS 0,142. Trending est la meilleure. Sur le découpage aléatoire, popular obtient 0,113 (+7 %) et trending 0,093 (−40 %). Popular-category obtient 0,227 (+59 %), item-cf 0,310 (+251 %) et ALS 0,336 (+136 %). ALS est alors la meilleure et item-cf arrive deuxième. Un repère pointillé sur chaque ligne montre le score de l’autre découpage. Sous les barres, une barre empilée montre les clients que le découpage évalue. Le découpage temporel compte 45,0 % de nouveaux clients, 26,3 % de clients occasionnels et 28,8 % de clients fidèles. Le découpage aléatoire compte 15,2 % de nouveaux clients, 39,6 % de clients occasionnels et 45,2 % de clients fidèles. Une section fermée montre les deux découpages côte à côte.
La réponse : item-cf gagne le plus (0,088 → 0,310, +251 %), puis ALS (+136 %) et popular-category (+59 %). La popularité bouge à peine (+7 %). Et trending y perd (0,156 → 0,093, −40 %). Le classement s’inverse : la meilleure méthode du découpage temporel devient la pire des cinq sur le découpage aléatoire.
Ce gonflement n’a pas de taille fixe. Il dépend de la méthode. Une méthode personnalisée qui apprend quels articles vont ensemble gagne le plus. Le futur lui dit exactement quels articles vont ensemble pour ce client.
Deux raisons, toutes deux mesurées
Section intitulée « Deux raisons, toutes deux mesurées »1. Les données d’entraînement contiennent le futur. Le découpage aléatoire entraîne sur 34 813 événements survenus le 22 juin 2026 ou après, premier jour de la période de test. Certains sont les consultations, ajouts au panier et commandes ultérieurs des clients de test eux-mêmes. Item-cf trouve « les clients qui ont acheté X ont aussi acheté Y ». Avec le futur dans les données d’entraînement, Y est souvent une commande passée après celle qui est cachée, comme la lampe d’Ana.
2. Le découpage aléatoire teste des clients différents. Il choisit des commandes au hasard, pas des clients. Un client avec 20 commandes a 20 chances d’être choisi; un client avec une commande en a une. Le découpage aléatoire teste donc des clients qui achètent davantage. 45,2 % de ses clients sont fidèles (3 commandes antérieures ou plus), contre 28,8 % sur le découpage temporel. Les clients fidèles ont de longs historiques, donc les méthodes personnalisées prédisent leurs achats plus facilement. Le découpage temporel compte 45,0 % de nouveaux clients, qui n’ont aucune commande.
Et pourquoi trending y perd-elle? Trending est conçue pour « maintenant » : les meilleurs vendeurs des 28 jours avant le 22 juin, surtout des produits d’été. Les commandes cachées du découpage aléatoire viennent de tous les mois du journal, y compris l’hiver. Une liste d’été prédit mal une commande de décembre. Sur le découpage temporel, « maintenant » correspond exactement à ce que demande le test.
Erreur courante
Choisir une méthode sur un découpage aléatoire
Tomás compare les méthodes sur son découpage aléatoire et choisit ALS (0,336) plutôt que trending (0,093). Sur le découpage temporel, qui représente la situation réelle du magasin, trending est meilleure : 0,156 contre 0,142. Un découpage aléatoire ne fait pas que rendre chaque score trop élevé. Il peut changer la méthode gagnante. Toutes les comparaisons de ce cours utilisent le même découpage temporel. Si un article scientifique ou un tutoriel rapporte un score de recommandation, vérifiez le découpage des données avant de comparer.
Le retrait de la dernière interaction et ses limites
Section intitulée « Le retrait de la dernière interaction et ses limites »Beaucoup d’articles scientifiques utilisent une troisième façon, le retrait de la dernière interaction (leave-last-out). Pour chaque client, la dernière interaction sert de test et tout le reste sert à l’entraînement. Cela ressemble à un découpage temporel, car le test porte toujours sur « la plus récente ». Mais la date de coupure diffère pour chaque client.
Description textuelle du diagramme
Trois clients, chacun sur une ligne allant de gauche (tôt) à droite (tard). Ana a trois commandes, et sa dernière, le test, arrive tôt. Ben a deux commandes; son test arrive tard. Chen a quatre commandes; son test est le plus tardif. Une ligne rouge pointillée au jour du test d’Ana traverse les lignes de Ben et Chen. Chen a deux commandes d’entraînement après cette ligne. Quand le modèle prédit la dernière commande d’Ana, il a appris à partir de commandes arrivées plus tard.
Le retrait de la dernière interaction a deux limites :
- Le futur des autres clients passe dans l’entraînement. Le jour du test d’Ana est au printemps, mais le modèle s’entraîne sur les commandes d’été de Chen. Une tendance apparue après le jour du test d’Ana aide à prédire sa commande.
- Il teste une commande par client, à de nombreux jours différents. Le magasin ne fonctionne jamais ainsi. Il entraîne une fois, ce soir, et fait des suggestions à tout le monde demain.
Le retrait de la dernière interaction n’est pas toujours mauvais. Il est simple et convient pour un premier examen d’une méthode qui ignore le temps. Mais pour une décision concernant un vrai magasin, utilisez une date de coupure globale pour tous, comme le fait Larkfield.
Les périodes de Larkfield
Section intitulée « Les périodes de Larkfield »Larkfield conserve trois périodes dans data/splits.json, toutes découpées par temps :
| Période | Dates | Utilisation |
|---|---|---|
| validation | 8 au 21 juin 2026 | choisir les paramètres (réglage), plusieurs fois |
| test | 22 juin au 5 juillet 2026 | comparaison finale des méthodes |
| lancement | 1er au 14 mai 2026 | nouvelle gamme d’été, pour le démarrage à froid |
Pour chaque période, les données d’entraînement comprennent tous les événements avant son premier jour. Les clients de test sont les 2 118 clients qui ont commandé pendant la période de test. Chaque méthode de ce cours est évaluée sur le même découpage. C’est ce qui rend équitable le tableau comparatif à la fin du cours.
Le projet : recs leakage
Section intitulée « Le projet : recs leakage »Le projet contient le découpage aléatoire dès le début (recs evaluate popular --period random), pour que vous puissiez voir l’erreur. recs leakage évalue les méthodes sur les deux découpages côte à côte.
-
Dans le dossier de votre projet, avec l’environnement virtuel actif, copiez la commande depuis l’instantané :
Fenêtre de terminal cp ../nextia-learning-labs/C37/snapshots/end-of-m02/larkfield_recs/commands/leakage.py larkfield_recs/commands/leakage.pyFenêtre de terminal Copy-Item ..\nextia-learning-labs\C37\snapshots\end-of-m02\larkfield_recs\commands\leakage.py larkfield_recs\commands\leakage.py -
Évaluez la popularité sur le découpage aléatoire :
recs evaluate popular --period random. -
Comparez les deux découpages :
recs leakage. -
Ouvrez
larkfield_recs/data.pyet trouvez_random: le découpage aléatoire. Trouvez la ligne qui retire les commandes cachées des données d’entraînement. Tout le reste, futur compris, reste.
Afficher le résultat attendu
L’étape 2 affiche :
Method popular (the most ordered products over the whole training log), random split (leaky)Customers scored: 2,118; trained on every event except the held-out ordersrecall@10 0.113 (95% interval 0.099 to 0.125), NDCG@10 0.056coverage 0.3% of the products on saletime: fit 0.0 s, suggestions 0.0 sLa deuxième ligne indique ce que le modèle a appris : tout le journal, futur compris, sauf les commandes cachées. La troisième ligne donne le score gonflé : 0,113 contre 0,106 sur le découpage temporel.
L’étape 3 affiche (à ce stade, le projet contient la popularité; la prochaine leçon ajoute popular-category et trending) :
Random split: 2,118 customers, orders held out at random from the whole log (the training data contains the future)Time split: 2,118 customers, the orders of 2026-06-22 to 2026-07-05method random split time split random / time (recall@10)popular 0.113 0.106 +7%Si vous copiez d’abord methods/baselines.py (la prochaine leçon), recs leakage montre aussi popular-category 0.227 0.143 +59%. Item-cf et ALS rejoignent le tableau quand leurs modules les ajoutent. Trending n’est pas dans la liste par défaut, mais vous pouvez la nommer : recs leakage trending affiche trending 0.093 0.156 -40%.
Exercice guidé : deux découpages dans le carnet
Section intitulée « Exercice guidé : deux découpages dans le carnet »- Ouvrez le carnet de cette leçon et exécutez les cellules de configuration.
- Exécutez la section 1, le découpage temporel.
- Exécutez la section 2. Elle réalise le même découpage aléatoire que le projet.
- Prédisez si le découpage aléatoire aide la popularité. Puis exécutez la section 3.
Afficher le résultat attendu
time split: 770,140 training events, the last on 2026-06-21test: 2,118 customers ordered from 2026-06-22 to 2026-07-05random split: 796,263 training events; 34,813 of them on or after 2026-06-22test: 2,118 customers, with orders from any monthpopular, recall@10: random split 0.113, time split 0.106À vous de jouer : quels clients chaque découpage teste-t-il?
Section intitulée « À vous de jouer : quels clients chaque découpage teste-t-il? »Écrivez loyal_share() dans la section 4 : la proportion de clients de test ayant au moins 3 commandes dans les données d’entraînement. Exécutez-la sur les deux découpages. Faites d’abord une prédiction : quel découpage compte plus de clients fidèles?
Afficher la réponse
def loyal_share(train, truth): orders_before = train[train["event"] == "order"].groupby("customer_id")["session_id"].nunique() n = orders_before.reindex(list(truth)).fillna(0) return (n >= 3).mean()Elle affiche loyal: random split 45.2%, time split 28.8% (clients fidèles : découpage aléatoire 45,2 %, découpage temporel 28,8 %). Les deux vérifications réussissent. Une commande est une session avec une commande. Nous comptons donc les valeurs distinctes de session_id, pas les lignes de commande. La section 5 montre ensuite trending : 0,093 sur le découpage aléatoire, 0,156 sur le découpage temporel.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Vérification de fin de leçon : Tomás rapporte un recall@10 de 0,336 pour ALS avec un découpage aléatoire. Avec le découpage temporel, ALS obtient 0,142. Expliquez ce score gonflé en deux phrases.
Afficher la réponse
Le découpage aléatoire utilise tout pour l’entraînement, sauf les commandes cachées. Le modèle apprend donc d’événements survenus après les commandes qu’il doit deviner : 34 813 événements d’entraînement proviennent de la période de test ou d’après. Il teste aussi de plus gros acheteurs, plus faciles à deviner (45,2 % de clients fidèles contre 28,8 %). Ce ne sont pas les clients que le magasin doit servir.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Prédisez et expliquez : trending obtient 0,156 avec le découpage temporel et 0,093 avec le découpage aléatoire. Pourquoi le découpage aléatoire fait-il paraître cette méthode moins bonne, alors qu'il améliore les résultats des autres?
Afficher la réponse
Trending présente les 10 produits les plus populaires des 28 derniers jours avant le 22 juin : des produits d’été. Les commandes cachées du découpage aléatoire viennent de tous les mois, y compris l’hiver. Une liste estivale prédit mal une commande de décembre. Le découpage temporel porte sur les deux semaines suivantes, exactement ce pour quoi trending est conçu. Un découpage aléatoire peut donc changer la méthode gagnante, pas seulement les scores.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Un article scientifique évalue un système de recommandation avec le retrait de la dernière interaction (leave-last-out). Donnez deux raisons pour lesquelles son score pourrait ne pas refléter les résultats de la méthode au magasin de Larkfield.
Afficher la réponse
D’abord, la date de coupure varie selon le client. Pour un client dont la dernière commande est ancienne, les données d’entraînement contiennent des commandes ultérieures d’autres clients. Le futur s’infiltre dans les données. Ensuite, le test porte sur une commande par client, à de nombreuses dates différentes. Le magasin, lui, entraîne le modèle une fois et propose des suggestions à tous pour les jours suivants. Un découpage temporel global, avec la même date de coupure pour tous, correspond au fonctionnement du magasin.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Un découpage temporel utilise tout ce qui précède une date pour l’entraînement et les commandes suivantes pour le test. La période de test de Larkfield va du 22 juin au 5 juillet 2026, avec 2 118 clients.
- Un découpage aléatoire laisse le futur s’infiltrer dans les données d’entraînement. Pour les mêmes clients, item-cf passe de 0,088 à 0,310 (+251 %) et ALS de 0,142 à 0,336 (+136 %). Popular-category gagne 59 % et popular, 7 %. Trending perd (0,156 → 0,093, −40 %).
- Il y a deux raisons. Les données d’entraînement contiennent le futur (34 813 événements après la date de coupure). Et le découpage aléatoire teste de plus gros acheteurs (45,2 % de clients fidèles contre 28,8 %).
- Un découpage aléatoire peut changer la méthode gagnante. Ne choisissez jamais une méthode à partir de ce découpage.
- Le retrait de la dernière interaction fixe une date différente pour chaque client. Le futur des autres clients s’infiltre donc dans les données. Utilisez une seule date de coupure globale.
Ensuite, nous établissons les scores que toute méthode avancée doit battre : trois références de base de popularité sur le découpage temporel.
Leçon suivante : Les références de base à battre