Aller au contenu
English

Les gains hors ligne ne sont pas des gains en ligne

  • Leçon 24
  • 35 min
  • Module 8 : Des scores hors ligne au vrai magasin

Où nous en sommes

Notre système à deux étapes gagne largement la comparaison hors ligne. Mais les données hors ligne montrent seulement les choix d'affichage de l'ancien site et les réactions des clients. Cette leçon présente le biais de position et le biais des données enregistrées. Elle explique pourquoi un gain hors ligne n'est pas toujours un gain en ligne.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité
Leçon 24 sur 29 · Recommandation et personnalisation : montrer à chacun ce qui compteLes gains hors ligne ne sont pas des gains en ligne
Aperçu du cours

5. La factorisation matricielle pour la rétroaction implicite

  1. Goûts cachés
  2. ALS et BPR avec implicit
  3. Régler sans vous tromper vous-même

Ce que vous saurez faire

Comprenez pourquoi la méthode ayant le meilleur score hors ligne n’est pas toujours la meilleure pour le magasin. Les données et la simulation de Larkfield montrent trois raisons. Ce sont le biais de position, un journal façonné par l’ancien site et les commandes qui auraient eu lieu de toute façon.

Carnet JupyterFaites cette leçon dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter lit le test en ligne simulé de trois pages d’accueil, avec une ligne par client. Vous séparez le revenu des suggestions du revenu supplémentaire. Vous calculez la part que les clients auraient dépensée de toute façon et vérifiez une différence avec un intervalle. Ses cellules de préparation téléchargent moins de 1 Mo. Environ 15 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 35 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

  • Rien pour la leçon. Le carnet fonctionne dans Colab, Kaggle ou votre propre environnement Jupyter. Cette leçon ne modifie pas le projet.

Le carnet a été testé sur macOS avec Python 3.12. Colab et Kaggle n’ont pas été testés.

Imaginez un petit magasin par un matin pluvieux. La vendeuse place les parapluies près de la porte. À midi, le magasin a vendu 30 parapluies. « Le nouvel emplacement fonctionne », dit-elle.

Est-ce vrai? Beaucoup de ces clients étaient venus pour un parapluie. Ils l’auraient aussi trouvé au fond du magasin. Et les foulards qu’elle a déplacés au fond se sont moins vendus. Cela ne veut pas dire que les gens n’aiment pas les foulards. Ils ne les ont simplement pas vus.

Les reçus de caisse montrent ce qui s’est vendu. Ils ne montrent pas pourquoi. Ils ne montrent pas ce qui se serait vendu avec une autre présentation. Un système de recommandation apprend à partir du même genre de reçus : le journal du magasin.

Le problème : le gagnant hors ligne n’est pas clairement meilleur en ligne

Section intitulée « Le problème : le gagnant hors ligne n’est pas clairement meilleur en ligne »

Au module 7, le système à deux étapes a largement gagné dans le tableau comparatif. Avec les règles d’affaires, son recall@10 sur la période de test est de 0,215. La liste des tendances, composée des meilleurs vendeurs du mois précédent, obtient 0,151. ALS obtient 0,136.

Omar ne paie pas pour le rappel. Il paie pour le revenu supplémentaire par visite : l’argent des suggestions que les clients n’auraient pas dépensé de toute façon. Le cours a testé les trois listes dans un test en ligne. Le test est simulé : il utilise notre modèle de comportement des clients, jamais de vraies personnes. Chacun des 5 078 clients ayant visité le magasin pendant la période de test a vu une des trois listes. La liste était attribuée au hasard pour deux semaines.

Les trois mêmes listes, hors ligne et dans le test en ligne simulé. Hors ligne, les intervalles du système à deux étapes et des tendances ne se touchent pas. En ligne, ils se chevauchent presque complètement.
Description textuelle du graphique

La figure comporte deux panneaux présentant les trois mêmes listes. Le premier montre le recall@10 hors ligne avec règles d’affaires sur la période de test, avec des intervalles à 95 %. Deux étapes : 0,215 (0,199 à 0,231), tendances : 0,151 (0,137 à 0,165), ALS : 0,136 (0,123 à 0,150). L’intervalle du système à deux étapes se trouve bien à droite des autres. Le deuxième panneau montre le revenu supplémentaire simulé par visite, avec des intervalles à 95 %. Deux étapes : 6,82 $ (5,45 à 8,25), tendances : 6,64 $ (5,33 à 8,01), ALS : 3,18 $ (2,25 à 4,10). Les intervalles du système à deux étapes et des tendances se chevauchent presque complètement. ALS est clairement derrière.

Hors ligne, le système à deux étapes trouve 42 % plus de produits commandés que les tendances. En ligne, il ajoute +0,19 $ par visite de plus que les tendances. Son intervalle à 95 % va de −1,75 à +2,05. L’intervalle comprend 0, donc le résultat en ligne n’est pas clairement meilleur. Ce n’est pas non plus une défaite. ALS est la liste clairement moins bonne en ligne.

Tomás pose la question qui vient naturellement : « Comment le meilleur modèle peut-il ne pas gagner? » Il y a trois raisons. Chacune correspond à une différence entre le journal et le magasin en activité.

La plupart des gens lisent une liste depuis le haut et s’arrêtent rapidement. Presque tous ceux qui ouvrent la page voient le produit en position 1. Peu voient le produit en position 8. C’est le biais de position : la position d’un produit change sa fréquence de visibilité, donc sa fréquence de clics.

La simulation du cours utilise une règle simple. Un client regarde la position k de la page d’accueil avec une probabilité de 1 / k. C’est une hypothèse de la simulation, pas une mesure. Les vrais magasins mesurent leur propre courbe.

La probabilité de regarder chaque position d'une liste de 10 sur la page d'accueil, selon la simulation (1 / position). Dans un courriel, la simulation utilise 0,3 / position.
Description textuelle du graphique

Un diagramme à barres avec une barre pour chaque position d’une liste de 10. Position 1 : 100 %. Position 2 : 50 %. Position 3 : 33 %. Position 4 : 25 %. Position 5 : 20 %. Position 6 : 17 %. Position 7 : 14 %. Position 8 : 13 %. Position 9 : 11 %. Position 10 : 10 %. Les barres diminuent rapidement au début, puis lentement. Ce sont des hypothèses de la simulation du cours.

Voici un exemple construit. Deux produits sont aussi bons l’un que l’autre. Quand un client regarde l’un ou l’autre, la probabilité d’un clic est de 10 %. L’ancienne page d’accueil place la lanterne A en position 1 et la lanterne B en position 5. 1 000 clients ouvrent la page.

Produit Position Clients qui regardent (1 000 × 1 / position) Clics (10 % de ceux qui regardent) Clics dans le journal
Lanterne A 1 1 000 100 100
Lanterne B 5 200 20 20

Le journal indique que la lanterne A est cinq fois meilleure. En réalité, les deux sont équivalentes. La seule différence est la position. Un modèle qui apprend de ces clics apprend l’ordre de l’ancienne page, pas les goûts des clients.

Raison 2 : le journal montre les choix d’affichage de l’ancien site

Section intitulée « Raison 2 : le journal montre les choix d’affichage de l’ancien site »

La deuxième raison est plus importante. Un client peut seulement cliquer sur ce que le magasin lui montre, ou l’acheter. Le journal enregistre donc les choix de l’ancien site et les réactions des clients à ces choix.

Le journal synthétique de Larkfield a été créé ainsi volontairement. Dans notre modèle de comportement, environ une visite régulière sur dix commence sur l’ancienne page d’accueil. Cette page montre les 40 produits les plus attrayants pour la saison. Les clients regardent surtout ses premières positions. Ils trouvent tous les autres produits seulement en parcourant une catégorie.

Un flux de gauche à droite. L'ancienne page d'accueil montre 40 produits, choisis selon leur attrait et la saison. Une flèche mène à : les clients regardent surtout les premières positions. Une flèche mène à : le journal du magasin, avec les consultations, les ajouts au panier et les commandes. Une flèche pointillée mène aussi au journal depuis tous les autres produits, trouvés seulement en parcourant les catégories ou jamais trouvés. Depuis le journal, une flèche mène au test hors ligne, qui demande : le produit commandé était-il dans notre liste? Séparément, une nouvelle liste mène au test en ligne, qui demande : notre liste a-t-elle changé le comportement du client?
Comment le journal du magasin est créé. L'ancien site choisissait ce que les clients voyaient, donc le journal contient beaucoup de ses choix. Un test hors ligne peut seulement interroger le journal; un test en ligne interroge la nouvelle liste.
Description textuelle du diagramme

L’image montre comment le journal du magasin est créé. L’ancienne page d’accueil montre 40 produits, choisis selon leur attrait et la saison. Les clients regardent surtout ses premières positions. Leurs consultations, ajouts au panier et commandes entrent dans le journal du magasin. Les autres produits sont trouvés seulement quand les clients parcourent les catégories, ou jamais trouvés. Ils apparaissent donc moins souvent dans le journal. À partir du journal, le test hors ligne pose une question : le produit commandé était-il dans notre liste? Le test en ligne pose une autre question sur une nouvelle liste : notre liste a-t-elle changé le comportement du client?

C’est le biais des données enregistrées (aussi appelé biais d’exposition). Les données contiennent seulement les réactions à ce qui a été montré. Cela a deux effets :

  • Les produits montrés par l’ancien site semblent meilleurs qu’ils ne le sont. Ils avaient plus de chances d’être vus et achetés.
  • Les produits jamais montrés par l’ancien site ont très peu de données. Aucun modèle ne peut apprendre qu’ils plairaient aux gens. Vous avez vu une version de ce problème avec les nouveaux produits dans Démarrage à froid pour les nouveaux produits et les nouveaux clients.

Raison 3 : l’évaluation hors ligne compte les commandes qui auraient lieu de toute façon

Section intitulée « Raison 3 : l’évaluation hors ligne compte les commandes qui auraient lieu de toute façon »

La troisième raison concerne le sens d’un succès hors ligne. Le recall@10 compte un succès quand la liste contient un produit commandé par le client pendant la période de test. Mais le client a commandé ce produit sans notre liste. L’ancien site a créé le journal. Un succès dit donc « nous avons prédit cette commande ». Il ne dit pas « notre liste a causé cette commande ».

En ligne, la différence compte. Une commande que le client aurait faite de toute façon n’ajoute aucun revenu. Dans la simulation, Larkfield peut compter ces commandes. Le modèle de comportement sait quelles commandes étaient déjà dans le journal.

Voici une surprise que nous présentons franchement. Dans cette simulation, l’effet est petit. Seulement 3,3 % du revenu des suggestions du système à deux étapes aurait été dépensé de toute façon. Pour les tendances, c’est 0,2 %. La raison 3 explique donc peu l’écart ici. Dans un vrai magasin, cet effet peut être beaucoup plus grand. Voilà pourquoi la mesure d’Omar compte le revenu supplémentaire, pas le revenu des suggestions.

Où passe donc l’avance hors ligne du système à deux étapes? Décomposez le revenu supplémentaire par visite en quatre étapes visibles dans le test en ligne. Multipliez-les pour obtenir la mesure :

revenu supplémentaire par visite = clics par visite × commandes par clic × dollars par commande × (1 − part dépensée de toute façon)

Les clics comprennent ceux de la page d’accueil et ceux des courriels. Tous les nombres ci-dessous proviennent du test simulé.

Liste Clics par visite Commandes par clic Dollars par commande Dépensé de toute façon Revenu supplémentaire par visite
Tendances 0,174 0,254 150,40 0,2 % 6,64
Deux étapes 0,154 0,302 152,17 3,3 % 6,82
ALS 0,086 0,277 138,70 3,9 % 3,18

Vérifiez une ligne à la main. Pour les tendances : 0,174 × 0,254 × 150,40 × (1 − 0,002) = 6,63. Le tableau indique 6,64 : le petit écart vient de l’arrondissement à chaque étape.

Lisez maintenant les colonnes :

  • Le système à deux étapes obtient moins de clics que les tendances (0,154 contre 0,174 par visite). Dans la simulation, un clic dépend de l’attrait du produit lorsque le client le voit. Les tendances montrent les meilleurs vendeurs de saison, qui attirent des clics.
  • Le système à deux étapes transforme plus de clics en commandes (0,302 contre 0,254). Ses produits conviennent mieux au client.
  • Les deux effets s’annulent presque. Le résultat est de +0,19 $ par visite, dans le bruit.
  • ALS obtient la moitié des clics des tendances (0,086 par visite). Il ajoute donc environ la moitié du revenu.

Le rappel hors ligne ne voit aucune de ces étapes. Il demande seulement si le produit commandé se trouvait quelque part dans la liste. Voilà pourquoi Priya dit : « Les scores hors ligne choisissent les méthodes qui méritent un test en ligne. Ils ne le remplacent pas. »

Pourrions-nous corriger le journal plutôt que mener un test en ligne? Une famille de méthodes le permet : l’évaluation contrefactuelle. « Contrefactuel » signifie « ce qui se serait passé si nous avions montré autre chose ».

L’idée la plus simple consiste à donner plus de poids aux événements rares. Prenez un clic en position 5, où seulement un client sur cinq regarde. Comptez-le comme cinq clics. La probabilité d’être vu s’appelle la propension. Il s’agit donc d’une pondération par l’inverse de la propension : divisez chaque clic par sa propension. Dans l’exemple des lanternes, la lanterne A a 100 clics ÷ 1 = 100. La lanterne B a 20 clics ÷ 0,2 = 100. Après la correction, les deux lanternes sont de nouveau équivalentes, comme elles devraient l’être.

Produit Position Propension (probabilité d’être vu) Clics dans le journal Clics ÷ propension
Lanterne A 1 1,0 100 100
Lanterne B 5 0,2 20 100

Cette idée a trois coûts :

  • Vous devez connaître la propension de chaque produit montré. L’ancien site doit enregistrer ce qu’il a montré et à quelle position.
  • Un produit que l’ancien site n’a jamais montré a une propension de 0. Vous ne pouvez pas diviser par 0, donc aucune correction ne peut vous renseigner sur ce produit.
  • Les grands poids rendent l’estimation bruitée. Un seul clic chanceux en position 50 peut compter comme 50 clics.

Le cours ne met pas en œuvre l’évaluation contrefactuelle. Larkfield répond à la question avec un test en ligne, dans la prochaine leçon.

Le carnet de cette leçon utilise le même fichier que le projet : data/online/ab_test.csv. Il contient une ligne par client du test simulé.

  1. Ouvrez le carnet depuis l’encadré en haut de cette leçon, dans Colab, Kaggle ou votre propre environnement Jupyter. Exécutez les cellules de préparation.

  2. Exécutez la section 1. Elle lit 5 078 lignes. Chaque ligne contient la liste du client (le arm, groupe du test), les visites, clics, commandes et revenus des suggestions. Elle contient aussi le revenu supplémentaire, les retours, courriels et désabonnements.

  3. Exécutez la section 2. Le tableau montre le revenu des suggestions et le revenu supplémentaire par visite :

    customers visits clicks from_suggestions added \
    arm
    als 1724 2723 166 9015.35 8665.37
    trending 1604 2511 308 16694.89 16663.90
    two-stage 1750 2695 306 19020.75 18391.79
    from_suggestions_per_visit added_per_visit
    arm
    als 3.311 3.182
    trending 6.649 6.636
    two-stage 7.058 6.824

    Le tableau est large, donc pandas l’affiche en deux parties. Le \ à la fin de la première ligne signifie « suite ci-dessous ».

  4. Dans la section 3, calculez la part du revenu des suggestions du système à deux étapes qui aurait été dépensée de toute façon : 1 − revenu supplémentaire ÷ revenu des suggestions. La vérification affiche Check passed: anyway is 0.033. (vérification réussie : la part dépensée de toute façon est de 0,033).

  5. Exécutez la section 4. Elle rééchantillonne les clients de chaque liste 500 fois :

    two-stage - trending: +0.19 dollars per visit (95% interval -1.60 to +2.24)

La commande recs online du projet, dans la prochaine leçon, donne −1,75 à +2,05 pour la même différence. Elle rééchantillonne 1 000 fois avec une autre suite de nombres aléatoires. Les bornes d’un intervalle bootstrap bougent un peu d’une exécution à l’autre. La conclusion ne change pas : l’intervalle comprend 0.

Un tableau de bord montre le revenu des suggestions, pas le revenu supplémentaire. Avant de calculer, prédisez : l’avance du système à deux étapes sur les tendances dépasse-t-elle +0,19 $ par visite? Ou est-elle plus petite? Utilisez ensuite le tableau de l’étape 3.

Afficher la réponse

Elle est plus grande. Le revenu des suggestions par visite est de 7,058 pour le système à deux étapes et de 6,649 pour les tendances. L’écart est de +0,41 $. Le revenu supplémentaire est de 6,824 contre 6,636 : un écart de +0,19 $. Le nombre du tableau de bord est plus grand, car il compte aussi les 3,3 % dépensés de toute façon. Cette part concerne le revenu du système à deux étapes. Pour les tendances, elle est de seulement 0,2 %. Un tableau de bord qui compte chaque commande après un clic avantage les listes suggérant ce que les gens achètent déjà.

L’évaluation hors ligne reste la bonne première étape. Elle est peu coûteuse, rapide et reproductible. Elle ne coûte rien aux clients et peut comparer vingt méthodes en un après-midi. Utilisez-la pour :

  • rejeter les méthodes clairement moins bonnes, comme les listes aléatoires ou un vieux manteau d’hiver;
  • choisir quelques candidats pour un test en ligne;
  • vérifier une modification avant la mise en production, comme test de non-régression.

Ne l’utilisez pas pour choisir le gagnant final. C’est particulièrement important quand les différences sont petites ou quand la nouvelle liste montre des produits très différents. Plus une nouvelle liste diffère des produits montrés par l’ancien site, moins le journal peut vous renseigner sur elle.

Erreur courante

« Le modèle ayant le meilleur score hors ligne gagne »

Symptôme : Tomás prévoit de mettre le système à deux étapes en production, car son recall@10 est de 0,215 contre 0,151.

Cause : le rappel hors ligne vérifie si la liste contenait des produits que les clients ont commandés sans elle. Il ne voit pas le biais de position, les choix de l’ancien site, les clics ni le revenu supplémentaire.

Solution : traitez le tableau hors ligne comme une présélection. Mettez le système en production seulement après un test en ligne de la mesure d’affaires, avec son intervalle. Dans la simulation, le système à deux étapes ajoute +0,19 $ par visite (−1,75 à +2,05) : pas clairement meilleur.

Erreur courante

Le revenu des suggestions interprété comme revenu supplémentaire

Symptôme : un rapport indique que le système à deux étapes rapporte 0,41 $ de plus par visite que les tendances.

Cause : le rapport utilise le revenu des suggestions. Il compte les commandes que les clients auraient faites de toute façon.

Solution : présentez le revenu supplémentaire par visite, la mesure d’affaires. Dans la simulation, l’écart est de +0,19 $ et son intervalle comprend 0.

Vérifiez votre compréhension

Expliquez à Tomás pourquoi le gagnant hors ligne, two-stage, n'est pas clairement meilleur en ligne que trending. Utilisez deux nombres du test simulé.

Afficher la réponse

Le rappel hors ligne vérifie seulement si la liste contenait les produits que les clients ont commandés sans elle. En ligne, une suggestion doit d’abord être vue, puis recevoir un clic et mener à une commande. Seules les commandes qui n’auraient pas eu lieu autrement comptent. Dans la simulation, two-stage reçoit moins de clics par visite que trending (0,154 contre 0,174). Les meilleurs vendeurs de saison de trending attirent les clics. Two-stage transforme plus de clics en commandes (0,302 contre 0,254). Les effets s’annulent presque : +0,19 $ par visite, avec un intervalle à 95 % de −1,75 à +2,05, qui inclut 0.

Vérifiez votre compréhension

L'ancienne page d'accueil montrait un banc de jardin au rang 1 et un bain d'oiseaux au rang 6. Le journal contient 60 clics pour le banc et 10 pour le bain d'oiseaux. Selon la règle de la simulation (un client regarde le rang k avec une probabilité de 1 / k), quel produit les clients préfèrent-ils quand ils le voient?

Afficher la réponse

Divisez chaque nombre de clics par la probabilité que le produit soit vu. Le banc : 60 ÷ 1 = 60. Le bain d’oiseaux : 10 ÷ (1/6) = 60. Quand les clients les voient, ils aiment autant les deux produits. La différence dans le journal vient du rang, pas des goûts : c’est le biais de position. Cette correction est la pondération par l’inverse de la propension. Elle exige le rang enregistré de chaque produit montré.

Vérifiez votre compréhension

Pourquoi aucune correction du journal ne peut-elle prédire la réaction à un produit jamais montré ni trouvé en parcourant le site?

Afficher la réponse

Le journal contient seulement les réactions à ce que les clients ont vu. Un produit que personne n’a vu n’a aucune consultation, aucun clic et aucune commande. Sa probabilité d’être vu, la propension, est de 0. La pondération par l’inverse de la propension ne peut pas diviser par 0. Seul le fait de le montrer peut produire des données à son sujet, par exemple dans un test en ligne ou par exploration.

Récapitulatif

  • Hors ligne, two-stage obtient un rappel à 10 (recall@10) de 0,215 contre 0,151 pour trending. Dans le test en ligne simulé, il ajoute +0,19 $ par visite (−1,75 à +2,05) : pas clairement meilleur. ALS est clairement moins bon (3,18 contre 6,64 $).
  • Biais de position : les produits aux premiers rangs sont plus vus, donc ils reçoivent plus de clics. La simulation suppose une probabilité de 1 / rang.
  • Biais des données enregistrées : le journal contient seulement les réactions à ce que l’ancien site montrait. Les produits qu’il montrait semblent meilleurs; ceux qu’il ne montrait jamais n’ont aucune donnée.
  • Les succès hors ligne sont des commandes qui ont eu lieu sans la liste. Dans cette simulation, seulement 3,3 % du revenu de two-stage aurait été dépensé de toute façon. Ici, la principale raison vient donc des clics : trending en reçoit plus.
  • L’évaluation contrefactuelle pondère à nouveau les événements enregistrés selon leur propension. Elle exige des propensions enregistrées, ne fonctionne pas pour les produits jamais montrés et produit des résultats bruités.

Vous savez maintenant pourquoi le tableau hors ligne sert à présélectionner les options. Ensuite, vous lirez le test en ligne simulé complet, avec une mesure principale et des garde-fous. Vous déciderez quelle liste mettre en production.

Leçon suivante : Tests en ligne et garde-fous