Aller au contenu
English

Ce que signifie la réussite

  • Leçon 2
  • 30 min
  • Module 1 : Le problème de la recommandation

Où nous en sommes

Nous savons ce que le système de recommandation de Larkfield doit décider. Il faut maintenant définir une bonne décision. Dans cette leçon, nous comparons les clics, les commandes, le revenu supplémentaire et les retours. Nous voyons pourquoi plus de clics peut être une mauvaise cible. Pensez d'abord à la façon dont une propriétaire de magasin évalue un vendeur.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité
Leçon 2 sur 29 · Recommandation et personnalisation : montrer à chacun ce qui compteCe que signifie la réussite
Aperçu du cours

5. La factorisation matricielle pour la rétroaction implicite

  1. Goûts cachés
  2. ALS et BPR avec implicit
  3. Régler sans vous tromper vous-même

Ce que vous saurez faire

Définissez ce qu’est « une meilleure liste » pour Larkfield avant de comparer des méthodes. Si vous comptez la mauvaise chose, votre système de recommandation peut gagner sur le tableau de bord et faire perdre de l’argent au magasin.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 30 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

Rien. Cette leçon ne contient pas de code.

Repensez à la jardinerie et à ses vendeurs. La propriétaire veut savoir quel vendeur est meilleur. Comment peut-elle le mesurer?

Elle pourrait compter les conversations : combien de fois chaque vendeur montre un produit à un client. Un vendeur arrête chaque client à la porte et lui montre une offre à bas prix. Il a beaucoup de conversations. Mais la plupart des gens disent « non, merci », et certains cessent de venir au magasin.

Elle pourrait compter les ventes : l’argent à la caisse après les conversations de chaque vendeur. C’est plus proche du résultat souhaité. Mais une cliente régulière achète toujours son compost le premier samedi du mois. Si le vendeur dit « avez-vous besoin de compost? », la vente ne vient pas de lui.

Elle pourrait compter les ventes sans retour. Certains clients rapportent ce qu’un vendeur les a poussés à acheter. Le magasin rembourse l’argent et paie quelqu’un pour remettre le produit sur l’étagère.

La vraie question de la propriétaire est donc : combien d’argent supplémentaire, conservé, chaque vendeur rapporte-t-il sans faire partir les clients? Un système de recommandation exige la même question et la même prudence.

Tomás essaie une nouvelle liste pour la page d’accueil. Il l’appelle « Offres du jour » : des produits bon marché, accrocheurs, avec une grosse étiquette de rabais. Il la compare à une liste créée par Priya, « Pour accompagner votre table ». Ces produits s’accordent avec les achats précédents du client. Ces nombres sont construits pour l’exemple. Chaque liste apparaît lors de 1 000 visites :

Offres du jour Pour accompagner votre table
Visites 1 000 1 000
Clics sur une suggestion 150 80
Commandes issues d’une suggestion 30, à 20 $ chacune 16, à 45 $ chacune
Argent provenant de ces commandes 600 $ 720 $
Commandes que le client aurait passées de toute façon 15 (300 $) 2 (90 $)
Commandes retournées 6 (120 $) 1 (45 $)
Argent supplémentaire conservé 600 − 300 − 120 = 180 $ 720 − 90 − 45 = 585 $
Revenu supplémentaire par visite 180 / 1 000 = 0,18 $ 585 / 1 000 = 0,59 $ (0,585)
Traitement des retours, à 12 $ chacun 6 × 12 = 72 $ 1 × 12 = 12 $

La liste de Tomás obtient presque deux fois plus de clics. Mais elle rapporte moins du tiers de l’argent supplémentaire et cause six fois plus de retours. Ses offres bon marché attirent des gens qui allaient acheter de toute façon. Ils cliquent sur un rabais pour un article déjà sur leur liste. Les produits achetés sur une impulsion reviennent plus souvent.

Les deux listes construites de l'exemple. La liste avec plus de clics rapporte moins d'argent supplémentaire. L'ordre des deux listes s'inverse entre le premier panneau et le second.
Description textuelle du graphique

La figure comporte deux panneaux. Chaque panneau a une ligne par liste, avec un point à sa valeur. Dans le premier panneau, les clics par 1 000 visites : Offres du jour 150, Pour accompagner votre table 80. Dans le second, le revenu supplémentaire par visite : Offres du jour 0,18 $, Pour accompagner votre table 0,59 $. Offres du jour arrive en tête dans le premier panneau et loin derrière dans le second.

Un clic est facile à compter et se produit tout de suite. C’est pourquoi les clics sont une cible tentante. Mais un clic n’est que la troisième étape du chemin d’une suggestion à une commande. Tout ce qui suit détermine si le magasin gagne de l’argent.

L’idée : une mesure d’affaires, un substitut hors ligne et quelques garde-fous

Section intitulée « L’idée : une mesure d’affaires, un substitut hors ligne et quelques garde-fous »

Priya et Omar s’entendent sur trois types de mesures pour chaque emplacement.

La mesure d’affaires est le nombre qui compte vraiment pour le magasin. Pour la page d’accueil de Larkfield, Omar choisit le revenu supplémentaire par visite. C’est l’argent provenant des produits suggérés que le client a gardés et qu’il n’aurait pas dépensé de toute façon. On le divise par le nombre de visites. Le mot revenu désigne l’argent provenant des ventes, avant les coûts.

Cette mesure pose un gros problème. Vous pouvez la mesurer seulement en montrant une liste à de vrais clients pendant quelques semaines et en la comparant à une autre. C’est un test en ligne, souvent appelé test A/B. Le magasin répartit les clients au hasard entre les groupes A et B. Chaque groupe voit une liste. C’est lent, et une mauvaise liste coûte de l’argent réel pendant le test. Le module 8 porte sur les tests en ligne.

Avant qu’un client voie une liste, Priya a donc besoin d’un nombre calculable à partir du journal du magasin seulement. Une mesure calculée à partir de données passées, sans vrais clients, est dite hors ligne. Elle sert de substitut à la mesure d’affaires. Elle l’estime à l’avance, à faible coût et de la même façon pour chaque méthode.

La principale mesure hors ligne du cours est le rappel à 10 (recall@10) (dites « rappel à dix »). Elle prend la liste de 10 produits de chaque client, créée avec les événements précédant une date. Elle examine ensuite ce que ce client a réellement commandé dans les deux semaines suivantes. Pour un client :

recall@10 = (produits commandés qui figuraient dans la liste) / (tous les produits commandés par le client)

Elle calcule ensuite la moyenne pour tous les clients qui ont commandé. Voici la liste populaire du 22 juin, évaluée pour trois clients réels du journal synthétique :

Client Produits commandés du 22 juin au 5 juillet Dans la liste populaire? recall@10
C100434 Bramble Terracotta Mosaic Side Table; Millbrook Blush Pink Folding Side Table; Lumi Green Nordic Coffee Table le Bramble Terracotta Mosaic Side Table : oui; les autres : non 1 / 3 = 0,333
C100185 Lumi Oak Compact Round Coffee Table; Millbrook Cream Stoneware Mini Bud Vase non, non 0 / 2 = 0
C100304 Terracotta Linen Roman-Style Curtains oui 1 / 1 = 1

La moyenne pour ces trois clients est (0,333 + 0 + 1) / 3 = 0,444. Pour les 2 118 clients qui ont commandé pendant ces deux semaines, la somme des valeurs du rappel est 223,9. Le recall@10 de la liste populaire est donc 223,9 / 2 118 = 0,106. Vous calculez vous-même ce score dans la prochaine leçon.

Un garde-fou est une mesure qui ne doit pas se dégrader pendant que vous améliorez la mesure principale. Le nom vient de la barrière au bord d’une route de montagne. Elle ne vous mène nulle part, mais vous empêche de tomber dans le vide. La page d’accueil a quatre garde-fous. Ce sont le taux de retour, la part des listes contenant un produit déjà acheté et les produits sensibles dans la liste. Le quatrième est la couverture : la part du catalogue que le magasin montre à au moins un client.

La page d'accueil, avec 10 suggestions par visite, a une flèche vers sa mesure d'affaires, le revenu supplémentaire par visite. C'est l'argent des suggestions que le client n'aurait pas dépensé de toute façon. Une ligne pointillée indique que le substitut hors ligne estime la mesure d'affaires à l'avance. Ce substitut est le recall@10 sur les deux semaines suivantes : la part des produits commandés qui figuraient dans la liste. Une seconde flèche relie la page d'accueil à ses garde-fous, qui ne doivent pas se dégrader : taux de retour, produits déjà achetés, produits sensibles, produits montrés (couverture).
Un emplacement, sa mesure et ses garde-fous. Le substitut hors ligne est ce que vous pouvez calculer aujourd'hui; la mesure d'affaires est ce que le magasin veut.
Description textuelle du diagramme

La page d’accueil montre 10 suggestions à chaque visite. Sa mesure d’affaires est le revenu supplémentaire par visite : l’argent des suggestions que le client n’aurait pas dépensé de toute façon. Vous pouvez la mesurer seulement en ligne. Une ligne pointillée la relie à son substitut hors ligne, le recall@10 sur les deux semaines suivantes. C’est la part des produits commandés qui figuraient dans la liste. Vous pouvez le calculer aujourd’hui à partir du journal du magasin. La page d’accueil a aussi des garde-fous qui ne doivent pas se dégrader. Ce sont le taux de retour, les produits déjà achetés, les produits sensibles et la part du catalogue que le magasin montre.

La fidélité à long terme a aussi sa place ici. Un client qui revient pendant des années vaut plus qu’une vente supplémentaire aujourd’hui. La fidélité prend du temps à mesurer. L’équipe en surveille donc les signes : les désabonnements et les clients qui cessent de visiter. Le courriel de Rafael a le signe le plus clair : un clic sur Unsubscribe (se désabonner).

Pourquoi le substitut et la mesure d’affaires peuvent diverger

Section intitulée « Pourquoi le substitut et la mesure d’affaires peuvent diverger »

Le recall@10 est utile, peu coûteux et équitable. Mais ce n’est pas la mesure d’affaires, et les deux peuvent indiquer des directions différentes :

  • Le journal a été créé sans votre liste. Les clients ont commandé sur l’ancien site. Le rappel compte donc des commandes que le client aurait passées de toute façon. Ces commandes ne rapportent aucun argent supplémentaire.
  • Les 10 cases comptent autant. En ligne, la plupart des gens regardent seulement les premières cases. Le module 3 ajoute des mesures qui tiennent compte de l’ordre.
  • Les retours, les désabonnements et la confiance n’y figurent pas. Le rappel compte une commande comme correcte même si elle est retournée.
  • Les clients réagissent à la liste. Une liste change ce que les gens voient, donc ce qu’ils achètent ensuite. Le module 8 montre comment.

Les données de Larkfield le montrent. Dans le module 8, le cours compare trois listes de page d’accueil dans un test en ligne. Le test est simulé : il utilise notre modèle du comportement des clients, jamais de vraies personnes. Hors ligne, la meilleure méthode du cours, un modèle de classement en deux étapes du module 7, obtient un recall@10 de 0,215. Une liste des meilleurs vendeurs des quatre dernières semaines (« tendances ») obtient 0,151. C’est 42 % de plus pour le modèle de classement en deux étapes. En ligne, le portrait est différent :

Trois listes de page d'accueil, hors ligne et dans le test en ligne simulé du module 8 (règles d'affaires appliquées). La liste nettement gagnante hors ligne n'est pas clairement meilleure en ligne.
Description textuelle du graphique

La figure comporte deux panneaux avec les trois mêmes listes. Dans le premier, le recall@10 hors ligne avec les règles d’affaires : modèle de classement en deux étapes 0,215, tendances 0,151, ALS 0,136. Le second montre le revenu supplémentaire par visite simulé, avec une barre pour l’intervalle à 95 %. Modèle de classement en deux étapes : 6,82 $ (5,45 à 8,25). Tendances : 6,64 $ (5,33 à 8,01). ALS : 3,18 $ (2,25 à 4,10). Le modèle de classement en deux étapes est loin devant hors ligne. En ligne, son intervalle et celui des tendances se chevauchent presque entièrement. ALS est clairement derrière en ligne.

En ligne, le modèle de classement en deux étapes rapporte 0,19 $ de plus par visite que les tendances. Mais l’intervalle à 95 % de cette différence va de −1,75 $ à +2,05 $. La vraie différence se situe probablement dans cet intervalle, compte tenu des variations du résultat dues au hasard. Il comprend zéro, donc le test ne peut pas dire quelle liste est meilleure. Le modèle de classement n’est pas clairement meilleur en ligne. Les tendances obtiennent aussi le plus de clics : 0,123 clics par visite, contre 0,114 pour le modèle de classement et 0,061 pour ALS. Le plus de clics n’a donc pas non plus rapporté clairement plus d’argent.

Tomás est surpris. « La méthode avec le meilleur score hors ligne devrait gagner. » Priya répond : « Les scores hors ligne indiquent quelles méthodes méritent un test en ligne. Ils ne le remplacent pas. » Vous apprenez pourquoi cela se produit et quoi faire dans le module 8.

Deux erreurs comptent surtout, car elles coûtent plus qu’une case gaspillée.

Un produit que le client vient d’acheter occupe une case et ne rapporte rien. Pire, il indique au client que le magasin ne le connaît pas. Certains produits se rachètent, comme le compost ou la nourriture pour animaux. « Déjà acheté » n’est donc pas toujours une erreur. Une règle doit faire la différence. Dans le module 7, même la meilleure méthode du cours montre un produit déjà acheté dans 35 % de ses listes, sans règles d’affaires.

Larkfield vend trois sous-catégories sensibles : aides à la mobilité, soins de l’incontinence, et grossesse et fertilité. Un produit sensible n’est pas un mauvais produit. Le problème est qui d’autre voit la suggestion. Les produits de soins de l’incontinence se rachètent souvent, donc ils sont populaires. Un protège-fauteuil occupe la case 4 de la liste populaire, que tout le monde voit. Sans règles, les produits de santé sensibles occupent 5,7 % des cases dans les listes de la meilleure méthode.

Le coût est le plus élevé dans le courriel, car 3 178 clients de Larkfield partagent une adresse courriel avec leur famille. Voici un calcul du coût, selon les hypothèses du modèle de comportement du cours. Un produit sensible dans une boîte de réception partagée augmente de 4 points de pourcentage la probabilité de désabonnement du client. Un abonné vaut 18 $ par année. Supposons qu’un courriel hebdomadaire montre un produit pour l’incontinence aux 3 178 boîtes de réception partagées, toutes abonnées :

Étape Valeur
Désabonnements supplémentaires 3 178 × 0,04 = environ 127 clients
Valeur du courriel perdue 127 × 18 $ = environ 2 290 $ par année
Confiance perdue absente du tableau et difficile à regagner

Cela vient d’un seul courriel. La solution est une règle, pas un meilleur modèle : ne jamais inclure de produit sensible dans un courriel à une boîte partagée. Le module 7 ajoute ces règles et mesure ce que chacune coûte.

Priya et Omar remplissent le tableau pour la page d’accueil. Lisez chaque ligne et comparez-la au diagramme ci-dessus.

Page d’accueil
Mesure d’affaires revenu supplémentaire par visite
Substitut hors ligne recall@10 sur les deux semaines suivantes
Garde-fous taux de retour; listes avec un produit déjà acheté; produits sensibles; couverture
Coût d’une mauvaise suggestion une case gaspillée sur 10; un retour à 12 $; un client qui pense que le magasin ne le connaît pas

La mesure d’affaires est en argent, car le magasin veut de l’argent. Le substitut hors ligne est un nombre que Priya peut calculer aujourd’hui, de la même façon pour chaque méthode. Les garde-fous sont les choses que la mesure d’affaires ne voit pas rapidement.

Remplissez les mêmes quatre lignes pour la page produit et le courriel hebdomadaire. Pensez au rôle de chaque emplacement, à partir de Un bon vendeur en magasin.

Afficher une réponse
Page produit Courriel hebdomadaire
Mesure d’affaires revenu supplémentaire par consultation de la page produit, ou valeur supplémentaire du panier revenu supplémentaire par courriel envoyé, sur plusieurs semaines
Substitut hors ligne pour un produit, proportion des produits achetés avec lui, ou juste après lui, qui figurent dans sa rangée recall@10 sur la semaine suivant le courriel
Garde-fous produits en rupture de stock; produits d’une catégorie sans rapport; taux de retour taux de désabonnement; produits sensibles dans les boîtes de réception partagées; aucune liste personnalisée pour les clients ayant refusé les suggestions personnalisées
Coût d’une mauvaise suggestion une case gaspillée et un panier plus rempli manqué un abonné perdu (18 $ par année selon notre hypothèse), et une perte de confiance

Pour le courriel, le garde-fou compte plus que la mesure d’affaires. Un seul mauvais courriel peut faire perdre un abonné pour toujours. Aucune vente supplémentaire aujourd’hui ne compense cette perte. D’autres réponses conviennent aussi, si chaque mesure correspond à son emplacement et si l’argent vient des produits que le client garde.

Erreur courante

Le tableau de bord des clics

Symptôme : Tomás place « Offres du jour » sur la page d’accueil pendant une semaine. Le tableau de bord montre que les clics sur les suggestions passent de 80 à 150 par 1 000 visites. L’équipe se réjouit. Un mois plus tard, Omar constate davantage de retours et aucune hausse des ventes.

Cause : l’équipe a choisi les clics comme cible. Les clics sont la troisième étape du parcours entre une suggestion et une commande. Dans l’exemple construit, la liste d’offres ajoute 0,18 $ par visite, contre 0,59 $ pour la liste qu’elle remplace. Elle entraîne aussi six retours au lieu d’un.

Solution : avant de comparer des listes, notez la mesure d’affaires, le substitut hors ligne et les garde-fous de l’emplacement. Présentez les clics uniquement à côté de ces mesures, jamais seuls. Comptez comme zéro les commandes que le client aurait passées de toute façon. Comptez les retours comme de l’argent perdu.

Conséquence pour le travail en IA : un système de recommandation qui apprend à partir des clics apprend à obtenir des clics. Si les clics sont la cible, le système devient très bon à faire la mauvaise chose. Il le fait automatiquement, chaque jour. Le module 8 montre une telle boucle.

Vérifiez votre compréhension

Expliquez, avec un exemple, pourquoi un système de recommandation qui augmente les clics peut réduire le revenu.

Afficher la réponse

Un clic n’est qu’une étape vers un revenu. Les produits qui attirent le plus de clics sont souvent des offres à bas prix que les gens auraient achetées de toute façon. Ou ce sont des produits achetés sur un coup de tête, qui reviennent plus souvent. Dans l’exemple construit, « Offres du jour » obtient 150 clics par 1 000 visites, contre 80. Mais 15 de ses 30 commandes auraient eu lieu de toute façon, et 6 sont retournées. Cette liste ajoute 0,18 $ par visite, contre 0,59 $ pour « Pour accompagner votre table ». Elle entraîne aussi 72 $ de frais de traitement des retours, contre 12 $. La mesure d’affaires doit donc être le revenu supplémentaire conservé, avec les retours comme garde-fou.

Vérifiez votre compréhension

Prédisez et expliquez : une nouvelle méthode fait passer le recall@10 de 0,151 à 0,215 sur la période de test. Ajoutera-t-elle plus d'argent sur la page d'accueil?

Afficher la réponse

Pas nécessairement. Le rappel à 10 (recall@10) est un substitut hors ligne. Il compte les commandes que le client aurait passées de toute façon et traite les 10 cases de la même manière. Il ne voit ni les retours ni les désabonnements. Le test en ligne simulé du cours montre exactement cela. Le modèle de classement en deux étapes (0,215) ajoute 0,19 $ par visite de plus que trending (tendances, 0,151). Mais l’intervalle à 95 % va de −1,75 à +2,05. Il n’est donc pas clairement meilleur en ligne. Un meilleur score hors ligne justifie un test en ligne, mais ne constitue pas un résultat.

Vérifiez votre compréhension

Rafael demande les garde-fous du courriel hebdomadaire. Nommez-en trois et expliquez pourquoi chacun compte.

Afficher la réponse

Le taux de désabonnement, car un abonné perdu ne peut plus recevoir de courriel (18 $ par année selon notre hypothèse). Aucun produit sensible dans une boîte de réception familiale partagée, car d’autres personnes peuvent les voir. Chez Larkfield, 3 178 clients partagent une adresse. Selon l’hypothèse du modèle de comportement, un tel courriel pourrait faire perdre environ 127 abonnés. Aucune liste personnalisée pour les clients ayant refusé les suggestions personnalisées, car ils n’y ont pas consenti. Le taux de retour est un bon quatrième garde-fou.

Récapitulatif

  • Les clics sont une cible peu fiable. Dans l’exemple construit, la liste qui obtient presque deux fois plus de clics ajoute moins du tiers de l’argent. Elle entraîne aussi six fois plus de retours.
  • Pour chaque emplacement, notez trois types de mesures. La mesure d’affaires représente ce que le magasin veut. Pour la page d’accueil, c’est le revenu supplémentaire conservé par visite, sans les commandes qui auraient eu lieu de toute façon. Le substitut hors ligne est ce que vous pouvez calculer à partir du journal : le recall@10. Les garde-fous ne doivent pas se dégrader : retours, produits déjà achetés, produits sensibles, couverture, désabonnements.
  • Le recall@10 est la proportion des produits commandés par un client qui figuraient dans sa liste de 10. On calcule ensuite la moyenne pour l’ensemble des clients. La liste populaire obtient un score de 0,106 sur la période de test.
  • Les résultats hors ligne et en ligne peuvent diverger. Dans le test en ligne simulé, le gagnant hors ligne n’est pas clairement meilleur en ligne (+0,19 $ par visite, intervalle de −1,75 $ à +2,05 $).
  • Un produit « déjà acheté » gaspille une case. Un produit sensible dans une boîte de réception partagée peut faire perdre un abonné. La solution est une règle.

Vous savez maintenant quoi mesurer. Mais vous avez seulement lu des nombres calculés par quelqu’un d’autre. Ensuite, vous préparez le projet et ouvrez vous-même le journal du magasin. Vous calculez le score de la liste populaire avec une seule commande.

Leçon suivante : Découvrir le journal du magasin