Ce que signifie la réussite
- Leçon 2
- 30 min
- Module 1 : Le problème de la recommandation
Où nous en sommes
Nous savons ce que le système de recommandation de Larkfield doit décider. Il faut maintenant définir une bonne décision. Dans cette leçon, nous comparons les clics, les commandes, le revenu supplémentaire et les retours. Nous voyons pourquoi plus de clics peut être une mauvaise cible. Pensez d'abord à la façon dont une propriétaire de magasin évalue un vendeur.
Leçon 2 sur 29 · Recommandation et personnalisation : montrer à chacun ce qui compteCe que signifie la réussite
1. Le problème de la recommandation
2. Les données, la rétroaction implicite et un découpage honnête
3. Mesurer les recommandations hors ligne
4. Les voisins et le filtrage collaboratif
5. La factorisation matricielle pour la rétroaction implicite
6. Le contenu, les hybrides et le démarrage à froid
7. Deux étapes : les candidats et le classement
8. Des scores hors ligne au vrai magasin
9. L'exploiter en production
Ce que vous saurez faire
Définissez ce qu’est « une meilleure liste » pour Larkfield avant de comparer des méthodes. Si vous comptez la mauvaise chose, votre système de recommandation peut gagner sur le tableau de bord et faire perdre de l’argent au magasin.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Les trois emplacements de Larkfield, le chemin d’une suggestion à une commande et la liste populaire du 22 juin, présentés dans Un bon vendeur en magasin.
- Une moyenne et un pourcentage. Mathématiques et statistiques essentielles pour l’IA explique les deux au besoin.
Ce qu’il vous faut sur votre ordinateur
Rien. Cette leçon ne contient pas de code.
Comment évaluer un vendeur en magasin?
Section intitulée « Comment évaluer un vendeur en magasin? »Repensez à la jardinerie et à ses vendeurs. La propriétaire veut savoir quel vendeur est meilleur. Comment peut-elle le mesurer?
Elle pourrait compter les conversations : combien de fois chaque vendeur montre un produit à un client. Un vendeur arrête chaque client à la porte et lui montre une offre à bas prix. Il a beaucoup de conversations. Mais la plupart des gens disent « non, merci », et certains cessent de venir au magasin.
Elle pourrait compter les ventes : l’argent à la caisse après les conversations de chaque vendeur. C’est plus proche du résultat souhaité. Mais une cliente régulière achète toujours son compost le premier samedi du mois. Si le vendeur dit « avez-vous besoin de compost? », la vente ne vient pas de lui.
Elle pourrait compter les ventes sans retour. Certains clients rapportent ce qu’un vendeur les a poussés à acheter. Le magasin rembourse l’argent et paie quelqu’un pour remettre le produit sur l’étagère.
La vraie question de la propriétaire est donc : combien d’argent supplémentaire, conservé, chaque vendeur rapporte-t-il sans faire partir les clients? Un système de recommandation exige la même question et la même prudence.
Le problème : plus de clics, moins d’argent
Section intitulée « Le problème : plus de clics, moins d’argent »Tomás essaie une nouvelle liste pour la page d’accueil. Il l’appelle « Offres du jour » : des produits bon marché, accrocheurs, avec une grosse étiquette de rabais. Il la compare à une liste créée par Priya, « Pour accompagner votre table ». Ces produits s’accordent avec les achats précédents du client. Ces nombres sont construits pour l’exemple. Chaque liste apparaît lors de 1 000 visites :
| Offres du jour | Pour accompagner votre table | |
|---|---|---|
| Visites | 1 000 | 1 000 |
| Clics sur une suggestion | 150 | 80 |
| Commandes issues d’une suggestion | 30, à 20 $ chacune | 16, à 45 $ chacune |
| Argent provenant de ces commandes | 600 $ | 720 $ |
| Commandes que le client aurait passées de toute façon | 15 (300 $) | 2 (90 $) |
| Commandes retournées | 6 (120 $) | 1 (45 $) |
| Argent supplémentaire conservé | 600 − 300 − 120 = 180 $ | 720 − 90 − 45 = 585 $ |
| Revenu supplémentaire par visite | 180 / 1 000 = 0,18 $ | 585 / 1 000 = 0,59 $ (0,585) |
| Traitement des retours, à 12 $ chacun | 6 × 12 = 72 $ | 1 × 12 = 12 $ |
La liste de Tomás obtient presque deux fois plus de clics. Mais elle rapporte moins du tiers de l’argent supplémentaire et cause six fois plus de retours. Ses offres bon marché attirent des gens qui allaient acheter de toute façon. Ils cliquent sur un rabais pour un article déjà sur leur liste. Les produits achetés sur une impulsion reviennent plus souvent.
Description textuelle du graphique
La figure comporte deux panneaux. Chaque panneau a une ligne par liste, avec un point à sa valeur. Dans le premier panneau, les clics par 1 000 visites : Offres du jour 150, Pour accompagner votre table 80. Dans le second, le revenu supplémentaire par visite : Offres du jour 0,18 $, Pour accompagner votre table 0,59 $. Offres du jour arrive en tête dans le premier panneau et loin derrière dans le second.
Un clic est facile à compter et se produit tout de suite. C’est pourquoi les clics sont une cible tentante. Mais un clic n’est que la troisième étape du chemin d’une suggestion à une commande. Tout ce qui suit détermine si le magasin gagne de l’argent.
L’idée : une mesure d’affaires, un substitut hors ligne et quelques garde-fous
Section intitulée « L’idée : une mesure d’affaires, un substitut hors ligne et quelques garde-fous »Priya et Omar s’entendent sur trois types de mesures pour chaque emplacement.
La mesure d’affaires
Section intitulée « La mesure d’affaires »La mesure d’affaires est le nombre qui compte vraiment pour le magasin. Pour la page d’accueil de Larkfield, Omar choisit le revenu supplémentaire par visite. C’est l’argent provenant des produits suggérés que le client a gardés et qu’il n’aurait pas dépensé de toute façon. On le divise par le nombre de visites. Le mot revenu désigne l’argent provenant des ventes, avant les coûts.
Cette mesure pose un gros problème. Vous pouvez la mesurer seulement en montrant une liste à de vrais clients pendant quelques semaines et en la comparant à une autre. C’est un test en ligne, souvent appelé test A/B. Le magasin répartit les clients au hasard entre les groupes A et B. Chaque groupe voit une liste. C’est lent, et une mauvaise liste coûte de l’argent réel pendant le test. Le module 8 porte sur les tests en ligne.
Le substitut hors ligne
Section intitulée « Le substitut hors ligne »Avant qu’un client voie une liste, Priya a donc besoin d’un nombre calculable à partir du journal du magasin seulement. Une mesure calculée à partir de données passées, sans vrais clients, est dite hors ligne. Elle sert de substitut à la mesure d’affaires. Elle l’estime à l’avance, à faible coût et de la même façon pour chaque méthode.
La principale mesure hors ligne du cours est le rappel à 10 (recall@10) (dites « rappel à dix »). Elle prend la liste de 10 produits de chaque client, créée avec les événements précédant une date. Elle examine ensuite ce que ce client a réellement commandé dans les deux semaines suivantes. Pour un client :
recall@10 = (produits commandés qui figuraient dans la liste) / (tous les produits commandés par le client)
Elle calcule ensuite la moyenne pour tous les clients qui ont commandé. Voici la liste populaire du 22 juin, évaluée pour trois clients réels du journal synthétique :
| Client | Produits commandés du 22 juin au 5 juillet | Dans la liste populaire? | recall@10 |
|---|---|---|---|
| C100434 | Bramble Terracotta Mosaic Side Table; Millbrook Blush Pink Folding Side Table; Lumi Green Nordic Coffee Table | le Bramble Terracotta Mosaic Side Table : oui; les autres : non | 1 / 3 = 0,333 |
| C100185 | Lumi Oak Compact Round Coffee Table; Millbrook Cream Stoneware Mini Bud Vase | non, non | 0 / 2 = 0 |
| C100304 | Terracotta Linen Roman-Style Curtains | oui | 1 / 1 = 1 |
La moyenne pour ces trois clients est (0,333 + 0 + 1) / 3 = 0,444. Pour les 2 118 clients qui ont commandé pendant ces deux semaines, la somme des valeurs du rappel est 223,9. Le recall@10 de la liste populaire est donc 223,9 / 2 118 = 0,106. Vous calculez vous-même ce score dans la prochaine leçon.
Les garde-fous
Section intitulée « Les garde-fous »Un garde-fou est une mesure qui ne doit pas se dégrader pendant que vous améliorez la mesure principale. Le nom vient de la barrière au bord d’une route de montagne. Elle ne vous mène nulle part, mais vous empêche de tomber dans le vide. La page d’accueil a quatre garde-fous. Ce sont le taux de retour, la part des listes contenant un produit déjà acheté et les produits sensibles dans la liste. Le quatrième est la couverture : la part du catalogue que le magasin montre à au moins un client.
Description textuelle du diagramme
La page d’accueil montre 10 suggestions à chaque visite. Sa mesure d’affaires est le revenu supplémentaire par visite : l’argent des suggestions que le client n’aurait pas dépensé de toute façon. Vous pouvez la mesurer seulement en ligne. Une ligne pointillée la relie à son substitut hors ligne, le recall@10 sur les deux semaines suivantes. C’est la part des produits commandés qui figuraient dans la liste. Vous pouvez le calculer aujourd’hui à partir du journal du magasin. La page d’accueil a aussi des garde-fous qui ne doivent pas se dégrader. Ce sont le taux de retour, les produits déjà achetés, les produits sensibles et la part du catalogue que le magasin montre.
La fidélité à long terme a aussi sa place ici. Un client qui revient pendant des années vaut plus qu’une vente supplémentaire aujourd’hui. La fidélité prend du temps à mesurer. L’équipe en surveille donc les signes : les désabonnements et les clients qui cessent de visiter. Le courriel de Rafael a le signe le plus clair : un clic sur Unsubscribe (se désabonner).
Pourquoi le substitut et la mesure d’affaires peuvent diverger
Section intitulée « Pourquoi le substitut et la mesure d’affaires peuvent diverger »Le recall@10 est utile, peu coûteux et équitable. Mais ce n’est pas la mesure d’affaires, et les deux peuvent indiquer des directions différentes :
- Le journal a été créé sans votre liste. Les clients ont commandé sur l’ancien site. Le rappel compte donc des commandes que le client aurait passées de toute façon. Ces commandes ne rapportent aucun argent supplémentaire.
- Les 10 cases comptent autant. En ligne, la plupart des gens regardent seulement les premières cases. Le module 3 ajoute des mesures qui tiennent compte de l’ordre.
- Les retours, les désabonnements et la confiance n’y figurent pas. Le rappel compte une commande comme correcte même si elle est retournée.
- Les clients réagissent à la liste. Une liste change ce que les gens voient, donc ce qu’ils achètent ensuite. Le module 8 montre comment.
Les données de Larkfield le montrent. Dans le module 8, le cours compare trois listes de page d’accueil dans un test en ligne. Le test est simulé : il utilise notre modèle du comportement des clients, jamais de vraies personnes. Hors ligne, la meilleure méthode du cours, un modèle de classement en deux étapes du module 7, obtient un recall@10 de 0,215. Une liste des meilleurs vendeurs des quatre dernières semaines (« tendances ») obtient 0,151. C’est 42 % de plus pour le modèle de classement en deux étapes. En ligne, le portrait est différent :
Description textuelle du graphique
La figure comporte deux panneaux avec les trois mêmes listes. Dans le premier, le recall@10 hors ligne avec les règles d’affaires : modèle de classement en deux étapes 0,215, tendances 0,151, ALS 0,136. Le second montre le revenu supplémentaire par visite simulé, avec une barre pour l’intervalle à 95 %. Modèle de classement en deux étapes : 6,82 $ (5,45 à 8,25). Tendances : 6,64 $ (5,33 à 8,01). ALS : 3,18 $ (2,25 à 4,10). Le modèle de classement en deux étapes est loin devant hors ligne. En ligne, son intervalle et celui des tendances se chevauchent presque entièrement. ALS est clairement derrière en ligne.
En ligne, le modèle de classement en deux étapes rapporte 0,19 $ de plus par visite que les tendances. Mais l’intervalle à 95 % de cette différence va de −1,75 $ à +2,05 $. La vraie différence se situe probablement dans cet intervalle, compte tenu des variations du résultat dues au hasard. Il comprend zéro, donc le test ne peut pas dire quelle liste est meilleure. Le modèle de classement n’est pas clairement meilleur en ligne. Les tendances obtiennent aussi le plus de clics : 0,123 clics par visite, contre 0,114 pour le modèle de classement et 0,061 pour ALS. Le plus de clics n’a donc pas non plus rapporté clairement plus d’argent.
Tomás est surpris. « La méthode avec le meilleur score hors ligne devrait gagner. » Priya répond : « Les scores hors ligne indiquent quelles méthodes méritent un test en ligne. Ils ne le remplacent pas. » Vous apprenez pourquoi cela se produit et quoi faire dans le module 8.
Le coût de deux erreurs
Section intitulée « Le coût de deux erreurs »Deux erreurs comptent surtout, car elles coûtent plus qu’une case gaspillée.
Déjà acheté
Section intitulée « Déjà acheté »Un produit que le client vient d’acheter occupe une case et ne rapporte rien. Pire, il indique au client que le magasin ne le connaît pas. Certains produits se rachètent, comme le compost ou la nourriture pour animaux. « Déjà acheté » n’est donc pas toujours une erreur. Une règle doit faire la différence. Dans le module 7, même la meilleure méthode du cours montre un produit déjà acheté dans 35 % de ses listes, sans règles d’affaires.
Sensible
Section intitulée « Sensible »Larkfield vend trois sous-catégories sensibles : aides à la mobilité, soins de l’incontinence, et grossesse et fertilité. Un produit sensible n’est pas un mauvais produit. Le problème est qui d’autre voit la suggestion. Les produits de soins de l’incontinence se rachètent souvent, donc ils sont populaires. Un protège-fauteuil occupe la case 4 de la liste populaire, que tout le monde voit. Sans règles, les produits de santé sensibles occupent 5,7 % des cases dans les listes de la meilleure méthode.
Le coût est le plus élevé dans le courriel, car 3 178 clients de Larkfield partagent une adresse courriel avec leur famille. Voici un calcul du coût, selon les hypothèses du modèle de comportement du cours. Un produit sensible dans une boîte de réception partagée augmente de 4 points de pourcentage la probabilité de désabonnement du client. Un abonné vaut 18 $ par année. Supposons qu’un courriel hebdomadaire montre un produit pour l’incontinence aux 3 178 boîtes de réception partagées, toutes abonnées :
| Étape | Valeur |
|---|---|
| Désabonnements supplémentaires | 3 178 × 0,04 = environ 127 clients |
| Valeur du courriel perdue | 127 × 18 $ = environ 2 290 $ par année |
| Confiance perdue | absente du tableau et difficile à regagner |
Cela vient d’un seul courriel. La solution est une règle, pas un meilleur modèle : ne jamais inclure de produit sensible dans un courriel à une boîte partagée. Le module 7 ajoute ces règles et mesure ce que chacune coûte.
Exercice guidé : la page d’accueil
Section intitulée « Exercice guidé : la page d’accueil »Priya et Omar remplissent le tableau pour la page d’accueil. Lisez chaque ligne et comparez-la au diagramme ci-dessus.
| Page d’accueil | |
|---|---|
| Mesure d’affaires | revenu supplémentaire par visite |
| Substitut hors ligne | recall@10 sur les deux semaines suivantes |
| Garde-fous | taux de retour; listes avec un produit déjà acheté; produits sensibles; couverture |
| Coût d’une mauvaise suggestion | une case gaspillée sur 10; un retour à 12 $; un client qui pense que le magasin ne le connaît pas |
La mesure d’affaires est en argent, car le magasin veut de l’argent. Le substitut hors ligne est un nombre que Priya peut calculer aujourd’hui, de la même façon pour chaque méthode. Les garde-fous sont les choses que la mesure d’affaires ne voit pas rapidement.
À vous de jouer : la page produit et le courriel
Section intitulée « À vous de jouer : la page produit et le courriel »Remplissez les mêmes quatre lignes pour la page produit et le courriel hebdomadaire. Pensez au rôle de chaque emplacement, à partir de Un bon vendeur en magasin.
Afficher une réponse
| Page produit | Courriel hebdomadaire | |
|---|---|---|
| Mesure d’affaires | revenu supplémentaire par consultation de la page produit, ou valeur supplémentaire du panier | revenu supplémentaire par courriel envoyé, sur plusieurs semaines |
| Substitut hors ligne | pour un produit, proportion des produits achetés avec lui, ou juste après lui, qui figurent dans sa rangée | recall@10 sur la semaine suivant le courriel |
| Garde-fous | produits en rupture de stock; produits d’une catégorie sans rapport; taux de retour | taux de désabonnement; produits sensibles dans les boîtes de réception partagées; aucune liste personnalisée pour les clients ayant refusé les suggestions personnalisées |
| Coût d’une mauvaise suggestion | une case gaspillée et un panier plus rempli manqué | un abonné perdu (18 $ par année selon notre hypothèse), et une perte de confiance |
Pour le courriel, le garde-fou compte plus que la mesure d’affaires. Un seul mauvais courriel peut faire perdre un abonné pour toujours. Aucune vente supplémentaire aujourd’hui ne compense cette perte. D’autres réponses conviennent aussi, si chaque mesure correspond à son emplacement et si l’argent vient des produits que le client garde.
Erreur courante
Le tableau de bord des clics
Symptôme : Tomás place « Offres du jour » sur la page d’accueil pendant une semaine. Le tableau de bord montre que les clics sur les suggestions passent de 80 à 150 par 1 000 visites. L’équipe se réjouit. Un mois plus tard, Omar constate davantage de retours et aucune hausse des ventes.
Cause : l’équipe a choisi les clics comme cible. Les clics sont la troisième étape du parcours entre une suggestion et une commande. Dans l’exemple construit, la liste d’offres ajoute 0,18 $ par visite, contre 0,59 $ pour la liste qu’elle remplace. Elle entraîne aussi six retours au lieu d’un.
Solution : avant de comparer des listes, notez la mesure d’affaires, le substitut hors ligne et les garde-fous de l’emplacement. Présentez les clics uniquement à côté de ces mesures, jamais seuls. Comptez comme zéro les commandes que le client aurait passées de toute façon. Comptez les retours comme de l’argent perdu.
Conséquence pour le travail en IA : un système de recommandation qui apprend à partir des clics apprend à obtenir des clics. Si les clics sont la cible, le système devient très bon à faire la mauvaise chose. Il le fait automatiquement, chaque jour. Le module 8 montre une telle boucle.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Expliquez, avec un exemple, pourquoi un système de recommandation qui augmente les clics peut réduire le revenu.
Afficher la réponse
Un clic n’est qu’une étape vers un revenu. Les produits qui attirent le plus de clics sont souvent des offres à bas prix que les gens auraient achetées de toute façon. Ou ce sont des produits achetés sur un coup de tête, qui reviennent plus souvent. Dans l’exemple construit, « Offres du jour » obtient 150 clics par 1 000 visites, contre 80. Mais 15 de ses 30 commandes auraient eu lieu de toute façon, et 6 sont retournées. Cette liste ajoute 0,18 $ par visite, contre 0,59 $ pour « Pour accompagner votre table ». Elle entraîne aussi 72 $ de frais de traitement des retours, contre 12 $. La mesure d’affaires doit donc être le revenu supplémentaire conservé, avec les retours comme garde-fou.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Prédisez et expliquez : une nouvelle méthode fait passer le recall@10 de 0,151 à 0,215 sur la période de test. Ajoutera-t-elle plus d'argent sur la page d'accueil?
Afficher la réponse
Pas nécessairement. Le rappel à 10 (recall@10) est un substitut hors ligne. Il compte les commandes que le client aurait passées de toute façon et traite les 10 cases de la même manière. Il ne voit ni les retours ni les désabonnements. Le test en ligne simulé du cours montre exactement cela. Le modèle de classement en deux étapes (0,215) ajoute 0,19 $ par visite de plus que trending (tendances, 0,151). Mais l’intervalle à 95 % va de −1,75 à +2,05. Il n’est donc pas clairement meilleur en ligne. Un meilleur score hors ligne justifie un test en ligne, mais ne constitue pas un résultat.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Rafael demande les garde-fous du courriel hebdomadaire. Nommez-en trois et expliquez pourquoi chacun compte.
Afficher la réponse
Le taux de désabonnement, car un abonné perdu ne peut plus recevoir de courriel (18 $ par année selon notre hypothèse). Aucun produit sensible dans une boîte de réception familiale partagée, car d’autres personnes peuvent les voir. Chez Larkfield, 3 178 clients partagent une adresse. Selon l’hypothèse du modèle de comportement, un tel courriel pourrait faire perdre environ 127 abonnés. Aucune liste personnalisée pour les clients ayant refusé les suggestions personnalisées, car ils n’y ont pas consenti. Le taux de retour est un bon quatrième garde-fou.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Les clics sont une cible peu fiable. Dans l’exemple construit, la liste qui obtient presque deux fois plus de clics ajoute moins du tiers de l’argent. Elle entraîne aussi six fois plus de retours.
- Pour chaque emplacement, notez trois types de mesures. La mesure d’affaires représente ce que le magasin veut. Pour la page d’accueil, c’est le revenu supplémentaire conservé par visite, sans les commandes qui auraient eu lieu de toute façon. Le substitut hors ligne est ce que vous pouvez calculer à partir du journal : le recall@10. Les garde-fous ne doivent pas se dégrader : retours, produits déjà achetés, produits sensibles, couverture, désabonnements.
- Le recall@10 est la proportion des produits commandés par un client qui figuraient dans sa liste de 10. On calcule ensuite la moyenne pour l’ensemble des clients. La liste populaire obtient un score de 0,106 sur la période de test.
- Les résultats hors ligne et en ligne peuvent diverger. Dans le test en ligne simulé, le gagnant hors ligne n’est pas clairement meilleur en ligne (+0,19 $ par visite, intervalle de −1,75 $ à +2,05 $).
- Un produit « déjà acheté » gaspille une case. Un produit sensible dans une boîte de réception partagée peut faire perdre un abonné. La solution est une règle.
Vous savez maintenant quoi mesurer. Mais vous avez seulement lu des nombres calculés par quelqu’un d’autre. Ensuite, vous préparez le projet et ouvrez vous-même le journal du magasin. Vous calculez le score de la liste populaire avec une seule commande.
Leçon suivante : Découvrir le journal du magasin