Aller au contenu
English

Apprendre des clics

  • Leçon 22
  • 40 min
  • Module 6 : Reclasser les premiers résultats

Où nous en sommes

Dans la dernière leçon, LambdaMART a appris à partir de 13 763 étiquettes issues de jugements. Il a produit le meilleur classement respectant le budget jusqu'ici. Les jugements prennent du temps et coûtent cher. Le journal des requêtes contient des milliers de clics gratuits. Dans cette leçon, nous voyons pourquoi un clic n'est pas une étiquette de pertinence. Nous mesurons le biais de position dans le journal et le corrigeons. Puis nous trouvons le biais qu'aucune correction ne peut éliminer.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité

Ce que vous saurez faire

Utilisez les clics sans vous laisser tromper. Vous mesurez le biais de position dans le journal des requêtes de Larkfield. Vous estimez la fréquence à laquelle les gens regardent chaque position. Vous corrigez les clics par pondération inverse de la propension. Puis vous voyez pourquoi cette correction ne sauve pas un modèle entraîné sur les clics.

Carnet JupyterFaites cette leçon dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter trace les clics par position dans le journal synthétique. Vous estimez la fréquence à laquelle les gens regardent chaque position et corrigez deux clics à la main. Puis vous comptez combien de produits exacts le journal a déjà affichés. Ses cellules de préparation téléchargent les données d’exercice, donc aucune préparation locale n’est nécessaire. Environ 35 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 40 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur (seulement pour l’exercice guidé)

Un magasin n’a pas le temps de demander aux clients leur avis sur chaque produit. La vendeuse les observe donc. Chaque soir, elle compte les produits que les gens ont pris sur les étagères. Elle prévoit de déplacer les produits les plus souvent pris vers l’avant.

Puis elle remarque deux choses. Les gens prennent surtout les produits sur la table à l’entrée, peu importe lesquels. Tout le monde passe devant cette table. Et personne ne prend les produits dans l’arrière-boutique, parce que personne ne les voit. Son compte mesure autant l’emplacement des produits que les goûts des gens.

Le problème : les jugements coûtent cher et les clics sont biaisés

Section intitulée « Le problème : les jugements coûtent cher et les clics sont biaisés »

Le modèle de la dernière leçon a appris à partir de 13 763 étiquettes issues de jugements sur 260 requêtes. Les vrais magasins en ont rarement autant. Rédiger des jugements prend du temps, comme l’a montré Jugements de pertinence. Le journal des requêtes est gratuit : celui de Larkfield contient 20 000 recherches, dont 45,7 % ont reçu un clic.

Tomás dit : « Les clics sont des étiquettes de pertinence. Un produit cliqué est un bon produit. Entraînons le modèle sur les clics. » Regardez d’abord les clics par position.

Taux de clics par position dans le journal synthétique des requêtes de Larkfield (20 000 recherches, 113 636 résultats affichés). Le premier résultat reçoit dix fois plus de clics que le dixième.
Description textuelle du graphique

Une ligne descendante. Taux de clics par position : 1: 0.446; 2: 0.232; 3: 0.148; 4: 0.112; 5: 0.09; 6: 0.07; 7: 0.06; 8: 0.054; 9: 0.052; 10: 0.041.

Les gens cliquent sur le premier résultat 44,6 % du temps, et sur le dixième, 4,1 %. Le premier résultat est-il dix fois plus pertinent? En partie : la recherche actuelle place certains bons produits en premier. Mais les gens cliquent aussi sur le premier résultat parce qu’il est en haut. Ils le regardent d’abord, et beaucoup ne font jamais défiler la page. C’est le biais de position : la position d’un résultat change ses clics, peu importe sa qualité.

Un modèle de clics décrit comment les gens regardent et cliquent. Le plus simple dit qu’un clic exige deux choses :

  1. La personne regarde le résultat. Cette probabilité dépend de la position k. Elle s’appelle examine(k).
  2. Si elle le regarde, elle l’aime assez pour cliquer. Cette probabilité dépend de la pertinence.

Donc : probabilité d’un clic = examine(k) × probabilité d’un clic quand le résultat est regardé.

Le journal des requêtes de Larkfield est synthétique : notre code a créé chaque clic avec un tel modèle. Ce sont les hypothèses du cours, pas des mesures prises auprès de vraies personnes :

Partie Valeur
examine(k) 1/k : 1 à la position 1, 0,5 à 2, 0,25 à 4, 0,1 à 10
clic quand le résultat est regardé 0,65 pour un produit exact, 0,25 pour un produit partiel, 0,05 pour un produit non pertinent ou non jugé
ajout au panier après un clic 0,30 pour un produit exact, 0,08 pour un produit partiel, 0,01 pour un produit non pertinent

Calculez trois cas avec ces nombres :

Produit Position examine(k) Clic quand le résultat est regardé Probabilité d’un clic
Exact 1 1 0,65 1 × 0,65 = 0,65
Exact 4 0,25 0,65 0,25 × 0,65 = 0,16
Partiel 1 1 0,25 1 × 0,25 = 0,25

Le même produit exact obtient 0,65 en haut et 0,16 à la position 4. Un produit partiel en haut (0,25) reçoit plus de clics que le produit exact à la position 4. Si vous classez par clics bruts, le premier reste premier, peu importe le produit.

Avec de vraies personnes, vous ne connaissez pas examine(k). Vous pouvez l’estimer. Prenez seulement les produits exacts : leur pertinence est la même à chaque position. Toute différence de taux de clics vient donc de la position. Divisez leur taux de clics à la position k par leur taux à la position 1.

  • estimation à partir du journal
  • le modèle de clics : 1/k
examine(k) estimé à partir des clics sur les produits exacts du journal synthétique, comparé à sa règle de création (1/k). L'estimation retrouve la règle à partir des clics seuls.
Description textuelle du graphique

Deux lignes presque superposées. Estimation : 1: 1; 2: 0.52; 3: 0.335; 4: 0.247; 5: 0.204; 6: 0.161; 7: 0.142; 8: 0.131; 9: 0.117; 10: 0.098. Le modèle de clics : 1: 1; 2: 0.5; 3: 0.333; 4: 0.25; 5: 0.2; 6: 0.167; 7: 0.143; 8: 0.125; 9: 0.111; 10: 0.1.

L’estimation donne 1, 0,52, 0,335, 0,247 … 0,098. La règle qui a créé le journal est 1, 0,5, 0,333, 0,25 … 0,1. La méthode fonctionne. Avec un vrai journal, elle donne la courbe de vos propres utilisateurs.

Corriger les clics : la pondération inverse de la propension

Section intitulée « Corriger les clics : la pondération inverse de la propension »

Une fois examine(k) connu, vous pouvez corriger chaque clic. La probabilité qu’un résultat ait été regardé s’appelle sa propension. La pondération inverse de la propension (IPW) divise chaque clic par la propension de sa position. Un clic à la position 4 compte 1 ÷ 0,25 = 4 fois; un clic à la position 1 compte une fois.

Un tout petit exemple. Deux produits ont chacun été affichés 4 fois et cliqués une fois.

Produit Position Affichages Clics Étiquette naïve (clics ÷ affichages) examine(k) Étiquette IPW
X 1 4 1 0,25 1 0,25 ÷ 1 = 0,25
Y 4 4 1 0,25 0,25 0,25 ÷ 0,25 = 1,00

L’étiquette naïve dit qu’ils sont égaux. L’IPW dit que Y est quatre fois plus fort : autant de clics avec le quart de l’attention. Dans le projet, clicks.click_labels crée ces étiquettes. Puis ltr.click_grades les transforme en notes : une étiquette IPW de 0,5 ou plus devient 2, tout clic 1, aucun clic 0.

Exercice guidé : mesurer le biais et entraîner sur les clics

Section intitulée « Exercice guidé : mesurer le biais et entraîner sur les clics »
  1. Montrez le biais de position dans le journal :

    Fenêtre de terminal
    search clicks bias
    20,000 searches, 113,636 results shown (synthetic log; click model ETA 1.0)
    click rate exact shown click rate of exact estimated examine(k) click model examine(k)
    position
    1 0.446 8204 0.643 1.000 1.000
    2 0.232 7537 0.335 0.520 0.500
    3 0.148 7184 0.215 0.335 0.333
    4 0.112 7380 0.159 0.247 0.250
    5 0.090 6856 0.131 0.204 0.200
    6 0.070 6090 0.104 0.161 0.167
    7 0.060 5738 0.091 0.142 0.143
    8 0.054 5672 0.084 0.131 0.125
    9 0.052 5780 0.075 0.117 0.111
    10 0.041 5382 0.063 0.098 0.100

    ETA est l’exposant dans examine(k) = 1/k^ETA. Le journal a été créé avec ETA égal à 1, donc examine(k) = 1/k.

  2. Entraînez le même modèle sur les clics plutôt que sur les jugements. Un candidat reçoit l’étiquette 1 s’il a déjà été cliqué lors d’un affichage pour cette requête, sinon 0 :

    Fenêtre de terminal
    search ltr train --labels clicks
    Trained LambdaMART on 260 training queries, 26,000 candidates (595 with a label above 0), labels: clicks. Saved outputs/ltr-clicks.txt
    Feature importance (share of the total gain):
    clicks_log 82.3%
    carts_log 2.9%
    rrf 2.8%

    (La liste continue; les 16 autres variables ont chacune 2,0 % ou moins.) Regardez le deuxième nombre : 595 candidats avec une étiquette supérieure à 0. Avec les jugements, il y en avait 13 763.

  3. Mesurez sa performance :

    Fenêtre de terminal
    search eval --run ltr-clicks
    ltr-clicks on 243 test queries: NDCG@10 0.565 (95% interval 0.520 to 0.607)
    recall@100 0.540, MRR 0.656, zero results 0.0%, judged in the top 10 60.1%; 20.8 ms a query (p50), 71.6 ms (p95)
  4. Corrigez maintenant le biais de position, puis entraînez à nouveau :

    Fenêtre de terminal
    search ltr train --labels clicks-ipw
    search eval --run ltr-clicks-ipw
    Trained LambdaMART on 260 training queries, 26,000 candidates (595 with a label above 0), labels: clicks-ipw. Saved outputs/ltr-clicks-ipw.txt
    Feature importance (share of the total gain):
    clicks_log 80.5%
    carts_log 3.2%
    rrf 2.7%
    ltr-clicks-ipw on 243 test queries: NDCG@10 0.565 (95% interval 0.519 to 0.608)
    recall@100 0.540, MRR 0.658, zero results 0.0%, judged in the top 10 60.4%; 16.6 ms a query (p50), 34.3 ms (p95)

    Le même résultat, 0,565. La correction n’a presque rien changé.

Le même modèle LambdaMART avec trois types d'étiquettes, sur les requêtes de test de Larkfield (moyenne de 241 sur 243), avec des intervalles à 95 %. Les clics comme étiquettes font pire que l'absence d'apprentissage, avec ou sans correction.
Description textuelle du graphique

Quatre lignes. hybrid-rrf 0.621 (0.576 à 0.663); ltr sur les jugements 0.668 (0.628 à 0.708); ltr sur les clics 0.565 (0.52 à 0.607); ltr sur les clics avec IPW 0.565 (0.519 à 0.608).

Entraîné sur les clics, le modèle fait pire que la recherche hybride sans apprentissage : −0,056 (intervalle à 95 % de −0,079 à −0,033). L’IPW n’y change rien : aussi −0,056. Pourquoi?

Le plus grand biais : la plupart des produits n’ont jamais été affichés

Section intitulée « Le plus grand biais : la plupart des produits n’ont jamais été affichés »

Regardez d’où viennent les clics. La recherche actuelle de Larkfield a créé le journal synthétique : SQLite FTS5, où chaque mot doit correspondre. Cette recherche ne renvoie rien pour 30,9 % des recherches. Cela comprend 94,3 % des recherches en français, toutes les fautes d’orthographe et tous les codes de produit. Et quand elle renvoie quelque chose, elle affiche seulement ses 10 premiers résultats.

La plupart des bons produits n’ont donc jamais été affichés pour leur requête. Un produit jamais affiché ne reçoit aucun clic, même s’il est excellent. C’est le biais de sélection : le journal contient seulement ce que l’ancien système a choisi d’afficher.

Ce que le journal peut enseigner sur les 3 893 produits exacts parmi les candidats d'entraînement. La recherche actuelle les a-t-elle déjà affichés? Non pour 3 410 : jamais affichés, aucun clic possible, et aucune correction ne peut aider. Oui pour 483. Parmi eux, les gens les ont-ils regardés et cliqués? Oui pour 436 : une étiquette de clic. Non pour 47 : jamais cliqués, ils semblent non pertinents, et l'IPW corrige la part causée par la position.
Deux filtres séparent un produit exact d'une étiquette de clic. L'IPW corrige le deuxième, la position. Rien dans le journal ne corrige le premier : les produits jamais affichés.
Description textuelle du diagramme

Un arbre de décision. « Produits exacts parmi les candidats d’entraînement : 3 893 » → « La recherche actuelle les a-t-elle déjà affichés? (chaque mot doit correspondre) ». « Non : 3 410 » → une case à bordure rouge : « Jamais affichés, aucun clic possible, aucune correction ne peut aider ». « Oui : 483 » → « Les gens les ont-ils regardés et cliqués? examine(k) = 1/k ». « Oui : 436 » → « Une étiquette de clic ». « Non : 47 » → « Jamais cliqués, semblent non pertinents, l’IPW corrige la part causée par la position ».

Les nombres, pour les 260 requêtes d’entraînement et leurs 26 000 candidats (les 100 premiers résultats hybrides de chacune) :

Note du candidat Candidats Déjà affichés dans le journal Déjà cliqués
Exact 3 893 483 (12.4 %) 436
Partiel 9 870 157 125
Non pertinent ou non jugé 12 237 86 34

Seulement 12.4 % des candidats exacts ont déjà été affichés. Pour 138 des 260 requêtes d’entraînement, aucun candidat n’a jamais été affiché. Elles comprennent les 80 requêtes en français, avec fautes d’orthographe et avec codes des données d’entraînement. Aucun de leurs 676 candidats exacts n’a jamais été affiché. Pour ces requêtes, chaque étiquette vaut 0.

L’IPW divise les clics existants par la probabilité que le résultat soit regardé. Elle ne peut pas diviser un clic qui n’a jamais eu lieu. Elle corrige les produits affichés plus bas; elle ne peut pas corriger les produits jamais affichés.

Avec 595 étiquettes positives, surtout sur les requêtes anglaises auxquelles la recherche actuelle pouvait répondre, le modèle a trouvé un raccourci. clicks_log représente 82,3 % du gain. Cette variable compte les clics d’un produit pour n’importe quelle requête du journal. Le modèle a donc appris « les produits déjà cliqués », soit encore une fois le choix de l’ancienne recherche. C’est la popularité, pas la pertinence pour cette requête. Cela nuit surtout là où l’ancienne recherche était la plus faible.

La leçon volontairement intégrée au cours : un modèle de clics est nécessaire, mais pas suffisant. Il vous faut ce modèle pour lire les clics correctement. Il vous faut aussi des clics sur les bons produits, et cela exige de les afficher.

  • Utilisez les clics comme variables et les jugements comme étiquettes. Le modèle de la dernière leçon utilise déjà clicks_log et carts_log parmi ses 19 variables.
  • Affichez parfois de nouveaux produits. Un emplacement d’exploration est une place sur la page pour un produit peu connu du journal. Il recueille des clics sur des produits que l’ancienne recherche n’a jamais affichés. Nouveaux produits et démarrage à froid en construit un.
  • Consignez ce qu’une meilleure recherche affiche. Une fois la recherche hybride en service chez Larkfield, son journal contiendra les produits des requêtes françaises et mal orthographiées. Les clics de ce journal auront plus de valeur.
  • Testez en ligne. L’entrelacement (interleaving) et les tests A/B comparent les classements avec de vrais clics en contrôlant la position (Tester les changements en ligne).

À vous de jouer : où les clics nuisent-ils le plus?

Section intitulée « À vous de jouer : où les clics nuisent-ils le plus? »

Faites d’abord une prédiction. Par rapport au modèle entraîné sur les jugements, le modèle IPW perd-il davantage sur les requêtes WANDS anglaises ou françaises?

Fenêtre de terminal
search compare ltr ltr-clicks-ipw --by source
La sortie et ce qu’elle montre
ltr-clicks-ipw minus ltr on 241 test queries: ndcg@10 -0.103 (95% interval -0.126 to -0.081); better on 39, worse on 147, the same on 55
source queries ltr ltr-clicks-ipw difference low high worse
code 20 1.000 1.000 0.000 0.000 0.000 0
planted 3 0.571 0.544 -0.027 -0.158 0.156 2
translated 59 0.474 0.287 -0.186 -0.244 -0.130 41
typo 40 0.615 0.540 -0.075 -0.120 -0.026 28
wands 119 0.729 0.638 -0.091 -0.117 -0.067 76

Il perd partout, surtout en français : −0,186. La recherche actuelle n’a rien affiché pour 94,3 % des recherches françaises, ni pour aucune requête d’entraînement française. Les étiquettes de clics n’ont donc rien appris au modèle sur le français. Le modèle entraîné sur les jugements a appris à se fier au score BM25 des titres français. Le modèle de clics n’a aucun exemple français pour l’apprendre. Sur les vraies requêtes anglaises, il perd −0,091 : la popularité n’est pas la pertinence pour une requête précise.

Erreur courante

Classement par taux de clics

Symptôme : Hana demande un gain rapide : « Triez les résultats de chaque requête par leur taux de clics dans le journal. » Tomás le construit. Les produits en haut restent en haut. Les nouveaux produits et les meilleurs ne montent jamais.

Cause : le taux de clics mélange pertinence et position. Dans le journal synthétique de Larkfield, les gens cliquent sur un produit partiel à la position 1 24,0 % du temps. Ils cliquent sur un produit exact à la position 3 seulement 21,5 % du temps, et à la position 5, 13,1 %. Trier par taux de clics brut récompense la position que chaque produit avait déjà. La page affiche alors les mêmes produits en haut, ils recueillent plus de clics, et la boucle se referme. On appelle parfois cette boucle de rétroaction « les riches s’enrichissent ».

Correction : ne classez jamais par clics bruts. Corrigez la position avec un modèle de clics (IPW). Utilisez les clics comme une variable parmi plusieurs. Donnez aux produits jamais affichés une chance d’être vus.

Conséquence pour le travail en recherche : un classement entraîné sur ses propres clics apprend ses propres choix passés. Sans correction ni exploration, il ne peut jamais découvrir qu’il avait tort.

Utilisez les clics quand vous en avez beaucoup, issus d’une recherche qui affiche une gamme variée de produits. Ils coûtent peu cher et viennent de vraies personnes. Un modèle de clics est la première étape. Estimez examine(k) à partir de votre journal (produits exacts ou court test aléatoire). Puis pondérez chaque clic par son inverse.

N’utilisez pas les clics comme étiquettes quand l’ancienne recherche cachait la plupart des bons produits, comme chez Larkfield. Elle donnait 30,9 % de pages vides, sans français ni fautes d’orthographe. Le journal enseigne alors surtout les choix de l’ancienne recherche. Sur les requêtes de test de Larkfield, les clics comme étiquettes donnent 0,565 contre 0,668 avec les jugements, avec ou sans correction.

Rappelez-vous aussi que les clics de Larkfield sont synthétiques : un modèle de clics les a créés avec des nombres choisis par nous. Les vrais clics sont plus bruités. Les gens cliquent aussi selon le prix, les images et leur curiosité. La forme d’examine(k) varie aussi d’un magasin à l’autre. La méthode reste la même.

Les systèmes de recommandation rencontrent le même problème : ils apprennent de ce qu’ils ont affiché auparavant (un cours sur la recommandation est prévu). Les corrections appartiennent à la même famille : corriger l’exposition et explorer.

Vérifiez votre compréhension

Avec examine(k) = 1/k, un produit exact au rang 5 a une probabilité de clic de 0,65 lorsqu'il est regardé. Quelle est sa probabilité de clic? Et celle d'un produit non pertinent au rang 1 (0,05)?

Afficher la réponse

Exact au rang 5 : (1/5) × 0,65 = 0,13. Non pertinent au rang 1 : 1 × 0,05 = 0,05. Le rang réduit les clics du produit exact au cinquième. Mais il reçoit encore plus de clics qu’un produit non pertinent en tête. Un produit partiel en tête (0,25) le dépasserait.

Vérifiez votre compréhension

Le produit P a été affiché 10 fois au rang 2 et a reçu deux clics. Le produit Q a été affiché 10 fois au rang 1 et a reçu trois clics. Avec examine(k) = 1/k, lequel a l'étiquette IPW la plus élevée?

Afficher la réponse

P : (2 ÷ 10) ÷ 0,5 = 0,4. Q : (3 ÷ 10) ÷ 1 = 0,3. P a l’étiquette IPW la plus élevée : il a reçu presque autant de clics avec la moitié de l’attention.

Vérifiez votre compréhension

La correction IPW retrouve examine(k) presque parfaitement. Pourtant, ltr-clicks-ipw obtient le même score de 0,565 que ltr-clicks. Expliquez pourquoi en deux phrases.

Afficher la réponse

IPW corrige les clics des produits affichés à un rang inférieur. Mais la plupart des bons produits n’ont jamais été affichés : seulement 483 des 3 893 candidats exacts d’entraînement l’ont été. Aucun ne l’a été pour les requêtes d’entraînement en français, avec des fautes de frappe ou contenant des codes. Un produit jamais affiché n’a aucun clic à corriger. Les étiquettes restent donc erronées, quels que soient les poids.

Récapitulatif

  • Les clics sont gratuits, mais biaisés. Dans le journal synthétique de Larkfield, le premier résultat reçoit un clic dans 44,6 % des cas et le dixième, dans 4,1 % : c’est le biais de position.
  • Un modèle de clics décompose un clic en deux éléments : regarder, examine(k), et apprécier. Pour les produits exacts, le journal donne examine(k) = 1, 0,52, 0,335 … 0,098; la règle utilisée était 1/k.
  • La pondération par l’inverse de la propension divise chaque clic par examine(k) à son rang.
  • Entraîné sur les clics, LambdaMART obtient 0,565 sur les requêtes de test de Larkfield, avec ou sans IPW. C’est moins que la recherche hybride (0,621) et les jugements (0,668).
  • La raison est le biais de sélection : seuls 483 des 3 893 candidats exacts d’entraînement ont été affichés. Aucun ne l’a été pour les requêtes en français, avec des fautes de frappe ou contenant des codes. Un modèle de clics est nécessaire, mais ne suffit pas.

Ce module a reclassé le haut de la liste. Le module 7 aborde ce que les gens voient d’abord : les suggestions pendant la saisie, les filtres, les pages vides et les règles d’affaires que Hana souhaite.

Leçon suivante : Saisie semi-automatique