Aller au contenu
English

Règles d'affaires et reclassement

  • Leçon 22
  • 40 min
  • Module 7 : Deux étapes : les candidats et le classement

Où nous en sommes

Notre modèle de classement ordonne les candidats selon l'intérêt prédit. Le magasin a aussi ses règles : stock, limites d'âge, marges et variété. Dans cette leçon, nous ajoutons des règles d'affaires et de la diversité. Nous mesurons aussi le coût de chaque règle.

Leçon 22 sur 29 · Recommandation et personnalisation : montrer à chacun ce qui compteRègles d'affaires et reclassement
Aperçu du cours

5. La factorisation matricielle pour la rétroaction implicite

  1. Goûts cachés
  2. ALS et BPR avec implicit
  3. Régler sans vous tromper vous-même

Ce que vous saurez faire

Rendez les listes du modèle de classement sûres et pertinentes à afficher. Retirez les produits que le magasin ne doit pas suggérer, gardez une liste variée et remplissez les cases vides. Mesurez ce que chaque règle coûte en rappel et qui en paie le prix.

Carnet JupyterFaites cette leçon dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter examine la liste des produits populaires depuis le début et repère ceux qu’un magasin ne devrait pas afficher. Il applique les règles de stock, d’alcool et de produits de santé sensibles à une liste pour chaque client de test. Vous écrivez la règle qui retire les produits qu’un client a déjà achetés. Le carnet mesure ensuite ce que chaque règle coûte en rappel. Ses cellules de préparation téléchargent environ 7 Mo de données d’exercice. Environ 20 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 40 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur (seulement pour les étapes du projet)

  • Votre projet larkfield-recs avec les fichiers de la dernière leçon : recs evaluate two-stage fonctionne.

Testé sur macOS avec Python 3.12 et LightGBM 4.7.0. Les commandes Windows (PowerShell) et Linux n’ont pas été exécutées.

Une bonne vendeuse ne connaît pas seulement les goûts. Elle connaît les règles du magasin et fait preuve de bon sens :

  • Elle ne suggère pas un produit en rupture de stock.
  • Elle n’offre pas de vin à une personne qui pourrait être trop jeune.
  • Elle ne suggère pas un deuxième divan à une personne qui en a acheté un le mois dernier.
  • Elle ne présente jamais un test de grossesse devant la famille du client.
  • Elle ne remplit pas le comptoir de cinq lampes presque identiques.

Le modèle de classement de la dernière leçon ne sait rien de tout cela. Il a appris ce que les clients commandent. Il n’a pas appris ce que le magasin peut afficher.

Le problème : la liste aux meilleurs scores n’est pas une liste qu’on peut afficher

Section intitulée « Le problème : la liste aux meilleurs scores n’est pas une liste qu’on peut afficher »

Nous avons examiné les listes en deux étapes des 2 118 clients de test, avant toute règle :

Contenu des listes du modèle de classement en deux étapes avant toute règle, durant la période de test de Larkfield. Un tiers des listes suggèrent un produit que le client a déjà acheté.
Description textuelle du graphique

Un graphique à points avec quatre lignes. 35,2 % des listes contiennent un produit que le client a déjà acheté (un produit qu’on ne rachète pas). 5,7 % de toutes les cases des listes affichent un produit en rupture de stock. 5,7 % des cases affichent un produit de santé sensible. 0,8 % des cases affichent de l’alcool.

Chaque problème a une cause :

  • Déjà acheté : 35 % des listes. La principale variable du modèle de classement est le « nombre de jours depuis la dernière interaction du client avec le produit ». Un produit acheté le mois dernier est très récent.
  • En rupture de stock : 5,7 % des cases. La plupart affichent le Oak Timber Swing Seat. Il est au rang 4 des tendances. Son indicateur de stock signale une rupture depuis le 15 juin. Nous avons créé ce problème d’exercice volontairement.
  • Sensible : 5,7 % des cases. Larkfield vend des aides à la mobilité, des produits pour l’incontinence, la grossesse et la fertilité. Les gens rachètent régulièrement les produits pour l’incontinence. Ils sont donc populaires : au rang 4 de la liste des produits populaires depuis le début.
  • Alcool : 0,8 % des cases. Larkfield vend du vin et des spiritueux sans connaître l’âge du client.

Voici une vraie liste pour le client C100142, un client fidèle :

Case Produit Sous-catégorie Problème
1 Green Waterproof Chair Protector Continence care sensible
2 Lumi Green Nordic Coffee Table Garden tables
3 Bramble Terracotta Mosaic Side Table Garden tables
4 Red Wooden Pull-Along Train Toys and games
5 Bramble White Rustic Single Wardrobe Wardrobes
6 Modern White MDF 3-Drawer Chest Chests of drawers
7 Blush Pink Hopscotch Mat Outdoor play rupture de stock, déjà acheté
8 Blush Pink Felt Finger Puppets Toys and games rupture de stock
9 Black Rustic Wooden Planter Box Pots and planters
10 Terracotta Linen Roman-Style Curtains Curtains

La première suggestion est un produit pour l’incontinence. Sur une page d’accueil partagée par une famille ou dans un courriel hebdomadaire, cela pose un problème de vie privée. Les produits des cases 7 et 8 ne peuvent pas être commandés.

L’idée : des règles après le modèle de classement

Section intitulée « L’idée : des règles après le modèle de classement »

Nous gardons le modèle de classement tel quel et ajoutons une dernière étape. Elle comporte deux types de règles.

Filtres : retirer ce que le magasin ne doit pas afficher

Section intitulée « Filtres : retirer ce que le magasin ne doit pas afficher »

Un filtre retire un produit d’une liste. Certains filtres sont les mêmes pour chaque client :

  • en rupture de stock aujourd’hui;
  • soumis à une limite d’âge (vin et spiritueux);
  • produits de santé sensibles;
  • marge inférieure au minimum de Hana (la part du prix que le magasin garde).

Un filtre dépend du client : déjà acheté. Il retire un produit que le client a déjà commandé, sauf si les gens le rachètent. Le fichier des produits indique lesquels sont rachetés : compost, nourriture pour animaux, produits pour l’incontinence. Un divan s’achète une seule fois.

Une liste de cinq lampes presque identiques est une mauvaise liste, même si chaque lampe a un score élevé. Le reclassement change l’ordre pour varier davantage la liste. C’est la diversité, que vous avez mesurée dans Au-delà de l’exactitude.

Une méthode connue est la pertinence marginale maximale (MMR). Elle construit la liste une case à la fois. Chaque fois, elle prend le produit qui obtient la meilleure valeur selon cette formule :

valeur = 0,5 × score − 0,5 × (plus grande similarité avec un produit déjà dans la liste)

Les coefficients 0,5 et 0,5 fixent l’équilibre entre pertinence et variété.

Quatre candidats (un petit exemple que nous avons créé). La similarité entre deux lampes est de 0,9; entre une lampe et le tapis, de 0,1.

Candidat Score Case 1 : 0,5 × score Case 2 : 0,5 × score − 0,5 × similarité avec la lampe A
Lampe A 0,90 0,450 (choisie)
Lampe B 0,85 0,425 0,425 − 0,450 = −0,025
Lampe C 0,80 0,400 0,400 − 0,450 = −0,050
Tapis 0,70 0,350 0,350 − 0,050 = 0,300

La lampe A occupe la case 1. Pour la case 2, le tapis gagne, même si son score est le plus faible. Les lampes B et C ressemblent trop à la lampe A.

Le projet utilise une règle plus simple avec le même objectif : au plus 3 produits d’une même sous-catégorie par liste. Elle est facile à expliquer à Hana et ne nécessite aucune similarité.

Cinq étapes de gauche à droite. Les 50 premiers produits du modèle de classement. Retirer les produits interdits dans toute liste : rupture de stock, alcool, santé sensible, marge sous le minimum. Retirer les produits que ce client a déjà achetés, sauf ceux qu'on rachète. Garder au plus 3 produits d'une même sous-catégorie. Garder les 10 premiers. Remplir les cases vides avec les tendances, selon les mêmes règles.
Comment le projet applique les règles à la liste de chaque client. Il part de 50 produits pour pouvoir remplacer ceux qui sont retirés.
Description textuelle du diagramme

Étape 1 : prendre les 50 premiers produits du modèle de classement, pas 10. Étape 2 : retirer les produits interdits dans toute liste : rupture de stock, alcool, produits de santé sensibles et marge sous le minimum. Étape 3 : retirer les produits que ce client a déjà achetés, sauf ceux qu’on rachète. Étape 4 : garder au plus 3 produits d’une même sous-catégorie. Étape 5 : garder les 10 premiers. S’il en reste moins de 10, remplir les cases vides avec la liste des tendances, selon les mêmes règles.

Les règles partent de 50 produits pour une raison. Si nous limitons d’abord la liste à 10, puis retirons trois produits, il en reste sept. Avec 50, les prochains bons produits remontent.

Pour C100142, les règles retirent le produit pour l’incontinence (sensible), le tapis de marelle (rupture de stock et déjà acheté) et les marionnettes à doigts (rupture de stock). Sept produits remontent. Trois viennent des cases 11 et suivantes de la liste du modèle de classement : Dockside Oak Metal Wall Shelf, Hollow Farm Black Barn-Door Bedside Cabinet, Black Classic Wooden Kids' Wardrobe.

recs rules mesure chaque règle seule, puis toutes les règles ensemble, sur les mêmes listes :

Recall@10 des listes en deux étapes avec chaque règle seule et toutes les règles, durant la période de test de Larkfield (2 118 clients). Une règle augmente le rappel; toutes les règles ensemble coûtent 0,019.
Description textuelle du graphique

Un graphique à points avec une ligne au niveau du rappel sans règles, 0,234. retirer les ruptures de stock : 0,236; au plus 3 par sous-catégorie : 0,231; marge d'au moins 12 % : 0,230; retirer l'alcool : 0,229; retirer la santé sensible : 0,229; retirer les produits déjà achetés : 0,224; toutes les règles (sans marge minimale) : 0,215. La marge minimale est une suggestion de Hana et ne fait pas partie de « toutes les règles ».

Toutes les règles ensemble coûtent 0,019 de rappel à 10 (recall@10) : de 0,234 à 0,215 (intervalle à 95 % de 0,199 à 0,231). Elles changent 90 % des listes. La couverture passe de 29,5 % à 26,1 %.

Retirer les produits en rupture de stock augmente le rappel, de 0,234 à 0,236. L’indicateur de stock signale que la balançoire est en rupture depuis le 15 juin. Notre journal synthétique contient encore quelques commandes de ce produit durant la période de test. Voyez-les comme des commandes en souffrance que le magasin ne peut pas envoyer rapidement. Sa case revient à un produit que davantage de clients peuvent acheter maintenant. Presque toutes les listes qui l’affichaient gaspillaient donc une case.

Les règles n’ont pas le même coût pour chaque segment :

Segment Sans règles Toutes les règles Listes contenant un produit déjà acheté (sans règles)
Nouveau 0,198 0,195 0,0 %
Occasionnel 0,268 0,248 42,8 %
Fidèle 0,258 0,217 83,3 %

Les clients fidèles paient le plus : −0,041. 83 % de leurs listes contenaient un produit déjà acheté. La règle « déjà acheté » seule fait passer leur rappel de 0,258 à 0,230. Les nouveaux clients n’ont rien acheté, donc cette règle ne les touche pas.

Pourquoi cette règle coûte-t-elle du rappel? Parce que certains clients commandent bel et bien le même produit de nouveau. Le client C106777 a commandé deux fois la même housse de couette. La mesure hors ligne compte cette commande comme un succès. Mais une liste remplie de choses qu’on possède déjà agace aussi les gens, et le rappel ne le voit pas. Hana et Rafael ont décidé que la règle vaut son coût. Le test en ligne simulé dans Tests en ligne et garde-fous examine l’autre côté : les retours et les désabonnements.

En moyenne, les règles coûtent du rappel. Pour un client donné, elles peuvent aider. Dans la dernière leçon, les deux produits commandés par C106777 occupaient les cases 11 et 15. Ils étaient derrière deux vins, un panier de rangement et une housse de couette. Les règles retirent les vins (alcool), le panier (rupture de stock et déjà acheté) et la housse de couette (déjà achetée). La table d’appoint et les gants entrent dans la liste. Le rappel de ce client passe de 0,000 à 0,667.

Remarquez la règle d’âge ici. Ce client a commandé du vin deux fois. Un magasin qui vérifie l’âge au paiement pourrait autoriser le vin pour les clients qu’il sait adultes. Une règle générale est sûre, mais elle a un prix.

Quand utiliser des règles, quand les éviter et ce qu’elles coûtent

Section intitulée « Quand utiliser des règles, quand les éviter et ce qu’elles coûtent »

Utilisez des règles pour ce que le modèle ne peut pas savoir ou ne doit pas décider. Cela comprend le stock actuel, la loi (âge), la vie privée (produits sensibles) et les choix d’affaires (marge, variété). Gardez-les dans un seul fichier que Hana et Rafael peuvent lire : le fichier rules.toml du projet.

N’utilisez pas une règle pour corriger un problème que les données ou le modèle peuvent corriger. Les manteaux d’hiver en juillet en sont un exemple : la variable de saison du modèle de classement les fait déjà descendre. Une règle par saison finirait par créer une liste que personne ne comprend. Et ne jugez pas une règle de vie privée uniquement par le rappel.

Coût : 0,234 → 0,215 de recall@10 durant la période de test de Larkfield, et couverture 29,5 % → 26,1 %. Les règles elles-mêmes prennent très peu de temps.

Certains magasins ajoutent des règles d’équité. Par exemple, une part minimale des cases réservée aux nouveaux produits ou aux petits fournisseurs. La case réservée à la nouvelle gamme dans Démarrage à froid est une règle de ce type. Mesurez ces règles comme nous avons mesuré celles-ci : seules, puis ensemble, et par segment.

  1. Ouvrez le carnet depuis l’encadré Faites cette leçon dans un carnet Jupyter en haut de cette page. Exécutez les cellules de préparation.

  2. Exécutez la section 1. Elle repère les produits en rupture de stock, sensibles ou soumis à une limite d’âge parmi les 10 produits populaires depuis le début.

  3. Dans la section 2, écrivez la règle « déjà acheté ». La vérification affiche Check passed (vérification réussie).

  4. Exécutez la section 3. Elle mesure le recall@10 avec chaque règle.

  5. Dans un terminal, ouvrez votre dossier larkfield-recs avec l’environnement virtuel actif, puis copiez les fichiers de règles. Les deux derniers remplacent des fichiers existants : ils ajoutent --rules à recs evaluate.

    Fenêtre de terminal
    S=../nextia-learning-labs/C37/snapshots/end-of-m07
    cp $S/rules.toml .
    cp $S/larkfield_recs/rules.py larkfield_recs/
    cp $S/larkfield_recs/commands/rules.py larkfield_recs/commands/
    cp $S/larkfield_recs/harness.py larkfield_recs/
    cp $S/larkfield_recs/commands/evaluate.py larkfield_recs/commands/
  6. Ouvrez rules.toml. Chaque règle occupe une ligne que Hana peut modifier :

    [rules]
    remove_out_of_stock = true # no stock today (the stock file is from 2026-06-15; not applied before that day)
    remove_age_restricted = true # wine and spirits: we do not know the customer's age
    remove_already_bought = true # bought before, unless it is a product people buy again (compost, pet food ...)
    remove_sensitive = true # health products that a shared family email could reveal
    min_margin = 0.0 # Hana: products with a lower margin are not suggested (0.12 = 12%)
    max_per_subcategory = 3 # diversity: at most this many products of one subcategory in a list
  7. Mesurez chaque règle. Cela prend environ 20 secondes; ajoutez --quick pour un échantillon de 1 000 clients.

    Fenêtre de terminal
    recs rules two-stage
    two-stage, test period, 2,118 customers
    lists recall@10 NDCG@10 coverage diversity changed out of stock sensitive alcohol
    no rules 0.234 0.156 29.5% 0.93 0% 5.7% 5.7% 0.8%
    only remove_out_of_stock = True 0.236 0.158 28.7% 0.93 54% 0.0% 5.7% 0.8%
    only remove_age_restricted = True 0.229 0.152 28.9% 0.93 5% 5.7% 5.7% 0.0%
    only remove_already_bought = True 0.224 0.151 28.3% 0.93 35% 5.8% 6.1% 0.9%
    only remove_sensitive = True 0.229 0.152 29.2% 0.92 54% 5.7% 0.0% 0.8%
    only max_per_subcategory = 3 0.231 0.155 28.9% 0.94 9% 5.7% 5.8% 0.8%
    all rules 0.215 0.143 26.1% 0.93 90% 0.0% 0.0% 0.0%
  8. Évaluez le système de recommandation en deux étapes avec toutes les règles :

    Fenêtre de terminal
    recs evaluate two-stage --rules --by segment
    Method two-stage (candidates from 5 sources, then a LightGBM LambdaMART ranker), test period, rules: max_per_subcategory, min_margin, remove_age_restricted, remove_already_bought, remove_out_of_stock, remove_sensitive
    Customers scored: 2,118; trained on events before 2026-06-22
    recall@10 0.215 (95% interval 0.199 to 0.231), NDCG@10 0.143, MAP@10 0.109, precision@10 0.033, hit rate 28.6%
    coverage 26.1% of the products on sale, novelty 5.86 bits, diversity 0.93, new products in the lists 28.2%
    time: fit 11.6 s, suggestions 4.4 s
    segment customers recall@10 NDCG@10 95% interval (recall)
    new 952 0.195 0.132 0.171 to 0.218
    occasional 556 0.248 0.162 0.217 to 0.285
    loyal 610 0.217 0.144 0.189 to 0.247
    new products: 647 orders of new products in the period; recall@10 on them 0.334
  9. Comparez les listes avec et sans règles pour les mêmes clients :

    Fenêtre de terminal
    recs compare two-stage two-stage+rules --by segment
    recall@10: two-stage 0.234, two-stage+rules 0.215
    difference -0.018 (95% interval -0.028 to -0.010); better for 67 customers, worse for 112, the same for 1,939
    The difference is clear: the interval does not include 0.
    coverage 29.5% -> 26.1%; novelty 5.68 -> 5.86
    new 952 customers -0.003 (-0.013 to +0.006)
    occasional 556 customers -0.020 (-0.036 to -0.005)
    loyal 610 customers -0.041 (-0.063 to -0.019)

    La différence exacte est de −0,018. Le 0,019 ci-dessus correspond à 0,234 − 0,215, à partir de nombres arrondis.

Hana ne veut aucune suggestion dont la marge est inférieure à 12 %. Avant de lancer le calcul, faites une prédiction : combien de listes changeront, et combien cela coûtera-t-il en rappel?

Fenêtre de terminal
recs rules two-stage --set min_margin=0.12
Afficher la réponse

Deux lignes du tableau changent :

only min_margin = 0.12 0.230 0.155 27.7% 0.93 63% 5.8% 5.9% 0.8%
all rules 0.214 0.143 24.9% 0.93 95% 0.0% 0.0% 0.0%

La marge minimale change 63 % des listes, mais coûte seulement 0,004 de recall@10 (0,234 → 0,230). Les produits à faible marge sont courants dans les listes, et de bons produits peuvent les remplacer. Avec toutes les règles, elle coûte 0,001 de plus, et la couverture tombe à 24,9 %.

Le rappel ne peut pas dire si ce minimum vaut son coût. Le magasin garde plus d’argent sur chaque vente, mais affiche moins de types de produits. C’est une question pour la mesure en ligne d’Omar, le revenu supplémentaire par visite, dans le module 8.

Erreur courante

Règles appliquées après avoir limité la liste à 10

Symptôme : après les règles, certaines listes de clients contiennent sept produits, et quelques-unes en contiennent quatre.

Cause : le code a pris les 10 premiers produits du modèle de classement, puis en a retiré. Rien ne les a remplacés.

Diagnostic : comptez les produits de chaque liste après les règles. Les cases vides apparaissent sous forme d’identifiants manquants.

Correction : appliquez les règles à une liste plus longue (le projet utilise 50 produits), puis gardez les 10 premiers. Remplissez les cases restantes avec une liste de repli qui respecte les mêmes règles.

Erreur courante

Une règle de vie privée jugée par le rappel

Symptôme : Tomás veut abandonner la règle des produits sensibles. « Elle coûte 0,005 de rappel, et les clients achètent bel et bien des produits pour l’incontinence. »

Cause : le rappel mesure les commandes, pas les préjudices. Un produit pour l’incontinence sur un ordinateur familial partagé révèle des renseignements sur la santé d’une personne. C’est aussi le cas dans un courriel que toute la famille lit. Rafael a des clients qui partagent une adresse courriel.

Diagnostic : demandez ce que coûte une mauvaise suggestion, pas seulement ce que rapporte une bonne suggestion.

Correction : gardez la règle. Les produits sensibles restent accessibles par la recherche et peuvent être affichés sur leurs propres pages produit. Vie privée et suggestions sensibles ajoute la règle de courriel pour les boîtes de réception partagées.

Vérifiez votre compréhension

Pourquoi le projet applique-t-il les règles aux 50 premiers produits du modèle de classement, plutôt qu'aux 10 premiers?

Afficher la réponse

Les règles retirent des produits. Si elles partaient de 10 produits, chaque retrait laisserait une case vide. Avec 50 produits, les suivants remontent dans le classement. La liste reste donc remplie de produits que le modèle privilégie. La solution de repli basée sur les tendances complète la liste seulement s’il reste moins de 10 produits.

Vérifiez votre compréhension

Retirer les produits en rupture de stock a fait passer le recall@10 de 0,234 à 0,236. Retirer l'alcool l'a réduit à 0,229. Expliquez la différence.

Afficher la réponse

L’indicateur de stock indique que le siège de balançoire est en rupture de stock. Il est donc rarement commandé pendant la période de test. Ses quelques commandes pendant cette période sont des commandes en souffrance. Sa case dans une liste ne produit presque jamais de succès. Donner cette case à un autre produit aide donc. L’alcool est offert à la vente, et certains clients en ont commandé pendant la période de test. Le retirer de leurs listes élimine certains succès.

Vérifiez votre compréhension

Avec au plus 2 produits par sous-catégorie plutôt que 3, le recall@10 passe de 0,231 à 0,224. La diversité passe de 0,94 à 0,96. Qui devrait choisir le plafond à utiliser?

Afficher la réponse

L’équipe mesure; les responsables d’affaires décident. Priya montre le coût (0,007 de rappel) et le gain (des listes plus variées). Hana, responsable des règles, et Omar, responsable de la mesure d’affaires, choisissent. Un test en ligne peut montrer si les clients cliquent et achètent davantage avec des listes plus variées.

Récapitulatif

  • Le modèle de classement apprend ce que les clients commandent, pas ce que le magasin peut montrer. Sans règles, 35 % des listes de Larkfield contiennent un produit déjà acheté. De plus, 5,7 % des cases montrent un produit de santé sensible.
  • Les filtres retirent des produits : en rupture de stock, alcool, sensibles, à faible marge ou déjà achetés (sauf les achats répétés). Le reclassement garde la liste variée : pertinence marginale maximale, ou plafond du projet de 3 produits par sous-catégorie.
  • Appliquez les règles à une longue liste (50), puis limitez-la à 10 produits. Complétez-la ensuite avec une solution de repli qui applique les mêmes règles.
  • L’ensemble des règles coûte 0,019 de recall@10 (0,234 → 0,215) et modifie 90 % des listes. Les clients fidèles subissent la plus grande perte. La règle de rupture de stock, à elle seule, augmente le rappel.
  • Gardez les règles dans un seul fichier dont les responsables d’affaires ont la responsabilité. Ne jugez pas une règle de confidentialité selon le rappel.

Notre système utilise tout l’historique d’un client. Parfois, nous connaissons seulement la visite en cours. Ensuite, nous essayons des suggestions simples basées sur la session. Nous voyons aussi ce qu’un LLM apporte au reclassement et aux explications, et ce qu’il coûte.

Leçon suivante : Sessions, séquences et LLM, en bref