Surveiller et réentraîner
- Leçon 28
- 40 min
- Module 9 : L'exploiter en production
Où nous en sommes
Dans la dernière leçon, nous avons servi des suggestions en lot chaque nuit, avec une solution de repli qui répond toujours. Mais le magasin change chaque semaine : nouveaux produits, nouvelle saison, nouveaux clients. Dans cette leçon, nous surveillons le système de recommandation chaque semaine et par segment. Nous voyons ce que perd un modèle jamais réentraîné. Puis nous comparons un nouveau modèle au modèle actuel avant sa mise en production.
Leçon 28 sur 29 · Recommandation et personnalisation : montrer à chacun ce qui compteSurveiller et réentraîner
1. Le problème de la recommandation
2. Les données, la rétroaction implicite et un découpage honnête
3. Mesurer les recommandations hors ligne
4. Les voisins et le filtrage collaboratif
5. La factorisation matricielle pour la rétroaction implicite
6. Le contenu, les hybrides et le démarrage à froid
7. Deux étapes : les candidats et le classement
8. Des scores hors ligne au vrai magasin
9. L'exploiter en production
Ce que vous saurez faire
Surveillez un système de recommandation en service chaque semaine, pour chaque type de client. Décidez à quelle fréquence le réentraîner. Vérifiez qu’un modèle réentraîné est vraiment meilleur avant qu’il remplace le modèle actuel.
Carnet JupyterFaites cette leçon dans un carnet Jupyter
Le carnet (notebook) Jupyter mesure une liste de tendances sur les huit dernières semaines du journal, par segment. Il compare une liste recalculée chaque semaine à une liste calculée une seule fois. Vous calculez le coût de la liste désuète. Puis vous appliquez une règle simple de mise en production. Les cellules de préparation téléchargent environ 7 Mo. Environ 15 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Le service en lot et la solution de repli, dans En lot ou en temps réel.
- Les segments de clients (nouveaux, occasionnels, fidèles) et la couverture, dans Évaluer par segment et Au-delà de l’exactitude.
- ALS, dans ALS et BPR avec implicit.
Ce qu’il vous faut sur votre ordinateur (seulement pour les étapes du projet)
- Votre projet
larkfield-recsaprès la dernière leçon, avec son environnement virtuel actif. - Les fichiers d’exercice dans
../nextia-learning-labs, à côté du dossier du projet. Vous copiez un fichier de son instantanéend-of-m09.
Testé sur macOS avec Python 3.12. Les commandes Windows (PowerShell) n’ont pas été exécutées.
Une vendeuse qui a cessé d’apprendre
Section intitulée « Une vendeuse qui a cessé d’apprendre »Pensez à la bonne vendeuse du début de ce cours. En janvier, elle a appris ce que chaque client régulier aime. Des manteaux d’hiver pour l’un, de la nourriture pour oiseaux pour l’autre. Ses suggestions étaient excellentes.
Puis elle a cessé de prêter attention. Nous sommes maintenant en juin. Elle suggère encore des manteaux d’hiver. Elle n’a jamais entendu parler de la nouvelle gamme d’été. Elle ne connaît pas non plus les clients venus pour la première fois au printemps. Elle les traite donc tous de la même façon.
Rien de spectaculaire ne s’est produit. Elle reste polie, rapide et présente au travail chaque jour. Ses suggestions sont simplement devenues un peu moins bonnes chaque semaine. La gestionnaire ne le remarque que si elle vérifie chaque lundi combien de suggestions les clients ont suivies, réguliers comme nouveaux.
Le problème : un modèle qui se dégrade sans bruit
Section intitulée « Le problème : un modèle qui se dégrade sans bruit »Le système de recommandation de Larkfield peut faire la même chose. Voici un exemple réel tiré des mesures du cours. Un modèle ALS a été entraîné sur tous les événements avant le 11 mai 2026. Puis il n’a jamais été réentraîné.
- Le service répond toujours en moins d’une milliseconde.
/healthindique toujours"status":"ok"(statut : correct).- Aucun journal ne contient d’erreur.
Mais le rappel à 10 (recall@10) du modèle est passé de 0,131 la semaine du 11 mai à 0,093 celle du 29 juin. C’est environ 29 % de moins. Pendant ces mêmes semaines, ses listes ne contenaient presque aucun produit de la nouvelle gamme d’été : 0,1 % des cases ou moins. Rien n’a planté. Les suggestions se sont simplement dégradées.
Une panne vous indique que quelque chose ne va pas. Une baisse lente ne le fait pas. Vous ne la voyez que si vous la mesurez.
L’idée : surveillance, calendrier de réentraînement et vérification avant mise en production
Section intitulée « L’idée : surveillance, calendrier de réentraînement et vérification avant mise en production »La surveillance consiste à mesurer régulièrement le système en service et à comparer chaque nombre à vos attentes. Un modèle qui n’a pas été entraîné sur des données récentes est désuet, comme du pain rassis.
Le monde derrière les données change : saisons, nouveaux produits, nouveaux clients. C’est ce qu’on appelle la dérive. Le cours MLOps et LLMOps : exploiter l’IA en production l’explique dans Dérive des données et dérive conceptuelle. Pour un système de recommandation, la réponse habituelle est simple : réentraîner le modèle sur les données les plus récentes. Suivez un calendrier de réentraînement fixe, par exemple chaque semaine.
Mais un modèle réentraîné peut aussi être moins bon, par exemple après un bogue dans la tâche de nuit. Avant qu’il remplace le modèle actuel, une vérification avant mise en production compare les deux sur les mêmes clients récents. Si le nouveau modèle est moins bon, le modèle actuel reste en place. Conserver les anciens fichiers permet aussi un retour en arrière : revenir au modèle précédent en une étape.
Quoi surveiller
Section intitulée « Quoi surveiller »Larkfield surveille trois groupes de mesures. Ils arrivent à des rythmes différents.
| Groupe | Mesures | Quand vous les connaissez |
|---|---|---|
| État du service | Latence p50 et p95; part des réponses de la solution de repli et raisons; listes vides ou courtes; erreurs | Immédiatement, à chaque requête |
| Qualité des listes | Recall@10 par segment; couverture; part des nouveaux produits dans les listes | Après une semaine : vous devez attendre les commandes |
| Résultats d’affaires | Taux de clics et de commandes par segment; revenu supplémentaire par visite; retours; désabonnements | Après une semaine ou plus, dans les journaux du magasin |
Le deuxième groupe arrive en retard, car le rappel exige de savoir ce que les clients ont commandé. Le cours MLOps et LLMOps : exploiter l’IA en production appelle cela une étiquette tardive, dans Étiquettes tardives.
Le projet de Larkfield mesure les deux premiers groupes. Les taux de clics et de commandes viennent des journaux du magasin, qui consignent ce qui a été vu et fait à chaque visite. Le projet n’a pas de magasin en service. Il dispose seulement des taux simulés dans Tests en ligne et garde-fous.
Pourquoi « par segment »
Section intitulée « Pourquoi « par segment » »Une moyenne peut cacher un groupe qui obtient de mauvais résultats. Voici une semaine construite avec cinq clients :
| Client | Segment | Produits commandés | Parmi eux, dans la liste | Recall@10 |
|---|---|---|---|---|
| A | nouveau | 2 | 1 | 0,50 |
| B | nouveau | 1 | 0 | 0,00 |
| C | fidèle | 1 | 1 | 1,00 |
| D | fidèle | 2 | 0 | 0,00 |
| E | fidèle | 2 | 1 | 0,50 |
La moyenne des cinq est (0,5 + 0 + 1 + 0 + 0,5) ÷ 5 = 0,40. Nouveaux clients seulement : (0,5 + 0) ÷ 2 = 0,25. Clients fidèles : (1 + 0 + 0,5) ÷ 3 = 0,50.
Imaginez maintenant que, la semaine suivante, les clients fidèles restent à 0,50 et les nouveaux tombent à 0. Avec la même répartition de clients, la moyenne baisse seulement à 0,30. Une équipe qui surveille seulement la moyenne voit une petite baisse. Une équipe qui surveille les segments voit que les nouveaux clients ne reçoivent rien d’utile.
Exercice guidé : huit semaines de surveillance
Section intitulée « Exercice guidé : huit semaines de surveillance »recs monitor réexécute les huit dernières semaines du journal, comme si le système de recommandation avait été en service. Pour chaque semaine, il entraîne le modèle sur tous les événements précédant cette semaine (réentraînement hebdomadaire). Puis il mesure les listes à partir des commandes de la semaine. En parallèle, il mesure le modèle de la première semaine, jamais réentraîné (le modèle désuet).
-
Dans votre dossier
larkfield-recs, avec l’environnement virtuel actif, copiez la commande :Fenêtre de terminal S=../nextia-learning-labs/C37/snapshots/end-of-m09cp $S/larkfield_recs/commands/monitor.py larkfield_recs/commands/Fenêtre de terminal $S = "..\nextia-learning-labs\C37\snapshots\end-of-m09"Copy-Item "$S\larkfield_recs\commands\monitor.py" larkfield_recs\commands\ -
Exécutez huit semaines avec ALS. La commande entraîne neuf modèles, ce qui prend environ une demi-minute :
Fenêtre de terminal recs monitor --weeks 8als: retrained every week; 'stale model' = the model of the first week, never retrainedweek from customers recall new occasional loyal coverage new prod. short lists stale model2026-05-11 1,208 0.146 0.118 0.123 31.2% 0.1% 0.0% 0.1312026-05-18 1,215 0.140 0.129 0.138 31.3% 2.7% 0.0% 0.1192026-05-25 1,209 0.213 0.131 0.171 31.3% 2.7% 0.0% 0.1492026-06-01 1,176 0.139 0.133 0.165 31.1% 3.2% 0.0% 0.0952026-06-08 1,151 0.186 0.141 0.172 31.1% 6.0% 0.0% 0.1162026-06-15 1,170 0.155 0.145 0.164 31.2% 6.6% 0.0% 0.0902026-06-22 1,162 0.183 0.127 0.161 31.4% 9.4% 0.0% 0.0932026-06-29 1,111 0.146 0.152 0.138 31.2% 10.2% 0.0% 0.093 -
Lisez les colonnes de gauche à droite :
customers(clients) : les clients qui ont commandé cette semaine-là.recall new,occasional,loyal(rappel des nouveaux, occasionnels et fidèles) : le recall@10 du modèle réentraîné, par segment.coverage(couverture) : la part des produits en vente qui apparaissent dans au moins une liste.new prod.(nouveaux produits) : la part des cases des listes contenant des produits ajoutés dans les 60 derniers jours.short lists(listes courtes) : la part des listes comptant moins de 10 produits.stale model(modèle désuet) : le recall@10 du modèle désuet, pour tous les clients.
Si recs monitor s’arrête avec invalid choice: 'monitor' (choix non valide : monitor), lisez la première erreur fréquente ci-dessous.
Lire le tableau de bord
Section intitulée « Lire le tableau de bord »Un tableau de bord est une page de graphiques qu’une équipe consulte régulièrement. Voici les deux premiers graphiques de Larkfield, tirés de la même exécution.
- nouveaux
- occasionnels
- fidèles
Description textuelle du graphique
Un graphique en courbes sur huit semaines, du 11 mai 2026 (semaine 1) au 29 juin (semaine 8). L’axe vertical représente le recall@10, de 0 à 0,25. Nouveaux clients : 0,146, 0,140, 0,213, 0,139, 0,186, 0,155, 0,183, 0,146. Clients occasionnels : 0,118, 0,129, 0,131, 0,133, 0,141, 0,145, 0,127, 0,152. Clients fidèles : 0,123, 0,138, 0,171, 0,165, 0,172, 0,164, 0,161, 0,138. Chaque segment compte entre 309 et 504 clients par semaine.
Le modèle réentraîné reste stable. Les courbes montent et descendent beaucoup, mais elles ne baissent pas durablement. Chaque segment compte seulement de 309 à 504 clients par semaine. Une hausse comme le 0,213 des nouveaux clients en semaine 3 relève donc surtout du hasard. N’agissez pas sur la base d’une seule semaine.
- réentraîné chaque semaine
- désuet : entraîné une fois, avant le 11 mai
Description textuelle du graphique
Un graphique en courbes sur les mêmes huit semaines. L’axe vertical représente le recall@10 pour tous les clients, de 0 à 0,2. Réentraîné chaque semaine : 0,131, 0,136, 0,175, 0,145, 0,169, 0,155, 0,161, 0,145. Désuet, entraîné une fois avant le 11 mai : 0,131, 0,119, 0,149, 0,095, 0,116, 0,090, 0,093, 0,093. En semaine 1, les deux modèles sont identiques. Dès la semaine 4, le modèle désuet est inférieur de 0,050 à 0,069 chaque semaine.
Ce deuxième graphique est celui qui compte. Les deux courbes sont mesurées sur les mêmes clients pendant la même semaine. Le hasard de la semaine, bonne ou mauvaise, affecte donc les deux courbes de la même façon. L’écart entre elles représente le coût de l’absence de réentraînement. Il augmente vite : dès la semaine 4, le modèle désuet est environ un tiers moins bon.
Qui perd le plus avec un modèle désuet?
Section intitulée « Qui perd le plus avec un modèle désuet? »Le script des graphiques du cours a aussi mesuré le modèle désuet par segment. Ces mesures figurent dans les données du graphique, pas dans la sortie de la commande. Pour la dernière semaine :
| Segment | Clients | Réentraîné | Désuet |
|---|---|---|---|
| Nouveaux | 465 | 0,146 | 0,088 |
| Occasionnels | 312 | 0,152 | 0,088 |
| Fidèles | 334 | 0,138 | 0,105 |
Chaque segment perd. Les nouveaux clients ont perdu le plus pendant six des sept semaines suivant la première. La semaine du 1er juin, leur rappel avec le modèle désuet était seulement de 0,059, contre 0,139 avec le modèle réentraîné. Une raison probable : beaucoup ont fait leur première visite après le 11 mai. Le modèle désuet ne les a jamais vus, comme la vendeuse qui n’a jamais rencontré les clients du printemps.
Les autres colonnes
Section intitulée « Les autres colonnes »Trois colonnes restent stables, et c’est une bonne nouvelle. La couverture reste à environ 31 % chaque semaine. Les listes courtes restent à 0,0 % : chaque client reçoit 10 produits. La vitesse du service ne dépend pas de la semaine. Vous l’avez mesurée dans la dernière leçon : une recherche prend 0,72 ms au p50.
La colonne des nouveaux produits change. La gamme d’été a été lancée le 1er mai. Le modèle réentraîné la montre de plus en plus : 0,1 % des cases la première semaine, 10,2 % la dernière. Le modèle désuet ne l’apprend jamais : 0,1 % ou moins chaque semaine. Une courbe plate serait ici un avertissement, même si le rappel semblait bon.
Comparer avant la mise en production
Section intitulée « Comparer avant la mise en production »Réentraîner chaque semaine ne signifie pas mettre en production chaque semaine sans vérifier. La règle de Larkfield est la vérification avant mise en production dans l’illustration.
Description textuelle du diagramme
L’illustration montre la vérification hebdomadaire avant mise en production de Larkfield. Une nouvelle semaine d’événements arrive. Le modèle est réentraîné sur tous les événements jusqu’ici. Le nouveau modèle et le modèle actuel sont ensuite comparés sur la dernière semaine. La comparaison utilise le rappel par segment, la couverture, les listes courtes et la vitesse. Si le nouveau modèle est aussi bon ou meilleur pour chaque segment, il est mis en production. Les anciens fichiers sont conservés pour que le magasin puisse revenir en arrière. S’il est moins bon pour un segment ou trop lent, le modèle actuel reste en place. Une personne en cherche alors la raison.
Appliquez la règle à la dernière semaine de l’exécution. Le nouveau modèle est celui réentraîné pour la semaine du 29 juin. Le modèle actuel est le modèle désuet :
- Nouveaux clients : 0,146 contre 0,088. Meilleur.
- Clients occasionnels : 0,152 contre 0,088. Meilleur.
- Clients fidèles : 0,138 contre 0,105. Meilleur.
- Couverture de 31,2 %, listes courtes à 0,0 %, vitesse inchangée. Aucun problème.
La règle dit donc : mettre en production. Dans une semaine normale, les deux modèles n’ont qu’une semaine d’écart, et la différence est petite. La règle détecte alors surtout un réentraînement défectueux : un modèle entraîné sur la moitié des données ou sur les mauvaises dates.
La comparaison exige un peu de tolérance. Le bruit d’une semaine à l’autre peut faire paraître un bon modèle légèrement moins bon dans un segment. Une règle pratique permet une petite perte, par exemple 0,01. Le cours MLOps et LLMOps : exploiter l’IA en production construit ces vérifications dans Barrières d’évaluation.
À quelle fréquence réentraîner
Section intitulée « À quelle fréquence réentraîner »Dans cette exécution, le modèle désuet a pris du retard en trois semaines. Réentraîner ALS prend environ 4 secondes, et le traitement nocturne en lot à deux étapes, environ 2 minutes. Au tarif du serveur du cours, cela représente une fraction d’un cent. Le coût de calcul n’est donc pas la limite. Les vrais coûts sont les vérifications et les personnes qui examinent une vérification échouée. Pour Larkfield, un réentraînement hebdomadaire avec vérification avant mise en production est un bon point de départ. Le traitement nocturne en lot utilise alors le modèle mis en production.
À vous : une liste de tendances devient-elle aussi désuète?
Section intitulée « À vous : une liste de tendances devient-elle aussi désuète? »Les tendances sont la solution de repli du service. Elles sont aussi calculées sur les 28 derniers jours et peuvent donc devenir désuètes. Exécutez la même surveillance pour les tendances :
recs monitor --method trending --weeks 8Faites d’abord une prédiction. Une liste de tendances calculée une fois au début de mai perd-elle plus ou moins qu’ALS avant la fin de juin? Qu’arrive-t-il à la colonne new prod.? Puis ouvrez la réponse.
Afficher la réponse
L’exécution de l’équipe du cours (environ une seconde) :
trending: retrained every week; 'stale model' = the model of the first week, never retrainedweek from customers recall new occasional loyal coverage new prod. short lists stale model2026-05-11 1,208 0.155 0.153 0.118 0.3% 0.0% 0.0% 0.1442026-05-18 1,215 0.150 0.184 0.162 0.3% 10.0% 0.0% 0.1442026-05-25 1,209 0.246 0.145 0.189 0.3% 10.0% 0.0% 0.1632026-06-01 1,176 0.148 0.173 0.150 0.3% 20.0% 0.0% 0.0912026-06-08 1,151 0.192 0.157 0.112 0.3% 20.0% 0.0% 0.0902026-06-15 1,170 0.165 0.153 0.156 0.3% 20.0% 0.0% 0.0942026-06-22 1,162 0.198 0.138 0.143 0.3% 30.0% 0.0% 0.0752026-06-29 1,111 0.148 0.191 0.122 0.3% 30.0% 0.0% 0.098La liste de tendances figée commence à 0,144 et descend entre 0,075 et 0,098 à partir de juin. C’est à peu près aussi mauvais que le modèle ALS désuet. La liste de tendances recalculée chaque semaine reste élevée. À la fin, 3 de ses 10 produits sont nouveaux (30 %). La couverture est de 0,3 %, car tout le monde reçoit les mêmes 10 produits.
La solution de repli a donc aussi besoin d’un calendrier. Dans le projet, recs batch écrit un nouveau fallback.json à chaque exécution. Un service dont la tâche de nuit s’est arrêtée il y a plusieurs semaines sert des listes et une solution de repli désuètes.
Quand surveiller quoi, et à quel coût
Section intitulée « Quand surveiller quoi, et à quel coût »- Mesures de l’état du service (vitesse, part de la solution de repli, listes courtes) : surveillez-les en tout temps, avec une alerte. Elles coûtent peu, et tout problème est urgent.
- Qualité par segment (rappel, couverture, nouveaux produits) : mesurez-la chaque semaine, quand les commandes de la semaine sont connues. Comparez le modèle réentraîné et le modèle actuel sur les mêmes clients.
- Mesures d’affaires (taux de clics et de commandes par segment, retours, désabonnements) : consultez-les chaque semaine dans les journaux du magasin et lors des tests en ligne.
Ne déclenchez pas d’alerte sur une seule semaine d’un seul segment : quelques centaines de clients donnent une mesure bruitée. Examinez plusieurs semaines, ou l’écart entre deux modèles évalués sur les mêmes clients.
Les coûts de calcul sont petits, mais les coûts humains sont réels. Quelqu’un doit lire le tableau de bord. Quelqu’un doit décider quoi faire lorsqu’une vérification échoue. Sans cette personne, la surveillance est une page de graphiques que personne n’ouvre.
Erreurs fréquentes
Section intitulée « Erreurs fréquentes »Erreur courante
recs : error : argument COMMAND : invalid choice : 'monitor'
Symptôme : recs monitor affiche :
recs: error: argument COMMAND: invalid choice: 'monitor' (choose from batch, bench, candidates, check, compare, evaluate, explain, info, leakage, llm, loop, matrix, online, rank, reset, rules, serve, session, similar, tune)Cause : larkfield_recs/commands/monitor.py n’est pas encore dans votre projet. Cela se produit dans un projet à la fin de la dernière leçon.
Solution : copiez le fichier comme à l’étape 1, depuis le dossier larkfield-recs.
Erreur courante
« Les nouveaux clients ont baissé d'un tiers : revenons en arrière! »
Symptôme : Tomás lit le rappel du modèle réentraîné pour les nouveaux clients : 0,213 la semaine du 25 mai, 0,139 la suivante. Il veut revenir en arrière.
Cause : un segment sur une semaine ne compte que quelques centaines de clients, donc la mesure varie au hasard. La semaine suivante, elle était revenue à 0,186. Et le modèle désuet, mesuré sur les mêmes clients, était inférieur pendant les deux semaines.
Solution : comparez les deux modèles sur la même semaine et les mêmes clients. Examinez plusieurs semaines avant d’agir.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Le service répond en 0,7 ms et /health indique ok chaque jour. Pourquoi le système de recommandation peut-il quand même échouer?
Afficher la réponse
La vitesse et l’état du service montrent seulement qu’il répond. Ils ne montrent pas si les suggestions sont bonnes. Un modèle désuet répond tout aussi vite. Dans l’exécution de Larkfield, le recall@10 d’un modèle ALS jamais réentraîné est passé de 0,131 à 0,093 en sept semaines. Aucune erreur n’est apparue. Seules les mesures de qualité révèlent ce type d’échec, comme le rappel par segment et la proportion de nouveaux produits.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Pourquoi l'écart entre le modèle réentraîné et le modèle désuet est-il un meilleur signal que le rappel du modèle réentraîné seul?
Afficher la réponse
On évalue les deux modèles sur les mêmes clients pendant la même semaine. Une bonne ou mauvaise semaine fait varier les deux valeurs dans le même sens. L’écart élimine donc la majeure partie de ce bruit. Le résultat du modèle réentraîné seul varie d’une semaine à l’autre (par exemple, 0,175, puis 0,145). L’écart se situait entre 0,050 et 0,069 à partir de la semaine 4. C’est un signal stable montrant que le réentraînement est utile.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Dans votre projet, exécutez recs monitor --method trending --weeks 8. Que montre la colonne new prod. pour la liste réentraînée, et pourquoi est-ce important pour le service?
Afficher la réponse
Elle passe de 0,0 % pendant la semaine du 11 mai à 30,0 % pendant les deux dernières semaines. La liste de tendances réentraînée intègre de nouveaux produits. La liste de tendances désuète ne le fait jamais, et son rappel tombe entre 0,075 et 0,098. C’est important, car les tendances servent de solution de repli au service. Si la tâche de nuit s’arrête, la solution de repli devient aussi désuète. Elle doit donc suivre le même calendrier que le modèle.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- La surveillance mesure le système en fonctionnement de façon répétée. Surveillez trois groupes : l’état du service (immédiatement), la qualité des listes par segment (après une semaine), les résultats d’affaires (tirés des journaux du magasin).
- Un modèle désuet échoue sans signe visible. Le résultat du modèle ALS de Larkfield, jamais réentraîné, est passé de 0,131 à 0,093 en sept semaines. Ses listes contenaient au plus 0,1 % de nouveaux produits; le modèle réentraîné a atteint 10,2 %.
- Comparez les modèles sur les mêmes clients et la même semaine. L’écart (de 0,050 à 0,069 à partir de la semaine 4) est plus stable que la valeur hebdomadaire d’un modèle.
- Une vérification avant mise en production compare le modèle réentraîné au modèle actuel par segment. Elle examine la couverture, les listes courtes et la vitesse. Gardez les anciens fichiers pour revenir en arrière.
- Les résultats d’un segment sur une semaine comportent du bruit : n’agissez pas sur la base d’une seule semaine. La solution de repli a aussi besoin d’un calendrier de réentraînement.
Le système de recommandation est maintenant offert comme service, surveillé et réentraîné. Mais chaque liste repose sur les actions des clients, et ce sont des données personnelles. Ensuite, vous traiterez le cas d’un client qui demande qu’on l’efface, d’un client qui refuse la personnalisation et d’une famille qui partage une boîte de réception.
Leçon suivante : Vie privée et suggestions sensibles