Tests en ligne et garde-fous
- Leçon 25
- 40 min
- Module 8 : Des scores hors ligne au vrai magasin
Où nous en sommes
Dans la dernière leçon, nous avons vu pourquoi les scores hors ligne peuvent tromper. Le journal montre ce que l'ancien site choisissait de montrer. Un test en ligne mesure ce que les clients font avec la nouvelle liste. Dans cette leçon, nous lisons les résultats simulés de tests A/B de trois modèles, avec une mesure principale et des garde-fous. Nous choisissons ensuite le modèle à mettre en production.
Leçon 25 sur 29 · Recommandation et personnalisation : montrer à chacun ce qui compteTests en ligne et garde-fous
1. Le problème de la recommandation
2. Les données, la rétroaction implicite et un découpage honnête
3. Mesurer les recommandations hors ligne
4. Les voisins et le filtrage collaboratif
5. La factorisation matricielle pour la rétroaction implicite
6. Le contenu, les hybrides et le démarrage à froid
7. Deux étapes : les candidats et le classement
8. Des scores hors ligne au vrai magasin
9. L'exploiter en production
Ce que vous saurez faire
Lisez un test en ligne comme Omar. Choisissez à l’avance une mesure principale, quelques garde-fous qui ne doivent pas clairement se dégrader, et une règle de décision. Décidez ensuite laquelle des trois listes de la page d’accueil Larkfield devrait mettre en production.
Carnet JupyterFaites cette leçon dans un carnet
Le carnet (notebook) Jupyter lit le test A/B simulé et calcule la mesure principale et deux garde-fous avec leurs intervalles. Vous comptez les événements derrière chaque garde-fou et leur attribuez un coût selon les hypothèses du cours. Vous estimez ensuite combien de temps le test devrait se poursuivre. Ses cellules de configuration téléchargent moins de 1 Mo. Environ 15 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Le revenu supplémentaire par visite et les trois raisons des écarts entre résultats hors ligne et en ligne, dans Les gains hors ligne ne sont pas des gains en ligne.
- Ce qu’est un intervalle à 95 %, dans Mesures de classement.
Ce qu’il vous faut sur votre ordinateur (seulement pour les étapes du projet)
- Votre projet
larkfield-recsà la fin du module 7, avec son environnement virtuel actif.recs checkafficheSetup check passed.(vérification de la configuration réussie). - Les fichiers d’exercice dans
../nextia-learning-labs, à côté du dossier du projet. Vous copiez un fichier de son instantanéend-of-m08.
Testé sur macOS avec Python 3.12. Les commandes Windows (PowerShell) n’ont pas été exécutées.
Un café essaie un nouveau menu
Section intitulée « Un café essaie un nouveau menu »Imaginez une propriétaire de café qui a un nouveau menu. Elle ne sait pas s’il est meilleur. Pendant deux semaines, elle tire donc à pile ou face pour chaque nouvelle table. Pile, la table reçoit le nouveau menu. Face, elle reçoit l’ancien.
Avant de commencer, elle note un nombre qui décidera : l’argent par table. Elle note aussi deux choses qui ne doivent pas empirer. Les assiettes renvoyées à la cuisine et le temps d’attente pour recevoir les plats. Un menu qui rapporte plus, mais fait attendre les gens une heure, n’est pas un meilleur menu.
Après deux semaines, elle compare les deux groupes de tables. Le tirage a rendu les groupes semblables sur tous les autres plans : mêmes jours, même météo, mêmes types de clients. Une différence entre eux vient donc du menu ou du hasard.
Le problème : un seul nombre ne suffit pas
Section intitulée « Le problème : un seul nombre ne suffit pas »Larkfield pourrait tester les listes de la même façon, mais avec un seul nombre. Voici deux façons dont cette approche échoue :
- Choisir selon les clics. Dans Ce que signifie la réussite, une liste d’offres à bas prix obtenait presque deux fois plus de clics. Elle rapportait moins du tiers de l’argent.
- Choisir selon l’argent seulement. Une liste qui favorise les achats impulsifs peut augmenter le revenu cette semaine. Elle peut aussi doubler les retours ou pousser des familles à se désabonner du courriel après une suggestion embarrassante.
Le magasin a besoin d’un nombre pour décider et de quelques nombres pour le protéger.
L’idée : un test A/B avec une mesure principale et des garde-fous
Section intitulée « L’idée : un test A/B avec une mesure principale et des garde-fous »Un test en ligne, ou test A/B, répartit les clients au hasard en groupes. Chaque groupe voit une version pendant la même période. La répartition aléatoire rend les groupes semblables. La différence entre les résultats vient donc des versions ou du hasard. Avec trois versions, on parle parfois de test A/B/C; l’idée reste la même.
Trois termes décrivent comment le lire :
- La mesure principale est le nombre qui décide. Choisissez-la avant le début du test pour éviter de choisir celle qui semble la meilleure par hasard. Pour la page d’accueil de Larkfield, Omar a choisi le revenu supplémentaire par visite.
- Un garde-fou est une mesure qui ne doit pas clairement se dégrader, même si la mesure principale s’améliore. Larkfield en a trois. Le taux de retour correspond aux retours par commande. Le taux de désabonnement correspond aux clients désabonnés par client ayant reçu un courriel. La vitesse est le temps nécessaire pour répondre à une requête.
- La règle de décision précise à l’avance ce que signifie chaque résultat : mettre en production, arrêter ou conserver la liste actuelle.
Description textuelle du diagramme
L’image montre le test A/B simulé de Larkfield. Les 5 078 clients qui ont visité le site en deux semaines sont répartis au hasard en trois groupes. Trending compte 1 604 clients, two-stage 1 750 et ALS 1 724. Pour chaque groupe, le test mesure le revenu supplémentaire par visite avec son intervalle, ainsi que les retours, désabonnements et la vitesse. Ensemble, ces mesures mènent à une décision : mettre en production, arrêter ou prolonger le test.
Omar a écrit sa règle de décision avant le test :
| Résultat | Décision |
|---|---|
| La mesure principale est clairement moins bonne que celle de trending | Arrêter cette liste. |
| La mesure principale est clairement meilleure, et aucun garde-fou ne s’est clairement dégradé | La mettre en production. |
| Tout autre résultat | Conserver la liste plus simple, ou prolonger le test si un petit gain justifie l’attente. |
« Clairement » a le même sens que dans le tableau comparatif : l’intervalle à 95 % de la différence n’inclut pas 0. La vitesse a plutôt une limite fixe : le budget d’Amira de 100 millisecondes (ms) par requête, une hypothèse du cours.
Un petit exemple où chaque valeur est visible
Section intitulée « Un petit exemple où chaque valeur est visible »Voici un exemple construit. Le café compte 200 tables dans chaque groupe.
| Menu | Tables | Argent par table | Assiettes renvoyées | Attente moyenne |
|---|---|---|---|---|
| Ancien | 200 | 31 $ | 6 assiettes sur 600 (1,0 %) | 12 minutes |
| Nouveau | 200 | 34 $ (+3, intervalle de +1 à +5) | 18 assiettes sur 620 (2,9 %) | 13 minutes |
La mesure principale est clairement meilleure : l’intervalle de +3 $ n’inclut pas 0. Mais les assiettes renvoyées sont passées de 1,0 % à 2,9 %. Si ce garde-fou s’est clairement dégradé, la règle dit : ne pas mettre en production. La propriétaire cherche d’abord quels plats reviennent.
Le test A/B simulé de Larkfield
Section intitulée « Le test A/B simulé de Larkfield »Le cours a exécuté ce test sur son modèle de comportement. Il est simulé : aucun vrai client n’a vu ces listes. Les 5 078 clients représentent tous ceux qui ont visité le site pendant le test, pas seulement les 2 118 ayant commandé. Chaque groupe voyait une liste sur la page d’accueil à chaque visite, et dans un courriel par semaine, pendant deux semaines. Les trois listes utilisaient les règles d’affaires du module 7.
Exercice guidé : lire le test avec recs online
Section intitulée « Exercice guidé : lire le test avec recs online »Votre projet à la fin du module 7 ne peut pas encore lire le test en ligne. Vous copiez une commande de l’instantané de fin du module 8. Les données du test, data/online/ab_test.csv, sont déjà dans votre dossier data.
-
Dans votre dossier
larkfield-recs, avec l’environnement virtuel actif, copiez la commandeonline:Fenêtre de terminal S=../nextia-learning-labs/C37/snapshots/end-of-m08cp $S/larkfield_recs/commands/online.py larkfield_recs/commands/Fenêtre de terminal $S = "..\nextia-learning-labs\C37\snapshots\end-of-m08"Copy-Item "$S\larkfield_recs\commands\online.py" larkfield_recs\commands\ -
Ouvrez
larkfield_recs/commands/online.py. Il lit le fichier, calcule chaque mesure par groupe et rééchantillonne les clients 1 000 fois pour chaque intervalle. -
Lisez le test :
Fenêtre de terminal recs onlineSIMULATED A/B test on the course's behaviour model (not real customers): 5,078 customers, each shown one model's lists for two weeksmodel customers visits clicks/visit from suggestions added 95% interval returns unsubscribed (dollars per visit)als 1,724 2,723 0.061 3.31 3.18 2.25 to 4.10 7.7% 0.75%two-stage 1,750 2,695 0.114 7.06 6.82 5.45 to 8.25 8.8% 0.40%trending 1,604 2,511 0.123 6.65 6.64 5.33 to 8.01 6.3% 0.62%Difference in added revenue per visit against trending (95% interval, customers resampled):als -3.45 dollars (-5.12 to -1.87): cleartwo-stage +0.19 dollars (-1.75 to +2.05): not clear (the interval includes 0) -
Comparez plutôt chaque liste à two-stage :
Fenêtre de terminal recs online --baseline two-stageLes trois dernières lignes changent :
Difference in added revenue per visit against two-stage (95% interval, customers resampled):als -3.64 dollars (-5.40 to -2.03): cleartrending -0.19 dollars (-2.25 to +1.66): not clear (the interval includes 0) -
Exécutez les tests avec
python -m pytest -q. Vous voyez26 passed(26 tests réussis). Les tests des commandes de ce module arrivent dans la prochaine leçon.
Les colonnes, de gauche à droite : clients et visites du groupe; clics sur la page d’accueil par visite; revenu des suggestions par visite. (Le tableau de la dernière leçon comptait aussi les clics des courriels, donc ses clics par visite sont plus élevés : 0,174 pour trending.) Ensuite viennent le revenu supplémentaire par visite avec son intervalle, le taux de retour et le taux de désabonnement. Si recs online s’arrête avec invalid choice: 'online' (choix invalide : « online »), lisez la première erreur fréquente ci-dessous.
La mesure principale et les garde-fous, côte à côte
Section intitulée « La mesure principale et les garde-fous, côte à côte »Le tableau donne la valeur propre à chaque liste. Une décision exige la différence par rapport à trending, avec son intervalle. Le carnet calcule aussi les différences pour les garde-fous, avec le même rééchantillonnage que recs online.
Description textuelle du graphique
La figure comprend trois panneaux. Chacun a une ligne verticale à zéro, soit aucune différence, et une ligne pour two-stage et une pour ALS. Chaque ligne présente un intervalle à 95 %. Mesure principale, revenu supplémentaire par visite moins trending : two-stage +0,19 $ (−1,75 à +2,05); ALS −3,45 $ (−5,12 à −1,87). L’intervalle d’ALS est le seul entièrement d’un côté de zéro. Taux de retour moins trending, en points de pourcentage : two-stage +2,5 (−4,3 à +8,8); ALS +1,4 (−6,7 à +8,8). Taux de désabonnement moins trending, en points de pourcentage : two-stage −0,22 (−0,75 à +0,22); ALS +0,13 (−0,42 à +0,67). Chaque intervalle de garde-fou traverse zéro.
Un point de pourcentage est la différence entre deux pourcentages : 8,8 % − 6,3 % = +2,5 points. Lisez maintenant les panneaux avec la règle d’Omar.
ALS : arrêter
Section intitulée « ALS : arrêter »ALS ajoute 3,45 $ de moins par visite que trending, soit de 1,87 à 5,12 $ de moins. C’est clairement moins bon, donc la règle dit d’arrêter. Le test lui-même avait un coût. Le groupe d’ALS comptait 2 723 visites. Dans cette simulation, les deux semaines ont donc coûté environ 3,45 × 2 723 ≈ 9 400 $ de revenu supplémentaire. Un test en ligne dépense de l’argent réel pour chaque liste perdante.
Two-stage : pas clairement meilleur, aucun tort clair
Section intitulée « Two-stage : pas clairement meilleur, aucun tort clair »Two-stage ajoute +0,19 $ par visite. L’intervalle, de −1,75 à +2,05, inclut 0 : il n’est donc pas clairement meilleur. Ses garde-fous présentent des résultats partagés : le taux de retour le plus élevé (8,8 %) et le taux de désabonnement le plus bas (0,40 %). Aucune différence n’est claire.
Peu d’événements derrière un taux
Section intitulée « Peu d’événements derrière un taux »Pourquoi les intervalles des garde-fous sont-ils si larges? Comptez les événements derrière eux. Le carnet les affiche :
| Liste | Commandes | Retours | Taux de retour | Clients ayant reçu un courriel | Désabonnés | Taux de désabonnement |
|---|---|---|---|---|---|---|
| Trending | 111 | 7 | 6,3 % | 1 604 | 10 | 0,62 % |
| Two-stage | 125 | 11 | 8,8 % | 1 750 | 7 | 0,40 % |
| ALS | 65 | 5 | 7,7 % | 1 724 | 13 | 0,75 % |
Le « taux de retour le plus élevé » de two-stage représente 11 retours. Son « taux de désabonnement le plus bas » représente 7 personnes. Quatre retours de plus, ou trois désabonnements de moins, changeraient l’ordre du tableau. Un taux fondé sur quelques événements est surtout du bruit.
Le coût des garde-fous, selon les hypothèses du cours
Section intitulée « Le coût des garde-fous, selon les hypothèses du cours »Le cours suppose 12 $ pour traiter un retour et 18 $ par année pour un abonné aux courriels. Selon ces hypothèses :
- Le traitement des retours coûte 0,033 $ par visite pour trending et 0,049 pour two-stage : environ 2 cents de différence.
- Par 1 000 clients ayant reçu un courriel, trending perd 6,2 abonnés (valeur de 112 $ par année). Two-stage en perd 4 (valeur de 72 $ par année).
Ces deux coûts sont faibles comparés aux 6 à 7 $ de revenu supplémentaire par visite. Les garde-fous protègent ici contre un tort important. Dans ce test, aucun n’est apparu.
Vitesse : un garde-fou avec une limite fixe
Section intitulée « Vitesse : un garde-fou avec une limite fixe »La vitesse vient des mesures du module 9 sur le portable du cours, pas de la simulation. Two-stage nécessite un traitement en lot chaque nuit de 111 secondes pour 40 000 clients. Chercher une liste enregistrée dans le service prend 0,72 ms (médiane). Calculer une liste two-stage au moment de la requête prend 10,3 ms (médiane). Les deux sont bien sous le budget de 100 ms d’Amira. Trending utilise une liste pour tout le monde, donc il ne nécessite presque rien. Vous construisez cela dans En lot ou en temps réel.
À vous : décider quelle liste mettre en production
Section intitulée « À vous : décider quelle liste mettre en production »Vous avez tout ce qu’Omar a : la mesure principale, trois garde-fous et la règle de décision. Décidez pour chaque liste : mettre en production, arrêter ou conserver trending. Écrivez une phrase de preuve pour chacune. Ouvrez ensuite la réponse.
Afficher la réponse
- ALS : arrêter. −3,45 $ par visite par rapport à trending (−5,12 à −1,87) : clairement moins bon pour la mesure principale.
- Two-stage : ne pas mettre en production pour l’instant. +0,19 $ par visite (−1,75 à +2,05) : pas clairement meilleur. Aucun garde-fou ne s’est clairement dégradé. Retours : +2,5 points (−4,3 à +8,8). Désabonnements : −0,22 point (−0,75 à +0,22). Les deux temps de réponse sont bien inférieurs à 100 ms.
- Trending : le conserver. Il est aussi bon que two-stage compte tenu du bruit. Il est aussi beaucoup plus simple à exploiter : aucun modèle de classement à entraîner, aucun traitement nocturne, rien à surveiller par client.
Un test plus long pourrait-il montrer que two-stage est meilleur? Le carnet l’estime. L’intervalle a une largeur d’environ ±1,90 $. La largeur d’un intervalle diminue avec la racine carrée du nombre de visites. Pour la réduire à la différence de 0,19 $, le test nécessite environ (1,90 ÷ 0,19)² ≈ 100 fois plus de visites. Cela représente environ 270 000 visites par groupe. Dans ce magasin synthétique, cela prendrait des années. Omar conserve donc trending. Il demande à Priya une version de two-stage assez différente pour justifier un nouveau test.
C’est une règle approximative, pas un plan de test. Ce cours n’enseigne pas la conception des tests; ce sujet appartient à un cours prévu sur les expériences.
Quand exécuter un test en ligne, et à quel coût
Section intitulée « Quand exécuter un test en ligne, et à quel coût »Exécutez un test en ligne quand une présélection hors ligne compte deux ou trois bons candidats et que la décision est importante. Par exemple : une nouvelle page d’accueil, un nouveau courriel ou un nouveau modèle de classement. N’en exécutez pas pour chaque petit changement : c’est lent, et chaque liste perdante coûte de l’argent pendant le test.
Choisissez la mesure principale et les garde-fous avant le test. Écrivez la règle de décision. Après le test, lisez les intervalles, pas seulement les valeurs, et comptez les événements derrière chaque taux.
Les coûts dans le cas simulé de Larkfield :
- Temps. Deux semaines par test, et beaucoup plus pour voir de petites différences.
- Argent. La liste perdante coûte cher : environ 9 400 $ pour ALS en deux semaines dans cette simulation.
- Risque. Une mauvaise liste atteint de vrais clients. Les garde-fous limitent les dommages; ils ne les éliminent pas.
Erreurs fréquentes
Section intitulée « Erreurs fréquentes »Erreur courante
recs : error : argument COMMAND : invalid choice : 'online'
Symptôme : recs online affiche :
usage: recs [-h] COMMAND ...recs: error: argument COMMAND: invalid choice: 'online' (choose from candidates, check, compare, evaluate, explain, info, leakage, llm, matrix, rank, reset, rules, session, similar, tune)Cause : le projet trouve ses commandes par fichier. larkfield_recs/commands/online.py n’est pas encore là : votre projet est toujours à la fin du module 7.
Solution : copiez le fichier comme à l’étape 1, à partir du dossier larkfield-recs. Exécutez ensuite recs online de nouveau.
Erreur courante
« Two-stage réduit les désabonnements d'un tiers »
Symptôme : Tomás lit 0,40 % contre 0,62 % et rapporte que two-stage réduit les désabonnements d’un tiers.
Cause : les deux taux viennent de 7 et 10 personnes. L’intervalle de la différence, de −0,75 à +0,22 point, inclut 0.
Solution : rapportez la différence avec son intervalle et les nombres derrière elle : « 7 désabonnements contre 10, sans différence claire. »
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Pourquoi Omar doit-il choisir la mesure principale avant le début du test, et non après avoir vu les résultats?
Afficher la réponse
Un test produit beaucoup de chiffres : clics, commandes, revenu des suggestions, revenu supplémentaire, retours, désabonnements. Par hasard, certains favoriseront une liste. Si Omar choisit la mesure après avoir vu les résultats, il peut retenir celle qui semble la meilleure. Le test ne fait alors que confirmer ce qu’il voulait. Choisir à l’avance la mesure principale et la règle de décision rend le résultat honnête.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Two-stage affiche le taux de retour le plus élevé (8,8 %) des trois listes. Le garde-fou des retours est-il dépassé? Utilisez les décomptes et l'intervalle.
Afficher la réponse
Non, pas clairement. Two-stage a eu 11 retours pour 125 commandes; trending en a eu 7 pour 111. La différence est de +2,5 points de pourcentage. L’intervalle à 95 % va de −4,3 à +8,8 et comprend 0. Selon les hypothèses du cours, le traitement des retours supplémentaires coûte environ 2 cents par visite. Un garde-fou est dépassé seulement quand le résultat est clairement pire. Ici, quelques retours de plus ou de moins changeraient le classement.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Dans votre projet, exécutez recs online --baseline two-stage. Quelle ligne indique que trending n'est pas clairement pire que two-stage, et quels sont ses chiffres?
Afficher la réponse
La dernière ligne : trending -0.19 dollars (-2.25 to +1.66): not clear (the interval includes 0) (résultat incertain : l’intervalle comprend 0). Trending ajoute 0,19 $ de moins par visite que two-stage. Mais l’intervalle va de 2,25 $ de moins à 1,66 $ de plus. C’est la même comparaison qu’avant, vue de l’autre côté. Les bornes diffèrent un peu de −1,75 à +2,05 parce que le rééchantillonnage tire d’autres clients.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Un test A/B répartit les clients au hasard. Une différence vient donc des versions ou du hasard.
- Choisissez à l’avance une mesure principale (revenu supplémentaire par visite), quelques garde-fous (taux de retour, taux de désabonnement, vitesse) et une règle de décision.
- Dans le test simulé de Larkfield : ALS affiche −3,45 $ par visite par rapport à trending (−5,12 à −1,87). Il faut donc l’arrêter. Two-stage affiche +0,19 (−1,75 à +2,05), sans amélioration claire ni effet négatif clair sur les garde-fous.
- Les taux des garde-fous reposent sur peu d’événements : 11 retours et 7 désabonnements pour two-stage. Présentez les décomptes et les intervalles.
- Il faudrait environ 100 fois plus de visites pour détecter une différence de 0,19 $. Larkfield garde la liste trending, plus simple.
Le test a duré deux semaines. Mais un système de recommandation continue de fonctionner après le test. Il apprend des clics sur ses propres suggestions. Vous verrez ensuite ce qui arrive à une page d’accueil qui apprend seulement d’elle-même.
Leçon suivante : Boucles de rétroaction et biais de popularité