Quoi apprendre ensuite
- Étude de cas 4
- 120 min
- Facultative · 1 étude de cas requise pour le certificat
Où nous en sommes
Dans neuf modules, l'ordre des achats comptait un peu. Dans cette étude de cas facultative, nous suggérons la prochaine leçon sur une plateforme d'apprentissage. L'ordre et les préalables y comptent plus que la popularité.
Étude de cas 4 sur 4 · Recommandation et personnalisation : montrer à chacun ce qui compteQuoi apprendre ensuite
1. Le problème de la recommandation
2. Les données, la rétroaction implicite et un découpage honnête
3. Mesurer les recommandations hors ligne
4. Les voisins et le filtrage collaboratif
5. La factorisation matricielle pour la rétroaction implicite
6. Le contenu, les hybrides et le démarrage à froid
7. Deux étapes : les candidats et le classement
8. Des scores hors ligne au vrai magasin
9. L'exploiter en production
Ce que vous saurez faire
Suggérez la prochaine leçon à chaque apprenant d’une plateforme d’apprentissage, à partir de données de progression synthétiques créées pour ce cas. Vous découpez les données selon le temps. Vous comparez la popularité, la cooccurrence des leçons terminées, une méthode séquentielle (Markov) et une règle qui connaît les préalables. Vous utilisez les mêmes apprenants. Vous mesurez à quelle fréquence la vraie prochaine leçon figure parmi 3 suggestions. Vous mesurez aussi à quelle fréquence une suggestion propose une leçon pour laquelle l’apprenant n’est pas prêt. Ensuite, vous décidez ce que le bloc doit afficher, ce qu’il coûte et ce qu’une personne vérifie encore.
Cette étude de cas est facultative. C’est un carnet (notebook) Jupyter, qui n’utilise pas le projet larkfield-recs. Le carnet contient les blocs de code de cette page, dans le même ordre, avec deux tâches et leurs vérifications. Ses cellules de préparation installent les paquets et téléchargent les données (2 Mo). Aucune configuration locale n’est donc nécessaire. Après l’installation des paquets, il s’exécute en moins d’une minute sur le processeur d’un portable. Lisez les explications ici et exécutez le code dans le carnet.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Le découpage temporel, présenté dans Découper selon le temps, et les références de base, dans Les références de base à battre.
- Le recall@k et le NDCG@k, présentés dans Mesures de classement; la couverture, la nouveauté et la diversité, dans Au-delà de l’exactitude; les segments et les différences appariées, dans Évaluer par segment.
- La cooccurrence et le cosinus, présentés dans Les clients ont aussi acheté et Filtrage collaboratif article-article.
- Le modèle de Markov, présenté dans Sessions, séquences et LLM, en bref; les règles après le modèle de classement, dans Règles d’affaires et reclassement.
Ce qu’il vous faut sur votre ordinateur (seulement pour l’exécution locale; le carnet dans Colab ou Kaggle n’en a pas besoin)
- Python 3.12 dans un nouvel environnement virtuel, avec Jupyter. La première cellule du carnet installe NumPy, pandas et matplotlib.
- Un nouveau dossier vide. La cellule de préparation télécharge les données dans un dossier
learn-next. Pour recommencer, supprimez-le et exécutez le carnet depuis le début.
Testé sur macOS (Apple M4, 16 Go) dans Jupyter, avec Python 3.12, NumPy 2.5.4 et pandas 3.1.1. Aucune exécution sur Windows, Linux, Colab ou Kaggle.
La situation
Section intitulée « La situation »Pensez à un bon professeur de musique. Un nouvel élève demande : « Qu’est-ce que je devrais jouer ensuite? » Le professeur ne lui donne pas le morceau le plus joué de l’école. Ce morceau exige peut-être des compétences que l’élève n’a pas encore. Le professeur sait deux choses : ce que l’élève a déjà appris et les compétences nécessaires pour chaque morceau. Le prochain morceau est donc un morceau pour lequel l’élève est prêt.
Une plateforme d’apprentissage a le même problème, avec des milliers d’apprenants. Ridgeway Learning est une plateforme d’apprentissage en ligne que nous avons inventée pour ce cas. Elle compte 12 cours et 84 leçons sur les données, l’apprentissage automatique et le développement web. Après chaque leçon, la page d’accueil de l’apprenant affiche un bloc Up next (à suivre) avec 3 leçons. Aujourd’hui, ce bloc affiche les leçons les plus populaires.
Nadia est responsable des produits. Elle demande : « Le bloc peut-il afficher la leçon que chaque apprenant suivra vraiment ensuite? Et peut-il ne jamais afficher une leçon pour laquelle l’apprenant n’est pas prêt? »
Kofi est l’ingénieur qui construira ce système. Ses questions : « Que devons-nous calculer chaque nuit? Combien de temps prend une liste? »
Nadia, Kofi et Ridgeway Learning sont fictifs. Les données aussi.
Ce que vous allez construire
Section intitulée « Ce que vous allez construire »Une comparaison de sept listes avec les mêmes apprenants et les deux mêmes semaines. Elles proviennent de quatre familles, seules ou combinées : popularité, voisins (cooccurrence des leçons terminées), méthode séquentielle (Markov) et règle de préalables. Le résultat est une recommandation pour Nadia et Kofi : une conception, ses réglages, son coût et ce qu’une personne vérifie encore. Ensuite, vous exécutez cette conception une fois sur deux semaines qu’aucune méthode n’a vues.
Les données
Section intitulée « Les données »Ces données sont synthétiques. Notre code a créé le catalogue, les apprenants et chaque leçon terminée, avec un modèle du comportement des apprenants. Aucun apprenant réel n’y figure. Elles ne proviennent pas de Nextia Learning ni d’une autre plateforme.
| Source | Créées pour cette étude de cas avec make_data.py, dans le dossier des laboratoires du carnet |
| Licence | CC0 1.0 (transfert dans le domaine public) : utilisez-les comme vous voulez |
| Fichiers | lessons.csv (le catalogue) et completions.csv.gz (1,7 Mo), avec une fiche du jeu de données et leurs sommes de contrôle SHA-256 |
| Taille | 84 leçons dans 12 cours; 259 760 leçons terminées par 24 000 apprenants, du 6 janvier 2025 au 15 février 2026 |
Ce que représente une ligne. Dans lessons.csv, une ligne représente une leçon. Elle contient un identifiant (par exemple PD-03, la leçon 3 d’Analyse de données avec pandas), un cours, une position et un titre. Elle indique aussi si la leçon est facultative et donne la liste des préalables. Dans completions.csv.gz, une ligne représente une leçon terminée par un apprenant, avec la date et l’heure.
Pourquoi des données synthétiques
Section intitulée « Pourquoi des données synthétiques »Nous avons d’abord cherché des données de progression ouvertes. Le Open University Learning Analytics Dataset est sous licence CC BY 4.0. Il contient sept modules et une semaine prévue pour chaque ressource, mais ne décrit aucun préalable. Il contient aussi des données sensibles (handicap, défavorisation) dont ce cas n’a pas besoin. EdNet est sous licence CC BY-NC 4.0 : l’utilisation commerciale est interdite, donc nous ne pouvons pas l’utiliser. Et nous n’utilisons jamais les vraies données de progression des apprenants de Nextia Learning.
Comment les données ont été créées
Section intitulée « Comment les données ont été créées »La documentation du générateur décrit chaque règle. En bref :
- Chaque apprenant choisit un objectif à l’inscription : analyste de données, ingénieur en apprentissage automatique, développeur backend, créateur d’applications d’IA ou aucun (« explorateur »). Un objectif est une liste de cours, dans l’ordre.
- Les apprenants suivent les leçons d’un cours dans l’ordre. Ils suivent une leçon facultative dans 45 % des cas.
- 30 % des apprenants qui ont un objectif suivent deux cours à la fois.
- Lorsqu’ils commencent un cours, 7 % passent à un cours ultérieur avant d’avoir terminé ses préalables. 10 % font un détour vers un cours populaire qui ne fait pas partie de leur objectif. Les explorateurs ignorent les préalables.
- Après chaque leçon, certains apprenants arrêtent définitivement. La moitié des apprenants ont terminé 8 leçons ou moins; 17 % n’en ont terminé qu’une.
Ce qui distingue ces données de celles de Larkfield
Section intitulée « Ce qui distingue ces données de celles de Larkfield »Les deux jeux sont synthétiques et ont été créés par notre code. Le journal du magasin de Larkfield imitait un magasin. Ces données imitent une plateforme d’apprentissage. Trois différences comptent :
- L’ordre est intégré. La plupart des apprenants suivent les leçons dans l’ordre, parce que nous avons écrit le modèle ainsi. Chez Larkfield, l’ordre des achats comptait beaucoup moins.
- Le catalogue est minuscule. 84 leçons, contre 2 994 produits chez Larkfield.
- Il y a des règles. Les préalables indiquent quelles leçons un apprenant peut suivre. Larkfield avait des règles d’affaires, mais aucun produit n’exigeait d’en avoir un autre d’abord.
Ce cas est donc plus facile qu’une plateforme réelle. Les méthodes peuvent seulement trouver ce que notre modèle de comportement a introduit. Lisez les chiffres comme un test des méthodes sur un comportement connu, et non comme une mesure d’apprenants réels.
La nouvelle idée : les préalables et les leçons accessibles
Section intitulée « La nouvelle idée : les préalables et les leçons accessibles »Un préalable est une leçon que vous devez terminer avant une autre. Ici, dans chaque cours, une leçon exige la leçon précédente. Les leçons facultatives sont l’exception : aucune leçon ne les exige. La première leçon de 8 cours exige des leçons d’autres cours :
Description textuelle du diagramme
Douze cours. Bases de Python, Comment fonctionne le web, Git et la ligne de commande et SQL pour l’analyse n’exigent rien. Statistiques exige la leçon 4 de Python. Analyse de données avec pandas exige la leçon 8 de Python. Graphiques et tableaux de bord exige la leçon 4 de pandas. Apprentissage automatique exige la leçon 8 de pandas et la leçon 5 de Statistiques. Apprentissage profond exige la leçon 6 d’Apprentissage automatique. Créer des API avec Python exige la leçon 8 de Python et la leçon 4 du web. Déployer dans le nuage exige la leçon 5 des API et la leçon 3 de Git. Créer des applications avec des modèles de langage exige la leçon 4 des API.
Une leçon est accessible à un apprenant s’il ne l’a pas terminée et s’il a terminé tous ses préalables. Voici un petit exemple : un apprenant qui a terminé les quatre premières leçons de Bases de Python.
| Leçon | Exige | Accessible? |
|---|---|---|
PY-05 Dictionnaires |
PY-04 |
oui |
STA-01 Moyennes et dispersion |
PY-04 |
oui |
SQL-01, WEB-01, GIT-01 |
rien | oui |
PY-06 Fichiers |
PY-05 |
non : PY-05 n’est pas terminée |
PD-01 DataFrames |
PY-08 |
non |
Une suggestion ne respecte pas un préalable lorsque la leçon n’est pas accessible. Le taux de non-respect est la proportion de suggestions qui ne respectent pas un préalable. C’est une nouvelle mesure pour ce cas. Nous voulons qu’elle soit proche de 0.
Définir le problème
Section intitulée « Définir le problème »- Quand la liste est-elle créée? Quand un apprenant ouvre sa page d’accueil, à partir des leçons qu’il a terminées. Les décomptes sont recalculés chaque nuit.
- Que prédisons-nous? La prochaine leçon que l’apprenant termine.
- Pour qui? Chaque apprenant qui termine une leçon pendant la période de test, y compris les nouveaux apprenants.
Les mesures
Section intitulée « Les mesures »- Recall@3: la vraie prochaine leçon figure-t-elle parmi les 3 suggestions? Il y a une bonne réponse par apprenant. Le rappel à 3 (recall@3) vaut donc 1 ou 0 pour chaque apprenant. Nous calculons sa moyenne pour tous les apprenants, avec un intervalle à 95 % obtenu par bootstrap.
- NDCG@3: la même chose, mais une bonne réponse en position 1 compte plus qu’en position 3.
- Taux de non-respect : la proportion de suggestions qui ne respectent pas un préalable.
- Couverture, nouveauté et diversité, comme dans le dispositif d’évaluation. La diversité compte les paires de suggestions provenant de cours différents.
Les segments représentent la situation de l’apprenant au début de la période. Nouveau : aucune leçon terminée. Dans un cours : il a commencé un cours sans le terminer. Entre deux cours : tous les cours qu’il a commencés sont terminés.
Le découpage temporel
Section intitulée « Le découpage temporel »Description textuelle du diagramme
L’historique commence le 6 janvier 2025. La validation va du 5 au 18 janvier 2026 : nous choisissons la conception. Le test va du 19 janvier au 1er février. Chaque méthode s’exécute une fois avec tout ce qui est connu avant le 19 janvier, et nous présentons ces chiffres. Les nouvelles données d’entrée vont du 2 au 15 février : seule la conception choisie s’exécute, une fois.
La période de test compte 4 963 apprenants : 1 053 nouveaux, 3 628 dans un cours et 282 entre deux cours.
Explorer ce qu’il faut pour décider
Section intitulée « Explorer ce qu’il faut pour décider »Une question détermine quelles méthodes peuvent fonctionner : que font les apprenants ensuite?
Description textuelle du graphique
Quatre colonnes, sur 4 963 apprenants. La prochaine leçon appartenait au même cours que la dernière leçon pour 63,6 %. C’était la première leçon d’un nouvel apprenant pour 21,2 %. C’était la première leçon d’un nouveau cours pour 10,6 %. C’était une leçon d’un autre cours déjà commencé pour 4,6 %.
Deux constats en découlent :
- La plupart des prochaines leçons poursuivent le dernier cours. Une méthode qui connaît l’ordre devrait bien fonctionner. Une méthode qui ignore l’ordre devinera des leçons trop avancées.
- Les cas difficiles sont les changements : la première leçon d’un nouvel apprenant et le prochain cours après la fin d’un cours. Dans ces cas, l’objectif de l’apprenant compte, et nous ne le connaissons pas.
Un autre constat : 94,5 % des vraies prochaines leçons étaient accessibles. Les autres, soit 5,5 %, ne respectaient pas un préalable : certains de nos apprenants passent à un cours ultérieur. Une méthode qui respecte toujours les préalables ne peut jamais trouver ces leçons. La première tâche du carnet calcule cette proportion.
La référence de base
Section intitulée « La référence de base »popular classe les leçons selon le nombre d’apprenants qui les ont terminées dans les 28 jours précédant la période. Chaque apprenant reçoit les leçons les plus populaires qu’il n’a pas terminées. C’est la liste « tendances » de Les références de base à battre.
def popular(split, days=28): """Lessons ranked by the number of learners who completed them in the last `days` before the period.""" h = split.history recent = h[h["completed_at"] >= split.start - pd.Timedelta(days=days)] return np.bincount(recent["item"], minlength=split.cat.n).astype(float)Sur la période de test, popular obtient un recall@3 de 0,415 (0,400 à 0,428), avec un taux de non-respect de 58,5 %. Les leçons les plus populaires sont PY-01, PY-02, PY-03 : le début de Bases de Python, qui ouvre la plupart des objectifs. Un nouvel apprenant voit donc PY-01, PY-02, PY-03. Il peut suivre PY-01, mais pas les deux autres. Chez Larkfield, les tendances (0,156) dépassaient chaque méthode personnalisée prise seule. Ici, la popularité ignore ce qui compte le plus : où en est l’apprenant.
Les autres options
Section intitulée « Les autres options »Cooccurrence des leçons terminées
Section intitulée « Cooccurrence des leçons terminées »« Les apprenants qui ont terminé cette leçon ont aussi terminé celle-là. » C’est le filtrage collaboratif article-article de Filtrage collaboratif article-article. Pour chaque paire de leçons, comptez les apprenants qui ont terminé les deux. Divisez par la racine carrée du produit des nombres d’apprenants des deux leçons : c’est le cosinus. Le score d’une leçon pour un apprenant est la somme de ses cosinus avec les leçons qu’il a terminées.
def cooccurrence(split): """Item-item cosine between lessons: learners who completed both, divided by the square root of the product of the two counts (as in item-item collaborative filtering). The diagonal is 0.""" h = split.history.drop_duplicates(["learner", "item"]) users = {l: r for r, l in enumerate(h["learner"].unique())} m = np.zeros((len(users), split.cat.n)) m[h["learner"].map(users).to_numpy(), h["item"].to_numpy()] = 1 both = m.T @ m n = np.diag(both).copy() sim = both / np.sqrt(np.outer(n, n) + 1e-9) np.fill_diagonal(sim, 0) return simSur la période de test, la cooccurrence obtient 0,726, avec un taux de non-respect des préalables de 52,3 %. Elle sait quelles leçons vont ensemble. Elle ne sait pas laquelle vient en premier. Le cas d’échec ci-dessous montre ce que cela signifie.
Markov : ce que les apprenants ont suivi ensuite
Section intitulée « Markov : ce que les apprenants ont suivi ensuite »Sessions, séquences et LLM, en bref présentait le modèle de Markov. Pour chaque leçon, comptez les leçons que le même apprenant a terminées juste après. Suggérez les leçons qui suivaient le plus souvent la dernière leçon de l’apprenant.
def transitions(split): """Markov: how often lesson b was the next lesson completed after lesson a, by the same learner.""" h = split.history.sort_values(["learner", "completed_at"], kind="stable") a, b = h["item"].to_numpy()[:-1], h["item"].to_numpy()[1:] same = h["learner"].to_numpy()[:-1] == h["learner"].to_numpy()[1:] T = np.zeros((split.cat.n, split.cat.n)) np.add.at(T, (a[same], b[same]), 1) return TMarkov obtient 0,853 : bien mieux que la cooccurrence (différence appariée de +0,126 (+0,114 à +0,138)). Il connaît l’ordre. Mais son taux de non-respect des préalables reste de 44,4 %. Après une leçon, une leçon suivante a un décompte élevé. Les deuxième et troisième places ont de petits décomptes : quelques apprenants qui ont sauté une leçon ou avancé plus vite. Ces places contiennent souvent des leçons pour lesquelles l’apprenant n’est pas prêt. Les nouveaux apprenants n’ont pas de dernière leçon. Markov leur montre donc des leçons populaires.
La règle des préalables
Section intitulée « La règle des préalables »La méthode du professeur de musique : montrer seulement les leçons accessibles, dans un ordre logique.
- Les prochaines leçons accessibles des cours en cours, en commençant par le cours le plus récent.
- Les premières leçons des nouveaux cours accessibles, en commençant par les plus populaires.
- Toute autre leçon accessible (une leçon facultative laissée de côté), en commençant par les plus populaires.
Si moins de 3 leçons sont accessibles, les leçons populaires remplissent les places libres. La règle ne demande aucun entraînement : seulement le catalogue et la popularité.
def rule_scores(order, cat, rank): """The prerequisite-aware rule for one learner (`order`: the lessons done, oldest first). Only lessons whose prerequisites are done get a score: first the next lessons of the courses in progress (the most recent course first, then by position), then the first lessons of new courses (by `rank`), then the rest (optional lessons left behind), by `rank`. Other lessons get -inf.""" done = np.zeros((1, cat.n), bool) done[0, list(order)] = True ok = eligible(done, cat)[0] s = np.where(ok, rank, -np.inf) progress = in_progress(list(order), cat) for j in np.flatnonzero(ok): c = cat.course[j] if c in progress: s[j] = 100 - 10 * progress.index(c) - cat.position[j] / 100 elif j == cat.first[c]: s[j] = 2 + rank[j] return sLa règle obtient 0,910, avec un taux de non-respect des préalables de 0,2 %. Elle dépasse Markov de +0,057 (+0,047 à +0,067). Elle gère aussi les apprenants qui suivent deux cours à la fois. Les deux cours sont en cours, donc leurs deux prochaines leçons figurent dans la liste.
Les combiner
Section intitulée « Les combiner »La règle sait ce qu’un apprenant peut suivre. Markov sait ce que les apprenants ont suivi. Ils peuvent travailler ensemble de deux façons :
- Markov + préalables : la liste de Markov, sans les leçons qui ne sont pas accessibles; la règle remplit les places libres.
- Règle + Markov : l’ordre de la règle, mais Markov classe les nouveaux cours à partir de la dernière leçon de l’apprenant. La popularité sert seulement à départager les égalités. Après SQL pour l’analyse, les analystes de données passent généralement à Statistiques : Markov a compté ces transitions.
Nous avons aussi essayé cooccurrence + préalables. Nous avons choisi la conception sur les semaines de validation. Les quatre conceptions ont obtenu ces valeurs du recall@3 :
| Conception | recall@3 de validation |
|---|---|
| règle des préalables | 0,896 |
| cooccurrence + préalables | 0,843 |
| Markov + préalables | 0,892 |
| règle + Markov | 0,906 |
Nous avons choisi règle + Markov. La deuxième tâche du carnet Jupyter le construit.
Une remarque honnête sur ce choix. Notre premier essai affichait les résultats des semaines de validation et de la période de test. L’idée de règle + Markov vient de cet essai. La période de test n’est donc pas totalement indépendante pour cette conception. Les semaines de validation montrent la même tendance. Les deux dernières semaines, dans De bout en bout sur de nouvelles données, ne faisaient pas partie de cet essai. Elles offrent donc une vérification plus indépendante.
Une comparaison équitable
Section intitulée « Une comparaison équitable »Chaque méthode a été exécutée sur les mêmes 4 963 apprenants, avec le même historique et les mêmes mesures :
| Méthode | recall@3 (intervalle à 95 %) | NDCG@3 | taux de non-respect des préalables | couverture | nouveauté | diversité |
|---|---|---|---|---|---|---|
| popular | 0,415 (0,400 à 0,428) | 0,407 | 58,5 % | 30 % | 1,23 | 0,15 |
| cooccurrence | 0,726 (0,714 à 0,740) | 0,666 | 52,3 % | 99 % | 2,08 | 0,29 |
| Markov | 0,853 (0,843 à 0,863) | 0,817 | 44,4 % | 100 % | 2,17 | 0,60 |
| règle des préalables | 0,910 (0,901 à 0,919) | 0,840 | 0,2 % | 99 % | 2,06 | 0,96 |
| cooccurrence + préalables | 0,851 (0,839 à 0,861) | 0,743 | 0,2 % | 100 % | 2,13 | 0,97 |
| Markov + préalables | 0,906 (0,897 à 0,914) | 0,850 | 0,2 % | 100 % | 2,09 | 0,98 |
| règle + Markov | 0,919 (0,912 à 0,927) | 0,852 | 0,2 % | 100 % | 2,16 | 0,96 |
La couverture est la part des 84 leçons qui figurent dans au moins une liste. La nouveauté se mesure en bits, comme dans le dispositif d’évaluation : une leçon terminée par beaucoup d’apprenants a une faible nouveauté.
Description textuelle du graphique
Cinq colonnes. Populaire : 58,5 % des suggestions non accessibles. Cooccurrence : 52,3 %. Markov : 44,4 %. La règle des préalables : 0,2 %. Règle + Markov : 0,2 %.
Comment le lire :
- Règle + Markov est la meilleure méthode pour le recall@3 et le NDCG@3. Par rapport à la règle seule, la différence appariée est petite, mais nette : +0,009 (+0,005 à +0,013). Par rapport à Markov seul : +0,066 (+0,057 à +0,075).
- L’ordre compte plus que la cooccurrence. Markov dépasse la cooccurrence de +0,126 (+0,114 à +0,138).
- Les préalables comptent le plus. Le taux de non-respect des préalables passe de 44,4 % (Markov) à 0,2 %. Les quelques cas restants viennent du remplissage par les leçons populaires, quand moins de 3 leçons sont accessibles.
- La popularité est loin derrière, et plus de la moitié de ses suggestions ne sont pas accessibles.
Par segment
Section intitulée « Par segment »Description textuelle du graphique
Trois panneaux avec cinq méthodes chacun. Nouveaux apprenants : populaire 0,622, cooccurrence 0,622, Markov 0,622, règle 0,846, règle + Markov 0,846. Dans un cours : populaire 0,368, cooccurrence 0,780, Markov 0,916, règle 0,938, règle + Markov 0,940. Entre deux cours : populaire 0,241, cooccurrence 0,426, Markov 0,894, règle 0,794, règle + Markov 0,926.
- Nouveaux apprenants. La popularité, la cooccurrence et Markov montrent tous des leçons populaires, car l’apprenant n’a aucun historique : 0,622. La règle montre les premières leçons des cours sans préalables : 0,846.
- Dans un cours. La prochaine leçon est presque toujours la suivante dans le cours. La règle et la conception sont presque à égalité ici.
- Entre deux cours. La règle seule classe les nouveaux cours par popularité : 0,794. Avec l’ordre de Markov, la conception obtient 0,926. Ce segment est petit (282 apprenants), mais c’est là qu’un apprenant peut quitter la plateforme.
Cas d’échec : la cooccurrence ignore l’ordre
Section intitulée « Cas d’échec : la cooccurrence ignore l’ordre »Erreur courante
« Les apprenants qui ont terminé ceci ont aussi terminé cela »
Symptôme : un apprenant vient de terminer PD-03 (Nettoyer les données). La cooccurrence suggère PD-04 (accessible), PD-05 (pas accessible), SQL-02 (pas accessible). Deux des trois cartes présentent des leçons que l’apprenant ne peut pas encore suivre.
Cause : les apprenants qui ont terminé PD-03 ont aussi terminé PD-05, mais après PD-04. La cooccurrence compte la paire et oublie l’ordre. Elle suggère aussi SQL-02 : les analystes de données suivent les deux cours, donc les mêmes personnes terminent ces deux leçons. Mais cet apprenant n’a pas commencé SQL. Parmi tous les apprenants dans un cours, 53 % des suggestions de cooccurrence provenant de leur propre cours n’étaient pas accessibles.
Diagnostic : pour chaque méthode, mesurez le taux de non-respect des préalables à côté du rappel. Examinez ensuite quelques listes de vrais apprenants, en indiquant si chaque leçon est accessible ou non. Le carnet affiche les listes de cet apprenant.
Correction : montrez seulement les leçons accessibles. Pour cet apprenant, règle + Markov suggère PD-04 (accessible), SQL-01 (accessible), GIT-01 (accessible). L’apprenant a réellement terminé {fl.next} ensuite.
Toute méthode qui ignore les règles du catalogue fait la même erreur. Markov l’a faite moins souvent, car ses décomptes tiennent compte de l’ordre. Mais il a quand même suggéré PD-05 à cet apprenant : PD-04 (accessible), PD-05 (pas accessible), SQL-01 (accessible).
La recommandation
Section intitulée « La recommandation »Description textuelle du diagramme
Un apprenant ouvre sa page d’accueil. Le service lit les leçons qu’il a terminées, dans l’ordre. Il remplit 3 places. D’abord, les prochaines leçons des cours en cours, le cours le plus récent en premier. Ensuite, les premières leçons des nouveaux cours dont les préalables sont terminés, classées selon ce que les apprenants ont suivi ensuite. Les leçons populaires remplissent les places seulement si moins de 3 leçons sont accessibles. Une personne vérifie le catalogue et les résultats hebdomadaires.
Ce que nous disons à Nadia et Kofi :
- Le bloc Up next (à suivre) : règle + Markov, 3 places. Les prochaines leçons des cours en cours viennent d’abord. Ensuite viennent les nouveaux cours dont les préalables sont terminés. Les décomptes de Markov depuis la dernière leçon les classent, et la popularité départage les égalités.
- La solution de repli est la règle seule. Si les décomptes de Markov manquent, la règle classe les nouveaux cours par popularité. Elle perd seulement 0,009 de recall@3 sur la période de test.
- Pas maintenant : la cooccurrence. C’était la plus faible des méthodes personnalisées, et elle suggérait des leçons dans le mauvais ordre.
- Ce qu’une personne vérifie : les préalables du catalogue sont les données d’entrée les plus importantes de la conception. Un préalable erroné bloque une leçon pour tout le monde. Un préalable manquant laisse les apprenants entrer trop tôt. Un auteur de cours les vérifie quand un cours est ajouté ou modifié. Un nouveau cours n’a aucun décompte de Markov. La popularité le classe donc jusqu’à ce que des apprenants le suivent. Chaque semaine, une personne examine le recall@3 par segment et le taux de non-respect des préalables.
Ce que cela coûte
Section intitulée « Ce que cela coûte »Mesuré sur un seul fil d’exécution d’un Apple M4. Les coûts monétaires sont des hypothèses.
| Élément | Règle + Markov | Populaire |
|---|---|---|
| Construction nocturne | Décomptes de Markov : 26 ms | 1 ms |
| Taille de la table | 1 934 paires de leçons, 28 Ko | 84 décomptes |
| Une liste, à l’ouverture de la page | 0,2 ms (médiane), 0,2 ms (95e centile), en Python | une copie |
| Listes de tous les apprenants de la période en une fois | 0,7 s pour 4 963 apprenants (une boucle Python) | moins d’une seconde |
| Serveur, hypothèse : la tâche s’exécute sur un serveur que la plateforme possède déjà | environ 0 $ US de plus | environ 0 $ US de plus |
| Ingénierie, hypothèse | préalables maintenus à jour dans le catalogue, une tâche nocturne, une vérification hebdomadaire | presque aucune |
Le vrai coût n’est pas l’ordinateur. C’est le catalogue : chaque préalable doit être correct, et chaque nouveau cours doit les avoir avant sa mise en ligne. C’est le travail des auteurs de cours, pas des ingénieurs. En retour, les apprenants ne voient plus de leçons pour lesquelles ils ne sont pas prêts. Le taux de non-respect des préalables passe de 58,5 % à 0,2 %.
Le rappel est une mesure hors ligne. Il indique si l’apprenant a suivi une leçon suggérée, pas si le bloc l’y a amené. La plupart des apprenants suivraient de toute façon la prochaine leçon de leur cours. Alors, livrez la conception et testez-la en ligne contre le bloc populaire, comme dans Tests en ligne et garde-fous. Une bonne mesure en ligne est la part des apprenants qui commencent un nouveau cours après en avoir terminé un.
De bout en bout sur de nouvelles données
Section intitulée « De bout en bout sur de nouvelles données »Les deux semaines du 2 au 15 février 2026 n’ont servi à aucune construction ni à aucun choix. Nous exécutons toute la conception une fois. La popularité et les décomptes de Markov proviennent de toutes les leçons terminées avant le 2 février. Nous créons ensuite les listes pour les apprenants de ces deux semaines.
| Méthode | recall@3 (intervalle à 95 %) | taux de non-respect des préalables |
|---|---|---|
| popular | 0,412 (0,400 à 0,425) | 57,6 % |
| Markov | 0,845 (0,835 à 0,854) | 44,9 % |
| règle des préalables | 0,905 (0,897 à 0,914) | 0,3 % |
| règle + Markov | 0,917 (0,909 à 0,925) | 0,3 % |
5 000 apprenants ont terminé une leçon pendant ces deux semaines. L’ordre est le même que sur la période de test : la conception première, la règle deuxième, la popularité loin derrière.
Un apprenant, vu par le service
Section intitulée « Un apprenant, vu par le service »Un service crée la liste pour un apprenant à la fois, à l’ouverture de la page. La fonction suggest_one du carnet fait cela et donne la même liste que le code de traitement en lot. Nous montrons le premier apprenant par identifiant qui est entre deux cours et a terminé au moins 8 leçons. Nous avons choisi la règle avant d’examiner la liste.
L’apprenant {ex.learner} a terminé 19 leçons : Comment fonctionne le Web (sans la leçon facultative), Les bases de Python (sans la leçon facultative) et SQL pour l’analyse. La dernière, {ex.done[ex.done.length - 1]}, a été terminée le 2026-01-27. Tous les cours qu’il a commencés sont terminés.
Leçons accessibles : GIT-01, PY-07, STA-01, PD-01, WEB-05, API-01. Parmi celles-ci, qu’ont terminé les apprenants juste après {ex.done[ex.done.length - 1]}? Décomptes de Markov : STA-01 857, PY-01 261, WEB-01 243, GIT-01 128, PD-01 109. (PY-01 et WEB-01 sont terminées, donc elles ne comptent pas.)
| Liste | Leçons |
|---|---|
| Règle + Markov | STA-01, GIT-01, PD-01 |
| Populaire | STA-01, STA-02, PY-07 |
| Markov | STA-01, GIT-01, PD-01 |
L’apprenant a réellement terminé STA-01 (Statistics with Python, leçon 1) ensuite. La conception l’avait placée au rang 1. La liste populaire l’avait aussi, mais elle montrait STA-02, qui exige d’abord STA-01. La liste de Markov est ici la même que celle de la conception, car ses premières leçons étaient accessibles.
Constats et limites
Section intitulée « Constats et limites »Ce que nous avons appris :
- Connaissez les règles avant d’apprendre des données. Une liste qui respecte les préalables a apporté le plus grand gain, sans aucun modèle.
- L’ordre l’emporte sur l’association. Markov (l’ordre) a largement dépassé la cooccurrence (l’association), car les leçons ont un ordre.
- Chaque famille a son rôle. La règle dit ce qu’un apprenant peut suivre. La séquence dit ce qu’il suivra probablement. La popularité remplit seulement les places libres.
- Mesurez ce qui ne doit jamais arriver. Le rappel seul aurait caché que Markov montrait 44,4 % leçons pour lesquelles l’apprenant n’était pas prêt.
Comparaison avec le journal du magasin de Larkfield : chez Larkfield, les tendances étaient difficiles à battre, et l’ordre comptait peu. Ici, la popularité était loin derrière, et l’ordre et les préalables décidaient presque de tout. Les deux jeux de données sont synthétiques. Leurs résultats découlent donc de la façon dont nous les avons construits. Ce qui s’applique à une vraie plateforme, c’est la méthode : mesurer le taux de non-respect des préalables à côté du rappel et examiner chaque segment.
Limites :
- Données synthétiques. Les méthodes ont trouvé le comportement que nous avons mis dans le modèle. La règle paraît forte parce que la plupart de nos apprenants respectent les préalables. Les vrais apprenants répètent des leçons, reviennent après des mois et arrivent par la recherche.
- La règle ne peut pas suivre les apprenants qui sautent des étapes. 5,5 % des véritables leçons suivantes ne respectaient pas un préalable. La conception n’en a trouvé aucune; Markov en a trouvé 21 %. Si beaucoup de vrais apprenants sautent des étapes, ils voudront peut-être une option « sauter des étapes », pas une leçon cachée.
- Nous ne connaissons pas l’objectif de l’apprenant. Il existe dans notre générateur, mais pas dans les données, comme sur la plupart des plateformes. Demander un objectif aux apprenants pourrait surtout aider entre deux cours.
- Une seule période de test, uniquement hors ligne. Deux semaines en janvier. Le rappel dit ce que les apprenants ont fait, pas ce que le bloc les a amenés à faire.
Utilisation responsable
Section intitulée « Utilisation responsable »- Les suggestions orientent les gens. Une plateforme d’apprentissage façonne les carrières, pas seulement les clics. Montrez pourquoi une leçon est suggérée (« la suivante dans Analyse de données avec pandas ») et laissez les apprenants en choisir une autre.
- Les préalables sont des conseils, pas des barrières. La conception ne suggère jamais une leçon qui n’est pas accessible. Cela ne signifie pas que la plateforme devrait la verrouiller. Un apprenant expérimenté connaît peut-être déjà la matière.
- Ne jugez pas les apprenants selon leur vitesse. Les données de progression montrent qui s’est arrêté et qui avançait lentement. Ne les utilisez pas pour classer les apprenants ni pour les présenter à d’autres.
- Les données de progression sont personnelles. Les données sur les leçons terminées d’une vraie plateforme appartiennent à ses apprenants. Utilisez-les pour leurs propres suggestions et dites-le dans l’avis de confidentialité. Ce cas utilise uniquement des données synthétiques. Il n’a jamais utilisé les vrais apprenants de Nextia Learning.
- Dites ce qui est mesuré. Chaque résultat présenté ici est mesuré hors ligne, sur des données synthétiques. Ne promettez pas à Nadia davantage de cours terminés.
Faites-en un projet pour votre portfolio
Section intitulée « Faites-en un projet pour votre portfolio »Cette étude de cas montre à un employeur que vous pouvez transformer une règle d’affaires en mesure (le taux de non-respect). Elle montre aussi que vous pouvez combiner une règle avec un ordre appris, plutôt que choisir l’un des deux.
Quoi mettre dans le dépôt :
README.md(modèle ci-dessous).- Le carnet (notebook) Jupyter, exécuté du début à la fin, avec ses sorties.
DECISION.md: la conception, ses réglages, les coûts et leurs hypothèses, et ce qu’une personne vérifie.- La source et la licence des données (CC0), avec les sommes de contrôle SHA-256, et une phrase indiquant que les données sont synthétiques. Vous pouvez inclure les deux fichiers dans un commit (enregistrement des modifications) : CC0 le permet.
Un modèle de README :
# What to learn next: suggestions for a learning platform
## QuestionWhat should an "Up next" block show after each lesson, so that learnerssee the lesson they will take next, and never a lesson they are not ready for?
## Data and licenceSynthetic progress data (CC0 1.0), made by a documented behaviour model:12 courses, 84 lessons with prerequisites, 259,760 completions by24,000 learners. No real learners.
## ApproachTime split: choose on two validation weeks, test once on the next two,run the chosen design once on the last two. Methods: popular (28 days),co-occurrence (item-item cosine), Markov (the next lesson after the last),a prerequisite rule, and combinations. Measures: next-lesson recall@3 withbootstrap intervals, NDCG@3, the break rate (suggestions not ready),coverage, novelty, diversity, by segment (new, in a course, between courses).
## Results(the comparison table, the break-rate chart and the segment chart)
## DecisionThe prerequisite rule, with new courses ordered by Markov.Popular lessons only when fewer than 3 lessons are ready.
## LimitsSynthetic data, one test period, offline only, the learner's goal unknown.Comment le décrire en trois phrases : « J’ai comparé popularité, cooccurrence, modèle séquentiel de Markov et règle de préalables pour suggérer la prochaine leçon, avec un découpage temporel. J’ai ajouté une mesure des suggestions pour lesquelles l’apprenant n’est pas prêt. Une règle montrant seulement les leçons accessibles, avec les nouveaux cours classés par Markov, trouvait le plus souvent la prochaine leçon et ne contrevenait presque jamais à un préalable. »
Pour aller plus loin :
- Modifiez
make_data.pypour que 30 % des apprenants sautent des étapes, plutôt que 7 %. Générez les données à nouveau et exécutez le carnet. Cette conception gagne-t-elle encore? Qu’arrive-t-il à la règle entre les cours? - Ajoutez un emplacement « sauter des étapes » à la conception : la troisième carte peut montrer la première leçon selon Markov, même si elle n’est pas encore accessible, avec une étiquette. Mesurez le rappel à 3 (recall@3) et le taux de non-respect.
- Ajoutez l’objectif de l’apprenant aux données (le générateur le connaît). Classez les nouveaux cours selon cet objectif. Dans quelle mesure cela aide-t-il entre les cours?
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Markov trouve la prochaine leçon plus souvent que la cooccurrence. Pourquoi, et pourquoi Markov ne suffit-il toujours pas à lui seul?
Afficher la réponse
Markov compte les leçons suivies directement après la dernière leçon de l’apprenant. Il connaît donc l’ordre. La cooccurrence compte seulement les leçons terminées par les mêmes apprenants. Elle suggère donc aussi des leçons bien plus avancées dans le cours. Markov obtient 0,853 contre 0,726. Mais ses deuxième et troisième places reposent sur de petits nombres, souvent des apprenants qui ont sauté des étapes. Ainsi, 44,4 % de ses suggestions sont des leçons pour lesquelles l’apprenant n’est pas prêt. Seuls les préalables peuvent les éliminer.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
La conception ne montre jamais une leçon dont les préalables ne sont pas terminés. Quel en est le coût, dans ces données?
Afficher la réponse
Durant la période de test, 5,5 % des apprenants ont réellement terminé une leçon sans avoir terminé ses préalables : ils ont sauté des étapes. La conception ne peut jamais suggérer cette leçon. Elle manque donc chacun de ces cas. Markov en a trouvé 21 %. Sur l’ensemble de la période de test, la conception reste nettement meilleure, mais le coût est réel. Une plateforme où beaucoup d’apprenants sautent des étapes pourrait ajouter une carte étiquetée « sauter des étapes » plutôt que cacher ces leçons.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
La règle et la conception sont presque équivalentes pour les apprenants dans un cours. Où l'ordre de Markov aide-t-il, et pourquoi là?
Afficher la réponse
Entre les cours. Dans un cours, la prochaine leçon est presque toujours celle qui suit dans le cours. La règle la place déjà en premier. Quand un cours se termine, la règle doit choisir parmi de nouveaux cours. Seule, elle les classe par popularité : 0,794. Markov a compté les cours que les apprenants ont commencés après cette dernière leçon. Par exemple, après SQL pour l’analyse, les apprenants commençaient habituellement Statistiques avec Python. Avec cet ordre, la conception obtient 0,926.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Quand les articles ont un ordre et des préalables, la popularité est une référence de base faible :
popularobtient un recall@3 de 0,415, et 58,5 % de ses suggestions ne sont pas encore accessibles. - Markov (0,853) dépasse la cooccurrence (0,726) parce qu’il connaît l’ordre. Mais 44,4 % de ses suggestions contreviennent encore à un préalable.
- Mesurez ce qui ne doit jamais arriver, en plus du rappel : ici, le taux de non-respect.
- La conception : la règle des préalables, avec les nouveaux cours classés par Markov (0,919, taux de non-respect de 0,2 %). La solution de repli est la règle seule.
- Le vrai coût est un catalogue de préalables exact, pas l’ordinateur. Testez le bloc en ligne avant de le conserver.
- Les données sont synthétiques. Les méthodes trouvent donc seulement les comportements que nous y avons introduits. Utilisez la méthode, pas les chiffres.
Vient ensuite le travail final : vous construisez et défendez un système de recommandation pour une nouvelle catégorie de Larkfield, avec des données qu’aucune leçon n’a utilisées.
Leçon suivante : Travail final