Le modélisateur

Imaginez un très bon mécanicien. Vous lui apportez votre voiture et dites : « Elle fait un bruit étrange, et je veux la vendre le mois prochain. » Avant même que vous ayez terminé, le mécanicien a ouvert le moteur. Le travail est excellent. Mais vous aviez seulement besoin de savoir une chose : pouvez-vous la vendre sans risque, ou non?

Beaucoup de spécialistes solides en apprentissage automatique passent des entrevues pour des postes en science des données appliquée aux produits. Ils voient « apprentissage automatique » dans l’offre et apportent leur meilleur outil. L’offre de Parlo mentionne bien l’apprentissage automatique. Mais le travail porte surtout sur les expériences et l’analyse du produit, et un chef de produit attend une décision. Ce profil ne manque généralement pas de compétences. Il lui manque la première question : quelle décision quelqu’un prendra-t-il avec ce travail?

Artem Kovalenko vient d’Ukraine. Il vit au Canada depuis deux ans. L’anglais est sa langue seconde, et il parle avec des phrases courtes et directes. Ses compétences techniques sont les plus fortes parmi les candidatures. Dans cette entrevue, vous verrez un début difficile sur l’étude de cas, puis un redressement honnête. Vous verrez aussi un moment où il a clairement raison et le dit avec gentillesse.

AK

La personne candidate

Artem Kovalenko

Scientifique des données en apprentissage automatique, 3 ans dans le transport à la demande, Kaggle Master

• 3 ans comme scientifique des données en apprentissage automatique
• Kaggle Competitions Master
• Python, LightGBM, PyTorch, SQL
• Maîtrise en mathématiques appliquées
• Toronto

• Projets d’apprentissage automatique (à contrat), Toronto, 2024 à aujourd’hui : prévision de la demande pour une entreprise d’entreposage; classification de documents pour un cabinet d’avocats
• Scientifique des données (apprentissage automatique), Kolo Rides, Kyiv (jeune entreprise de transport à la demande, environ 150 personnes), 2021–2024
• Création d’un modèle d’attrition des chauffeurs (LightGBM, 140 caractéristiques, AUC de 0,81) pour cibler les primes de fidélisation; réduction de l’attrition de 15 %
• Création du premier modèle d’estimation de l’heure d’arrivée pour les trajets; erreur réduite de 22 % par rapport à l’estimation fondée sur des règles
• Kaggle Competitions Master : 1 médaille d’or, 4 médailles d’argent
• Python (pandas, LightGBM, PyTorch, scikit-learn), SQL, Airflow, Docker, MLflow

Ce que Thandiwe voit avant l’appel

Thandiwe Mokoena lit le CV à côté de l’offre d’emploi. Le travail de modélisation est clairement réel. Des médailles Kaggle et un modèle d’heure d’arrivée avec une référence de base sont difficiles à inventer. Les notes de l’évaluation SQL disent : « Rapide et correct; a expliqué ses demandes à l’assistant d’IA et vérifié manuellement sa fonction de fenêtre. »

La phrase qu’elle veut comprendre est « réduction de l’attrition des chauffeurs de 15 % ». Un modèle d’attrition prédit qui partira. Il ne réduit pas l’attrition à lui seul. Autre chose l’a réduite, les primes, et quelqu’un l’a mesurée. Comment l’ont-ils mesurée?

Sa courte liste pour l’appel :

• Part-il de la décision ou du modèle?
• Sait-il montrer qu’une action a fonctionné, et pas seulement qu’une prédiction était bonne?
• Peut-il concevoir une expérience équitable et l’expliquer à un chef de produit?
• Kenji, le chef de produit, assiste aux 15 dernières minutes comme observateur. Comment Artem lui parle-t-il?

Termes de cette page

• Attrition : quand un utilisateur ou un chauffeur cesse d’utiliser le produit. Un modèle d’attrition prédit qui risque d’arrêter.
• Valeurs SHAP : une méthode qui montre à quel point chaque caractéristique a fait augmenter ou diminuer une prédiction. Elle explique le modèle, pas le monde.
• AUC : un score de 0,5 (aléatoire) à 1 (parfait). Il mesure si le modèle classe bien les personnes, de la plus probable à la moins probable.
• Groupe témoin : un groupe choisi au hasard qui ne reçoit pas l’action, pour permettre la comparaison. Un groupe témoin à long terme reste sans la fonctionnalité pendant des mois.
• Rétention au jour 30 : parmi les personnes inscrites un jour donné, la proportion qui utilise encore l’application environ 30 jours plus tard.
• Valeur p : s’il n’y avait aucun effet réel, la fréquence d’une différence aussi grande, ou plus grande, due au hasard seulement.
• Intervalle de confiance : une plage de valeurs de l’effet réel qui correspondent bien aux données. Voir Estimer l’incertitude.
• Consultation répétée des résultats : regarder le résultat d’un test plusieurs fois et arrêter quand il semble bon. Cela fait apparaître des résultats « significatifs » plus souvent qu’ils ne le devraient.
• Effet de nouveauté : les gens utilisent davantage quelque chose de nouveau au début parce que c’est nouveau. L’effet s’estompe.

L’entrevue

Minutes 0 à 5 : l'ouverture

Thandiwe(intervieweur) :

Bonjour Artem. Merci d’être là. Je suis Thandiwe, scientifique des données principale, surtout sur l’accueil des nouveaux utilisateurs. Voici le plan. D’abord, une de vos analyses ou un de vos projets, qu’on examinera en détail. Ensuite, un vrai problème de Parlo. Puis vos questions. Kenji, notre gestionnaire de produit, sera là pour les quinze dernières minutes, juste pour écouter. Et cette étape, c’est seulement une discussion entre nous, sans outils d’IA.

Artem(personne candidate) :

D’accord. Compris. Pas d’IA. Ça va.

Minutes 5 à 20 : une analyse qui a changé une décision

Thandiwe(intervieweur) :

Alors, parlez-moi d’une analyse ou d’un modèle qui a changé une décision.

Artem(personne candidate) :

Le départ des chauffeurs chez Kolo. Les chauffeurs partent, et recruter un nouveau chauffeur coûte cher : accueil, documents, prime pour les premières courses. L’équipe des opérations voulait offrir des primes de fidélisation, mais seulement aux chauffeurs qui allaient partir. Alors j’ai construit un modèle. LightGBM, environ 140 variables. Courses par semaine, tendance des courses, annulations, note, heures en ligne, secteur de la ville. La cible était : le chauffeur ne fait aucune course dans les 14 prochains jours.

L’AUC était de 0,81 sur le mois de test. Chaque semaine, les opérations prenaient les 10 % les plus à risque et leur donnaient une prime.

Thandiwe(intervieweur) :

D’accord. Comment avez-vous séparé les données d’entraînement et de test?

Artem(personne candidate) :

Par date. Entraînement sur les mois précédents, test sur le mois suivant. Pas au hasard. Une séparation aléatoire laisse passer des informations du futur, le même chauffeur est dans les deux.

Pourquoi cela fonctionne

Une réponse rapide et correcte sur un piège courant. Avec des données dans le temps, les données de test doivent suivre les données d’entraînement. La même personne ne devrait pas figurer dans les deux. Thandiwe comprend que son expérience en modélisation est réelle. Voir Données d’entraînement, de validation et de test.

Thandiwe(intervieweur) :

Bien. Comment avez-vous choisi qui recevait la prime?

Artem(personne candidate) :

J’ai d’abord calibré les probabilités, avec une régression isotonique. Ensuite, pour le seuil, j’ai regardé la précision à différents—

Thandiwe(intervieweur) :

Pardon, je voulais dire autre chose. Qui a décidé? Vous, ou l’équipe des opérations?

Artem(personne candidate) :

Ah. L’équipe des opérations. Leur budget permettait environ 700 primes par semaine. Donc les 10 % les plus à risque, c’était selon le budget.

Thandiwe(intervieweur) :

D’accord. Votre CV indique que le taux de départ a baissé de 15 %. Comment avez-vous mesuré ça?

Artem(personne candidate) :

Les opérations ont mesuré. Le taux de départ le mois après le début des primes, comparé au mois précédent.

Thandiwe(intervieweur) :

Quels mois?

Artem(personne candidate) :

Octobre, et… novembre était le mois des primes. Hmm.

Courte pause.

Oui, je sais ce que vous allez dire. À Kyiv, novembre est froid, plus de gens prennent le taxi, les chauffeurs gagnent plus. Les chauffeurs restent de toute façon. Donc ce n’est pas une bonne comparaison. Honnêtement, le 15 % vient du rapport des opérations. Ce n’est pas mon chiffre.

Où cela tourne mal

L’AUC d’un modèle indique qu’il classe bien les chauffeurs. Elle ne dit pas que la prime a changé quoi que ce soit. Artem a présenté le chiffre avant-après des opérations sur son CV comme son propre résultat. Il voit le problème dès qu’il nomme les mois à voix haute. Mais une ligne de CV qu’il ne peut pas défendre lui fait perdre de la crédibilité. Une formulation plus sûre : « Modèle utilisé pour cibler les primes de fidélisation; un petit groupe témoin suggérait une réduction d’environ 5 points, avec un intervalle large. »

Thandiwe(intervieweur) :

Quelqu’un a-t-il fait une comparaison plus juste?

Artem(personne candidate) :

Oui, plus tard. J’ai demandé un groupe témoin. Pendant un mois, 10 % des chauffeurs à risque élevé n’ont pas reçu la prime. Au hasard. Environ 300 chauffeurs sans prime, et environ 2 700 avec.

Le taux de départ était de 27 % sans prime, 22 % avec. Mais l’intervalle était large. D’environ zéro à dix points, je pense. Et ensuite, le programme a arrêté, le budget a été réduit. Donc on n’a jamais vraiment su.

Thandiwe(intervieweur) :

Que feriez-vous autrement?

Artem(personne candidate) :

Un groupe témoin dès le premier jour. Et plus grand. Et je mesurerais l’argent, pas seulement les départs. Une prime coûte de l’argent. Si le chauffeur reste un mois de plus, est-ce que ça vaut le coût? On n’a jamais calculé ça.

Pourquoi cela fonctionne

Il se reprend bien. Artem sait comment mesurer une action de façon juste : avec un groupe témoin choisi au hasard. Il en connaît aussi les limites. Avec 300 chauffeurs dans le groupe témoin, une différence de 5 points a un intervalle d’environ 0 à 10 points. Et il ajoute lui-même la question d’affaires : la prime valait-elle son coût?

Minutes 20 à 45 : le cas Parlo

Thandiwe(intervieweur) :

D’accord, maintenant notre situation réelle. Il y a cinq semaines, nous avons lancé « Talk with Pip », des conversations d’entraînement avec l’IA, auprès de 20 % des utilisateurs. Pardon, des nouveaux utilisateurs. Le nombre d’utilisateurs actifs par semaine dans ce groupe a augmenté d’environ 6 %. Mais la rétention au jour 30 des nouveaux utilisateurs est passée de 31 à 29 %. Notre gestionnaire de produit veut l’offrir à tout le monde avant janvier. Si vous étiez notre scientifique des données, que feriez-vous?

Artem(personne candidate) :

Je construirais un modèle de départ pour les nouveaux utilisateurs. Prédire qui part avant le jour 30. Variables : conversations avec Pip, leçons, heure de la journée, langue, niveau. Ensuite, avec les valeurs SHAP, je peux voir si l’utilisation de Pip augmente ou diminue les départs, et pour quels utilisateurs.

Thandiwe(intervieweur) :

D’accord. Et que fait Kenji avec ce modèle?

Artem(personne candidate) :

Pause.

Il voit… quels utilisateurs partent à cause de Pip?

Thandiwe(intervieweur) :

Sa décision, c’est : offrir Pip à tout le monde en janvier, oui ou non. Comment le modèle l’aide-t-il à décider?

Artem(personne candidate) :

Hmm. Il ne l’aide pas, directement. Les utilisateurs qui parlent beaucoup avec Pip sont différents de ceux qui ne le font pas. Le modèle voit une corrélation. Il ne dit pas ce qui arrive si on offre Pip à tout le monde.

D’accord. Je vais recommencer. Je dois d’abord comprendre les données. Comment avez-vous choisi les 20 %?

Où cela tourne mal

C’est le moment faible. Artem répond avec son outil préféré avant de demander quelle décision il doit servir. Un modèle de départ avec des valeurs SHAP explique les prédictions. Il ne montre pas ce que Pip cause, car les utilisateurs intensifs de Pip ont choisi cette utilisation. Thandiwe pose une question, et il le voit lui-même. « Je vais recommencer » est une bonne façon de se reprendre. Ne défendez pas une première réponse erronée.

Thandiwe(intervieweur) :

Au hasard, avec un déploiement par pourcentage dans notre outil d’expérimentation. Mais seulement sur iOS. Android n’était pas prêt.

Artem(personne candidate) :

Au hasard parmi les utilisateurs iOS. D’accord, bien. Ensuite, la rétention au jour 30, cinq semaines après le lancement. Seuls les utilisateurs inscrits dans les cinq premiers jours peuvent avoir atteint le jour 30. Ça fait combien?

Thandiwe(intervieweur) :

Environ 2 400 dans le groupe Pip.

Artem(personne candidate) :

C’est petit. Et ils se sont tous inscrits la même semaine, fin août.

Pourquoi cela fonctionne

Maintenant, Artem va vite, et ses questions sont les bonnes. Il voit, sans aide, qu’un chiffre au jour 30 après cinq semaines couvre seulement les cinq premiers jours d’inscription. Il ne demande pas encore à quoi on compare les 31 %. Cette question vient plus tard, et elle compte beaucoup.

Thandiwe(intervieweur) :

Fin août. La rentrée scolaire, pour beaucoup de nos apprenants. D’accord. Et le coût? Chaque conversation avec Pip nous coûte environ quatre cents en appels au modèle. Les utilisateurs intensifs en font vingt ou plus par semaine.

Artem(personne candidate) :

Vingt fois quatre cents, 80 cents par semaine. Un mois… environ trois dollars cinquante pour un utilisateur intensif. Plus coûte 14,99 $. Donc pour un utilisateur payant, ça va. Pour les utilisateurs gratuits, c’est un coût sans revenu en retour. Je voudrais savoir : est-ce que Pip fait passer les gens de l’offre gratuite à Plus?

Thandiwe(intervieweur) :

Bien. Alors, que veut dire « bon » ici? Plus d’utilisateurs actifs par semaine, une meilleure rétention, plus de Plus, ou plus d’apprentissage?

Artem(personne candidate) :

C’est… une décision de produit, je pense. Kenji décide. Je mesure ce qu’il demande.

Thandiwe(intervieweur) :

Et s’il vous demande votre avis?

Artem(personne candidate) :

Alors… la rétention, peut-être. Parce que c’est sur le long terme. L’activité hebdomadaire peut augmenter parce que Pip est nouveau, puis redescendre. Je ne suis pas sûr pour l’apprentissage. Je ne sais pas comment vous le mesurez.

La limite

C’est la limite, et elle n’est pas technique. Dans ce rôle, le scientifique des données travaille seul avec un gestionnaire de produit. Il doit aider à décider ce que « bon » signifie, pas seulement le mesurer. Le réflexe d’Artem est de renvoyer cette responsabilité. Quand Thandiwe insiste, il donne une réponse raisonnable sur la nouveauté, mais la question de l’apprentissage reste ouverte. Thandiwe écrit « orientation vers la décision » dans ses notes.

Une meilleure réponse

Une réponse plus forte prend position et explique pourquoi :

« Je proposerais la rétention au jour 30 comme mesure principale, car les utilisateurs de janvier qui partent en février ne nous aident pas. Le nombre d’utilisateurs actifs par semaine serait un garde-fou, pas l’objectif, car une nouvelle fonctionnalité semble souvent prometteuse les premières semaines. Je voudrais aussi deux autres éléments sur la page des résultats : la conversion de l’offre gratuite à Plus, car Pip coûte de l’argent pour les utilisateurs gratuits, et les leçons terminées, pour voir si Pip remplace les leçons. L’apprentissage est la vraie promesse du produit. Je ne sais pas comment Parlo le mesure. Y a-t-il quelque chose que je pourrais utiliser? »

La décision appartient toujours à Kenji. Mais un scientifique des données qui propose une mesure, avec des raisons, facilite cette décision.

Minutes 45 à 50 : Kenji arrive

Thandiwe(intervieweur) :

Ah, Kenji est là. Kenji, votre micro est coupé, je pense.

Kenji(intervieweur) :

—pardon. Bonjour Artem. Je ne fais qu’écouter, continuez.

Thandiwe(intervieweur) :

Artem, Kenji accepte une expérience rigoureuse. Dites-nous comment vous la concevriez.

Artem(personne candidate) :

D’accord. Répartir les nouveaux utilisateurs au hasard, selon leur identifiant, à l’inscription. Les deux plateformes, si Android est prêt. 50/50. Mesure principale : rétention au jour 30. Garde-fous : leçons terminées, conversion de l’offre gratuite à Plus et coût par utilisateur. Décider tout ça avant de commencer, et ne pas regarder chaque jour pour arrêter tôt.

Taille : pour détecter un point de rétention, avec une référence de base autour de 30 %, il faut environ 33 000 utilisateurs par groupe, je pense. Je peux vérifier avec un calculateur, mais c’est de cet ordre.

Thandiwe(intervieweur) :

Nous avons environ 5 500 nouveaux utilisateurs par jour, sur les deux plateformes.

Artem(personne candidate) :

Donc 2 750 par groupe par jour. Douze jours pour recruter les gens. Puis 30 jours pour observer le jour 30 des derniers. Environ six semaines. Si c’est seulement iOS, plus du double du temps pour recruter les gens. Environ deux mois.

Pourquoi cela fonctionne

C’est correct et rapide. Pour une différence de 1 point avec une rétention d’environ 30 %, il faut environ 33 000 utilisateurs par groupe. Cela suppose le seuil de signification habituel de 5 % et une puissance de 80 %. À 2 750 par groupe par jour, cela prend environ 12 jours, puis il faut attendre 30 jours. Artem dit aussi qu’il vérifierait le chiffre, ce qui est honnête.

Kenji(intervieweur) :

Pardon, je peux dire quelque chose? Six semaines, ça va, mais honnêtement, je pense qu’on sait déjà. Mon tableau de bord montre p = 0,04 pour la baisse de rétention. Donc il y a 96 % de chances que la fonctionnalité nuise à la rétention. Un peu. Et je pense que 6 % d’utilisateurs actifs par semaine en plus vaut une petite baisse de rétention.

Artem(personne candidate) :

Je peux être un peu en désaccord, sur la valeur p?

Kenji(intervieweur) :

Bien sûr, allez-y.

Artem(personne candidate) :

La valeur p n’est pas la probabilité que Pip nuise. Elle dit : si Pip n’avait aucun effet, à quelle fréquence verrait-on une différence aussi grande juste par hasard? Ici, environ 4 % du temps. C’est une autre question.

Kenji(intervieweur) :

Hmm. Ce n’est pas la même chose, dite dans l’autre sens?

Artem(personne candidate) :

Non, et beaucoup de gens le pensent. C’est comme… si une personne est en santé, le test est positif seulement 4 % du temps. Ça ne veut pas dire qu’une personne avec un test positif a 96 % de chances d’être malade. Pour « la probabilité que Pip nuise », il faut une analyse bayésienne, avec une probabilité a priori. Un autre calcul.

Et ici, il y a un problème plus grand. Votre tableau de bord compare quels groupes?

Kenji(intervieweur) :

Le groupe Pip contre tous les autres nouveaux utilisateurs, les mêmes semaines. Comme le tableau de bord.

Artem(personne candidate) :

Alors la valeur p vérifie seulement le hasard. Elle ne vérifie pas les groupes. Pip est seulement sur iOS. L’autre groupe comprend Android. Les utilisateurs Android restent moins, non? Alors ce groupe témoin est trop haut pour iOS—non, pardon. Trop bas. Android le fait baisser. Thandiwe, avez-vous iOS sans Pip, pour les mêmes jours?

Thandiwe(intervieweur) :

Environ 33 %.

Artem(personne candidate) :

Donc le vrai écart est de quatre points, pas deux. Et si on regarde chaque matin et qu’on croit le premier résultat « significatif », on trouve « significatif » plus souvent que 5 %. Donc : pas 96 %. Mais pas « un peu » non plus.

Bien exprimer un désaccord

Kenji est expérimenté, sûr de lui, et c’est la personne qui travaillera avec la recrue. Artem le corrige quand même, et il le fait bien. Il demande d’abord la permission (« je peux être un peu en désaccord? »). Il explique avec un exemple courant, pas une formule. Puis il passe au problème plus important, qu’il trouve en posant une question à Kenji : la comparaison elle-même n’est pas juste. Il s’embrouille un instant (« trop haut—non, trop bas »), puis se corrige. Et il ne se sert pas de la correction pour gagner le débat. La comparaison juste est pire pour Pip, pas meilleure, et il le dit. Une valeur p de 0,04 ne signifie pas 96 %, mais la baisse n’est pas non plus « un peu ». Voir Vous pouvez être en désaccord.

Kenji(intervieweur) :

Quatre points. Hmm. Pause. D’accord. Et j’ai déjà dit 96 % dans deux réunions. Alors quel chiffre dois-je utiliser?

Artem(personne candidate) :

iOS contre iOS. Moins 4 points. Avec 2 400 personnes, plus ou moins deux points environ, je pense. Donc entre moins 2 et moins 6. Mais ce sont les utilisateurs d’une seule semaine d’août. Pour janvier, je ne sais pas encore.

Minutes 50 à 60 : la question de Kenji, les questions d'Artem et la fin

Kenji(intervieweur) :

D’accord, dernière chose de mon côté. J’ai une réunion avec mon vice-président vendredi. Qu’est-ce que je dis?

Artem(personne candidate) :

Que la comparaison du tableau de bord est biaisée par le mélange de plateformes. À groupes comparables, c’est moins 4 points, avec un intervalle de 2 à 6. Mais une seule semaine de cohorte, un possible effet de nouveauté, et des consultations répétées des résultats. Il faut un test randomisé sur les deux plateformes, avec la puissance nécessaire pour détecter un point de rétention. Mesure principale et garde-fous préenregistrés. Six semaines.

Kenji(intervieweur) :

D’accord… Je ne suis pas sûr de pouvoir dire « préenregistrés » à mon vice-président.

Artem(personne candidate) :

Oui. Pardon. Simplement : avec Pip, sur 100 nouveaux utilisateurs iOS, environ 29 restent un mois, pas 33. On ne voit qu’une semaine d’utilisateurs. Dans six semaines, on saura avec certitude, avant janvier.

Une meilleure réponse

La première réponse d’Artem est correcte, mais elle s’adresse à un scientifique des données, pas à un vice-président. Sa deuxième est bien meilleure. Une version complète pour la réunion de Kenji vendredi comprend trois parties. Elle dit ce qu’on sait et à quel point on en est sûr. Puis elle donne un plan avec une date. Ensuite, elle dit quoi faire si on ne peut pas attendre :

« Les gens utilisent davantage l’application avec Pip dans les premières semaines. Mais dans une comparaison juste, utilisateurs iPhone contre utilisateurs iPhone, moins de gens restent : environ 29 sur 100 après un mois, au lieu de 33. Nous n’avons encore qu’une semaine d’utilisateurs, de fin août, donc nous ne savons pas si ce sera pareil en janvier. La semaine prochaine, nous lançons un test juste sur les deux plateformes, et nous aurons une réponse à la fin novembre. D’ici là, je n’offrirais pas Pip à tout le monde. »

Voir Expliquer vos décisions.

Thandiwe(intervieweur) :

Merci, Kenji. Artem, vos questions?

Artem(personne candidate) :

Oui. L’offre parle d’apprentissage automatique. Quelle part du travail concerne vraiment les modèles?

Thandiwe(intervieweur) :

Honnêtement? Dans cette équipe, peut-être 10 %. Surtout des expériences et des analyses. Nous avons un modèle de prévision, et c’est tout.

Artem(personne candidate) :

D’accord. Merci pour la réponse honnête. Alors je voudrais aussi demander : qui construit les recommandations? Quelle leçon vient ensuite, ce genre de choses.

Thandiwe(intervieweur) :

C’est une autre équipe, celle des recommandations. Ils font de l’apprentissage automatique toute la journée. Ils recrutent aussi, je crois.

Pourquoi cela fonctionne

C’est une question risquée pour cette entrevue, et une très bonne question pour Artem. Il apprend que le rôle concerne surtout autre chose que ce qu’il fait le mieux. Il apprend aussi qu’une autre équipe de la même entreprise se concentre sur ses forces. Une entrevue est une conversation dans les deux sens, et cette question change la suite. Voir Une entrevue est une conversation dans les deux sens.

Thandiwe(intervieweur) :

D’accord, notre temps est écoulé. Merci, Artem. Mira vous contactera cette semaine.

Artem(personne candidate) :

Merci. Et Kenji, pardon pour le 96 %.

Kenji(intervieweur) :

Non, non. Mieux vaut maintenant que devant le vice-président.

Après l’appel : les notes de Thandiwe

Candidat : Artem Kovalenko. Étude de cas produit, 60 minutes. Kenji a observé les 15 dernières minutes.

Preuves solides

• Statistiques. A rapidement établi un bon plan d’expérience et une taille d’échantillon correcte. A bien compris la valeur p et l’a bien expliquée à Kenji.
• Compréhension des données. A vu seul que le jour 30 ne couvre que les cinq premiers jours. A trouvé le mélange de plateformes dans la comparaison de Kenji en demandant quels groupes elle comparait (iOS contre iOS : 4 points, pas 2). Il l’a trouvé, mais tard.
• Python et modélisation. Le plus solide parmi les candidats (séparation selon le temps, calibration). Ce poste en a peu besoin.

Quelques preuves

• Communication avec un gestionnaire de produit. A très bien exprimé son désaccord avec Kenji. Son premier résumé pour le vice-président était trop technique; il l’a corrigé quand on le lui a demandé.

Aucune preuve

• Résultats d’apprentissage. Ne savait pas comment aborder la question « les gens apprennent-ils davantage »; n’a pas essayé.

Préoccupation

• Priorité à la décision. A commencé le cas par un modèle d’attrition avant de demander à quelle décision il servirait. Pour définir « ce qui est bon », voulait laisser Kenji décider seul. Dans ce poste, il travaillerait seul avec un gestionnaire de produit la plupart des semaines. Aussi, la ligne du CV « a réduit l’attrition de 15 % » vient d’une comparaison avant-après de l’équipe des opérations. Il l’a reconnu.

Recommandation : non pour ce poste. Simone, veuillez le diriger vers l’équipe des recommandations. C’est le meilleur candidat en apprentissage automatique que j’ai vu cette année, et il a lui-même posé des questions sur cette équipe.

Kenji a ajouté : « Il m’a corrigé et il avait raison. Il l’a fait d’une manière que je pouvais accepter. Je travaillerais avec lui. »

La suite

L’étude de cas produit a été l’étape décisive. Artem n’a pas poursuivi avec le travail à faire à la maison pour ce poste. Le seul poste vacant a été attribué à une autre candidate, Chloe Martin.

Simone a transmis son CV et les notes de Thandiwe au gestionnaire de l’équipe des recommandations. Cette équipe cherche un scientifique des données en apprentissage automatique. Mira a appelé Artem et a expliqué honnêtement les deux points : un refus pour ce poste et une présentation à une autre équipe. Cette présentation n’est pas une offre. Artem a obtenu une entrevue avec l’équipe des recommandations. Au moment de la rédaction, elle n’a pas encore eu lieu.

Artem a aussi changé une ligne de son CV. Elle indique maintenant ce que le modèle a fait et ce que le groupe témoin a montré, avec son large intervalle.

Cette fin est courante pour les spécialistes solides. Le poste ne lui convenait pas. Mais Artem a posé une question honnête sur le travail. Thandiwe a donc pu l’orienter vers un poste qui lui convient. C’est en partie de la chance, et en partie une bonne question posée au bon moment.

Ce qu’il faut en retenir

• Demandez quelle décision il faut prendre avant de choisir une méthode. Un modèle répond à « qui ». Mais Kenji avait besoin de savoir « ce qui se passe si nous faisons ceci ». Consultez Traduire un besoin.
• Une bonne prédiction n’est pas un bon résultat. Une aire sous la courbe de 0,81 indique que le modèle classe bien les conducteurs. Seule une comparaison équitable, comme un groupe témoin aléatoire, indique que la prime a fonctionné.
• Vous pouvez exprimer votre désaccord avec une personne haut placée. Posez d’abord des questions, expliquez simplement et dites toute la vérité, même la partie qui n’appuie pas votre point de vue. Kenji le respectait davantage après cet échange.
• Dites-le deux fois : une fois pour les spécialistes, une fois pour tout le monde. La phrase destinée au vice-président compte autant que le bon plan d’expérience.
• Demandez en quoi consiste vraiment le travail. La question d’Artem sur l’apprentissage automatique l’a orienté vers la bonne équipe.

Si votre profil ressemble à celui d’Artem

Vos compétences techniques approfondies sont réelles. Pour les postes en science des données produit, les lacunes concernent la priorité à la décision et les échanges avec les gestionnaires de produit. Vous pouvez vous exercer aux deux.

1. Commencez chaque cas par trois questions. Quelle décision faut-il prendre? Qui la prend, et quand? Qu’est-ce qui pourrait faire changer cette personne d’avis? Écrivez-les sur votre feuille avant le début de l’entrevue. Consultez Cadrer le problème.
2. Pour chaque modèle sur votre CV, écrivez quelle action il a entraînée et comment cette action a été mesurée. Si personne ne l’a mesurée équitablement, dites-le et expliquez ce que vous feriez. Un large intervalle provenant d’un petit groupe témoin reste une bonne preuve de travail honnête.
3. Exercez-vous à expliquer la « valeur p en une phrase » et l’« intervalle de confiance en une phrase ». Dites ces phrases à un ami qui ne travaille pas avec les données. Ajoutez ensuite un exemple de la vie courante. Consultez Comparer des options.
4. Prenez position sur les mesures. Pour trois applications que vous utilisez, choisissez une mesure principale et un ou deux garde-fous. Expliquez pourquoi en trois lignes.
5. Interprétez l’offre selon l’équipe, pas selon le titre. Le poste Data Scientist, Growth & Learning (scientifique des données, croissance et apprentissage) porte surtout sur les expériences. Les postes Data Scientist, Recommendations (scientifique des données, recommandations) ou Machine Learning (apprentissage automatique) portent surtout sur les modèles. Postulez aux deux si vous voulez, mais préparez-vous différemment. Consultez Se préparer aux candidatures.
6. Exercez-vous à donner la réponse du vendredi. Prenez n’importe quelle analyse et expliquez la recommandation en quatre phrases. Incluez une date et un plan si la réponse est « nous ne savons pas encore ». Consultez Expliquer vos décisions.