Le déroulement des entrevues

Imaginez que vous apportez votre voiture chez un bon mécanicien. Vous dites : « Elle fait un bruit étrange. » Un mauvais mécanicien change trois pièces et vous envoie une facture. Un bon mécanicien pose d’abord des questions : « Quand est-ce que ça arrive? Seulement quand le moteur est froid? Seulement quand vous tournez à gauche? Depuis quand? » Chaque question découle de votre dernière réponse. Après quelques minutes, le mécanicien sait où chercher.

Une entrevue en science des données dans une entreprise sérieuse fonctionne de façon semblable, dans deux sens. La personne qui mène l’entrevue pose des questions comme un bon mécanicien. Elle écoute, et chaque nouvelle question découle de votre réponse. Dans le cas produit, c’est vous qui devez jouer le rôle du mécanicien. L’entreprise vous donne un chiffre étrange. La personne qui mène l’entrevue observe les questions que vous posez avant de toucher à quoi que ce soit.

Cette page explique les deux aspects, ainsi que les cinq entrevues du processus de Parlo.

Les cinq entrevues chez Parlo

L’offre de Parlo ne décrit pas son processus. C’est normal, alors posez la question à la personne responsable du recrutement dès le début. Voici ce qu’on vous explique lors de ce premier appel. Chaque entrevue vérifie un aspect différent et a sa propre règle concernant les outils d’IA.

1. L’appel de recrutement (30 minutes, Mira Okafor, partenaire en acquisition de talents). Mira vérifie les bases : votre expérience correspond-elle au niveau, quel salaire souhaitez-vous, quand pouvez-vous commencer? Pouvez-vous expliquer votre travail simplement? Préparez une présentation d’une minute, votre fourchette salariale et vos questions. C’est le bon moment pour demander quels outils l’équipe utilise réellement et quelle règle sur l’IA s’applique à chaque étape.

2. L’épreuve de SQL et d’analyse (45 minutes, un membre de l’équipe de science des données). Vous partagez un éditeur de code avec la personne qui mène l’entrevue. Vous travaillez sur quelques tables : utilisateurs, leçons et abonnements. Vous écrivez des requêtes et parlez pendant que vous écrivez. Un assistant d’IA est autorisé à cette étape, et la règle est simple : vous devez expliquer tout ce qu’il écrit. La personne veut voir comment vous l’utilisez. Lui posez-vous une question claire? Lisez-vous sa réponse ligne par ligne? Vérifiez-vous le résultat, par exemple en comptant les lignes avant et après une jointure? Ou en testant la requête sur un utilisateur dont vous connaissez les chiffres? Un travail lent et vérifié vaut généralement mieux qu’un travail rapide et inexpliqué.

3. Le cas produit (60 minutes, en vidéo, Thandiwe Mokoena, scientifique des données principale). C’est l’entrevue de la partie 3 de ce guide. Thandiwe a neuf ans d’expérience. Elle est chaleureuse et vive, demande souvent « pourquoi? » et aime dessiner de petits tableaux sur le tableau blanc partagé. Aucun outil d’IA à cette étape : seulement deux personnes qui discutent. L’heure suit un déroulement fixe :

Minutes	Déroulement
0–5	Présentations, format et règle sur l’IA pour cette étape
5–20	Une analyse ou une expérience que vous avez menée et qui a changé une décision, puis des questions approfondies
20–50	Le cas Parlo : une situation réelle que vit l’équipe aujourd’hui
50–57	Vos questions
57–60	Conclusion et prochaines étapes

4. Le travail à la maison et la présentation (Simone Achterberg, responsable de la science des données, et un gestionnaire de produit). Vous recevez un petit jeu de données et une question, et vous avez trois heures au maximum. Les outils d’IA sont autorisés, et vous devez déclarer leur utilisation. Précisez quel outil vous avez utilisé, pour quelles parties et ce que vous avez vérifié vous-même. Vous présentez ensuite vos résultats pendant 30 minutes. Simone vérifie votre jugement : avez-vous répondu à la vraie question, vos chiffres sont-ils justes? Dites-vous clairement ce que les données ne peuvent pas vous apprendre? Le gestionnaire de produit vérifie autre chose : pourrait-il appliquer votre recommandation demain? Une limite de temps montre à l’équipe ce que vous choisissez de faire en premier.

5. Valeurs et collaboration (45 minutes, Kenji Ito, gestionnaire de produit). Kenji est le gestionnaire de produit responsable de la fonctionnalité du cas. Il demande comment vous travaillez avec des personnes qui ne sont pas scientifiques des données. Par exemple, quand un résultat ne correspond pas à leurs attentes ou qu’une échéance approche et que les données ne sont pas prêtes. Ou quand vous avez fait une erreur dans un chiffre que quelqu’un a déjà utilisé.

Après la dernière entrevue, les personnes qui les ont menées se réunissent pour un bilan. Chacune partage ses notes écrites, puis elles décident ensemble. Un excellent résultat à une entrevue n’annule pas une préoccupation sérieuse soulevée dans une autre.

D’autres types d’entrevues possibles

D’autres entreprises utilisent d’autres étapes pour les postes de scientifique des données. Les étapes dépendent beaucoup du type de poste (voir Lire l’offre avec lucidité). Vous pourriez rencontrer :

• Une étape sur les statistiques et les expériences : questions sur la taille de l’échantillon, les intervalles de confiance ou deux mesures contradictoires. Ou sur les problèmes causés par l’arrêt prématuré d’un test.
• Du SQL sans aide de l’IA : le même type de requêtes que dans l’épreuve de Parlo, mais sans assistance. Les jointures, les dates, les fonctions de fenêtrage et les requêtes sur la rétention ou les entonnoirs sont les plus courantes.
• De la programmation en Python ou en apprentissage automatique : pour les postes axés sur l’apprentissage automatique. Vous nettoyez un petit jeu de données, construisez un modèle simple et expliquez comment vous sauriez s’il fonctionne.
• Un cas de baisse d’une mesure : « Les inscriptions ont baissé de 10 % hier. Que faites-vous? »
• Un travail à la maison plus long, sur une fin de semaine ou 48 heures. Demandez ce qu’on attend de vous pour ne pas y passer 20 heures.

Les règles sur l’IA changent d’une entreprise à l’autre, et souvent d’une étape à l’autre. Certaines entreprises utilisent aussi l’IA pour enregistrer ou résumer les entrevues et vous en informent à l’avance. Si personne ne vous explique la règle, demandez-la. Puis suivez-la exactement (nos conseils).

Comment approfondir dans une entrevue sérieuse

La deuxième partie du cas produit commence par une question ouverte : « Parlez-moi d’une analyse ou d’une expérience que vous avez menée et qui a changé une décision. » Ensuite, la personne qui mène l’entrevue suit votre réponse. Voici comment une phrase peut devenir quinze minutes de conversation.

Supposons qu’une personne candidate dise : « J’ai mené un test A/B sur notre page de paiement. Le nouveau design a augmenté la conversion de 4 %. » Les questions approfondissent le sujet, niveau par niveau :

D'une phrase aux limites des connaissances

1. 1

   « Quelle décision le test a-t-il aidé à prendre, et qui l'a prise? »

   Le travail est-il lié à une vraie décision? Beaucoup de tests sont menés, mais peu changent quelque chose.

2. 2

   « Comment les utilisateurs ont-ils été répartis entre les deux designs, et quelle était la mesure principale? »

   La personne a-t-elle conçu le test ou seulement lu la page des résultats? Seule la personne qui l'a conçu connaît ces détails.

3. 3

   « De combien d'utilisateurs aviez-vous besoin, et comment avez-vous décidé de la durée du test? »

   La personne comprend-elle la puissance statistique? C'est ici que beaucoup commencent à donner des réponses générales.

4. 4

   « Ce 4 % est-il relatif ou en points de pourcentage? Quel était l'intervalle de confiance? »

   La personne sait-elle lire un résultat honnêtement? Une hausse de 4 % d'un taux de conversion de 2 % représente un très petit changement absolu.

5. 5

   « Quelqu'un a-t-il regardé les résultats avant la fin? Autre chose a-t-il changé pendant ces semaines? »

   La personne connaît-elle les pièges courants : consulter trop tôt, une promotion, la saison ou un bogue dans un groupe?

6. 6

   « Six mois plus tard, le gain de 4 % est-il toujours là? Comment le sauriez-vous? »

   La limite : les effets à long terme et la façon dont une équipe les vérifie. Peu de personnes candidates l'ont fait.

La personne qui mène l’entrevue prévoit les sujets à explorer, pas les questions exactes. Les questions découlent des réponses. Si vous dites « nous l’avons mené pendant deux semaines complètes, parce que les achats diffèrent la fin de semaine », on vous questionnera sur les semaines. Si vous dites « la plateforme nous a dit que c’était significatif », on demandera : « Qu’a calculé la plateforme, et quelles hypothèses a-t-elle faites? »

Les listes de questions d’entrevue aident donc peu. Les questions viennent de votre propre travail. Vous pouvez surtout le connaître très bien : la décision, les chiffres, la méthode et ce qui s’est mal passé.

Les limites de vos connaissances

Chaque personne candidate atteint une limite. Une bonne personne qui mène l’entrevue cherche volontairement cette limite, car c’est là que se trouve l’information la plus utile. Elle veut voir ce que vous faites quand vous ne savez pas :

• Dites-vous clairement que vous ne savez pas, ou évitez-vous de le dire?
• Raisonnez-vous à partir de ce que vous savez, étape par étape, à voix haute?
• Posez-vous une question qui clarifie le problème?
• Restez-vous calme et honnête?

Voici un court exemple. La personne candidate a mentionné que son équipe utilisait une méthode appelée CUPED pour raccourcir les tests.

Un exemple : atteindre la limite

Thandiwe(intervieweur) :

Vous avez dit que CUPED raccourcissait vos tests. Comment ça fonctionne?

Candidat(personne candidate) :

Hmm. Bon, honnêtement, notre plateforme le faisait. Il y avait une case à cocher. Je connais mieux l’idée que les maths.

Thandiwe(intervieweur) :

C’est correct. Expliquez-moi l’idée.

Candidat(personne candidate) :

Alors, les utilisateurs sont très différents. Certains achètent beaucoup, d’autres presque rien. Cette différence crée du bruit dans le test. CUPED utilise des données d’avant le test, comme les achats de chaque utilisateur le mois dernier, pour enlever une partie du bruit. Moins de bruit, donc moins d’utilisateurs ou moins de jours nécessaires. Je pense que c’est ça. Ce que je ne peux pas vous dire, c’est la formule exacte, ou quand ça n’aide pas.

Thandiwe(intervieweur) :

D’accord. Quand pensez-vous que ça n’aiderait pas?

Candidat(personne candidate) :

Laissez-moi réfléchir… S’il n’y a pas de données d’avant. Comme pour les nouveaux utilisateurs. Ils n’ont pas d’historique. Donc… pour les nouveaux utilisateurs, ça aide probablement très peu?

Pourquoi cela fonctionne

Le candidat ne fait pas semblant. Il indique où ses connaissances s’arrêtent et explique l’idée qu’il connaît avec des mots simples. Puis il raisonne à voix haute pour arriver à une nouvelle idée. Sa dernière réponse est une bonne hypothèse, et il la présente comme telle. C’est aussi pertinent chez Parlo, où le cas porte sur les nouveaux utilisateurs.

Le cas Parlo

Dans la partie principale du cas produit, Thandiwe présente la même situation à chaque personne candidate. L’équipe la vit réellement aujourd’hui, et c’est une raison importante de son recrutement :

« D’accord, maintenant notre vraie situation. Il y a cinq semaines, nous avons lancé “Talk with Pip”, une pratique de conversation avec l’IA, auprès de 20 % des nouveaux utilisateurs. Le nombre d’utilisateurs actifs hebdomadaires dans ce groupe a augmenté d’environ 6 %. Mais la rétention au jour 30 des nouveaux utilisateurs est passée de 31 à 29 %. Notre gestionnaire de produit veut l’offrir à tout le monde avant janvier. Si vous étiez notre scientifique des données, que feriez-vous? »

Les termes du cas :

• Talk with Pip : l’apprenant parle à voix haute avec un tuteur d’IA de sujets quotidiens, comme commander un repas ou raconter sa fin de semaine.
• Utilisateurs actifs hebdomadaires : le nombre de personnes qui ont utilisé l’application pendant une semaine. Quelqu’un a choisi le sens exact du mot « utilisé ».
• Rétention au jour 30 : parmi les personnes inscrites, la proportion qui utilise encore l’application 30 jours plus tard.
• Janvier : beaucoup de personnes prennent la résolution d’apprendre une langue au Nouvel An. Janvier accueille donc le plus de nouveaux utilisateurs.

Il n’y a pas une seule bonne réponse. Thandiwe veut voir comment vous commencez. Quelles questions posez-vous avant de parler du résultat? Vérifiez-vous si la comparaison est équitable? Que signifie « bon » pour Parlo? Que recommanderiez-vous au gestionnaire de produit cette semaine, alors que les preuves sont incomplètes? Thandiwe connaît d’autres faits sur le lancement. Elle ne révèle la plupart d’entre eux que lorsqu’on pose la bonne question. Parfois, vers la fin du cas, elle donne elle-même un fait pour voir ce que la personne en fait.

Essayez avant de lire les entrevues

Prenez 25 minutes et écrivez ou dites à voix haute comment vous aborderiez le cas Parlo. Répondez à ces questions pour vous-même :

1. Quelles trois questions poseriez-vous à Thandiwe avant de parler du résultat?
2. « Passée de 31 à 29 % » : par rapport à quel groupe d’utilisateurs, et sur quelles dates? Pourquoi est-ce important?
3. La fonctionnalité a été lancée il y a cinq semaines. Quels nouveaux utilisateurs peuvent déjà avoir une mesure de rétention au jour 30? Que vous apprend cela sur la taille du groupe et ses dates d’inscription?
4. Le nombre d’utilisateurs actifs hebdomadaires a augmenté, et la rétention a baissé. Les deux peuvent-ils être vrais? Trouvez une raison pour chacun.
5. Que signifie « bon » pour une application de langues : plus d’activité, plus d’apprentissage ou plus d’utilisateurs payants? Quelle mesure principale choisiriez-vous, et lesquelles surveilleriez-vous pour éviter qu’un aspect important se dégrade?
6. Chaque conversation avec l’IA coûte de l’argent à Parlo. Que voulez-vous savoir d’autre avant de dire « offrez-la à tout le monde »?
7. Écrivez ce que vous diriez au gestionnaire de produit vendredi, en trois ou quatre phrases, en indiquant votre degré de certitude.

Gardez vos notes et comparez vos questions à celles des cinq personnes candidates.

Vérifier deux chiffres

Question 3. La rétention au jour 30 exige 30 jours après l’inscription d’un utilisateur. Après cinq semaines (35 jours), seuls les utilisateurs inscrits dans les cinq premiers jours environ peuvent avoir cette mesure. Le 29 % vient donc d’un petit groupe. Tous se sont inscrits dans les mêmes quelques jours au début du lancement. Ces deux faits devraient vous inciter à la prudence.

Question 6. Parlo paie environ 0,04 $ CA par conversation. Un utilisateur très actif a 20 conversations ou plus par semaine. Cela représente 20 × 0,04 = 0,80 $ CA par semaine, ou environ 3,44 $ CA par mois (0,80 × 4,3 semaines). Un abonnement Parlo Plus coûte 14,99 $ CA par mois. Pour un apprenant payant, le coût est donc réel, mais pas énorme. Pour un apprenant gratuit, Parlo paie sans rien recevoir en retour. Vous voulez donc savoir qui utilise le plus Pip : les apprenants gratuits ou payants?

Comment lire les pages des personnes candidates

Chaque page présente le même cas produit de 60 minutes avec Thandiwe, sous forme de conversation. Dans l’entrevue d’Artem, Kenji Ito, le gestionnaire de produit, participe aux 15 dernières minutes. Les répliques bleues sont celles de la personne qui mène l’entrevue; les vertes, celles de la personne candidate. Entre les répliques, des notes expliquent ce qui se passe :

• Ce que la personne qui mène l’entrevue vérifie : la vraie question derrière la question.
• Comment la personne qui mène l’entrevue approfondit : pourquoi la prochaine question découle de la réponse.
• Pourquoi ça fonctionne : ce qui rend une réponse solide.
• Où ça se passe mal : un moment faible, et pourquoi il l’est.
• Une réponse plus solide : le même moment, avec une meilleure réponse, dans les mots de la personne candidate.
• Bien exprimer son désaccord : comment une personne candidate exprime son désaccord avec la personne qui mène l’entrevue, avec des raisons.

Chaque page se termine par les notes écrites de Thandiwe, la suite des événements et des conseils pour un profil semblable. Chaque personne candidate a des moments forts et des moments faibles. Certaines parlent anglais comme deuxième ou troisième langue, comme beaucoup de personnes dans de vraies entrevues. Thandiwe écoute leur raisonnement et ne cherche pas une grammaire parfaite.

Les cinq personnes candidates sont :

1. L’analyste : Chloe maîtrise bien SQL et a mené environ 30 tests A/B, mais connaît moins bien leurs bases statistiques.
2. L’économiste : Rahul a un doctorat et une formation approfondie en inférence causale. Il doit apprendre à donner une réponse simple d’ici vendredi.
3. La candidate en réorientation : Inés a enseigné les langues pendant huit ans, puis s’est formée aux données. Elle sait comment les gens apprennent réellement.
4. Le modélisateur : Artem construit d’excellents modèles et en choisit un avant de demander quelle décision il faut prendre.
5. Le candidat senior : Gabriel a neuf ans d’expérience, a perdu son emploi lors d’une restructuration et postule à un niveau inférieur.

Lisez-les dans l’ordre que vous voulez. Commencez par le profil qui vous ressemble le plus, puis lisez celui qui vous ressemble le moins.