Le déroulement des entrevues

Pensez à un bon mécanicien. Vous dites : « La voiture fait du bruit quand je freine. » Le mécanicien ne lit pas une liste de 50 questions. Il demande : « À l’avant ou à l’arrière? » Puis : « Seulement quand la voiture est froide, ou toujours? » Puis : « Depuis quand? » Chaque question vient de votre dernière réponse. Après quelques minutes, il sait où chercher.

Une entrevue technique sérieuse fonctionne de la même façon. L’intervieweur écoute d’abord, puis approfondit vos propos, une étape à la fois, jusqu’à trouver la limite de vos connaissances. Cette page explique cette démarche et les six entrevues du processus de Fennick. Vous pourrez ensuite lire la partie 3, où cinq candidats passent la même entrevue approfondie en apprentissage automatique.

Les six entrevues chez Fennick

L’offre de Fennick ne décrit pas le processus. Les candidats le découvrent donc lors du premier appel avec la recruteuse. Chaque entrevue vérifie un aspect différent, et une personne différente mène chacune d’elles.

1. L’appel avec la recruteuse (30 minutes, Chantal Roy, partenaire en acquisition de talents). Chantal vérifie les bases : votre expérience correspond-elle au niveau du poste? Quel salaire attendez-vous? Quand pouvez-vous commencer? Pouvez-vous expliquer votre travail à une personne qui n’est pas ingénieure? Elle explique aussi le processus et les règles de chaque étape. Chantal peut répondre aux questions sur le processus, le niveau et le salaire. Pour les questions sur le travail quotidien, elle peut dire : « Demandez à l’équipe aux prochaines étapes. » Cela peut concerner les outils de l’équipe ou le fonctionnement des périodes de garde. C’est une réponse normale. Notez la question et posez-la plus tard.

2. L’entrevue avec le gestionnaire responsable de l’embauche (45 minutes, Ravi Subramaniam, gestionnaire de l’ingénierie). Ravi veut savoir pourquoi vous voulez ce poste et comment vous travaillez avec les autres. Il vérifie aussi si vos expériences passées correspondent aux problèmes de l’équipe. Il aborde les projets de façon plus générale qu’un ingénieur : quel était l’objectif, qu’avez-vous décidé, qu’est-ce qui a mal fonctionné? Quand vous le lui demandez, il parle aussi franchement des points faibles de l’équipe. Ces réponses vous donnent une idée de vos premiers mois.

3. La programmation (60 minutes, un des ingénieurs en apprentissage automatique de l’équipe). Vous faites du travail pratique en Python et sur les données dans un éditeur partagé, pas une énigme. Une tâche typique : voici un petit tableau de commandes. Nettoyez-le, puis calculez une variable comme « le temps moyen de préparation du magasin durant les quatre dernières semaines ». L’intervieweur vérifie si vous utilisez seulement les données disponibles avant chaque commande. Une variable qui utilise accidentellement des commandes ultérieures constitue une petite fuite de données. Cette erreur est facile à faire. L’offre demande de savoir utiliser des outils de programmation avec IA, mais cette étape interdit les assistants d’IA. La documentation de Python et de pandas est permise. Ce n’est pas une contradiction : cette étape vérifie ce que vous pouvez faire et expliquer vous-même.

4. L’entrevue approfondie en apprentissage automatique (60 minutes, par vidéo, Ioana Petrescu, ingénieure experte en apprentissage automatique). C’est l’entrevue de la partie 3. Ioana vous demande de parler d’un modèle que vous avez mis en production, ou de votre expérience la plus proche. Elle l’explore ensuite en profondeur. Puis elle vous présente un vrai problème de Fennick. Elle vérifie que votre expérience est réelle, jusqu’où elle va et comment vous raisonnez aux limites de vos connaissances. Aucun assistant d’IA n’est permis à cette étape; les notes sur papier sont acceptées.

5. La conception de systèmes d’apprentissage automatique (60 minutes, Ben Adler, ingénieur principal). Ben vous demande de concevoir un système complet sur un tableau partagé. Souvent, il s’agit du système qui fournit l’estimation de livraison au moment de payer. Vous expliquez les différentes parties : d’où viennent les variables, comment le modèle est entraîné et mis en production. Vous expliquez aussi ce qui arrive quand une variable tarde ou manque, et à quelle vitesse le système doit répondre. Enfin, vous expliquez comment vérifier qu’il fonctionne encore le mois suivant. En cours d’entrevue, Ben change habituellement une exigence, par exemple : « Maintenant, nous lançons le service dans une nouvelle ville sans historique. » Il veut voir comment votre conception évolue, pas un premier dessin parfait.

6. La discussion sur les valeurs (45 minutes, Laura Fitzgerald, directrice des opérations). Laura dirige les opérations des livreurs. Elle demande comment vous agissez dans des situations difficiles : quand les opérations vous disent que le modèle se trompe, par exemple. Ou quand votre changement nuit aux livreurs, ou qu’une échéance entre en conflit avec la qualité. Elle vérifie votre respect des personnes qui vivent chaque jour avec les chiffres du modèle : livreurs, personnel des magasins et agents de soutien.

Après la dernière entrevue, les intervieweurs se réunissent pour un bilan. Chacun partage ses notes écrites, puis ils décident ensemble. Un bon résultat à une étape n’annule pas une préoccupation sérieuse soulevée à une autre.

À propos de l’intervieweuse de la partie 3

Ioana Petrescu travaille en apprentissage automatique depuis 11 ans. Elle vient de Roumanie et s’est installée au Canada il y a sept ans. Elle a créé le service d’estimation de l’heure d’arrivée (ETA). L’anglais est sa langue seconde. Elle parle clairement et simplement, et s’arrête parfois pour chercher un mot. Deux des cinq candidats, Mateo et Hana, parlent aussi anglais comme langue seconde.

Remarquez à quel point cela compte peu dans les conversations. Ioana ne juge jamais la grammaire ni l’accent. Elle écoute les raisons, les décisions et l’honnêteté. Votre anglais n’a pas besoin d’être parfait; l’intervieweur écoute votre raisonnement. Nous en parlons davantage dans nos conseils.

D’autres types d’entrevues que vous pourriez rencontrer

D’autres entreprises organisent différemment les entrevues pour les ingénieurs en apprentissage automatique. Selon les témoignages de candidats et les sites de préparation, et non les entreprises elles-mêmes, voici des formats courants :

• Une présélection en programmation algorithmique : un problème de programmation classique, souvent avant les entrevues principales. Beaucoup de grandes entreprises l’utilisent encore.
• La programmation d’apprentissage automatique à partir de zéro : « Écrivez une régression logistique avec seulement NumPy » ou « Écrivez l’algorithme des k-moyennes ». Cela vérifie si vous comprenez ce qu’une bibliothèque fait pour vous.
• Une étape sur les bases de l’apprentissage automatique : de courtes questions sur le surapprentissage, la régularisation, les métriques et les arbres. Une bonne entrevue part quand même de vos réponses.
• Un travail à faire à la maison : un jeu de données et une question, généralement pour quelques heures de travail. Une discussion sur vos choix suit. La majeure partie de la note vient de vos raisons, pas du chiffre final.
• Une étape de programmation assistée par IA : certaines entreprises permettent maintenant un assistant de programmation avec IA, ou l’exigent même. Elles observent comment vous l’utilisez et vérifiez son travail.

Les règles varient d’une entreprise à l’autre et d’une étape à l’autre. Demandez à la recruteuse ce qui est permis à chaque étape, puis suivez les règles exactement. Certaines entreprises enregistrent aussi les entrevues et produisent un résumé avec l’IA. Elles doivent vous en informer, et certaines vous permettent de refuser. Consultez nos conseils pour comprendre pourquoi utiliser secrètement l’IA pendant une entrevue est une mauvaise idée.

Comment un intervieweur sérieux approfondit vos réponses

L’entrevue approfondie en apprentissage automatique commence par une question ouverte : « Parlez-moi d’un modèle que vous avez mis en production. » Ensuite, l’intervieweur suit votre réponse. Voici comment une phrase d’un candidat peut mener à vingt minutes de conversation.

Supposons qu’un candidat dise : « J’ai créé un modèle d’attrition avec XGBoost, et il avait une AUC de 0,89. » (Attrition désigne les clients qui cessent d’utiliser un produit. AUC mesure à quel point un modèle classe les cas positifs au-dessus des cas négatifs : 0,5 correspond au hasard, et 1 est parfait.) L’intervieweur approfondit, niveau par niveau.

D'une phrase aux limites des connaissances

1. 1

   « Comment avez-vous défini l'attrition? À quel moment précis le modèle faisait-il sa prédiction? »

   La cible est-elle claire? Une personne réellement responsable du modèle connaît la définition exacte et le moment de la prédiction.

2. 2

   « À ce moment-là, quelles données aviez-vous vraiment? »

   La fuite de données. Des variables connues seulement plus tard font paraître un modèle bien meilleur qu'il ne l'est. Un résultat de 0,89 peut être un signal d'alerte, pas seulement un bon résultat.

3. 3

   « Comment avez-vous séparé les données pour les tests? Pourquoi de cette façon? »

   Le candidat sait-il qu'un modèle destiné à prédire l'avenir doit être testé sur une période ultérieure à son entraînement?

4. 4

   « Quel résultat donnait une référence de base simple? Et pourquoi l'AUC, plutôt qu'une mesure plus proche des besoins de l'entreprise? »

   A-t-il pris des décisions ou suivi un tutoriel? Qui utilisait le score, et de quoi ces personnes avaient-elles besoin?

5. 5

   « Comment le modèle était-il utilisé en production? Comment saviez-vous qu'il fonctionnait encore trois mois plus tard? »

   La responsabilité après le lancement : mise à disposition des prédictions, surveillance, dérive, réentraînement. Beaucoup de candidats n'ont plus de réponses ici.

6. 6

   « Qu'est-ce qui changerait si l'équipe avait besoin d'un score chaque fois qu'un client ouvrait l'application? »

   La limite : passer d'un modèle par lots à un modèle en temps réel. L'intervieweur veut voir comment le candidat raisonne au-delà de son expérience.

L’intervieweur prévoit les sujets à explorer, pas les questions exactes. Les questions viennent de vos réponses. Un candidat dit : « Nous faisions les prédictions le premier jour de chaque mois, avec les données jusqu’à la veille. » Il reçoit une question sur ce jour-là. Un candidat dit : « Nous avons utilisé une séparation aléatoire. » Il reçoit : « Cela vous dirait-il comment le modèle fonctionnera le mois prochain? »

C’est pourquoi les listes de questions d’entrevue aident si peu. Les questions viennent de votre propre travail. Vous pouvez donc connaître votre travail à fond : chaque décision, chaque chiffre, chaque échec.

Les limites de vos connaissances

Chaque candidat atteint une limite. Un bon intervieweur y va volontairement, parce que l’information la plus utile se trouve là. Il veut voir ce que vous faites quand vous ne savez pas :

• Dites-vous clairement que vous ne savez pas, ou évitez-vous de le dire?
• Raisonnez-vous à partir de ce que vous savez, étape par étape, à voix haute?
• Posez-vous une question qui clarifie le problème?
• Restez-vous calme et honnête?

Voici un court exemple. Le candidat a mis en place une surveillance de la dérive avec le PSI (indice de stabilité de la population). Ce nombre indique à quel point la distribution d’une variable a changé entre deux périodes.

Un exemple : atteindre la limite

Ioana(intervieweur) :

Vous avez dit que l’alerte se déclenche quand le PSI dépasse 0,2. Pourquoi 0,2?

Candidat(personne candidate) :

Hmm. Honnêtement… c’était la valeur dans l’article qu’on a suivi. Beaucoup de gens l’utilisent.

Ioana(intervieweur) :

D’accord. C’était une bonne valeur pour vos variables?

Candidat(personne candidate) :

Je ne suis pas sûr. Laissez-moi réfléchir. Ce que je sais, c’est que le PSI compare deux périodes, classe par classe. Plus il est grand, plus elles sont différentes. Mais certaines variables changent chaque semaine de toute façon, comme… le jour de paie, les jours fériés. Donc pour elles, 0,2 déclenche peut-être trop souvent l’alerte. Si je recommençais, je regarderais d’abord les anciennes semaines. Je verrais ce qui est normal pour chaque variable, puis je choisirais.

Ioana(intervieweur) :

Hum-hum. L’alerte s’est déjà déclenchée?

Candidat(personne candidate) :

Oui, deux fois, je pense. Une fois, c’était réel. Un champ était vide après un changement dans l’application. L’autre fois, c’était une semaine avec un jour férié. Donc, une fausse alerte.

Pourquoi cela fonctionne

Le candidat ne prétend pas avoir choisi 0,2 avec soin. Il dit d’où vient la valeur, explique le PSI et raisonne à voix haute pour trouver une meilleure méthode. Puis il donne un exemple réel d’une vraie alerte et d’une fausse alerte. Ioana en apprend plus ainsi qu’avec une définition parfaite.

Le problème de Fennick

Dans la deuxième moitié de l’entrevue approfondie en apprentissage automatique, Ioana présente le même problème à chaque candidat. C’est la vraie raison pour laquelle l’équipe recrute :

« D’accord, maintenant un vrai problème chez nous. Les clients voient un délai de livraison dans l’application avant de payer. À l’heure du souper et quand il fait mauvais, notre estimation est trop optimiste. Les jours normaux, environ 9 % des commandes arrivent plus de dix minutes après l’heure estimée. Dans ces situations, c’est environ 18 %. Les gens sont fâchés, les billets de soutien augmentent. Comment aborderiez-vous ce problème? »

Il n’y a pas une seule bonne réponse. Ioana ne veut pas une conception terminée en 20 minutes. Elle veut voir comment vous commencez : ce que vous demandez, ce que vous prédiriez et comment vous le mesureriez. Elle veut aussi savoir comment vous testeriez avec de vrais clients et ce qui pourrait mal fonctionner. Ensuite, elle suit votre réponse, comme elle l’a fait pour votre projet.

Ioana donne ces faits quand un candidat les demande, ou quand la conversation les aborde :

• Le modèle actuel est LightGBM, une bibliothèque d’arbres à renforcement de gradient, avec environ 120 variables. Il est réentraîné chaque semaine.
• L’application appelle le modèle à chaque affichage de la page de paiement, environ 1,5 million de fois par jour. Cela représente environ 17 appels par seconde en moyenne, et beaucoup plus à l’heure du souper. Sur 100 appels, 99 doivent recevoir une réponse en environ 50 millisecondes ou moins.
• Les variables viennent du magasin de variables. Certaines sont calculées par lots, comme le temps moyen de préparation du magasin durant les quatre dernières semaines. D’autres sont en temps réel, comme la position des livreurs et les commandes en cours au magasin.
• La météo n’est pas encore une variable.
• L’équipe surveille l’erreur après la livraison, mais ne surveille pas les changements des variables elles-mêmes.

Essayez avant de lire les candidatures

Prenez 20 minutes pour écrire ou expliquer à voix haute comment vous aborderiez le problème de Fennick. Utilisez ce que vous avez appris dans l’offre et dans Lire l’offre sans se faire d’illusions. Répondez à ces questions pour vous-même :

1. L’application devrait-elle afficher un seul nombre ou une plage? Que devrait signifier « une bonne estimation » pour le client et pour Fennick?
2. Une commande en retard est-elle pire qu’une commande en avance? Comment intégreriez-vous cela au modèle ou à la métrique?
3. Quelles nouvelles données ajouteriez-vous d’abord? Comment vérifieriez-vous qu’elles ont la même valeur à l’entraînement et en production?
4. Comment testeriez-vous un nouveau modèle avec de vrais clients, alors que tous les clients partagent les mêmes livreurs?
5. Après le lancement, comment sauriez-vous qu’il fonctionne encore l’hiver suivant?

Gardez vos notes. Quand vous lirez les cinq candidatures, comparez vos réponses aux leurs. Chaque candidat part de sa propre expérience. C’est normal, et vous devriez faire de même.

Comment lire les pages des candidats

Chaque page présente la même entrevue approfondie de 60 minutes en apprentissage automatique avec Ioana, sous forme de conversation. Les interventions bleues sont celles de l’intervieweuse; les vertes sont celles du candidat. Entre les interventions, des notes expliquent ce qui se passe :

• Ce que l’intervieweuse vérifie : la vraie question derrière la question.
• Comment l’intervieweuse approfondit : pourquoi la question suivante découle de la réponse.
• Pourquoi cela fonctionne : ce qui rend une réponse solide.
• Où cela se passe mal : un moment faible et pourquoi il est faible.
• Une réponse plus solide : le même moment, avec une meilleure réponse, dans les mots du candidat.
• Bien exprimer son désaccord : comment un candidat exprime son désaccord avec l’intervieweuse, avec des raisons.

Les conversations ne sont pas parfaites, parce que les vraies conversations ne le sont pas. Les gens demandent de répéter une question, perdent le fil ou ont besoin d’une minute pour réfléchir. Chaque page se termine par les notes écrites d’Ioana, la suite des événements et des conseils aux lecteurs ayant un profil semblable.

Les cinq candidats sont :

1. L’ingénieur logiciel : Tunde a créé des services rapides et fiables autour d’un modèle. Les décisions internes au modèle sont nouvelles pour lui.
2. La chercheuse : Anika a un doctorat et de solides compétences en modélisation. Elle n’a jamais mis de modèle en production.
3. Le scientifique des données : Mateo a créé, déployé et surveillé un modèle de crédit à Bogotá. Le traitement à grande échelle en temps réel est nouveau pour lui.
4. L’ingénieur de plateforme : Wei exploite des modèles en production chaque jour. Il n’a jamais eu à choisir ce qu’un modèle prédit.
5. Le retour au travail : Hana créait des modèles d’ETA avant une pause professionnelle de trois ans. Elle craint que les outils aient changé.

Lisez-les dans l’ordre que vous voulez. Commencez par la personne qui vous ressemble le plus, puis lisez celle qui vous ressemble le moins.