Le déroulement des entrevues

Pensez à une visite chez un bon médecin. Le médecin ne commence pas avec une liste de 50 questions fixes. Sa première question est « Qu’est-ce qui vous amène aujourd’hui? » Ensuite, il écoute. Chaque nouvelle question découle de votre réponse : « Quand est-ce que ça a commencé? », « Est-ce plus douloureux le matin? », « Qu’avez-vous pris pour ça? » Après dix minutes, le médecin en sait bien plus qu’un formulaire pourrait lui apprendre.

Une entrevue technique sérieuse fonctionne de la même façon. L’intervieweur écoute d’abord, puis approfondit ce que vous avez dit, une étape à la fois. Cette page explique cette démarche et les cinq entrevues du processus de Quillfield. Vous serez ensuite prêt pour la partie 3, où cinq candidats passent la même entrevue technique.

Les cinq entrevues chez Quillfield

L’offre de Quillfield présente son processus, ce qui est moins courant que ce devrait l’être. La plupart des offres ne décrivent pas du tout les entrevues. Posez donc la question à la personne responsable du recrutement dès le départ. Chaque entrevue vérifie un aspect différent, et une personne différente la mène.

1. L’appel de recrutement (30 minutes, Hannah Lee, partenaire en acquisition de talents). Hannah vérifie les points de base :

• Votre expérience correspond-elle au niveau du poste?
• Quel salaire attendez-vous, et quand pouvez-vous commencer?
• Pouvez-vous expliquer clairement votre travail à quelqu’un qui n’est pas ingénieur?

Elle vous explique aussi pourquoi l’entreprise est un bon endroit où travailler. Préparez une présentation d’une minute et votre fourchette salariale. Préparez aussi vos questions sur le processus. C’est le meilleur moment pour demander quels outils l’équipe utilise et s’il y a des périodes de garde.

2. L’entrevue avec le gestionnaire qui recrute (45 minutes, Marcus Chen, gestionnaire de l’ingénierie). Marcus veut savoir pourquoi ce poste vous intéresse et comment vous travaillez avec les autres. Il vérifie aussi si vos projets passés correspondent aux problèmes de l’équipe. Il aborde les projets de façon plus générale qu’un ingénieur. Quel était l’objectif? Qu’avez-vous décidé? Qu’est-ce qui a mal tourné, et que feriez-vous autrement? Il veut aussi savoir si le poste vous plaira encore dans un an.

3. L’entrevue technique approfondie (60 minutes, Nadia Rahman, ingénieure principale en IA). C’est l’entrevue présentée dans la partie 3 de ce guide. Nadia vous interroge sur un projet que vous avez réalisé et l’explore en profondeur. Elle vous présente ensuite un vrai problème de Quillfield et vous demande comment vous l’aborderiez. Elle vérifie si votre expérience est réelle et jusqu’où elle va. Elle observe aussi votre raisonnement quand vous atteignez les limites de vos connaissances.

4. La conception de systèmes (60 minutes, Owen Fraser, ingénieur en chef). Owen vous demande de concevoir un système complet, par exemple la fonction de résumé de sinistre pour les 40 assureurs. Vous dessinez les éléments sur un tableau partagé et expliquez les compromis. Par exemple :

• Qu’est-ce qui s’exécute quand un dossier arrive?
• Où les données sont-elles conservées?
• Que se passe-t-il quand le service du modèle est lent?
• Combien cela coûte-t-il?
• Comment le mettez-vous en production de façon sûre?
• Comment savez-vous qu’il fonctionnera encore le mois prochain?

5. La discussion sur les valeurs (45 minutes, Sofia Alvarez, directrice des opérations de règlement des sinistres). Sofia a été experte en sinistres pendant de nombreuses années. Elle vous demande comment vous agissez dans les situations difficiles. Que faites-vous quand un spécialiste n’est pas d’accord avec vous? Ou quand votre fonction fait une erreur qui touche un client? Ou quand le délai entre en conflit avec la qualité? Elle vérifie aussi que vous respectez les personnes qui utilisent le logiciel.

Après la dernière entrevue, les intervieweurs se réunissent pour un bilan : chacun présente ses notes écrites, puis ils décident ensemble. Un bon résultat à une entrevue n’annule pas une préoccupation sérieuse soulevée dans une autre.

D’autres types d’entrevues que vous pourriez rencontrer

D’autres entreprises utilisent d’autres étapes pour les postes en ingénierie de l’IA. Vous pourriez rencontrer :

• Un exercice à faire chez vous ou une réalisation en direct : vous construisez quelque chose de petit. Par exemple, un système qui répond à des questions sur quelques documents. Vous présentez ses résultats à partir d’un petit ensemble de questions de test.
• Une épreuve de programmation pratique : vous écrivez ou corrigez du vrai code, souvent dans une petite base de code, plutôt que de résoudre une énigme. Certaines entreprises permettent maintenant un assistant de programmation par IA à cette étape et observent comment vous l’utilisez. D’autres ne permettent aucune aide de l’IA. Suivez les règles de chaque étape et posez la question en cas de doute.
• Du débogage en direct : « Cet agent répète sans fin la même étape. Trouvez pourquoi. »
• Une discussion avec un client : pour les postes en contact direct avec les clients, un intervieweur joue un client au problème vague.

Certaines entreprises ont aussi rétabli au moins une entrevue en personne. C’est en partie parce que certains candidats utilisaient des outils d’IA cachés pendant les entrevues vidéo. Nous en parlons davantage dans nos conseils.

Comment un intervieweur sérieux approfondit vos réponses

L’entrevue technique approfondie commence par une question ouverte : « Choisissez un projet dont vous êtes fier et présentez-le-moi étape par étape. » (Cela veut dire : racontez-le-moi, une étape à la fois.) Ensuite, l’intervieweur suit votre réponse. Voici comment une seule phrase d’un candidat peut mener à vingt minutes de discussion.

Supposons qu’un candidat dise : « J’ai créé un agent conversationnel qui répond aux questions sur les politiques de ressources humaines de notre entreprise. » L’intervieweur approfondit, niveau par niveau :

D'une phrase aux limites des connaissances

1. 1

   « Que faisait-il, et qui l'utilisait? »

   Le projet est-il réel, et quelle était son ampleur? Un vrai projet a de vrais utilisateurs et une portée claire.

2. 2

   « Comment avez-vous découpé les documents de politiques en segments pour la recherche? »

   Le candidat l'a-t-il construit ou a-t-il regardé quelqu'un d'autre le faire? Seule la personne qui l'a construit connaît ces détails.

3. 3

   « Pourquoi cette taille de segment? Qu'avez-vous essayé d'autre? »

   A-t-il pris des décisions ou copié un tutoriel? Les bons ingénieurs comparent les options.

4. 4

   « Comment saviez-vous que les réponses étaient correctes? »

   Peut-il mesurer la qualité? C'est là que beaucoup de candidats n'ont plus de réponses.

5. 5

   « Parlez-moi d'une mauvaise réponse qu'il a donnée. Qu'avez-vous changé? »

   Apprend-il de ses échecs, et peut-il en parler honnêtement?

6. 6

   « Qu'est-ce qui changerait avec cent fois plus de documents, ou avec des renseignements personnels dans ces documents? »

   La limite : l'intervieweur veut voir comment le candidat raisonne au-delà de son expérience.

L’intervieweur planifie les aspects à explorer, pas les questions exactes. Les questions découlent des réponses. Un candidat dit : « Je les ai découpés en segments d’environ 500 jetons (tokens), parce que les politiques ont des sections courtes. » Il recevra une question sur les sections. Un candidat dit : « J’ai utilisé les paramètres par défaut. » Il recevra la question : « Quels étaient ces paramètres, et convenaient-ils à vos documents? »

Voilà pourquoi les listes de questions d’entrevue sont si peu utiles. Vous ne pouvez pas mémoriser les réponses, puisque les questions viennent de votre propre travail. Vous pouvez toutefois très bien connaître votre travail : chaque décision, chaque chiffre, chaque échec.

Les limites de vos connaissances

Chaque candidat atteint une limite. Un bon intervieweur l’y amène volontairement, parce que c’est là que se trouve l’information la plus utile. Il veut voir ce que vous faites quand vous ne savez pas :

• Dites-vous clairement que vous ne savez pas, ou essayez-vous de le cacher derrière des mots vagues?
• Raisonnez-vous à partir de ce que vous savez, étape par étape, à voix haute?
• Posez-vous une question qui clarifie le problème?
• Restez-vous calme et honnête?

Voici un court exemple d’une bonne réponse à la limite de ses connaissances.

Un exemple : atteindre la limite

Nadia(intervieweur) :

Vous avez dit avoir utilisé un modèle de reclassement (reranker). Comment sa façon de noter un passage diffère-t-elle de celle de la première recherche?

Candidat(personne candidate) :

Hum. Honnêtement, je l’ai utilisé en appelant une bibliothèque. Je n’ai pas regardé à l’intérieur.

Nadia(intervieweur) :

D’accord. Qu’est-ce que vous savez à son sujet?

Candidat(personne candidate) :

Alors, la première recherche compare un vecteur de la question avec les vecteurs de chaque passage. C’est rapide, mais approximatif. Le modèle de reclassement, si je comprends bien, regarde la question et chaque passage ensemble. Donc, c’est plus lent, mais plus précis. C’est pour ça qu’on l’exécutait seulement sur les 50 meilleurs résultats.

Nadia(intervieweur) :

Hum-hum.

Candidat(personne candidate) :

Mais je voudrais lire comment il fonctionne vraiment avant de l’utiliser pour quelque chose d’important.

Pourquoi cela fonctionne

Le candidat ne fait pas semblant. Il dit exactement où ses connaissances s’arrêtent. Ensuite, il explique correctement ce qu’il sait et comment cela a influencé sa conception. L’étape lente et précise s’exécute seulement sur les quelques meilleurs passages. Un intervieweur en apprend plus ainsi qu’avec une définition mémorisée.

Le problème de Quillfield

Dans la deuxième moitié de l’entrevue technique approfondie, Nadia donne le même problème à chaque candidat. C’est la vraie raison pour laquelle l’équipe recrute :

« Voici un vrai problème chez nous. Un dossier de sinistre arrive : de 20 à 60 pages, des formulaires numérisés, les notes de l’expert en sinistres, des courriels, des photos, une estimation d’entrepreneur. Les experts en sinistres disent passer environ 40 minutes à lire un dossier avant de pouvoir agir. Nous voulons leur fournir une ébauche de résumé d’une page : les faits essentiels, les questions ouvertes et les éléments manquants. Comment aborderiez-vous ce problème? »

Il n’y a pas une seule bonne réponse. Nadia ne veut pas une conception complète en 20 minutes. Elle veut voir comment vous commencez :

• Quelles questions posez-vous en premier?
• Que choisissez-vous de construire en premier?
• Comment sauriez-vous que cela fonctionne?
• Qu’est-ce qui pourrait causer du tort à quelqu’un en cas de problème?

Ensuite, elle suit votre réponse, comme elle l’a fait pour le projet.

Essayez avant de lire les entrevues des candidats

Prenez 20 minutes et écrivez ou dites à voix haute comment vous aborderiez le problème de Quillfield. Utilisez ce que vous avez appris sur l’équipe dans l’offre et dans Lire l’offre avec lucidité. Répondez à ces questions pour vous-même :

1. Quelles trois questions poseriez-vous à Nadia avant de proposer quoi que ce soit?
2. Que construiriez-vous en premier, et que garderiez-vous pour plus tard?
3. Comment sauriez-vous qu’un résumé est bon? Qui décide?
4. Quelle est la pire erreur que le résumé pourrait faire, et comment réduiriez-vous sa probabilité?

Gardez vos notes. Quand vous lirez les entrevues des cinq candidats, comparez vos réponses aux leurs. Vous verrez que chaque candidat part de sa propre expérience. C’est normal, et vous devriez faire de même.

Comment lire les pages des candidats

Chaque page présente la même entrevue de 60 minutes avec Nadia, sous forme de conversation. Dans l’entrevue de Daniel, Marcus Chen se joint aussi à la discussion. Les interventions en bleu sont celles de l’intervieweur; celles en vert sont celles du candidat. Entre les interventions, des notes expliquent ce qui se passe :

• Ce que l’intervieweur vérifie : la vraie question derrière la question.
• Comment l’intervieweur approfondit : pourquoi la question suivante découle de la réponse.
• Pourquoi cela fonctionne : ce qui rend une réponse solide.
• Ce qui ne va pas : un moment faible, et pourquoi il l’est.
• Une réponse plus solide : une meilleure réponse au même moment, dans les mots du candidat.
• Bien exprimer son désaccord : comment un candidat exprime son désaccord avec l’intervieweur, avec des raisons.

Chaque page se termine par les notes écrites de Nadia, la suite des événements et des conseils pour les lecteurs au profil semblable. Chaque candidat a des moments forts et des moments faibles, comme toute personne qui passe une vraie entrevue.

Les cinq candidats sont :

1. L’ingénieur backend : Daniel a des années d’expérience en production, mais débute dans la mesure de la qualité des fonctions d’IA.
2. La scientifique des données : Mariana excelle en évaluation, mais n’a jamais été responsable d’un service en production.
3. Le développeur autodidacte : Yusuf n’a jamais occupé un emploi en développement logiciel, mais a réalisé un projet réel et approfondi.
4. Le CV bien présenté : le CV d’Alex promet plus que ce que son expérience peut appuyer.
5. L’experte du domaine : Leila a été experte en sinistres pendant des années, puis a appris à développer des logiciels.

Lisez-les dans l’ordre que vous voulez. Commencez par le profil qui vous ressemble le plus, puis lisez celui qui vous ressemble le moins.