La chercheuse

Imaginez une très bonne cuisinière qui a consacré cinq ans à un seul plat. Elle connaît chaque ingrédient, a testé chaque changement et a écrit sur le sujet. Maintenant, un restaurant très fréquenté lui demande de cuisiner pour 300 personnes chaque soir. Elle dispose d’un four bon marché et de douze minutes par assiette. Son talent est réel. Mais la question est maintenant différente.

Beaucoup de gens terminent un doctorat en apprentissage automatique et postulent à des postes d’ingénieur en apprentissage automatique. Ils ont entraîné plus de modèles que la plupart des ingénieurs. Ils examinent les données avec soin et savent comment un test peut tromper. Mais souvent, personne d’autre n’a utilisé leurs modèles. Ils n’ont pas de téléavertisseur, et aucun client n’attend une réponse en 50 millisecondes. La plupart de leurs travaux utilisaient un seul type de données, souvent des images ou du texte, sur de puissants GPU.

Anika Sharma représente ce profil. Observez comment ses habitudes de recherche l’aident à résoudre le problème de Fennick. Observez aussi le moment où elle réalise qu’elle a choisi ce qu’elle connaissait déjà. Regardez également la petite erreur d’Ioana et la façon dont Anika la corrige.

AS

La personne candidate

Anika Sharma

Doctorat en vision par ordinateur, passage de la recherche à l'industrie

• Doctorat, vision par ordinateur, 2026
• 2 articles
• PyTorch et GPU
• Aucun poste en production
• Toronto

• Doctorat en informatique (vision par ordinateur), 2026. Thèse : détecter des animaux dans des images de pièges photographiques provenant de nouveaux lieux
• 2 articles sur les échecs des modèles d’images dans de nouveaux lieux (un à une grande conférence, un à un atelier)
• Déploiement d’un classificateur d’espèces utilisé par un groupe de recherche en écologie pour traiter 2,3 millions d’images
• Stagiaire en recherche, Halden Labs (Montréal), 4 mois en 2024 : préentraînement autosupervisé pour la vidéo
• Experte en apprentissage profond : PyTorch, CUDA, entraînement sur plusieurs GPU, suivi des expériences
• Auxiliaire d’enseignement, apprentissage automatique, 3 sessions

Ce qu’Ioana voit avant l’appel

Ioana Petrescu est ingénieure principale en apprentissage automatique chez Fennick. Elle a créé le service d’heure d’arrivée estimée. Elle lit le CV d’Anika en le comparant à l’offre d’emploi.

Les preuves de compétences en modélisation sont solides : deux articles, un bon stage, trois sessions d’enseignement. L’offre indique « 4 ans ou plus en production, ou 2 ans ou plus avec un doctorat ». Anika a le doctorat, mais aucune année en production. Et le travail chez Fennick porte surtout sur des tableaux, pas des images.

Ioana souligne deux mots : « Déploiement » et « Experte ». Elle veut savoir ce que « déploiement » signifie ici. Elle note trois points à éclaircir :

• Qu’est devenu le classificateur d’espèces après avoir quitté le portable d’Anika? Qui l’utilisait et qui vérifiait qu’il fonctionnait encore?
• Teste-t-elle les modèles d’une façon qui correspond à leur utilisation?
• Pour le problème d’heure d’arrivée estimée, choisit-elle un modèle selon les données et les contraintes, ou selon ce qu’elle connaît?

Termes utilisés sur cette page

• Piège photographique : un appareil photo en forêt qui prend des photos lorsqu’un animal passe devant. Les écologistes utilisent les photos pour compter les animaux.
• ETA (heure d’arrivée estimée) : ici, le délai entre la commande et l’arrivée chez le client, affiché dans l’application avant le paiement.
• Latence p99 : 99 % des requêtes se terminent en moins de temps que cette valeur.
• Amplification par gradient (gradient boosting, par exemple LightGBM) : plusieurs petits arbres de décision, chacun corrigeant les erreurs des précédents. C’est souvent le meilleur choix pour les données en tableaux.
• Quantile (ou centile) : le 90e centile des délais de livraison est le délai que 90 % des commandes ne dépassent pas.
• Perte quantile (pinball loss) : une perte d’entraînement qui pousse un modèle à prédire un quantile choisi plutôt que la moyenne. Elle pénalise davantage les erreurs d’un côté que de l’autre.
• Couverture : fréquence à laquelle la valeur réelle est inférieure au quantile prédit (ou dans un intervalle prédit). Pour un 90e centile, elle devrait être d’environ 90 %.
• Écart entre l’entraînement et la production (training/serving skew) : une variable est calculée d’une façon à l’entraînement et d’une autre en production.

L’entrevue

Minutes 0 à 5 : l'ouverture

Ioana(intervieweur) :

Bonjour Anika. Moi, c’est Ioana, ingénieure principale en apprentissage automatique. Je travaille sur le modèle de délai de livraison. Merci d’être là. Ici, c’est la fin de l’après-midi. Alors si je suis lente, c’est le café qui manque.

Anika(personne candidate) :

Elle rit. Pas de problème. Bonjour.

Ioana(intervieweur) :

Alors, le format. Vous me parlez d’un modèle que vous avez créé, et je pose beaucoup de questions, pour approfondir. Ensuite, un problème qu’on a chez Fennick. Puis vous me posez vos questions. Et s’il vous plaît, pas d’outils d’IA pendant cette étape, juste nous. Le papier, c’est permis.

Anika(personne candidate) :

D’accord. Je dois dire que je n’ai pas travaillé en production. Donc pour la partie « modèle en production », je vais prendre ce qui s’en rapproche le plus.

Pourquoi cela fonctionne

Anika annonce sa lacune dès le début, en une phrase, puis passe à la suite. Elle ne s’en excuse pas. Ioana sait maintenant à quoi s’attendre. La conversation peut rester centrée sur ce qu’Anika a fait. Voir pas d’expérience ne veut pas dire pas de preuves.

Minutes 5 à 25 : le projet, puis l'approfondissement

Anika(personne candidate) :

Alors, mon doctorat portait sur les pièges photographiques. Les écologistes placent des caméras dans les forêts, et les caméras prennent des millions de photos. La plupart sont vides, le vent fait bouger une branche. Quelqu’un doit toutes les regarder et dire « vide », « cerf », « renard », et ainsi de suite. Ça prend des mois.

Il existe des modèles pour ça. Mais quand on place une caméra à un nouvel endroit, ils deviennent beaucoup moins bons. C’était ma question de recherche : pourquoi, et comment corriger ça. Et un groupe d’écologistes a utilisé mon modèle sur ses vraies données. C’est ça, le « déployé » dans mon CV.

Ioana(intervieweur) :

D’accord. Qu’est-ce que « utilisé » veut dire, concrètement?

Anika(personne candidate) :

Honnêtement, un script. Ils copient les photos d’une saison sur le serveur GPU du laboratoire, puis exécutent mon script. Il écrit un CSV avec une étiquette pour chaque photo. Ensuite, un étudiant vérifie les cas incertains. La première saison comptait environ 2,3 millions d’images. Alors, « déployé », c’est un grand mot pour ça, je sais.

Ioana(intervieweur) :

Elle sourit. C’est correct, de vraies personnes l’ont utilisé. C’était quoi, l’étiquette? Qu’est-ce que le modèle prédisait?

Anika(personne candidate) :

Une étiquette par image. Vide, ou une des 14 espèces. En fait, 15 avec « autre animal ». Environ 70 % des images étaient vides.

Ioana(intervieweur) :

Alors, comment avez-vous mesuré ça? L’exactitude serait élevée juste avec les images vides.

Anika(personne candidate) :

Oui, exactement, l’exactitude ne servait à rien. Un modèle qui dit toujours « vide » obtient 70 %. J’ai utilisé le rappel par espèce, et la moyenne entre les espèces. Les écologistes s’intéressaient surtout aux espèces rares. Le lynx, par exemple. Si on manque un lynx, c’est une vraie perte pour eux. Si on appelle une image vide « cerf », un étudiant corrige ça en deux secondes.

Ioana(intervieweur) :

Et comment avez-vous séparé les données?

Anika(personne candidate) :

C’est justement le sujet de mon premier article. La plupart des gens séparent les images au hasard. Mais les caméras prennent trois photos en rafale, à une seconde d’intervalle. Donc avec une séparation aléatoire, le même animal, le même arbre, se retrouvent dans l’entraînement et le test. Le modèle mémorise simplement l’arrière-plan.

Avec une séparation aléatoire, on obtenait environ 95 % de rappel moyen. Quand j’ai séparé par caméra, les caméras de test n’apparaissaient jamais dans l’entraînement. Le rappel est descendu à environ 81 %, je pense. Oui, 81. Et la séparation par caméra correspond à l’utilisation réelle, parce que les écologistes ajoutent toujours de nouvelles caméras.

Pourquoi cela fonctionne

C’est le moment le plus fort d’Anika, et la compétence la plus importante pour ce poste. Elle s’est demandé comment le modèle serait utilisé, puis a adapté le test à cette utilisation. Une nouvelle caméra en forêt, c’est comme une nouvelle semaine chez Fennick : le modèle rencontrera toujours des données inconnues. Sa séparation par caméra suit la même idée qu’une séparation temporelle. Voir Données d’entraînement, de validation et de test.

Ioana(intervieweur) :

Bien. Et une référence de base?

Anika(personne candidate) :

Un détecteur d’animaux public, suivi d’un classificateur simple. C’est ce que les écologistes utilisaient avant. Mon modèle était meilleur sur les nouvelles caméras, d’environ huit points de rappel moyen. Pour les espèces rares, davantage.

Ioana(intervieweur) :

D’accord. Ensuite, les écologistes l’utilisent pendant une saison. Comment saviez-vous qu’il fonctionnait encore?

Anika(personne candidate) :

Hmm. La réponse honnête, c’est que je ne le savais pas. Le premier hiver, il a neigé. La nuit, la caméra utilise l’infrarouge, et la neige qui tombe dans le flash ressemble à… des formes blanches. Le modèle appelait beaucoup d’images vides « cerf ». L’écologiste m’a dit que le nombre de cerfs avait doublé par rapport à l’hiver précédent. C’est comme ça que je l’ai appris.

Ioana(intervieweur) :

Donc c’est l’utilisateur qui l’a découvert, pas vous.

Anika(personne candidate) :

Oui. J’ai étiqueté environ 800 images d’hiver, fait un réglage fin, et ça s’est amélioré. Et maintenant, chaque saison, un étudiant vérifie 200 images au hasard avant qu’ils utilisent les décomptes. Mais cette vérification, je l’ai ajoutée après.

Ioana(intervieweur) :

Et quand vous quitterez l’université, qui s’en occupera?

Anika(personne candidate) :

Pause. Un README. Personne, vraiment. J’y pense maintenant, en fait. Je devrais leur en parler.

Où cela tourne mal

Le modèle n’avait aucune surveillance et n’a aucun responsable. En recherche, c’est normal : vous publiez, puis passez à la question suivante. Dans un poste d’ingénieur en apprentissage automatique, c’est la partie principale du travail. Anika aurait pu compter les prédictions par espèce chaque semaine et les comparer à celles de la saison précédente. Un changement soudain des décomptes l’aurait avertie avant l’écologiste. Voir Planifier les vérifications en production.

Minutes 25 à 48 : le problème de Fennick

Ioana(intervieweur) :

D’accord, maintenant un vrai problème de notre côté. Les clients voient un délai de livraison dans l’application avant de payer. À l’heure du souper et quand il fait mauvais, notre estimation est trop optimiste. Les jours ordinaires, environ 9 % des commandes arrivent plus de dix minutes après le délai estimé. Ces jours-là, c’est environ 18 %. Les gens sont fâchés, les billets de soutien augmentent. Comment aborderiez-vous ça?

Anika(personne candidate) :

Intéressant. Donc le délai dépend beaucoup du trajet, de la circulation. Ma première idée : utiliser le trajet du livreur. Des points GPS au fil du temps, comme une séquence. Un transformeur appliqué à la séquence pourrait apprendre les tendances de circulation, le temps nécessaire dans chaque rue au souper. Et on peut ajouter la météo comme jeton (token), ou comme entrée supplémentaire.

Ioana(intervieweur) :

D’accord. Deux choses. Quand le client voit l’estimation, il n’a pas encore payé. Est-ce qu’on connaît le livreur à ce moment-là?

Anika(personne candidate) :

Ah. Non. La commande n’existe pas encore. Donc il n’y a pas de livreur, ni de trajet.

Ioana(intervieweur) :

Exact. Et deuxième chose, l’application nous appelle chaque fois que quelqu’un ouvre la page de paiement. Environ 1,5 million de fois par jour. On a environ 50 millisecondes, au p99.

Anika(personne candidate) :

50 millisecondes pour le modèle?

Ioana(intervieweur) :

Pour tout. Lire les variables, exécuter le modèle, envoyer la réponse.

Anika(personne candidate) :

D’accord. Est-ce que je peux prendre une minute pour réfléchir?

Ioana(intervieweur) :

Bien sûr, prenez votre temps.

Silence, environ 40 secondes. Anika écrit sur du papier.

Anika(personne candidate) :

D’accord. Je pense que je me suis tournée vers ce que je connais. Cinq ans d’images et de séquences, alors j’ai vu une séquence. Mais ce que vous avez réellement au paiement, c’est un tableau. Le magasin, l’heure, le nombre de commandes en cours au magasin, le nombre de livreurs à proximité, la distance, la météo. Pour des données tabulaires, le boosting par gradient est généralement meilleur qu’un réseau de neurones, et c’est très rapide. Une prédiction avec quelques centaines de petits arbres prend environ une milliseconde sur un CPU, souvent moins. Alors je commencerais par là. C’est probablement ce que vous utilisez?

Ioana(intervieweur) :

Oui, LightGBM, environ 120 variables.

Pourquoi c'est un bon moment

La première idée d’Anika ne convenait pas au problème. Deux faits donnés par Ioana l’ont montré : aucun trajet n’existe avant la commande, et le délai permis est très court. Anika n’a pas défendu son idée. Elle a demandé du temps, réfléchi aux vraies données et dit clairement ce qui s’était passé : « Je me suis tournée vers ce que je connais. » Les personnes qui mènent les entrevues font confiance à quelqu’un qui reconnaît ses propres habitudes.

Anika(personne candidate) :

Alors je ne pense pas que le problème soit la famille de modèles. Si vous avez un bon LightGBM et qu’il reste trop optimiste au souper… qu’est-ce qu’il est entraîné à prédire? La moyenne? Avec l’erreur quadratique?

Ioana(intervieweur) :

Oui, l’erreur quadratique. Un seul nombre, le délai attendu.

Anika(personne candidate) :

Alors c’est ça, le problème, je pense. Sous la pluie, la distribution des délais de livraison a une longue queue. Certaines commandes prennent beaucoup plus de temps. La moyenne bouge un peu, mais la queue bouge beaucoup. Et le client ne ressent pas la moyenne. Il ressent « c’est arrivé 15 minutes après ce que vous m’avez dit ». Alors je prédirais plutôt un quantile élevé. Avec une perte pinball, qui pondère différemment les erreurs des deux côtés, à 0,9 peut-être.

Ioana(intervieweur) :

Mm. La perte quantile. C’est essentiellement la MAE, l’erreur absolue moyenne, avec un poids, non? On multiplie l’erreur par 0,9.

Anika(personne candidate) :

Hmm, presque, mais… pas exactement, je pense. La MAE est le cas particulier. C’est le quantile 0,5 : les deux côtés ont le même poids, donc c’est la MAE, simplement divisée par deux. Pour 0,9, le poids dépend du côté. Si la commande arrive après la prédiction, l’erreur compte pour 0,9. Si elle arrive avant, elle compte seulement pour 0,1. Donc les erreurs de retard coûtent neuf fois plus cher, et ça pousse la prédiction vers le haut.

Ioana(intervieweur) :

Elle écrit un moment sur sa feuille. Dix minutes de retard, coût de neuf. Dix minutes d’avance, coût de un. Oui. Elle sourit. Vous avez raison, je l’ai mal dit. Je pensais à un seul poids pour chaque ligne. J’explique ça aux nouvelles personnes chaque année, et aujourd’hui je l’ai mal expliqué.

Anika(personne candidate) :

Elle rit. C’est proche. L’idée de pondérer les lignes est utile aussi. Vous pourriez donner plus de poids aux commandes sous la pluie. Mais c’est autre chose.

Bien exprimer un désaccord

Ioana a dit quelque chose qui semblait juste, mais qui était légèrement faux. Anika n’a pas dit « non, vous avez tort ». Elle a dit « presque », puis donné la règle exacte avec des nombres qu’Ioana pouvait vérifier sur papier. Ensuite, elle a reconnu la partie utile de l’idée d’Ioana. Ioana a vérifié, accepté la correction et ri d’elle-même. Une bonne personne qui mène une entrevue accepte volontiers les corrections. Voir Les personnes qui mènent les entrevues n’ont pas toujours raison.

Vérifiez la règle vous-même

Perte pinball pour le quantile τ, par exemple 0,9 : si le délai réel dépasse la prédiction, la perte vaut τ × l’erreur. S’il est plus court, la perte vaut (1 − τ) × l’erreur. À τ = 0,5, les deux côtés reçoivent 0,5, soit la moitié de l’erreur absolue. La meilleure réponse est donc la même que pour la MAE : la médiane. À τ = 0,9, la meilleure réponse est le délai que 90 % des commandes ne dépassent pas. Dans LightGBM, c’est objective="quantile" avec alpha=0.9.

Ioana(intervieweur) :

D’accord. Vous avez donc un modèle pour le 90e centile. Comment le testez-vous?

Anika(personne candidate) :

Hmm. Par période d’abord, bien sûr, entraînement sur les semaines anciennes, test sur les plus récentes. Comme mes caméras. Et peut-être plusieurs fenêtres, parce qu’il ne pleut pas chaque semaine. Et ensuite… la couverture. Pour le 90e, environ 90 % devraient arriver avant ce délai.

Ioana(intervieweur) :

Globalement?

Anika(personne candidate) :

Non, par sous-groupe. Souper, pluie, chaque ville, peut-être les magasins les plus occupés. Dans mon article, la moyenne semblait bonne et quatre caméras étaient terribles. Je m’attendrais à la même chose ici.

Ioana(intervieweur) :

Bien. C’est très proche de ce qu’on ferait. Maintenant, pourquoi 0,9?

Anika(personne candidate) :

Hmm. Ça me semblait un choix standard. Comme un niveau de confiance. Honnêtement, je l’ai choisi comme une statisticienne.

Ioana(intervieweur) :

Si on montre le 90e centile à tout le monde, le nombre dans l’application augmente. Qu’est-ce qui se passe?

Anika(personne candidate) :

Moins de commandes en retard. Et… les gens voient 45 minutes au lieu de 35, et certains ne commandent pas. D’accord, donc c’est un compromis. Trop bas, les gens sont fâchés. Trop haut, ils partent. Je ne sais pas comment mesurer la deuxième partie. Avez-vous des données sur la réaction des clients au nombre qu’ils voient?

Ioana(intervieweur) :

Un peu. Et l’équipe des opérations a des avis bien arrêtés. Elle veut moins de billets, l’équipe produit veut plus de commandes.

Anika(personne candidate) :

Alors 0,9, ce n’est pas une décision que je prends seule, je pense. Peut-être que 0,8 convient pendant les périodes calmes, ou peut-être qu’on affiche une plage. Il faudrait que je leur parle. Je n’ai jamais pris ce genre de décision. En recherche, je choisis la mesure, et c’est tout.

Où cela tourne mal

C’est la limite d’Anika. Elle a traité le quantile comme un choix statistique, pas comme une décision d’affaires. Le nombre dans l’application est une promesse au client, et il entraîne un coût des deux côtés. Anika l’a compris après la question d’Ioana. Elle a reconnu honnêtement n’avoir jamais pris ce genre de décision. Mais dans ce poste, elle devrait soulever la question elle-même, dès le début.

Une réponse plus solide à cette limite

Anika aurait pu raisonner à partir des deux coûts, même sans les données :

« 0,9, c’est une supposition. Ce que je voudrais vraiment, c’est deux courbes tirées des données passées. Pour chaque quantile, combien de commandes seraient en retard, et de combien le délai affiché augmenterait. Ensuite, les équipes des opérations et du produit choisissent le point ensemble. Si le délai affiché a déjà été modifié, par exemple avec une marge, je regarderais l’effet sur les commandes. Et je testerais le choix final en ligne, parce que hors ligne, on ne voit pas qui quitte la page de paiement. »

Cette réponse transforme « je ne sais pas » en plan, et confie la décision aux bonnes personnes. Voir Seuils et coûts.

Ioana a ensuite posé une question sur l’écart entre entraînement et service. Les données d’entraînement viennent de l’entrepôt de données, et les variables en direct viennent du magasin de variables. Anika a vu le risque. Mais elle a dit qu’en recherche, le même code produit les données d’entraînement et de test. Elle n’avait donc jamais eu à y réfléchir. Ioana a résumé le bogue de l’an dernier en une phrase. À l’entraînement, une variable venait d’une table mise à jour par lots de 15 minutes; en direct, de décomptes en temps réel. Il avait fallu six semaines pour le remarquer. Anika a proposé de sauvegarder les variables réellement utilisées par le service et de s’en servir pour l’entraînement. C’est ce que l’équipe commence à faire maintenant.

Ioana a ensuite posé une brève question sur les tests en ligne. Anika a proposé un test A/B par client. Quand Ioana a dit que les commandes partagent les mêmes livreurs, Anika a immédiatement compris que les deux groupes s’influenceraient. Elle avait lu des articles sur la répartition aléatoire par groupe dans les études médicales, et a proposé de séparer par zone. Elle ne connaissait pas les tests switchback, qui changent aussi le groupe au fil du temps, et l’a dit.

Minutes 48 à 57 : les questions d'Anika

Anika(personne candidate) :

J’en ai quelques-unes. Premièrement : comment obtenez-vous l’étiquette? Le vrai délai de livraison. Qui l’enregistre?

Ioana(intervieweur) :

Le livreur appuie sur « delivered » (livré) dans son application. Et c’est bruité. Parfois, il appuie dans le hall de l’immeuble, avant de monter. On pense que ça représente une ou deux minutes dans bien des cas. Dans les grands immeubles, davantage.

Anika(personne candidate) :

Donc l’étiquette est un peu en avance dans les immeubles hauts. Et au centre-ville de Toronto, il y a beaucoup d’immeubles hauts. Intéressant.

Anika a aussi demandé ce qu’elle ferait pendant les trois premiers mois. Les variables météo, le passage aux variables enregistrées, puis une semaine de garde sur cinq après une période d’observation. Elle a aussi demandé s’il restait du temps pour la recherche. Ioana a été honnête : peut-être 10 % du temps pendant une semaine calme. L’équipe de prévision, a-t-elle dit, a plus de liberté pour la recherche.

Les bonnes questions

La question sur l’étiquette est une question de chercheuse, et une très bonne question. Elle révèle un vrai problème dans les données de Fennick que la plupart des candidats n’abordent jamais. La question sur le temps de recherche donne à Anika une information importante pour sa propre décision. C’est l’entrevue comme conversation dans les deux sens.

Minutes 57 à 60 : la conclusion

Ioana(intervieweur) :

Merci, Anika. Et merci pour la correction, vraiment. La prochaine étape, c’est la conception de systèmes avec Ben. Chantal vous écrira cette semaine.

Anika(personne candidate) :

Merci. J’ai beaucoup appris sur la livraison aujourd’hui. Et je vais envoyer un courriel au groupe d’écologistes ce soir.

Après l’appel : les notes d’Ioana

Ioana rédige ses notes le même après-midi, en s’appuyant sur l’offre d’emploi.

Anika Sharma, entretien approfondi sur l’apprentissage automatique

• Modélisation et bases de l’apprentissage automatique : preuves solides. Très claire sur les fonctions de perte; elle m’a corrigée sur la perte quantile, et elle avait raison. Elle est passée d’un transformeur au gradient boosting (amplification par gradient) pour de bonnes raisons.
• Évaluation : preuves solides. Séparation par caméra dans ses recherches, séparation temporelle et couverture par condition pour notre problème, sans aide. Très bonne réponse sur les sous-groupes.
• Définition du problème : quelques preuves. Elle a vite trouvé le vrai problème (moyenne ou queue de distribution). Elle a traité le quantile comme un choix statistique jusqu’à ma question sur le coût.
• Production, service du modèle, latence : aucune preuve. Elle n’a jamais exploité de service. Son modèle n’a ni surveillance ni responsable. Sa première idée ignorait la limite de 50 ms et les données disponibles au paiement.
• Écart entre entraînement et production et pipelines de variables : aucune preuve. Elle a compris le risque quand je l’ai interrogée; elle n’a jamais eu à le gérer.
• Expériences : quelques preuves. Elle a vu immédiatement l’interférence entre les livreurs; elle ne connaissait pas les switchbacks (expériences à alternance temporelle).
• Communication et honnêteté : preuves solides. Elle a nommé sa propre habitude (« Je me suis tournée vers ce que je connais »). Elle m’a corrigée avec gentillesse.

Recommandation : non pour ce poste. Ce poste comprend la responsabilité d’un modèle en production et des gardes après une courte période d’observation. Le manque d’expérience en production est trop grand pour le seul poste vacant. Mais sa réflexion sur l’évaluation est excellente. Ravi devrait lui parler du poste de scientifique dans l’équipe de prévision au prochain trimestre. Elle a posé des questions sur le temps consacré à la recherche, et cette équipe lui convient mieux.

La suite

Les notes de Ben sur la conception du système disaient la même chose. La conception du modèle et des tests était soignée, mais presque rien sur le service du modèle, les défaillances ou le déploiement progressif. L’équipe a décidé de ne pas poursuivre sa candidature pour ce poste.

Ravi a appelé Anika lui-même. Il lui a transmis les commentaires d’Ioana et de Ben. Il lui a aussi parlé du poste de scientifique dans l’équipe de prévision, qui ouvrirait au prochain trimestre. Il lui a proposé de la présenter au responsable de la prévision. Anika l’a remercié et a dit qu’elle était intéressée.

Mais trois semaines plus tard, Anika a reçu une offre pour un poste de scientifique en recherche appliquée. L’entreprise développe des outils de surveillance des cultures à partir d’images satellites. Le poste utilisait directement ses travaux sur les images. Il offrait aussi un chemin clair vers la production, avec un ingénieur à ses côtés. Elle a accepté. Elle a écrit à Ravi pour le remercier. Elle lui a aussi dit qu’elle posait maintenant la question sur l’étiquette dans chaque nouveau projet.

C’est une issue réaliste, pas une promesse. Une personne titulaire d’un doctorat sans expérience en production peut recevoir une offre de poste en ingénierie de l’apprentissage automatique. C’est possible dans une équipe où davantage d’ingénieurs entourent le modèle. La chance joue un rôle.

Ce qu’il faut en retenir

• Nommez votre lacune une fois, puis montrez votre travail. Anika a dit « Je n’ai pas travaillé en production » dès la première minute, sans s’excuser. Ensuite, elle a consacré son temps à ce qu’elle avait fait.
• Choisissez le modèle selon les données et les limites, pas selon vos habitudes. Un transformeur est un bon outil, mais l’itinéraire était inconnu au paiement et la limite était de 50 ms. Si vous remarquez que vous avez choisi ce que vous connaissez, dites-le et repensez votre choix.
• Vos habitudes de recherche sont précieuses. Séparez les données selon l’utilisation du modèle, examinez les sous-groupes et remettez l’étiquette en question. Ces habitudes venaient du doctorat d’Anika et constituaient la meilleure partie de son entrevue.
• Un nombre prédit est une promesse. Le quantile, le seuil et la mesure sont aussi des décisions d’affaires. Demandez qui paie pour chaque type d’erreur.
• Vous pouvez corriger la personne qui vous fait passer l’entrevue. Appuyez-vous sur la règle exacte et un petit exemple qu’elle peut vérifier. Reconnaissez aussi ce qui était juste.

Si votre profil ressemble à celui d’Anika

1. Rendez un modèle accessible par un vrai service. Entraînez un petit modèle sur des données tabulaires, servez-le avec une API et mesurez vous-même la latence p99. Consultez Servir un modèle de prix des maisons et Empaqueter les artefacts.
2. Travaillez avec des données tabulaires et le gradient boosting. Beaucoup de postes en ingénierie de l’apprentissage automatique portent surtout sur des tableaux. Exercez-vous jusqu’à pouvoir expliquer quand le boosting surpasse un réseau de neurones, et pourquoi. Consultez Les méthodes d’ensemble et Quand un modèle simple est meilleur.
3. Entraînez un modèle pour un quantile et vérifiez la couverture par sous-groupe. Les études de cas Prévoir la demande de vélopartage et Estimer le prix des maisons se terminent toutes deux par cet exercice. Consultez aussi L’analyse par sous-groupes.
4. Ajoutez une surveillance à votre modèle de recherche. Comptez les prédictions par classe chaque semaine et comparez-les à celles de la période précédente. Indiquez par écrit qui en sera responsable après votre départ. Vous aurez alors une véritable expérience de production à raconter. Consultez Planifier les vérifications en production.
5. Exercez-vous à poser la question du coût. Pour chaque projet, notez qui paie pour chaque type d’erreur, et combien. Consultez Seuils et coûts.
6. Décidez ce que vous voulez. Si vous voulez du temps pour la recherche, posez la question, comme Anika. Les postes de scientifique en recherche appliquée ou en prévision pourraient mieux vous convenir qu’un poste d’ingénierie avec des gardes. Les deux parcours sont bons.