L'analyste

Imaginez un bon mécanicien qui a réparé des centaines de voitures avec l’ordinateur de diagnostic du garage. Il sait quelles questions poser au propriétaire et peut lire tous les chiffres à l’écran. Mais demandez-lui pourquoi l’ordinateur signale un problème à cette valeur précise, et il aura peut-être besoin d’un moment. Il sait très bien utiliser l’outil. Il comprend moins bien son fonctionnement interne.

Beaucoup de personnes qui postulent en science des données sont des analystes produit de ce genre. Elles écrivent du SQL toute la journée et créent les tableaux de bord que les gestionnaires de produit ouvrent chaque matin. Elles font aussi des tests A/B sur la plateforme de l’entreprise. Elles connaissent souvent mieux l’entreprise que les scientifiques des données. Maintenant, elles veulent le titre et une voix dans les décisions.

Leur lacune habituelle est le manque de connaissances approfondies en statistiques. La plateforme calcule l’intervalle, alors l’analyste réfléchit rarement à ce qu’il signifie. L’entrevue de Chloe montre les deux côtés : d’excellentes questions sur le produit et des limites reconnues honnêtement.

CM

La personne candidate

Chloe Martin

Analyste produit, 4 ans, transition vers la science des données

• 4 ans comme analyste produit
• SQL, dbt, Looker
• Baccalauréat en commerce, mineure en statistiques
• Montréal

• Analyste produit principale, Maplecart (articles pour la maison en ligne, environ 600 personnes), de 2022 à aujourd’hui
• A mené et analysé environ 30 tests A/B sur la plateforme d’expérimentation de l’entreprise (paiement, promotions, recherche)
• A défini les mesures du paiement utilisées par 3 équipes produit; a créé le tableau de bord principal de croissance (Looker)
• A montré qu’une fenêtre de coupon pour la première commande augmentait les ajouts au panier, mais réduisait la marge par visiteur; la fenêtre a été retirée
• A dirigé la pratique d’expérimentation de l’équipe de croissance
• SQL (avancé), dbt, Looker, Python (pandas, notions de base de statsmodels), Excel

Ce que Thandiwe voit avant l’appel

Thandiwe voit beaucoup de compétences nécessaires au quotidien : SQL, définition des mesures et quatre ans auprès de gestionnaires de produit. Chez Parlo, chaque scientifique des données travaille seul avec un gestionnaire de produit, donc c’est important.

Deux lignes éveillent sa curiosité. « A dirigé la pratique d’expérimentation » signifie-t-il que Chloe fixait les règles des tests ou qu’elle en menait le plus? Et « environ 30 tests A/B » indique un volume, pas un niveau de maîtrise. Chloe sait-elle ce que la plateforme fait pour elle?

Sa courte liste :

• Dans son meilleur projet, comment savait-elle que le résultat était réel?
• Dans le cas de Parlo, demande-t-elle comment les 20 % ont été choisis avant de se fier aux chiffres?
• Sait-elle ce qu’un intervalle de confiance indique et ce qu’il n’indique pas?
• Puissance et règles d’arrêt : a-t-elle déjà décidé elle-même de la durée d’un test?

Termes utilisés sur cette page

• Rétention au jour 30 : la proportion de nouveaux utilisateurs qui utilisent encore l’application environ un mois après leur inscription. Chez Parlo, un utilisateur est retenu s’il ouvre l’application au moins une fois dans la semaine se terminant au jour 30 (jours 24 à 30).
• Utilisateurs actifs hebdomadaires (WAU) : personnes qui ouvrent l’application au moins une fois par semaine.
• Déploiement par pourcentage : un réglage qui active une fonctionnalité pour une proportion des utilisateurs. Souvent, personne n’a choisi de mesure principale ni de durée de test au préalable.
• Intervalle de confiance (95 %) : une plage autour d’un résultat. Si vous répétez la même étude plusieurs fois, environ 95 % des plages construites ainsi contiennent la vraie valeur. Voir Estimer l’incertitude.
• Puissance : la probabilité qu’un test détecte un effet, si cet effet existe réellement et a une ampleur donnée. La cible habituelle est de 80 %.
• Examens répétés des résultats (arrêt facultatif) : consulter les résultats plusieurs fois et arrêter quand ils semblent significatifs.
• Effet de nouveauté : les gens utilisent quelque chose de nouveau parce que c’est nouveau. L’effet diminue après quelques semaines.
• Mesure garde-fou : un chiffre qui ne doit pas se dégrader, même si la mesure principale s’améliore.

L’entrevue

Minutes 0 à 5 : l'ouverture

Thandiwe(intervieweur) :

Bonjour Chloe! Vous m’entendez bien?

Chloe(personne candidate) :

Oui, oui. Bonjour. Désolée, une seconde, mes écouteurs… voilà. Là, c’est bon.

Thandiwe(intervieweur) :

Pas de problème. Je suis Thandiwe, scientifique des données principale ici. Alors, voici le plan. Vous me racontez d’abord une analyse qui a changé une décision. Je vais vous demander souvent « pourquoi ». Ensuite, un vrai problème qu’on a en ce moment. Puis vos questions. Cette étape, c’est juste une discussion entre nous, sans outils d’IA. Et j’aime dessiner des tableaux, alors je vais vous envoyer un lien vers un tableau blanc.

Minutes 5 à 20 : une analyse qui a changé une décision

Chloe(personne candidate) :

D’accord. Chez Maplecart, on avait une fenêtre contextuelle pour les nouveaux visiteurs. « 10 % de rabais sur votre première commande. » Le marketing adorait ça, parce que les ajouts au panier augmentaient. Et ils voulaient augmenter le rabais à 15 %.

Moi, j’ai regardé le test qu’ils avaient fait l’année précédente. Ils mesuraient seulement les ajouts au panier. Alors j’ai demandé, d’accord, mais combien de ces paniers deviennent des commandes? Et avec quelle marge? J’ai refait l’analyse avec les commandes et la marge, à partir des mêmes données de test. Les ajouts au panier avaient augmenté, je pense d’environ 4 %. Les commandes étaient presque stables. Et la marge par visiteur avait baissé. Les gens qui auraient acheté de toute façon avaient maintenant 10 % de rabais. Alors on a retiré la fenêtre. On n’a pas augmenté le rabais.

Pourquoi cela fonctionne

C’est un bon début. Chloe a trouvé le problème dans la mesure, pas dans la méthode. Elle a remplacé la question « plus de paniers? » par « plus d’argent? ». C’est exactement ce dont les équipes produit ont besoin.

Thandiwe(intervieweur) :

Bien. Et la baisse de marge par visiteur. Comment saviez-vous qu’elle était réelle, et pas du bruit?

Chloe(personne candidate) :

La plateforme donnait un intervalle de confiance. Il était entièrement sous zéro. Je pense de moins 3 % à moins 0,5 %, quelque chose comme ça.

Thandiwe(intervieweur) :

Et dans vos mots, qu’est-ce que cet intervalle vous dit?

Chloe(personne candidate) :

Qu’il y a 95 % de chances que l’effet réel soit entre moins 3 et moins 0,5.

Thandiwe(intervieweur) :

Hum-hum. Est-ce tout à fait exact?

Chloe(personne candidate) :

Pause. Je pense… c’est comme ça que je l’explique aux responsables de produit. Je me souviens qu’à l’université, c’était quelque chose sur le fait de répéter l’expérience. Mais je ne me souviens pas de la formulation exacte. Désolée.

Ce que dit un intervalle de confiance

Thandiwe ne veut pas une phrase de manuel. Elle veut savoir si Chloe sait que son explication habituelle est un raccourci. Chloe ne s’en souvient vraiment pas, et Thandiwe passe à la suite.

Imaginez un filet de pêche. Un intervalle à 95 % est une méthode qui attrape la vraie valeur environ 95 fois sur 100 lancers. Après un lancer, la vraie valeur est dans votre filet ou elle ne l’est pas. Vous ne savez pas lequel des deux est vrai. « Nous sommes assez sûrs que l’effet est entre moins 3 et moins 0,5 » convient dans une réunion. En entrevue, montrez que vous connaissez la différence. Voir Estimer l’incertitude.

Thandiwe(intervieweur) :

Ça va. Votre CV dit que vous dirigiez les pratiques d’expérimentation pour la croissance. Qu’est-ce que ça voulait dire concrètement?

Chloe(personne candidate) :

Ah. D’accord. « Dirigé », c’est peut-être un grand mot. J’étais l’analyste pour la plupart des tests de croissance. J’ai écrit un modèle : l’hypothèse, la mesure principale et notre décision si le test réussit ou échoue. Les gens l’utilisaient. Mais la plateforme et les statistiques, c’était la responsabilité d’une équipe de science des données dans un autre bureau.

Où cela tourne mal

« Dirigeait les pratiques d’expérimentation » laissait croire que Chloe définissait les règles statistiques. Ce n’était pas le cas. Elle corrige tout de suite, alors cela lui coûte très peu. Si vous écrivez « dirigé », préparez-vous à dire exactement ce que vous avez dirigé. Voir Développer de vraies compétences et apprendre à les expliquer.

Thandiwe(intervieweur) :

Un modèle que les gens utilisaient, c’est un vrai travail. Et le test de la fenêtre contextuelle, que feriez-vous autrement?

Chloe(personne candidate) :

Choisir la mesure avant le test. La marge par visiteur, dès le départ. Pas la trouver un an plus tard.

Thandiwe(intervieweur) :

D’accord. Je passe maintenant à notre cas. On reviendra aux statistiques.

Minutes 20 à 38 : le cas Parlo, première partie

Thandiwe(intervieweur) :

D’accord, voici notre situation réelle. Il y a cinq semaines, on a lancé Talk with Pip (parler avec Pip), une fonction de conversation avec l’IA. On l’a offerte à 20 % des nouveaux utilisateurs. Le nombre d’utilisateurs actifs par semaine dans ce groupe a augmenté d’environ 6 %. Mais la rétention au jour 30 des nouveaux utilisateurs est passée de 31 à 29 %. Notre responsable de produit veut l’offrir à tout le monde avant janvier. Si vous étiez notre scientifique des données, que feriez-vous?

Chloe(personne candidate) :

D’accord. Avant de répondre, est-ce que je peux poser quelques questions? Je ne sais pas encore d’où viennent les chiffres. D’abord, les 20 %. Comment ont-ils été choisis?

Thandiwe(intervieweur) :

Au hasard, par identifiant utilisateur, dans notre outil d’expérimentation. Mais seulement sur iOS. Android n’était pas prêt. Donc, c’est 20 % des nouveaux utilisateurs iOS.

Chloe(personne candidate) :

D’accord, seulement iOS. C’est important. Et les 31 %, c’est quoi? Les autres utilisateurs iOS? Ou Parlo avant le lancement?

Thandiwe(intervieweur) :

Ça vient du tableau de bord de Kenji. Tous les autres nouveaux utilisateurs, les mêmes semaines, sur les deux plateformes.

Chloe(personne candidate) :

Hmm. Alors la comparaison n’est pas équitable. La rétention est la même sur iOS et sur Android?

Thandiwe(intervieweur) :

Non. Les utilisateurs iOS restent davantage. Chaque mois.

Chloe(personne candidate) :

Alors je veux comparer iOS avec iOS. Les nouveaux utilisateurs iOS sans Pip, les mêmes semaines. Vous avez ça?

Thandiwe(intervieweur) :

Oui. Environ 33 %.

Chloe(personne candidate) :

33. Ah. Donc l’écart n’est pas de 2 points. Il est de 4.

Pourquoi cela fonctionne

Quatre questions courtes, et le problème a changé. Le tableau de bord de Kenji compare un groupe entièrement iOS à un groupe surtout Android, dont la rétention est moindre. À groupes comparables, l’écart est d’environ 4 points, pas 2. Thandiwe a donné les 33 % seulement parce que Chloe l’a demandé.

L'idée derrière le paradoxe de Simpson

Quand deux groupes ont une composition différente, et que cette composition influence le résultat, un total peut vous induire en erreur. Ici, la répartition des plateformes cachait la moitié de la baisse. Dans un cas extrême, le résultat peut aller dans un sens dans chaque groupe, et dans l’autre dans le total. C’est le paradoxe de Simpson. La solution est celle de Chloe : comparer des groupes comparables.

Chloe(personne candidate) :

Et il y a cinq semaines, c’est… fin août? Donc c’est la rentrée. Beaucoup de gens qui s’inscrivent fin août sont des étudiants, des parents, ou des gens qui disent « cette année, j’apprends l’espagnol ». Pour la comparaison, ça ne change rien, les deux groupes sont dans la même saison. Mais Kenji veut lancer ça pour janvier. Les utilisateurs de janvier ne sont pas ceux d’août.

Thandiwe(intervieweur) :

Oui, la dernière semaine d’août. D’accord. Quoi d’autre?

Chloe(personne candidate) :

La rétention au jour 30. Si on a lancé il y a cinq semaines, pour quels utilisateurs a-t-on déjà un chiffre au jour 30? Seulement les gens inscrits dans les… cinq premiers jours? Quelque chose comme ça.

Thandiwe(intervieweur) :

Rit. Oui. Environ les cinq premiers jours.

Chloe(personne candidate) :

Et comment définit-on « actif »? Si j’ouvre Pip et que je parle, je suis active?

Thandiwe(intervieweur) :

Toute session compte. Donc oui.

Chloe(personne candidate) :

Donc les 6 %, c’est en partie… la fonction se compte elle-même. Les gens ouvrent Pip parce que c’est nouveau. Vous avez les 6 % par semaine? Je m’attendrais à une hausse forte la première semaine, puis plus faible après.

Thandiwe(intervieweur) :

Honnêtement, je n’ai pas regardé par semaine. C’est une bonne chose à vérifier.

Chloe(personne candidate) :

Et les leçons terminées? Est-ce que ça a changé?

Thandiwe(intervieweur) :

Ça a baissé dans le groupe Pip. De quelques pour cent, je ne me souviens pas du chiffre exact.

Chloe(personne candidate) :

Ah. Donc peut-être que les gens parlent à Pip au lieu de faire des leçons. Et si les leçons font revenir les gens… ça pourrait expliquer la rétention. Mais c’est une supposition.

Pourquoi cela fonctionne

Ici, Chloe montre ses forces. Chaque question découle de la dernière réponse. Elle voit aussi qu’une répartition aléatoire élimine la saison de la comparaison, mais ne dit rien sur les utilisateurs de janvier. Et elle appelle l’explication des leçons « une supposition ». Elle sait ce qu’elle sait.

Thandiwe(intervieweur) :

Alors, comment regarderiez-vous les données en premier? Concrètement.

Chloe(personne candidate) :

Je les séparerais par pays. Aussi entre les gens qui ont essayé Pip et ceux qui ne l’ont jamais ouvert.

Thandiwe(intervieweur) :

Attention à cette deuxième séparation. Pourquoi pourrait-elle vous induire en erreur?

Chloe(personne candidate) :

Hmm. Parce que les gens choisissent de l’essayer. Ceux qui essaient de nouvelles choses sont peut-être déjà plus motivés. Donc ils restent davantage, et ce n’est pas grâce à Pip. D’accord, la comparaison principale reste donc le groupe Pip entier contre le groupe iOS entier sans Pip. L’autre séparation aide seulement à comprendre. Et par pays… dans certains pays, les gens apprennent dans l’autobus. On ne peut pas parler à voix haute à une application dans l’autobus.

Thandiwe(intervieweur) :

C’est exactement ce que notre recherche auprès des utilisateurs a montré. Dans certains pays, beaucoup de gens ne peuvent pas utiliser le microphone en public.

Deux types de séparation

Séparer selon un élément fixé avant le test, comme le pays, est sûr. La répartition aléatoire place environ la même proportion de chaque pays dans les deux groupes. Séparer selon ce que les gens ont fait après avoir reçu la fonction, comme « a utilisé Pip », n’est pas sûr. Les gens ont choisi eux-mêmes. Chloe a besoin d’un indice. Voir L’analyse par sous-groupes.

Minutes 38 à 50 : effet réel ou bruit, et la limite

Thandiwe(intervieweur) :

D’accord. Alors, la baisse de rétention. Est-elle réelle? Je vais mettre les chiffres au tableau.

Rétention au jour 30, cinq premiers jours du déploiement	Utilisateurs	Utilisateurs retenus
Pip (20 % des nouveaux utilisateurs iOS)	environ 2 400	29 %
Tous les autres nouveaux utilisateurs, deux plateformes (tableau de bord de Kenji)	environ 25 000	31 %
Nouveaux utilisateurs iOS sans Pip	environ 9 600	33 %

Tableau de bord : −2 points, intervalle à 95 % d’environ −3,9 à −0,1, p d’environ 0,04. iOS contre iOS : −4 points, intervalle d’environ −6 à −2.

Chloe(personne candidate) :

D’accord. Pour le tableau de bord, zéro est presque dans l’intervalle. Mais cette comparaison est mauvaise de toute façon. Pour iOS… moins 6 à moins 2. Zéro est loin. Donc, pour ces utilisateurs, je pense que la baisse est réelle. Même si ce sont seulement cinq jours d’inscriptions.

Thandiwe(intervieweur) :

Bien. Un autre fait. Kenji ouvre son tableau de bord chaque matin. Le chiffre de rétention est devenu significatif mardi dernier. Il était très content d’avoir une réponse claire. Qu’en pensez-vous?

Chloe(personne candidate) :

Rit un peu. D’accord, je sais que c’est un problème. On l’a fait chez Maplecart, en fait. J’ai arrêté un test après quatre jours parce qu’il était significatif.

Thandiwe(intervieweur) :

Dites-moi pourquoi c’est un problème. Pas la règle, la raison.

Chloe(personne candidate) :

Est-ce que je peux prendre une minute pour réfléchir?

Thandiwe(intervieweur) :

Bien sûr. Prenez votre temps.

Chloe(personne candidate) :

Environ vingt secondes de silence. D’accord. Donc, 5 % veut dire : s’il n’y a aucun effet, une fois sur vingt, le test dit « significatif » par hasard. Ça, c’est pour une seule consultation. Mais si je regarde chaque jour, chaque jour est une autre chance. Comme lancer un dé chaque matin. Une fois, peut-être pas de six. Vingt fois, on finit par avoir un six. Et là, j’arrête, exactement le jour où j’ai de la chance.

Thandiwe(intervieweur) :

Hum-hum. Et donc?

Chloe(personne candidate) :

Donc le vrai taux de faux positifs n’est pas de 5 %. Il est plus élevé. Je ne sais pas de combien. Peut-être le double?

Thandiwe(intervieweur) :

En regardant chaque jour pendant quelques semaines, souvent 20 ou 25 %. Environ cinq fois le taux que vous pensez avoir.

Chloe(personne candidate) :

Ah oui. D’accord. Et les jours ne sont pas indépendants, ce sont les mêmes utilisateurs qui s’accumulent. Donc ce n’est pas exactement un dé. Mais l’idée est la même. Hmm. Alors mon test Maplecart… je ne sais pas si l’effet était réel. Plus tard, le chiffre sur le tableau de bord était stable. Je pensais que c’était un effet de nouveauté. Peut-être que l’effet n’a jamais été réel.

Thandiwe(intervieweur) :

Et ici? Est-ce que ça change ce que vous avez dit sur les 4 points?

Chloe(personne candidate) :

Attendez, je réfléchis. Le 0,04 de Kenji, avec les consultations chaque matin, je ne lui fais pas confiance. Mais pour iOS contre iOS, l’intervalle est loin de zéro, donc p est très petit. Même si ces consultations le multiplient quelques fois, il reste petit. Donc non. Je crois encore aux 4 points. Pour ces utilisateurs.

La limite

C’est la limite des connaissances de Chloe, et Thandiwe l’a explorée volontairement. Chloe connaissait la règle « ne pas arrêter trop tôt », mais pas la raison. Elle demande une minute et construit la raison à partir de la définition des 5 %. Sa comparaison avec le dé n’est pas parfaite, et elle le voit elle-même. Ensuite, elle applique l’idée deux fois : à son ancien test, puis aux chiffres de Parlo. Consulter les résultats en cours de test fragilise un résultat limite comme p = 0,04. Cela n’annule pas un résultat très fort : pour iOS contre iOS, p est d’environ 0,0001.

Pourquoi cela fonctionne

Demander une minute et réfléchir en silence est normal. La plupart des personnes qui font passer l’entrevue attendent. Un court silence vaut mieux qu’une réponse rapide dont vous n’êtes pas sûr.

Thandiwe(intervieweur) :

Merci, c’est honnête. Alors, faut-il abandonner l’idée de Kenji?

Chloe(personne candidate) :

Non, je ne pense pas. Pip, dans sa forme actuelle, nuit probablement à ces utilisateurs. Mais peut-être parce qu’il remplace les leçons. J’essaierais une version où Pip vient après une leçon, pas à sa place. Et je testerais ça correctement.

Thandiwe(intervieweur) :

D’accord. Combien d’utilisateurs faudrait-il pour détecter une baisse de 2 points? Sans calculatrice.

Chloe(personne candidate) :

Habituellement, la plateforme le fait pour moi. Hmm. Un effet plus petit demande plus d’utilisateurs. Et c’est au carré, je pense? La moitié de l’effet, quatre fois plus d’utilisateurs.

Thandiwe(intervieweur) :

Oui. Une règle approximative : par groupe, 16 fois p fois un moins p, divisé par l’effet au carré. C’est pour un seuil de signification de 5 % et une puissance de 80 %.

Chloe(personne candidate) :

D’accord, donc… p, je prends environ 0,3, c’est entre les groupes. Un moins p, c’est 0,7, donc 0,21. Fois 16, ça fait… 3,4, environ. Divisé par 0,02 au carré, 0,0004. Donc environ 8 400 par groupe? Et on en a 2 400 avec Pip. On a donc trouvé 4 points parce que 4, c’est grand. Si la vraie baisse était de 2, on la trouverait peut-être… la moitié du temps?

Thandiwe(intervieweur) :

Environ la moitié, oui. Une puissance d’environ 50 %.

Une meilleure réponse

Chloe y est arrivée avec de l’aide. Une réponse plus forte donne le raisonnement sans calculatrice et le relie à la décision :

« Règle approximative : par groupe, 16 fois p fois un moins p, divisé par l’effet au carré. Avec une rétention autour de 30 % et un effet de 2 points, c’est environ 8 400 par groupe. On a vu les 4 points seulement parce que 4 est un effet important. Si 1 point compte pour Kenji, il en faut quatre fois plus, environ 33 000 par groupe. Alors, avant le test, je demanderais à Kenji : quelle est la plus petite baisse qui changerait votre décision? Ce chiffre fixe la durée du test, pas le calendrier. »

Le plus petit effet qui compte pour vous détermine la taille, et la taille détermine la durée. Voir Comparer des options.

Thandiwe(intervieweur) :

Alors. Que concevriez-vous?

Chloe(personne candidate) :

Un vrai test, avec la nouvelle version. De nouveaux utilisateurs, répartis au hasard, 50/50. iOS maintenant, Android quand ce sera prêt. Mesure principale : la rétention au jour 30. Garde-fous : les leçons terminées et le coût. Et je voudrais quelque chose sur l’apprentissage, mais… est-ce que vous mesurez l’apprentissage?

Thandiwe(intervieweur) :

Il y a un court test de classement. Très peu de gens le font.

Chloe(personne candidate) :

D’accord, donc c’est une lacune. Je le note pour plus tard. Et on écrit avant le début : la durée, la mesure, le résultat qui veut dire « lancer ». Et on regarde à la fin, pas chaque matin.

Thandiwe(intervieweur) :

Quelle durée, avec environ 2 400 nouveaux utilisateurs iOS par jour?

Chloe(personne candidate) :

50/50, c’est 1 200 par groupe par jour. Pour 8 400 par groupe, environ une semaine d’inscriptions. Puis 30 jours d’attente. Donc… cinq, six semaines? Les résultats fin novembre. Pour 1 point, c’est presque un mois d’inscriptions, trop tard pour janvier.

Ce que l’intervieweur vérifie

Le calcul est juste. Une précision : deux semaines complètes d’inscriptions sont plus sûres qu’une seule. Les utilisateurs de semaine et de fin de semaine diffèrent. Alors, environ 1,5 point est la plus petite baisse que le test peut détecter. Et le résultat arrive toujours avant janvier.

Thandiwe(intervieweur) :

Dernière partie. C’est vendredi. Kenji vous demande : « Est-ce que je peux lancer ça pour tout le monde? » Que lui dites-vous?

Chloe(personne candidate) :

Je dirais : « Pas maintenant. Les gens utilisent Pip, c’est bien. Mais pour les premiers utilisateurs iOS, la rétention baisse d’environ 4 points, et je pense que c’est réel. Votre tableau de bord montrait 2 parce qu’il inclut Android. Si on lance pour tout le monde en janvier, ça fait beaucoup d’abonnés perdus. Mon hypothèse, c’est que Pip remplace les leçons. Testons une version où Pip vient après une leçon, dès lundi. Vous aurez une réponse fin novembre, donc avant janvier. » Et je lui demanderais quelle baisse il peut accepter. Peut-être que pour lui, 1 point est acceptable si plus de gens achètent Plus.

Pourquoi cela fonctionne

C’est la réponse que Thandiwe espérait : courte, avec une date, et le risque expliqué en termes d’affaires. Elle explique le tableau de bord sans blâmer personne. Elle donne une nouvelle idée à Kenji, pas seulement un « non », et demande quelle baisse il peut accepter.

Où cela tourne mal

Il manque deux choses. La première est le coût. Chaque conversation coûte à Parlo environ 0,04 $ CA. Un utilisateur intensif qui en fait 20 par semaine coûte donc environ 3,50 $ CA par mois. Si cet utilisateur utilise l’offre gratuite, Parlo ne reçoit rien en retour. La deuxième concerne les 20 % qui ont Pip maintenant. S’il nuit probablement à leur rétention, devraient-ils le garder jusqu’au nouveau test? Un scientifique des données responsable de ce domaine soulève les deux points.

Minutes 50 à 60 : les questions de Chloe et la conclusion

Chloe(personne candidate) :

Ma question. Vous avez dit un scientifique des données par domaine. Quand le responsable de produit et moi sommes en désaccord, comme avec Kenji maintenant, qui décide?

Thandiwe(intervieweur) :

Le responsable de produit décide pour le produit. Vous décidez ce que disent les données, et à quel point nous en sommes sûrs. Si c’est sérieux, Simone intervient. Ce n’est pas toujours confortable.

Chloe(personne candidate) :

Et quelle part de la semaine va aux tableaux de bord et aux questions ponctuelles? Chez Maplecart, c’était peut-être 60 %.

Thandiwe(intervieweur) :

Ici, environ un tiers. Certaines semaines, plus. Et honnêtement, la fin du trimestre est chargée.

Pourquoi cela fonctionne

Les deux questions révèlent le vrai travail, et l’offre d’emploi ne dit rien sur ces deux sujets. Voir Une entrevue est une conversation dans les deux sens.

Chloe(personne candidate) :

Une dernière. Si je me joins à l’équipe, est-ce que quelqu’un peut m’aider à apprendre les statistiques? Aujourd’hui, j’ai vu ma lacune. Je pense que vous l’avez vue aussi.

Thandiwe(intervieweur) :

Sourit. Je l’ai vue. Oui, il y a quelqu’un. D’accord, le temps est écoulé. Merci, Chloe. J’ai beaucoup aimé vos questions au début du cas. Mira vous écrira cette semaine.

Chloe(personne candidate) :

Merci. Et maintenant, je vais lire sur la consultation des résultats en cours de test.

Après l’appel : les notes de Thandiwe

Candidate : Chloe Martin. Étude de cas produit, 60 minutes.

Preuves solides

• Compréhension du produit et définition des mesures. Les meilleures questions de clarification qu’on m’ait posées pour ce cas. Ses questions ont révélé la comparaison inéquitable du tableau de bord (à conditions égales, l’écart est de 4 points, pas 2), la saison, les cinq jours de données au jour 30, le calcul des WAU qui inclut la fonctionnalité, et le nombre réduit de leçons.
• Travail avec un gestionnaire de produit (PM). Sa réponse du vendredi était courte et proposait une date et une nouvelle version à tester. Elle a demandé à Kenji quelle baisse il pouvait accepter.
• Honnêteté. Elle a corrigé elle-même « dirigé les pratiques d’expérimentation ». Elle a dit « je ne sais pas » quand elle ne savait pas.

Quelques preuves

• Conception d’expériences. Bonne structure (répartition aléatoire, 50/50, mesure principale, garde-fous, décision avant d’examiner les résultats). A eu besoin d’aide pour la taille de l’échantillon.
• SQL. Pas évalué aujourd’hui; l’épreuve de SQL était solide.

Aucune preuve

• Inférence causale sans répartition aléatoire; apprentissage automatique. Pas abordés.

Préoccupation

• Profondeur des connaissances statistiques. A atteint ses limites sur le sens d’un intervalle de confiance, la puissance et l’examen répété des résultats. Elle a compris le problème de ces examens répétés lentement, mais correctement. Elle a déjà arrêté un test trop tôt.

Recommandation : poursuivre le processus. Elle sera très utile dès la première semaine avec un PM. Ses lacunes en statistiques sont réelles, mais elle les connaît et apprend devant vous. Si nous l’embauchons, j’aimerais l’accompagner en statistiques pendant les six premiers mois.

Ce qui s’est passé ensuite

Dans le travail à faire à la maison, Chloe a écrit la mesure principale et la règle d’arrêt en haut de son carnet (notebook) Jupyter avant d’examiner les résultats. Quand Simone lui a demandé pourquoi, elle a dit : « À cause de la dernière entrevue. » Elle a déclaré qu’un assistant d’IA avait écrit une fonction pour produire un graphique, et montré comment elle l’avait vérifiée.

La discussion sur les valeurs avec Kenji s’est très bien passée. Il a écrit : « Elle m’a demandé quelle baisse je pouvais accepter. Personne ne me pose cette question. »

Lors du bilan, l’équipe a comparé Chloe à Gabriel Santos, plus fort sur tous les aspects techniques, mais clairement de niveau supérieur. Simone a demandé d’ouvrir pour lui un poste de niveau supérieur dans l’équipe Monetisation. Le seul poste vacant de scientifique des données est allé à Chloe, au milieu de l’échelle salariale. Son offre comprenait un plan : une heure toutes les deux semaines avec Thandiwe sur les statistiques, pendant les six premiers mois. Chloe a accepté.

Cette conclusion ne tient pas seulement à la chance. Chloe ne l’a pas emporté en statistiques, où elle était moins forte. Elle l’a emporté sur la partie quotidienne du travail. Elle a été honnête sur ce qu’il lui reste à apprendre.

Ce qu’il faut en retenir

• Posez des questions avant d’analyser. Les premières questions de Chloe ont révélé la plupart des problèmes de la comparaison. Il faut de la curiosité, pas une formule.
• Comprenez ce que vos outils font pour vous. Préparez-vous à expliquer les intervalles et les tailles d’échantillon sans la plateforme.
• À vos limites, demandez une minute et raisonnez à partir de la définition. Chloe a reconstitué le problème des examens répétés à partir de « 5 % signifie un sur vingt ».
• Reliez votre erreur passée à la nouvelle idée. « Alors mon test chez Maplecart… Je ne sais pas si l’effet était réel » montrait qu’elle apprend, pas qu’elle avait échoué.
• Donnez au PM une date et un plan, pas seulement « ça dépend ». Demandez ensuite quel effet changerait sa décision.

Si votre profil ressemble à celui de Chloe

Vos compétences en produit et en SQL sont un véritable avantage. Vos lacunes concernent les statistiques derrière la plateforme. Vous pouvez en combler une grande partie en quelques semaines.

1. Apprenez les trois idées derrière chaque résultat de test : l’erreur-type, l’intervalle de confiance et la puissance. Faites les leçons Échantillons et populations, Estimer l’incertitude et Comparer des options.
2. Simulez vous-même l’examen répété des résultats. En Python, générez deux groupes sans différence réelle. Examinez la valeur p chaque « jour » pendant 20 jours. Comptez combien de fois elle passe sous 0,05 au moins une fois. Répétez l’exercice 1 000 fois. Constater vous-même une fréquence de 20 à 25 % vous en apprend plus que de la lire.
3. Calculez une taille d’échantillon à la main. Prenez un vrai test que vous avez mené. Utilisez la règle « 16 × p × (1 − p) ÷ effet² » par groupe. Comparez le résultat au nombre fourni par votre plateforme.
4. Relisez deux de vos anciens tests. Notez quand vous avez examiné les résultats, quand vous avez arrêté le test et quel était l’intervalle. Si vous en avez arrêté un trop tôt, dites-le en entrevue.
5. Vérifiez chaque verbe de votre CV. Pour « dirigé », « pris en charge » et « créé », écrivez une phrase sur ce que vous avez fait exactement.
6. Exercez-vous à donner la réponse du vendredi à voix haute : trois phrases pour un PM, avec une recommandation, le risque et une date. Consultez Expliquer vos décisions.