Aller au contenu
English

Reproduire d'abord

  • Leçon 10
  • 40 min
  • Module 4 : Déboguer et tester avec l'assistant

Où nous en sommes

Dans le module 3, nous avons révisé les modifications générées ligne par ligne : leur portée, leurs dépendances et leur sécurité. Maintenant, nous revenons au bogue de Grace. Si nous demandons une correction tout de suite, nous ne pouvons pas la vérifier : nous ne connaissons ni l'entrée exacte qui échoue, ni si la cause est dans le code ou dans notre configuration. Dans cette leçon, nous provoquons le bogue volontairement, avec la plus petite entrée, comme les vérifications que vous faites quand le Wi-Fi ne fonctionne pas.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité

Ce que vous saurez faire

Provoquez volontairement le bogue avec la plus petite entrée qui le montre encore, avant de modifier du code, vous ou un assistant. Vérifiez ensuite que la cause se trouve dans le code, et non dans la configuration de votre ordinateur.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 40 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

  • Le projet ~/projects/ticket-cleaner-assist à la fin de Réviser le travail généré : python -m pytest affiche 34 passed (34 tests réussis), et git status indique working tree clean (arbre de travail propre). Son environnement est actif. Si le projet manque ou ne fonctionne plus, suivez les étapes de réinitialisation de Contexte et limites avec l’instantané end-of-m03.
  • Le clone des exercices ~/projects/nextia-learning-labs, et environ 40 Mo d’espace libre pour un deuxième environnement.
  • Aucun compte, aucune clé et aucune dépense. Cette leçon ne fait appel à aucun assistant.

Votre portable indique « No internet » (pas d’accès à Internet). Avant d’appeler le soutien technique, vous faites trois choses presque sans réfléchir.

D’abord, vous réessayez : vous ouvrez une deuxième page Web. Si elle se charge, le problème était passager, pas une panne. Ensuite, vous précisez la question : aucune page ne fonctionne, ou seulement un site? Enfin, vous essayez un autre appareil. Si votre téléphone n’a pas Internet non plus, le portable fonctionne et le routeur pose problème. Si le téléphone fonctionne, le problème vient du portable.

C’est seulement ensuite que vous appelez. Vous pouvez dire exactement ce qui se passe : « Aucune page ne se charge sur le portable. Le téléphone fonctionne sur le même Wi-Fi. » La personne au soutien technique commence au bon endroit.

Le problème : une correction que vous ne pouvez pas vérifier

Section intitulée « Le problème : une correction que vous ne pouvez pas vérifier »

Tomás veut gagner du temps. Il donne une seule ligne à un assistant : « Grace dit que le rapport est incorrect pour le nouvel export du formulaire Web. Corrige ça. » L’équipe du cours a enregistré cette requête avec le plus petit modèle (transcription bug-fix-blind-small). L’assistant a demandé à voir parsing.py et l’export, les a reçus, puis a modifié une ligne.

La correction était-elle bonne? Regardez ce que montrent les vérifications de la séance :

The project's tests, before the session and after it
tests: 24 passed
tests: 24 passed

Le résultat est le même avant et après. Personne n’a exécuté la commande de Grace avant la modification. Personne n’a donc vu le bogue de ses propres yeux. Et aucun test n’échoue sans la correction. Dans cet essai, la modification était correcte : les vérifications cachées du bogue par l’équipe du cours ont réussi. Mais rien dans la séance ne le montre. Si la ligne avait été incorrecte, ces deux lignes auraient été exactement les mêmes.

Il y a un deuxième risque. Supposons que le rapport soit incorrect seulement sur l’ordinateur de Grace, à cause d’une ancienne copie du programme. Toute modification du code serait alors inutile, et la vraie cause resterait.

Reproduire un bogue, c’est le provoquer volontairement avec une commande et une entrée que tout le monde peut utiliser. Le résultat est une reproduction : les étapes, l’entrée, la sortie observée et la sortie attendue. Les développeurs disent souvent « une repro ».

Une bonne reproduction répond à trois questions, dans cet ordre :

  1. Est-ce que je peux le voir? Exécutez la commande de la personne qui signale le bogue, avec son entrée. Comparez le résultat avec ce qu’elle a écrit.
  2. Quelle est la plus petite entrée qui le montre encore? C’est l’entrée minimale qui échoue. Le cours Python l’appelait un exemple minimal qui échoue.
  3. Est-ce le code ou l’environnement? Exécutez l’entrée minimale dans une nouvelle configuration. Si le résultat reste le même, la cause est dans le code.

C’est la vérification du Wi-Fi, appliquée à un programme. Vous la faites avant que l’assistant écrive du code, pour deux raisons. Vous pourrez alors déterminer si une modification aide. Et la reproduction est le meilleur contexte à donner à l’assistant : elle est courte, exacte et vérifiable.

L’export de Grace contient 12 lignes. Pour trouver une petite entrée, vous n’avez pas encore besoin de comprendre le bogue. Utilisez une méthode simple : divisez l’entrée en deux, exécutez le programme et gardez la moitié qui montre encore le bogue. Puis divisez à nouveau.

Le bogue apparaît quand une équipe a deux lignes dans by_category. Le diagramme présente chaque exécution de l’équipe du cours, avec sa sortie réelle :

Un tableau de six exécutions. Les 12 lignes : Billing 1, LOGIN 1, Login 1, account 1, billing 2, login 2, shipping 2; le bogue apparaît. Lignes 1 à 6 : Login 1, billing 2, login 2; encore séparées, gardez cette moitié. Lignes 1 à 3, login, Sign-in et Login : Login 1, login 2; encore séparées, gardez-les. Lignes 1 et 2, login et Sign-in : login 2; correct, essayez l'autre partie. Lignes 2 et 3, Sign-in et Login : Login 1, login 1; séparées avec 2 lignes, gardez-les. Valeurs simples, Sign-in devient login : Login 1, login 1; encore séparées. En bas : 12 lignes sont devenues 2 lignes en 5 exécutions.
Divisez en deux, gardez la partie qui échoue encore, puis simplifiez chaque valeur. Le bogue persiste après chaque réduction qui conserve deux graphies d'une même équipe.
Description textuelle du diagramme

Le diagramme est un tableau de six exécutions du programme, chacune avec son véritable by_category :

  1. Les 12 lignes de l’export de Grace : {"Billing": 1, "LOGIN": 1, "Login": 1, "account": 1, "billing": 2, "login": 2, "shipping": 2}. Le bogue apparaît : login et billing sont séparés.
  2. Lignes 1 à 6 (T-3001 à T-3006) : {"Login": 1, "billing": 2, "login": 2}. Encore séparées, donc gardez cette moitié.
  3. Lignes 1 à 3 (login, Sign-in, Login) : {"Login": 1, "login": 2}. Encore séparées, donc gardez-les.
  4. Lignes 1 et 2 (login, Sign-in) : {"login": 2}. C’est correct : le bogue n’est pas dans ces deux lignes, donc essayez l’autre partie.
  5. Lignes 2 et 3 (Sign-in, Login) : {"Login": 1, "login": 1}. Séparées, avec deux lignes : gardez-les.
  6. Les mêmes deux lignes, avec Sign-in remplacé par login : {"Login": 1, "login": 1}. Encore séparées, donc le nom du formulaire Web n’est pas nécessaire. Le rapport de bogue utilise LOGIN, avec le même résultat.

En bas : 12 lignes sont devenues 2 lignes en 5 exécutions. Les lignes rouges montrent le bogue; la ligne verte ne le montre pas.

Deux actions ont réduit l’entrée. La division en deux a supprimé des lignes. Les valeurs simples ont supprimé des détails : le nom du formulaire Web, Sign-in, ne faisait pas partie du problème. Avec une seule ligne, Login, le rapport contient une ligne, {"Login": 1}. Le nom est déjà incorrect, mais le symptôme de Grace, deux lignes pour une équipe, exige deux lignes d’entrée.

Cinq exécutions ont pris environ deux minutes. Le résultat est une entrée qu’une personne lit en cinq secondes, et un assistant en quelques jetons (tokens). Diviser en deux est utile quand vous ne pouvez pas deviner la cause. Quand vous pouvez la deviner, comme Amira dans Fournir le contexte utile, partez de cette hypothèse et vérifiez-la par une exécution.

Votre projet a changé depuis le courriel de Grace : il possède maintenant l’option --category. Reproduisez donc le bogue dans le code actuel, pas dans celui qu’elle utilisait.

  1. Vérifiez votre point de départ :

    Fenêtre de terminal
    git status
    python -m pytest
    Sortie
    On branch feature/category-option
    nothing to commit, working tree clean
    ============================== 34 passed in 0.05s ==============================
  2. Exécutez la commande de Grace sur son export :

    Fenêtre de terminal
    python -m ticket_cleaner data/web-form-export.csv
    Sortie
    12 rows: 12 valid, 0 rejected.
    Report: reports/summary.json

    Ouvrez reports/summary.json. by_category contient les sept lignes de son courriel : Billing, LOGIN et Login à côté de billing et login. Vous voyez ce qu’elle a vu.

  3. Essayez maintenant la nouvelle option, avec l’équipe login :

    Fenêtre de terminal
    python -m ticket_cleaner data/web-form-export.csv --category login

    Le rapport contient "selected": 2 et "by_category": {"login": 2}. L’export contient quatre billets de soutien login, tous ouverts. Le même bogue nuit donc aussi à votre nouvelle option : elle manque Login et LOGIN. Personne ne l’a encore signalé. Vous l’avez trouvé parce que vous avez reproduit le bogue dans le code actuel.

  4. Dans votre éditeur, créez un fichier minimal.csv dans le dossier du projet, avec les trois lignes du rapport de bogue :

    minimal.csv
    id,status,category,priority,subject
    T-1,open,login,1,One
    T-2,open,LOGIN,1,Two

    Exécutez le programme sur ce fichier, avec son propre fichier de rapport :

    Fenêtre de terminal
    python -m ticket_cleaner minimal.csv --output reports/minimal.json
    Sortie
    2 rows: 2 valid, 0 rejected.
    Report: reports/minimal.json

    reports/minimal.json contient "by_category": {"LOGIN": 1, "login": 1}. Résultat attendu : {"login": 2}. Vous voyez le bogue, et l’entrée contient deux lignes.

L’environnement d’un programme comprend tout ce qui entoure son code. Cela comprend la version de Python, les paquets, le dossier d’exécution, les variables d’environnement et le système d’exploitation. Un problème d’environnement disparaît quand vous corrigez la configuration. Un défaut du code persiste dans toute configuration correcte, car sa cause se trouve dans le code lui-même.

Les deux exigent des corrections différentes. Une modification du code ne peut pas réparer un paquet manquant. Une nouvelle version de Python ne peut pas réparer une ligne incorrecte. Avant toute modification du code, exécutez donc l’entrée minimale dans une configuration propre. C’est une nouvelle copie du code, avec un nouvel environnement créé à partir du fichier de verrouillage.

  1. Vérifiez que vous n’avez pas modifié de code vous-même :

    Fenêtre de terminal
    git status --short
    Sortie
    ?? minimal.csv

    Seulement le nouveau fichier d’entrée. Aucun fichier du programme n’est modifié.

  2. Créez une nouvelle copie de l’instantané end-of-m03 à côté de votre projet. Le nom ticket-cleaner-check la distingue de votre travail :

    Fenêtre de terminal
    cd ~/projects
    cp -R nextia-learning-labs/C15/snapshots/end-of-m03 ticket-cleaner-check
    cd ticket-cleaner-check
  3. Quittez l’environnement de votre projet et créez-en un nouveau dans la copie, à partir du fichier de verrouillage :

    Fenêtre de terminal
    deactivate
    python3 -m venv .venv
    source .venv/bin/activate
    python -m pip install -q -r requirements-lock.txt
    python -m pytest
    Output (the last line)
    ============================== 34 passed in 0.05s ==============================
  4. Copiez l’entrée minimale dans la nouvelle copie, puis exécutez-la à cet endroit :

    Fenêtre de terminal
    cp ../ticket-cleaner-assist/minimal.csv .
    python -m ticket_cleaner minimal.csv --output reports/minimal.json

    reports/minimal.json contient encore {"LOGIN": 1, "login": 1}. Nouvelle copie, nouvel environnement, même résultat incorrect.

L’équipe du cours a aussi exécuté les deux lignes avec Python 3.12.13 et 3.13.16, avec le même fichier de verrouillage. Les deux ont affiché {'LOGIN': 1, 'login': 1}. Le bogue ne dépend donc ni de vos modifications, ni de votre environnement, ni de la version de Python. C’est un défaut du code.

À quoi ressemble un problème d’environnement? Vous pouvez en créer un en quelques secondes.

  1. Remontez d’un dossier, jusqu’à ~/projects, et exécutez le programme à cet endroit :

    Fenêtre de terminal
    cd ..
    python -m ticket_cleaner ticket-cleaner-check/minimal.csv
    Output (macOS)
    ~/projects/ticket-cleaner-check/.venv/bin/python: No module named ticket_cleaner

    Python cherche le paquet ticket_cleaner dans le dossier courant, et ~/projects ne le contient pas. Le message concerne la configuration, pas les catégories. Corrigez la configuration, et l’erreur disparaît.

Le diagramme place les cinq exécutions côte à côte :

Un tableau de cinq exécutions de l'entrée de deux lignes. Votre projet avec votre environnement virtuel : LOGIN 1, login 1, le bogue apparaît. Une nouvelle copie de end-of-m03 avec un nouvel environnement virtuel créé à partir du fichier de verrouillage : 34 passed, LOGIN 1, login 1, ni vos modifications ni votre environnement. Python 3.12.13 et 3.13.16, par l'équipe du cours : le même résultat, pas la version de Python. Le mauvais dossier : No module named ticket_cleaner, un problème d'environnement. Aucun environnement actif sur macOS avec Python 3.9.6 : ModuleNotFoundError, No module named httpx, un problème d'environnement. En bas : le même résultat incorrect dans chaque environnement propre indique un défaut du code; une erreur de configuration qui change avec la configuration indique un problème d'environnement.
Un défaut du code donne la même réponse incorrecte partout. Un problème d'environnement produit une erreur de configuration, qui change quand la configuration change.
Description textuelle du diagramme

Le diagramme est un tableau de cinq exécutions de l’entrée de deux lignes. Résultat attendu : {"login": 2}.

  1. Votre projet, avec votre .venv : {"LOGIN": 1, "login": 1}. Le bogue apparaît.
  2. Une nouvelle copie de end-of-m03, avec un nouveau .venv créé à partir de requirements-lock.txt : 34 passed, puis {"LOGIN": 1, "login": 1}. Le même résultat, donc ce ne sont ni vos modifications ni votre environnement.
  3. Python 3.12.13 et 3.13.16, exécutés par l’équipe du cours : {"LOGIN": 1, "login": 1}. Le même résultat, donc ce n’est pas la version de Python.
  4. Le mauvais dossier, ~/projects : No module named ticket_cleaner (aucun module nommé ticket_cleaner). Un problème d’environnement : la commande ne trouve pas le code.
  5. Aucun environnement actif, avec Python 3.9.6 fourni par macOS : ModuleNotFoundError: No module named 'httpx' (module introuvable : aucun module nommé httpx). Un problème d’environnement : il manque un paquet. Cette exécution vient de l’ordinateur de l’équipe du cours; le vôtre peut afficher autre chose.

En bas : le même résultat incorrect dans chaque environnement propre est un défaut du code. Une erreur de configuration qui change quand la configuration change est un problème d’environnement.

Regardez la forme de chaque résultat. Le défaut du code produit un rapport d’apparence normale avec une valeur incorrecte, et un code de sortie 0. Les problèmes d’environnement arrêtent le programme avec une erreur qui nomme un module, un fichier ou une version. C’est un indice fort, mais pas une règle. Certains problèmes d’environnement produisent aussi des valeurs incorrectes : par exemple, un ancien fichier de données ou un réglage différent dans .env. La nouvelle copie les détecte aussi, car elle ne contient aucun de vos fichiers locaux.

  1. Revenez à votre projet et à son environnement. Supprimez le fichier d’entrée : le rapport de bogue conserve ses trois lignes.

    Fenêtre de terminal
    cd ticket-cleaner-assist
    source .venv/bin/activate
    rm minimal.csv
    git status --short

    git status --short n’affiche rien. Gardez ticket-cleaner-check : l’exercice du module à la fin de Choisir des vérifications utiles l’utilise.

Cette leçon ne modifie aucun fichier de votre projet. Son résultat est un savoir : une reproduction que vous avez exécutée, un deuxième symptôme et la réponse « le code, pas l’environnement ».

Amira répond avant de modifier quoi que ce soit :

Je le vois : deux lignes d’entrée, login et LOGIN, donnent deux lignes dans le rapport. Cela arrive aussi dans une nouvelle copie avec un nouvel environnement. Le problème est donc dans le programme, pas sur votre ordinateur. Il touche aussi la nouvelle option --category : --category login trouve 2 des 4 billets login. Je vous enverrai la correction avec un test.

Grace sait maintenant trois choses : le bogue existe, ce n’est pas sa faute et l’équipe a trouvé un deuxième effet. Amira possède aussi la première partie de sa requête (prompt) pour l’assistant. La section « Environment » (environnement) du rapport de bogue est maintenant un fait qu’elle a vérifié, pas une supposition.

Reproduisez chaque bogue avant de modifier le code, et avant de demander à un assistant de le modifier. Cela prend quelques minutes : pour le bogue de Grace, environ dix. Vous récupérez ensuite la majeure partie de ce temps, car la reproduction devient le test de non-régression de la prochaine leçon.

Certains bogues sont difficiles à reproduire. Un échec peut dépendre du moment, du réseau ou de données que vous ne pouvez pas copier, comme les billets de vrais clients. Recueillez alors plus de faits : la commande exacte, les versions, les réglages, l’heure. Créez une entrée synthétique de même forme, comme l’export de Grace. Si vous n’arrivez toujours pas à reproduire le bogue, dites-le dans le rapport. Ne demandez pas à un assistant de corriger un bogue que personne ne peut voir. Il modifiera quelque chose, et vous ne pourrez pas déterminer si cela a aidé.

Une reproduction ne trouve pas la cause. Elle indique ce qui échoue et ce dont l’échec ne dépend pas. Trouver pourquoi est l’étape suivante, avec une hypothèse et une vérification ciblée.

Erreur courante

« L'environnement ne fonctionne plus »

Symptôme : Tomás veut vérifier le rapport de bogue. Il ouvre un nouveau terminal dans ~/projects, active un environnement et exécute :

python -m ticket_cleaner ticket-cleaner-check/minimal.csv
~/projects/ticket-cleaner-check/.venv/bin/python: No module named ticket_cleaner

Il conclut que l’environnement ne fonctionne plus. Il s’apprête à demander à un assistant de « corriger les importations ».

Cause : la commande a été exécutée dans le mauvais dossier. Python trouve ticket_cleaner seulement depuis le dossier du projet, comme dans le cours Python. L’erreur ne dit rien sur les catégories, donc ce n’est pas du tout le bogue de Grace. Tomás a reproduit un autre problème : le sien.

Correction : comparez le symptôme au rapport avant de continuer. Grace a vu un rapport avec des lignes incorrectes, pas une erreur. Exécutez la commande depuis le dossier du projet, comme l’indique le rapport de bogue. Le programme affiche alors le rapport avec les catégories séparées. Une modification du code pour « les importations » cacherait une erreur de configuration dans le code.

À vous de jouer : la plus petite entrée pour le deuxième symptôme

Section intitulée « À vous de jouer : la plus petite entrée pour le deuxième symptôme »

À l’étape 3, --category login a trouvé 2 des 4 billets de connexion. Trouvez la plus petite entrée qui montre encore ce symptôme. Faites d’abord une prédiction : faut-il un nouveau fichier, ou minimal.csv montre-t-il déjà le problème? Exécutez ensuite la commande dans ticket-cleaner-check. Une seule ligne peut-elle le montrer?

Afficher la réponse

minimal.csv le montre déjà :

Fenêtre de terminal
python -m ticket_cleaner minimal.csv --output reports/minimal.json --category login

Le rapport contient "selected": 1 et "by_category": {"login": 1}. Valeur attendue : 2. Le billet T-2 avec LOGIN manque.

Une seule ligne suffit aussi. Un fichier contenant seulement l’en-tête et T-2,open,LOGIN,1,Two donne "selected": 0 avec --category login, et un by_category vide. Valeur attendue : 1. L’équipe du cours a exécuté les deux cas.

Les deux symptômes ont donc la même entrée minimale. Cela indique fortement qu’ils ont une seule cause. Vous n’avez donc pas besoin d’un deuxième rapport de bogue. Ajoutez une ligne à l’observation du premier rapport, comme dans le courriel d’Amira.

Vérifiez votre compréhension

Quelles sont les trois questions d'une bonne reproduction? Répondez à chacune pour le bogue de Grace.

Afficher la réponse
  • Puis-je le voir? Oui : python -m ticket_cleaner data/web-form-export.csv donne Billing, LOGIN et Login à côté de billing et login, comme dans le courriel de Grace.
  • Quelle est la plus petite entrée qui le montre encore? Deux lignes, login et LOGIN : {"LOGIN": 1, "login": 1} au lieu de {"login": 2}.
  • Est-ce le code ou l’environnement? Le code. Une copie neuve avec un nouvel environnement créé à partir du fichier de verrouillage donne le même résultat. Python 3.12 et 3.13 aussi.

Vérifiez votre compréhension

Classez chaque symptôme : « probablement l'environnement » ou « probablement le code ». Dites comment vous vérifieriez : (a) ModuleNotFoundError : No module named 'httpx'; (b) un rapport avec 'LOGIN': 1 à côté de 'login': 1, code de sortie 0; (c) le rapport est correct sur l'ordinateur d'Amira et incorrect sur celui de Grace, avec le même fichier.

Afficher la réponse
  • (a) Probablement l’environnement. Il manque un paquet : l’environnement virtuel n’est pas actif, ou il n’a pas été créé à partir du fichier de verrouillage. Vérifiez avec python -m pip show httpx, ou activez l’environnement et relancez la commande.
  • (b) Probablement le code. Le programme s’exécute normalement et donne une valeur incorrecte. Vérifiez dans une copie neuve avec un nouvel environnement : si le résultat est identique, c’est un défaut du code.
  • (c) Probablement l’environnement, au sens large : une version différente du programme, un réglage différent ou une copie différente des données. Comparez les versions (git log -1, python --version, le fichier de verrouillage). Exécutez la même entrée minimale sur les deux ordinateurs.

Vérifiez votre compréhension

Tomás dit : « L'assistant a corrigé le bogue, et les tests passent encore. » Dans la session enregistrée avec le petit modèle, les tests affichaient 24 passed avant et après la correction. Qu'est-ce que cela vous apprend sur la correction, et que manquait-il?

Afficher la réponse

Cela ne vous apprend presque rien sur la correction. Les tests passaient aussi avant la correction, donc aucun ne vérifie ce bogue. « 24 passed » (24 tests réussis) après le changement montre seulement que le changement n’en a fait échouer aucun. Il manquait une reproduction : la commande de Grace ou l’entrée de deux lignes, exécutée avant et après le changement. Mieux encore : un test qui échoue avant la correction et réussit après. C’est le sujet des deux prochaines leçons.

Récapitulatif

  • Reproduire un bogue, c’est le faire survenir de nouveau volontairement. Une reproduction comprend une commande, une entrée minimale qui provoque l’échec, ainsi que les sorties observée et attendue.
  • Divisez l’entrée en deux et gardez la partie qui provoque encore l’échec; simplifiez ensuite chaque valeur. Les 12 lignes de Grace sont devenues 2 en 5 exécutions.
  • Un défaut du code donne le même résultat incorrect dans chaque environnement propre. Un problème d’environnement donne une erreur liée à la configuration, qui change quand la configuration change. Vérifiez avec une copie neuve et un nouvel environnement créé à partir du fichier de verrouillage.
  • Reproduisez le bogue dans le code actuel : il a montré un deuxième symptôme, --category login trouve 2 billets sur 4.
  • Votre projet reste inchangé. La copie ticket-cleaner-check reste disponible pour les exercices du module.

Ensuite, vous cherchez la cause. Vous demandez à l’assistant une hypothèse et une vérification, pas une correction.

Leçon suivante : Demander des preuves