Aller au contenu
English

Tester les applications d'IA : assurance qualité manuelle et assistée par l'IA

Trouvez, reproduisez, signalez et prévenez les défaillances des fonctions d'IA. Vous testez une version d'entraînement de l'assistant de soutien de Larkfield qui contient des bogues placés exprès, vous rédigez des rapports de bogue que les personnes et les agents de programmation peuvent utiliser, et vous terminez par un jeu de non-régression et une décision de mise en production.

Lisez toutes les leçons sans compte, ou connectez-vous pour vous inscrire et suivre vos progrès.

Ce cours est-il le bon pour vous?Ce que ce cours couvre et ne couvre pas, et 4 autres cours pour d'autres besoins.

Ce cours vous apprend à tester des fonctions d'IA comme testeur. Vous explorez une application d'entraînement, reproduisez des défaillances, rédigez des rapports de bogue et tenez un ensemble de régression. Vous n'écrivez pas de programmes, et vous ne créez pas de banc d'évaluation automatique ni n'utilisez de statistiques pour comparer deux versions.

Suivez un autre cours si vous voulez :

Ce que vous apprendrez

À la fin de ce cours, vous pourrez :

  • Expliquer en quoi les fonctions d'IA échouent autrement que les logiciels ordinaires, et planifier des tests fondés sur les risques.
  • Juger une réponse quand il n'existe pas une seule bonne réponse, avec des grilles, des vérifications de propriétés et des tests métamorphiques.
  • Explorer les fonctions d'IA de façon méthodique et mesurer à quelle fréquence un échec se reproduit.
  • Rédiger des rapports de bogue que les personnes peuvent trier et qu'un agent de programmation peut corriger, avec un cas en échec joint, et vérifier la correction.
  • Tester la recherche de documents, les agents qui utilisent des outils et les risques de sécurité : injection de requête, fuites de données, et réponses nuisibles, biaisées ou trop prudentes.
  • Utiliser l'IA pour aider le travail d'assurance qualité en toute sécurité, et transformer les constats en jeu de non-régression et en validation de version.

À propos de ce cours

L’assistant de soutien de Larkfield répond aux clients sur les retours, les remboursements et les commandes. Une nouvelle version est prête. Esme, la nouvelle responsable de l’assurance qualité de Larkfield, a testé des boutiques en ligne pendant des années. Elle pose trois fois la même question à l’assistant et obtient trois réponses différentes. Deux sont correctes. La troisième donne un montant de remboursement qui ne figure dans aucune politique. Est-ce un bogue ? Pourra-t-elle le montrer de nouveau aux développeurs demain ? Et que doit-elle écrire pour qu’un agent de programmation corrige la cause, et pas seulement le test ?

Dans ce cours, vous suivez Esme. Vous testez une version d’entraînement de l’assistant, l’application de chasse aux bogues, qui fonctionne sur votre ordinateur sans compte et sans clé. Elle contient des bogues placés exprès, qui échouent toujours, parfois ou rarement, comme de vraies fonctions d’IA. Vous planifiez selon les risques, vous jugez des réponses quand il n’existe pas une seule bonne réponse, vous explorez avec des chartes, vous mesurez à quelle fréquence un échec se reproduit, et vous rédigez des rapports de bogue qu’un développeur ou un agent de programmation peut utiliser.

Vous utilisez les mots que les testeurs connaissent déjà : cas de test, charte, gravité, régression. Le cours explique chaque idée propre à l’IA au moment où vous en avez besoin. L’application d’entraînement utilise un modèle simulé, et chaque leçon qui montre le comportement d’un vrai modèle utilise des essais enregistrés d’un vrai modèle. Chaque preuve indique de laquelle il s’agit.

Avant de commencer

Aucun. Vous devez savoir exécuter dans un terminal une commande que nous vous donnons, modifier un fichier texte et lire un court document JSON. Une expérience du test de logiciels aide, mais le premier module nomme les idées de test que le cours utilise. Vous n'écrivez pas de programmes et vous n'avez besoin ni d'un compte, ni d'une clé, ni d'argent. L'application d'entraînement fonctionne sur votre ordinateur avec Python.

À qui s'adresse ce cours

Les testeurs et les ingénieurs de test, manuels ou en automatisation, qui doivent maintenant tester des fonctions d'IA. Les développeurs qui testent leurs propres fonctions d'IA, et les experts d'un domaine qui participent aux tests d'un produit d'IA.

Vous dirigez ou utilisez l'IA, sans la créer?

Vous pouvez étudier les idées de ce cours sans écrire de code. Lisez les modules 1, 2, 4 et 6 (environ 7–9 h), répondez à leurs vérifications des connaissances, et obtenez un certificat des notions gratuit. Vous pourrez revenir à la pratique plus tard.

Les parcours pour les personnes qui dirigent ou utilisent l'IA suivent ce cours de cette façon. Voir les parcours

Comment nous avons créé ce cours

Des spécialistes de l'IA expérimentés ont conçu ce cours. L'IA nous a aidés à rédiger le contenu; des personnes ont choisi l'approche pédagogique et les exemples, et ont révisé chaque leçon. Les résultats que vous voyez sont les vrais résultats de l'exécution du code. Comment nous créons les cours

Dans ce cours

Module 1NotionsComment les fonctions d'IA échouent

3 leçons

Comment les fonctions d'IA échouent. Vous voyez pourquoi un seul essai réussi prouve peu quand les réponses varient, vous nommez les types de défaillance que les testeurs rencontrent, et vous démarrez l'application de chasse aux bogues, lisez sa trace et exportez une conversation avec ses versions.

  1. Tester une calculatrice, tester un nouveau collègue25 min
  2. Un guide des défaillances de l'IA30 min
  3. Découvrir l'application de chasse aux bogues35 min

Module 2NotionsPlanifier et juger sans une seule bonne réponse

3 leçons

Planifiez et jugez sans une seule bonne réponse. Vous placez chaque fonction sur une grille de risques, vous convenez des critères d'acceptation avec la responsable du produit, et vous jugez les réponses avec des grilles d'évaluation, des vérifications de propriétés et des relations métamorphiques plutôt qu'avec un texte attendu exact.

  1. Planifier les tests selon les risques35 min
  2. Grilles d'évaluation et vérifications de propriétés40 min
  3. Tests métamorphiques40 min

Module 5Rédiger des rapports qu'un agent de programmation peut corriger

4 leçons

Rédigez des rapports qu'un agent de programmation peut corriger. Vous voyez une expérience enregistrée où un agent reçoit un rapport vague puis un rapport structuré, vous transformez un bogue en cas en échec, vous utilisez le modèle prêt pour un agent et le formulaire de ticket, et vous vérifiez la correction de l'agent.

  1. Ce dont un agent de programmation a besoin35 min
  2. Transformer un bogue en cas en échec35 min
  3. Modèles de tickets prêts pour un agent30 min
  4. Vérifier la correction de l'agent35 min

Module 6NotionsTester la recherche, les agents et la sécurité

4 leçons

Testez la recherche, les agents et la sécurité. Vous trouvez quelle couche a causé une mauvaise réponse, vous testez les actions et les permissions avec des comptes de test, et vous testez l'injection de requête, les fuites de données, l'inégalité de traitement et les refus de demandes sans danger.

  1. Recherche ou génération ?30 min
  2. Outils, actions et permissions35 min
  3. Injection de requête et fuites de données35 min
  4. Réponses nuisibles, biaisées ou trop prudentes30 min

Module 7Assurance qualité assistée par l'IA et protection contre les régressions

4 leçons

Assurance qualité assistée par l'IA et protection contre les régressions. Vous utilisez l'IA pour proposer des idées de test et trier de nombreuses réponses, vous la vérifiez avant de lui faire confiance, vous rendez robuste une vérification dans le navigateur, et vous transformez vos constats en jeu de non-régression et en validation de version.

  1. Générer des idées de test avec l'IA30 min
  2. Trier de nombreuses réponses avec un modèle juge35 min
  3. L'aide de l'IA pour l'automatisation de l'interface35 min
  4. Des constats au jeu de non-régression et à la validation de version40 min

Dernier module · choisissez-en au moins uneÉtudes de cas

3 études de cas

Trois études de cas complètes sur des données ouvertes. Testez un assistant qui répond à partir de renseignements publics ouverts, évaluez de vrais tickets de logiciels libres selon qu'ils sont prêts pour un agent, et menez une passe de tests de sécurité avec des jeux d'attaques ouverts. Terminez-en au moins une pour obtenir le certificat. Chacune peut entrer dans votre portfolio.

Terminez au moins une étude de cas pour obtenir le certificat. Les autres sont facultatives. Ce que couvre chacune

  1. Tester un assistant de renseignements publics240 min
  2. Rapports prêts pour un agent à partir de vrais tickets de logiciels libres120 min
  3. Une passe de tests de sécurité avec des jeux d'attaques ouverts120 min

Après les études de casTravail final

Utilisez tous les modules dans un projet pratique. Vous recueillez des preuves, puis vous les comparez aux objectifs du cours.

  1. Travail final180 min

Études de cas

Des projets réalistes du début à la fin, sur de vraies données, avec chaque résultat expliqué. Chacun devient une pièce de votre portfolio. Terminez-en au moins une pour obtenir le certificat; les autres sont facultatives.

  1. Tester un assistant de renseignements publics4 h

    Mener une campagne de test complète sur un assistant qui répond à partir de renseignements publics ouverts.

  2. Rapports prêts pour un agent à partir de vrais tickets de logiciels libres2 h

    Évaluer de vrais tickets d'un jeu de données ouvert, réécrire les plus faibles et en comparer un à la correction fusionnée.

  3. Une passe de tests de sécurité avec des jeux d'attaques ouverts2 h

    Exécuter des jeux ouverts d'injection et de refus excessifs sur un assistant enregistré et mesurer les taux par catégorie.

Avis

Chargement des avis…

    Vous avez suivi ce cours? Connectez-vous pour donner votre avis. Vous pouvez donner un avis après avoir terminé 25 % des leçons.

    Partager ce cours