Découvrez si une nouvelle version d'un système d'IA est vraiment meilleure, et si elle a brisé quelque chose d'important. Vous créez un banc d'évaluation pour l'assistant de soutien de Larkfield, avec un ensemble versionné de billets, des scores que vous pouvez retracer, des évaluateurs humains et des modèles évaluateurs que vous avez vérifiés, et une décision de mise en production que vous pouvez défendre.
Lisez toutes les leçons sans compte, ou connectez-vous pour vous inscrire et suivre vos progrès.
Inscrivez-vous pour enregistrer les leçons que vous terminez. C'est gratuit.
À la fin de ce cours, vous pourrez :
Une nouvelle version d’un système d’IA donne souvent l’impression d’être meilleure. On trouve facilement deux belles réponses, et la démo se passe bien. Mais « ça semble meilleur » n’est pas une preuve. La nouvelle version peut être meilleure en moyenne et quand même échouer sur le billet le plus important.
Ce cours vous apprend à répondre à deux questions avec des preuves : la nouvelle version est-elle meilleure, et a-t-elle brisé quelque chose d’important? Vous partez des besoins de l’équipe de soutien et vous les transformez en critères vérifiables. Ensuite, vous créez un ensemble versionné de cas de test, vous choisissez des mesures pour les décisions, les résultats de recherche et les réponses rédigées, et vous vérifiez vos évaluateurs humains et vos modèles évaluateurs avant de leur faire confiance.
Vous travaillez sur l’assistant de soutien de Larkfield, celui du cours Créer des applications fiables avec les API de LLM. Vous ne recréez pas l’assistant. Vous construisez un banc d’évaluation autour de ses sorties enregistrées : il charge les cas, note chaque sortie, compare une référence de base à une version candidate et rédige un rapport où chaque nombre renvoie à un cas.
Vous n’avez pas besoin de compte ni de clé payante. Chaque sortie et chaque jugement viennent d’un vrai modèle et sont enregistrés avec le cours. Les diagrammes et les explorateurs interactifs portent les idées principales : le texte reste donc court.
Vous avez suivi les cours Mathématiques et statistiques essentielles pour l'IA et Créer des applications fiables avec les API de LLM, ou vous avez les mêmes compétences. Vous n'avez pas besoin de clé d'API ni de compte payant. Chaque sortie du système et chaque jugement de modèle sont enregistrés. Tout le cours s'exécute donc sur votre ordinateur. Un modèle évaluateur en direct, avec un modèle local gratuit ou votre propre clé, est facultatif.
Cours à suivre avant : Mathématiques et statistiques essentielles pour l'IA, Créer des applications fiables avec les API de LLM.
Les personnes qui ont créé une application sur une API de modèle, comme dans le cours Créer des applications fiables avec les API de LLM, et qui doivent maintenant décider si un changement l'améliore. Développeurs, scientifiques des données, testeurs et professionnels qui se tournent vers l'ingénierie de l'IA.
Vous pouvez étudier les idées de ce cours sans écrire de code. Lisez les modules 1 à 5 (environ 10–13 h), répondez à leurs vérifications des connaissances, et obtenez un certificat des notions gratuit. Vous pourrez revenir à la pratique plus tard.
Les parcours pour les personnes qui dirigent ou utilisent l'IA suivent ce cours de cette façon. Voir les parcours
Des spécialistes de l'IA expérimentés ont conçu ce cours. L'IA nous a aidés à rédiger le contenu; des personnes ont choisi l'approche pédagogique et les exemples, et ont révisé chaque leçon. Les résultats que vous voyez sont les vrais résultats de l'exécution du code. Comment nous créons les cours
Décidez ce que « bon » veut dire avant de mesurer quoi que ce soit. Transformez les besoins de l'équipe de soutien en critères vérifiables, choisissez les niveaux de tests, et enregistrez l'assistant actuel comme référence de base.
Créez le jeu d'évaluation. Choisissez des billets normaux, rares, difficiles, en français et sans réponse possible, étiquetez-les selon les critères en notant qui les a étiquetés, et gardez le jeu de développement séparé du jeu de réserve.
Choisissez des mesures qui correspondent aux échecs qui comptent pour vous. Notez les décisions avec la précision et le rappel, les résultats de recherche avec des mesures de classement, et les réponses avec des vérifications du contenu, de la langue et du refus. Trouvez ensuite ce que le score global cache.
Utilisez des personnes et des modèles comme évaluateurs, mais vérifiez-les d'abord. Rédigez une grille d'évaluation avec des exemples de référence, mesurez à quel point deux réviseurs sont d'accord, et trouvez où un modèle évaluateur est biaisé ou peu fiable.
Comparez équitablement une référence de base et une version candidate. Gardez les entrées fixes, répétez les exécutions, présentez des intervalles et des résultats par sous-groupe, et prenez une décision de mise en production qu'un échec critique peut bloquer, quelle que soit la moyenne.
Rendez l'évaluation reproductible. Structurez le banc d'évaluation avec des identifiants d'exécution stables, transformez les règles de mise en production en tests de régression, et prévoyez comment les retours de la production ajoutent de nouveaux cas sans toucher au jeu de réserve.
Trois études de cas de bout en bout sur des données ouvertes. Étalonnez un modèle évaluateur par rapport à des notes humaines, comparez des mesures de résumés avec les notes d'experts, et faites des tests de régression par sous-groupe sur une nouvelle version d'un classificateur. Terminez-en au moins une pour obtenir le certificat. Chacune est un projet à ajouter à votre portfolio.
Terminez au moins une étude de cas pour obtenir le certificat. Les autres sont facultatives. Ce que couvre chacune
Utilisez tous les modules dans un projet pratique. Vous recueillez des preuves, puis vous les comparez aux objectifs du cours.
Des projets réalistes du début à la fin, sur de vraies données, avec chaque résultat expliqué. Chacun devient une pièce de votre portfolio. Terminez-en au moins une pour obtenir le certificat; les autres sont facultatives.
Calibrer un juge modèle par rapport à des notes humaines2 h
Mesurer à quel point un juge modèle est d'accord avec plusieurs évaluateurs humains sur un jeu de données ouvert, trouver son biais d'ordre et décider où des personnes doivent encore réviser.
Évaluer des résumés par rapport aux notes d'experts2 h
Comparer des mesures automatiques de la qualité des résumés avec les notes d'experts sur un jeu de données ouvert, et trouver quelle mesure s'accorde avec les experts pour quelle qualité.
Tester la régression d'une nouvelle version d'un classificateur, par sous-groupe2 h
Comparer deux versions d'un classificateur sur un jeu ouvert étiqueté, au total et par sous-groupe, avec des intervalles, puis prendre une décision de mise en production en nommant les points bloquants.
Chargement des avis…
Vous avez suivi ce cours? Connectez-vous pour donner votre avis. Vous pouvez donner un avis après avoir terminé 25 % des leçons.
