Découvrez comment on peut tromper un assistant d'IA, et faites en sorte qu'un assistant trompé ne puisse quand même pas nuire. Vous listez les risques de l'assistant de soutien de Larkfield, vous l'attaquez avec des injections sans danger et vous corrigez les conséquences dans le code. Ensuite, vous répertoriez ses données personnelles, vous concevez une révision humaine, et vous terminez avec un jeu de tests de sécurité et un plan d'incident.
Lisez toutes les leçons sans compte, ou connectez-vous pour vous inscrire et suivre vos progrès.
Inscrivez-vous pour enregistrer les leçons que vous terminez. C'est gratuit.
À la fin de ce cours, vous pourrez :
Un assistant qui lit des documents et utilise des outils fait ce que son texte lui dit de faire. Le problème, c’est qu’une partie de ce texte vient de personnes à qui vous ne faites pas confiance : le message d’un client, un fichier, une page Web. Une phrase cachée dans l’un d’eux peut demander à l’assistant de révéler un secret ou d’envoyer quelque chose là où il ne doit pas aller. Cette attaque s’appelle l’injection de requête (prompt injection), et une meilleure requête seule ne l’arrête pas.
Dans ce cours, vous attaquez vous-même l’assistant de soutien de Larkfield, avec des attaques sans danger contre une application d’exercice sur votre ordinateur. Vous mesurez ce qu’une requête forte et un filtre peuvent arrêter, et ce qu’ils ne peuvent pas arrêter. Ensuite, vous ajoutez les contrôles qui tiennent même quand le modèle est trompé : des vérifications dans le code, des outils avec le moins d’accès possible, des destinations permises et l’approbation d’une personne avant chaque changement.
La sécurité n’est pas la seule tâche. Vous répertoriez aussi où vont les données personnelles des clients et comment les supprimer, vous décidez quand une personne doit réviser une décision, et vous planifiez ce qu’il faut faire quand quelque chose tourne mal.
Vous n’avez besoin ni d’un compte ni d’une clé payante. Chaque décision du modèle a une réponse enregistrée d’un vrai modèle, et le site Web, les fichiers et les secrets que visent les attaques sont fictifs. Les diagrammes et les explorateurs portent les idées principales, alors le texte reste court.
Vous avez suivi les cours Créer des applications fiables avec les API de LLM, Créer et déployer votre première API et Authentification, autorisations et applications multilocataires, ou vous avez les mêmes compétences. Les cours sur le RAG, les agents et l'évaluation sont utiles, mais pas obligatoires. Vous n'avez besoin ni d'une clé d'API ni d'un compte payant. Chaque décision du modèle a une réponse enregistrée, chaque attaque est sans danger et s'exécute seulement contre une application d'exercice sur votre ordinateur. Les appels en direct, avec un modèle local gratuit ou votre propre clé, sont facultatifs.
Cours à suivre avant : Créer des applications fiables avec les API de LLM, Créer et déployer votre première API, Authentification, autorisations et applications multilocataires.
Les personnes qui ont créé une application sur l'API d'un modèle et une API avec connexion et autorisations, comme dans les cours Créer des applications fiables avec les API de LLM et Authentification, autorisations et applications multilocataires, et qui doivent maintenant rendre sûr un assistant qui utilise des outils. Les développeurs, scientifiques des données, testeurs et professionnels qui passent à l'ingénierie de l'IA.
Vous pouvez étudier les idées de ce cours sans écrire de code. Lisez les modules 1, 2, 4 et 5 (environ 7–10 h), répondez à leurs vérifications des connaissances, et obtenez un certificat des notions gratuit. Vous pourrez revenir à la pratique plus tard.
Les parcours pour les personnes qui dirigent ou utilisent l'IA suivent ce cours de cette façon. Voir les parcours
Des spécialistes de l'IA expérimentés ont conçu ce cours. L'IA nous a aidés à rédiger le contenu; des personnes ont choisi l'approche pédagogique et les exemples, et ont révisé chaque leçon. Les résultats que vous voyez sont les vrais résultats de l'exécution du code. Comment nous créons les cours
Répertoriez ce que vous devez protéger avant de le défendre. Vous listez les actifs et les acteurs de l'assistant, vous dessinez l'endroit où les instructions fiables rencontrent le contenu non fiable, et vous classez les chemins vers une lecture ou une action non autorisée.
Voyez une injection de requête se produire, puis limitez ce qu'elle peut faire. Vous lancez des attaques sans danger au moyen de messages, de documents, de fichiers, de résultats d'outils et d'une page Web, vous mesurez ce que les requêtes et un filtre arrêtent, et vous ajoutez dans le code des vérifications qu'un modèle trompé ne peut pas contourner.
Rendez chaque outil sûr par lui-même. Vous validez chaque opération, vous donnez à chaque rôle seulement les outils dont il a besoin, vous permettez les requêtes réseau seulement vers des hôtes nommés, et vous gardez les secrets et le texte des messages hors de portée du modèle et des journaux.
Sachez où vivent les données personnelles et faites-les disparaître. Vous trouvez chaque copie des données d'un client, vous gardez seulement ce qui a une raison d'être, vous faites atteindre aux suppressions les caches, les index, les journaux et les sauvegardes, et vous savez quelles questions demandent un avocat.
Décidez quand une personne doit regarder. Vous trouvez qui souffre d'une mauvaise réponse, vous testez l'assistant par langue et par groupe de clients, et vous concevez une étape de révision où la personne vérifie des preuves, pas seulement un bouton.
Testez, surveillez et réagissez. Vous mesurez le succès des attaques à côté du succès des tâches, vous détectez les attaques sans recueillir le contenu des messages, et vous planifiez la réponse à un incident et les risques qui restent.
Deux études de cas de bout en bout. Trouvez et masquez les données personnelles dans des données textuelles ouvertes avant qu'elles atteignent un modèle, et créez le modèle de menace d'une application d'IA libre, puis testez-la. Terminez-en au moins une pour obtenir le certificat. Chacune peut entrer dans votre portfolio.
Terminez au moins une étude de cas pour obtenir le certificat. Les autres sont facultatives. Ce que couvre chacune
Utilisez tous les modules dans un projet pratique. Vous recueillez des preuves, puis vous les comparez aux objectifs du cours.
Des projets réalistes du début à la fin, sur de vraies données, avec chaque résultat expliqué. Chacun devient une pièce de votre portfolio. Terminez-en au moins une pour obtenir le certificat; les autres sont facultatives.
Trouver et masquer les données personnelles avant qu'elles atteignent un modèle2 h 30 min
Détecter et masquer les données personnelles dans des données textuelles ouvertes, mesurer les oublis et le masquage excessif par type et par langue, puis décider de ce qui demande encore une personne.
Créer le modèle de menace d'une application d'IA libre et la tester4 h
Exécuter localement une petite application d'IA libre, dessiner son flux de données et ses frontières de confiance, la tester avec des cas d'injection et d'accès sans danger, puis rédiger son registre des risques résiduels.
Chargement des avis…
Vous avez suivi ce cours? Connectez-vous pour donner votre avis. Vous pouvez donner un avis après avoir terminé 25 % des leçons.
