De la référence de base au déploiement

Ce que vous saurez faire

Découvrez les étapes de tout projet d’IA sérieux, dans l’ordre, et la décision qui conclut chaque étape. Les responsables d’entrevue posent souvent des questions sur ces étapes. Vous en avez aussi besoin pour planifier un projet de portfolio.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 35 minutes

Ce que vous devez savoir

• Le cadre établi par Larkfield pour le projet de billets de soutien et ses mesures de réussite, dans Cadrer le problème : exemple détaillé : cadrer le projet de tri des billets.

Ce qu’il vous faut

• Votre fichier notes.md dans le dossier ai-career. Vous l’avez créé dans L’IA dans les produits de tous les jours : préparer vos notes de cours. S’il manque, créez-le à nouveau comme dans cette section. Cette leçon ajoute le titre ## Next step (prochaine étape).

Le cycle de vie et ses décisions

Le cycle de vie d'un projet d'IA. Chaque losange représente une décision qui peut faire revenir le projet en arrière ou l'arrêter.

Description textuelle du diagramme

1. Cadrer : l’utilisateur, la décision, les données et le coût des erreurs.
2. Décision : faut-il de l’IA? Sinon, résoudre le problème sans IA : un formulaire, une règle ou un processus. Si oui, ou en cas de doute, continuer.
3. Référence de base : la méthode la plus simple, mesurée.
4. Expérimenter : essayer des modèles et les comparer à la référence de base.
5. Décision : meilleurs que la référence de base pour les erreurs importantes? Sinon, revenir au cadrage. Si oui, continuer.
6. Intégrer : au travail réel, avec une vérification humaine.
7. Faire un suivi : mesurer chaque semaine.
8. Décision : encore assez bon? Si oui, poursuivre le suivi. Sinon, revenir aux expériences.

Étape 0 : la solution sans IA

Dans la dernière leçon, l’équipe a décidé d’essayer d’abord un menu de sujets dans le formulaire de contact. Après quatre semaines, Priya mesure les résultats : environ 60 billets sur 100 arrivent maintenant avec le bon sujet. Environ 25 ont le sujet « Autre », et environ 15 ont un mauvais sujet.

Le menu aide, donc Larkfield le conserve. Mais il reste 40 billets sur 100 à trier, et les billets urgents ne sont toujours pas signalés. L’équipe poursuit donc avec l’IA pour ces billets.

Étape 1 : la référence de base

Une référence de base est la méthode raisonnable la plus simple, mesurée de la même façon que toutes les méthodes suivantes. Elle répond à la question : « Meilleur que quoi? » Sans référence de base, un résultat comme « 85 % de bonnes réponses » ne veut rien dire.

Tomás écrit des règles par mots-clés en un après-midi. Par exemple, « remboursement » ou « retour » mène aux retours, et « colis » ou « suivi » mène à la livraison. « Facturé deux fois » ou « fraude » signifie urgent. Dans le cours Créer et déployer votre première API, vous construisez un classificateur de ce type.

Pour mesurer les résultats, Priya a besoin de données de test : des billets avec les bonnes réponses, qu’aucune méthode n’a déjà vus. Elle prend 1 000 billets récents avec leur équipe finale. Grace en vérifie 200 à la main et corrige 14 mauvaises étiquettes.

Étape 2 : les expériences

L’équipe essaie maintenant des méthodes plus complexes et compare chacune à la référence de base, sur les mêmes données de test :

Méthode	Bonne équipe (sur 100)	Billets urgents signalés comme urgents (sur 100)	Coût par mois
Référence de base : règles par mots-clés	74	81	Presque rien
Modèle d’apprentissage automatique entraîné sur 90 000 anciens billets	91	89	Faible
Modèle de langage avec des instructions écrites	90	93	Moyen
Modèle d’apprentissage automatique pour l’équipe, plus règles par mots-clés pour l’urgence	91	97	Faible

La dernière ligne gagne, et ce n’est pas la méthode la plus avancée. Le modèle d’apprentissage automatique trie bien les billets par équipe. Les règles simples par mots-clés repèrent mieux les billets urgents que tous les modèles. Grace a donné à Tomás les mots exacts que les clients utilisent en cas d’urgence.

C’est courant dans les projets réels. Les méthodes avancées ne gagnent pas automatiquement. Elles doivent dépasser la référence de base pour les erreurs importantes.

Étape 3 : évaluer les détails

Le total ne suffit pas. Priya répartit les résultats par équipe :

Équipe	Bonnes réponses (sur 100)	Billets dans les données de test
Retours	95	310
Livraison	94	290
Paiement	92	180
Compte	90	150
Garantie	72	70

La garantie fait beaucoup moins bien. Grace lit les 20 billets de garantie mal classés et voit tout de suite pourquoi. Les clients écrivent « brisé » pour « arrivé brisé » (livraison) comme pour « a cessé de fonctionner » (garantie). C’est la même confusion que dans l’assistant documentaire. L’équipe ajoute 300 exemples de garantie, étiquetés par Grace, et le résultat pour la garantie monte à 86.

Décision : la méthode dépasse la référence de base, et les billets urgents atteignent la cible de 95. Omar décide de passer à l’intégration, mais une personne vérifiera toujours les billets de garantie.

Étape 4 : intégrer avec une vérification humaine

L’intégration consiste à inclure l’IA dans le travail réel. Larkfield le fait en deux étapes :

1. Suggestions seulement (4 semaines). La personne responsable de la coordination voit l’équipe et la priorité suggérées, puis accepte ou modifie chacune. Le système enregistre chaque modification. Cette personne accepte 89 suggestions sur 100. Le temps de tri passe de 2 heures par jour à 35 minutes.
2. Automatique si la confiance est élevée. Le modèle donne un niveau de confiance : à quel point il est sûr. Les billets avec un niveau de confiance élevé vont directement à l’équipe. La personne responsable de la coordination vérifie seulement les autres, environ 30 sur 100. Le temps de tri passe à 20 minutes.

Commencer par des suggestions est plus sûr. Une personne repère les erreurs. L’équipe découvre ainsi les faiblesses du modèle avant qu’il agisse seul.

Étape 5 : faire un suivi

Un modèle apprend à partir du passé. Quand le monde change, le modèle peut devenir moins bon sans aucun message d’erreur. Le suivi consiste à mesurer régulièrement le système en usage réel pour voir ces changements tôt.

Chaque semaine, la personne responsable de la coordination vérifie un échantillon aléatoire de 50 billets triés automatiquement. Voici quatre semaines au printemps :

Semaine	Bonne équipe (sur 50)
14	46
15	45
16	41
17	39

Les chiffres baissent. Priya lit les billets mal classés : la plupart concernent des parasols et des chaises de jardin. À la semaine 15, Larkfield a commencé à vendre des meubles de jardin. Le modèle n’avait jamais vu ces mots. L’équipe ajoute des billets de jardin étiquetés, entraîne le modèle à nouveau et le vérifie sur les données de test. L’échantillon hebdomadaire revient à 46 sur 50.

Qui a fait quoi

Revenez à Un projet, plusieurs rôles. Les mêmes rôles reviennent :

Étape	Rôles principaux
Cadrage	Gestionnaire de produit, responsable du soutien (spécialiste du domaine)
Référence de base	Ingénieur en IA, avec les mots-clés du spécialiste du domaine
Expériences	Scientifique des données, ingénieur en apprentissage automatique
Évaluation	Scientifique des données, spécialiste du domaine
Intégration	Ingénieur logiciel, ingénieur en IA, gestionnaire de produit
Suivi	Responsable de la coordination, scientifique des données, ingénieur en apprentissage automatique

Exercice guidé : que se passe-t-il ensuite?

Pour chaque situation, écrivez dans notes.md, sous ## Next step, l’étape actuelle de l’équipe et ce qu’elle devrait faire ensuite.

1. Un nouveau modèle de langage sort. Tomás dit : « Il est bien meilleur, utilisons-le. »
2. En mode suggestions seulement, la personne responsable de la coordination modifie 40 suggestions sur 100.
3. L’échantillon hebdomadaire reste stable à 46 sur 50 pendant trois mois.
4. Larkfield prévoit vendre dans un nouveau pays, où les clients écrivent dans une deuxième langue.

Afficher les réponses

1. Expérimenter. Testez le nouveau modèle sur les mêmes données de test. Comparez-le à la méthode actuelle pour les erreurs importantes, surtout les billets urgents. Utilisez-le seulement s’il fait mieux sur ces points.
2. L’intégration révèle un problème. Ces 40 modifications représentent un résultat bien pire que ce que les données de test laissaient prévoir. Cherchez pourquoi : les données de test sont-elles différentes des billets actuels? Ne passez pas au mode automatique. Revenez aux expériences.
3. Le suivi fonctionne. Continuez les vérifications. Rien ne doit changer.
4. Retour au cadrage. Les données ne contiennent aucun billet dans la nouvelle langue. L’équipe doit décider : recueillir et étiqueter des exemples, utiliser une méthode qui traite les deux langues ou faire trier ces billets par des personnes au début.

Variante autonome : votre échantillon hebdomadaire passe de 46 à 38 sur 50 en une semaine, plutôt que lentement. Écrivez deux causes possibles différentes du cas des meubles de jardin, et comment vous vérifieriez chacune.

Erreur courante

Aucune référence de base

Symptôme : l’équipe annonce « notre modèle de langage trie correctement 90 % des billets », et tout le monde est satisfait. Des mois plus tard, quelqu’un essaie des règles simples par mots-clés et obtient 88 %, à un coût presque nul.

Cause : il n’y avait aucune référence de base, donc 90 % semblait bon en soi. L’équipe a payé pour une complexité qui apportait très peu.

Solution : mesurez d’abord la méthode raisonnable la plus simple, sur les mêmes données de test. Présentez chaque résultat à côté de la référence de base : « 90 %, contre 88 % pour les règles par mots-clés ». La décision est alors honnête.

Vérifiez votre compréhension

Pourquoi les données de test doivent-elles contenir des billets qu'aucune méthode n'a déjà vus?

Afficher la réponse

Parce que le système réel recevra de nouveaux billets. Si on teste un modèle sur les billets utilisés pour son apprentissage, il peut réussir en les mémorisant. Il ne reconnaît pas forcément les régularités. Le score serait trop élevé, et l’équipe le découvrirait seulement après la mise en production. Des données de test jamais vues montrent comment le système fonctionne avec de nouvelles entrées.

Vérifiez votre compréhension

Pourquoi ce projet aurait-il pu se passer d'IA, et pourquoi l'équipe a-t-elle quand même continué?

Afficher la réponse

Le menu de sujets du formulaire de contact triait correctement environ 60 billets sur 100 sans IA. S’il les avait presque tous triés, le projet aurait pu s’arrêter là. L’équipe a continué parce qu’il restait 40 billets sur 100 à trier, et que les billets urgents n’étaient toujours pas signalés.

Récapitulatif

• Le cycle de vie : cadrer, décider si l’IA est nécessaire, établir une référence de base, expérimenter, évaluer, intégrer, faire un suivi. Chaque étape se termine par une décision.
• Une référence de base est la méthode la plus simple, mesurée. Chaque résultat lui est comparé.
• Testez sur des données jamais vues et examinez les erreurs importantes, pas seulement le total.
• Intégrez par étapes, avec une vérification humaine au départ.
• Les modèles deviennent moins bons quand le monde change. Le suivi permet de le détecter.

Ensuite, vous examinez le travail autour du modèle : parties prenantes, exigences, documentation, protection des renseignements personnels et façon de parler de l’incertitude.

Leçon suivante : L'équipe et le contexte d'affaires