Travail final

Après les études de cas
environ 2 h

Ce que vous saurez faire

Recommandez un modèle pour l’assistant de soutien bilingue de Larkfield dans une nouvelle situation. Rédigez la recommandation pour qu’une autre personne puisse la vérifier. Vous utilisez les 24 billets de soutien fixes et les exécutions enregistrées. Vous définissez vos propres exigences obligatoires et pondérations. Ensuite, vous construisez un tableau de décision pondéré et livrez une note d’une page avec les preuves à l’appui.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 120 minutes

Ce que vous devez savoir

Vous avez terminé les modules 1 à 5. Chaque partie ci-dessous indique les leçons qu’elle utilise.
Les études de cas du module 6 ne sont pas nécessaires pour ce travail. (Le certificat en exige au moins une.) Pour voir d’abord la méthode complète avec des données réelles, ouvrez Choisir un modèle pour des réponses gouvernementales bilingues ou Choisir un modèle qui fonctionne sur votre propre matériel.

Ce qu’il vous faut

Un navigateur et un tableur (n’importe lequel convient), ou du papier et une calculatrice.
Un document pour la note.
Aucun accès à un modèle ni aucun compte. Vous utilisez les exécutions enregistrées. Si vous voulez exécuter un modèle vous-même, marquez ces résultats en direct et ceux du cours enregistrés.

Les modèles hébergés et les prix changent souvent : utilisez les chiffres de cette page, avec leur date.

La situation

Larkfield ajoute une fenêtre de clavardage à son site Web. Les clients du Québec et du reste du Canada écrivent maintenant en anglais et en français dans le clavardage. Ils continuent aussi d’écrire par courriel. Grace veut toujours des brouillons qu’un agent vérifie avant l’envoi. Trois choses changent :

Volume : environ 25 000 billets par mois, au lieu d’environ 1 350.
Budget : Omar fait passer le budget des appels au modèle de 40 $ US à 150 $ US par mois.
Vitesse : un client qui clavarde attend la réponse. Grace fixe une nouvelle règle : 95 % des brouillons doivent être prêts en 8 secondes (le 95e centile, p95, doit être d’au plus 8 secondes).

Tout le reste demeure comme dans le module 5 : les mêmes 24 billets, la même politique, la même requête et les mêmes exécutions enregistrées. Ces chiffres sont fictifs; les exécutions et les prix sont réels.

Les preuves

Le tableau présente toutes les options. La qualité suit la grille du module 4 : la note sur 10 et les réponses prêtes à envoyer, avec l’intervalle à 95 %. La validité du JSON et la langue de réponse sont des vérifications simples de la sortie brute. Les prix sont en dollars US par million de jetons (tokens) et proviennent des pages des fournisseurs. Le coût par billet utilise la moyenne des jetons des 24 billets : jetons d’entrée × prix d’entrée + (jetons de sortie + jetons de raisonnement) × prix de sortie.

Option	JSON valide (sur 24)	Bonne langue, français et langues mixtes (sur 12)	Note selon la grille (sur 10)	Prêtes (sur 24, intervalle à 95 %)	Médiane en s	p95 en s	Prix entrée / sortie	$ US par billet	Modèle stable
Claude Haiku 5.5	24	12	9.84	24 (86% to 100%)	2.2	3.2	0.1 / 0.5	0.00027	yes
Claude Sonnet 5.5	24	12	9.90	22 (74% to 98%)	1.8	3.8	2 / 10	0.00365	yes
Claude Opus 5.5	24	12	10.00	24 (86% to 100%)	3.9	5.7	4 / 20	0.00935	yes
Gemini 3.5 Flash	24	12	9.95	24 (86% to 100%)	4.4	5.9	1.5 / 9	0.01090	yes
Gemini 3.1 Pro (preview)	24	12	9.90	24 (86% to 100%)	9.8	21.5	2 / 12	0.01483	no (preview)
Gemma 3 4B (local)	24	11	5.78	6 (12% to 45%)	4.8	5.8	local	0.00000	yes
Mistral 7B (local)	23	12	7.45	12 (31% to 69%)	4.2	8	local	0.00000	yes
Qwen3 4B (local, 4,000 tokens)	0	12	6.51	14 (39% to 76%)	64.3	140.3	local	0.00000	yes

Les modèles locaux n’ont pas de prix par jeton. Leur coût comprend l’ordinateur, l’électricité et le temps du personnel, que ce tableau n’inclut pas.

Partie 1 : cas de test représentatifs

Utilise Créer un jeu de test représentatif.

Décrivez les 24 billets en deux ou trois phrases : combien de chaque type, et combien en français ou en langues mixtes.
Choisissez cinq billets pour l’annexe de la note, un de chaque type. Pour chacun, écrivez une phrase : ce qu’il teste et ce qu’une mauvaise réponse coûterait à Larkfield.
Le clavardage est un nouveau canal. Nommez deux types de messages de clavardage que les 24 billets ne couvrent pas. Pour chacun, écrivez un exemple de message, en anglais ou en français. Expliquez comment vous ajouteriez de tels billets avant le lancement.

Preuves pour la partie 1 : la description, les cinq billets avec vos phrases et les deux types manquants avec des exemples.

Ce qu’une réponse complète contient

Les nombres : 12 courants (6 en anglais, 6 en français), 3 difficiles, 3 ambigus, 3 sans réponse possible, 3 en langues mixtes; 12 billets en français ou en langues mixtes. Les cinq billets choisis testent chacun quelque chose de différent. Par exemple : S07 (français, 8 jours de retard : livraison gratuite et biais linguistique vu au module 2), D03 (français, 17 jours de retard : règle du colis « perdu »), A02 (« Je veux annuler. » : la réponse doit demander des précisions, pas deviner), U02 (une blessure : il faut transférer à une personne) et M03 (salutation en français, demande une réponse en anglais). Types manquants pour le clavardage, par exemple : messages très courts sans contexte (« toujours rien?? »), plusieurs messages liés à une même question, client qui change de langue pendant le clavardage ou messages avec des fautes de frappe. On rédige les nouveaux billets avec un corrigé avant qu’un modèle les voie, et on leur attribue leur propre type.

Partie 2 : critères transparents

Utilise La sélection pondérée et Licences et conditions d’utilisation des données.

Faites cette partie avant de calculer un total.

Écrivez les exigences obligatoires. Gardez les quatre du module 5, avec le nouveau budget, et ajoutez la règle de vitesse de Grace. Pour chaque exigence, écrivez en une phrase qui en a besoin et pourquoi.
Choisissez les pondérations de la qualité, du coût, de la latence et de la confidentialité. Justifiez chacune en une phrase. Pensez à ce que le clavardage change.
Écrivez la règle qui transforme chaque mesure en une note de 0 à 10. Vous pouvez garder les règles du module 5; la règle du coût utilise maintenant le nouveau budget.

Preuves pour la partie 2 : les cinq exigences obligatoires, les quatre pondérations justifiées et les quatre règles de notation. Indiquez la date à laquelle vous les avez définies.

Partie 3 : hypothèses de coût et de latence

Utilise Mesurer la performance en pratique et Prévoir une solution de rechange et les changements.

Calculez le coût mensuel pour 25 000 billets de chaque option hébergée. Montrez un calcul complet, des jetons et des prix jusqu’aux dollars US par mois.
Appliquez le budget et la règle du p95. Indiquez quelles options échouent et de combien elles dépassent les limites.
Énumérez vos hypothèses : chaque chiffre choisi ou copié, avec sa source et sa date.

Preuves pour la partie 3 : les coûts mensuels, un calcul complet, les options qui dépassent le budget ou la limite de vitesse et la liste des hypothèses.

Vérifiez vos chiffres

Pour 25 000 billets par mois : Haiku 5.5 coûte environ 6,75 $ US, Sonnet 5.5 environ 91,25 $ US, Opus 5.5 environ 233,75 $ US, Gemini 3.5 Flash environ 272,50 $ US et Gemini 3.1 Pro environ 370,75 $ US. Opus, Gemini Flash et Gemini Pro dépassent 150 $ US. Le p95 dépasse 8 secondes pour Gemini 3.1 Pro (21,5) et Qwen3 4B (140,3). Mistral 7B atteint exactement 8,0 et passe si votre règle dit « au plus 8 ». De petits écarts de quelques cents sont acceptables si vous avez arrondi les jetons.

Partie 4 : le tableau de décision pondéré

Utilise La sélection pondérée et Communiquer la recommandation.

Retirez les options qui ne respectent pas une exigence obligatoire. Écrivez la raison de l’échec à côté de chacune.
Calculez la note de chaque critère et le total pondéré des options restantes.
Classez-les. Dites si les notes de qualité des deux premières sont à égalité (écart inférieur à environ 0,2 sur 24 billets). Indiquez quel critère crée l’écart.
Trouvez la pondération qui fait changer le modèle en tête : modifiez une pondération par pas de 5, sans changer les autres.
Écrivez un paragraphe sur ce que le tableau ne montre pas, et dites si cela change votre choix.

Preuves pour la partie 4 : le tableau avec les échecs, les notes et les totaux; le classement; l’égalité éventuelle en qualité et l’origine de l’écart; la pondération qui fait changer le modèle en tête; votre paragraphe.

Partie 5 : limites et solution de rechange

Utilise Incertitude et erreurs et Prévoir une solution de rechange et les changements.

Écrivez au moins quatre limites de vos preuves. Transformez chacune en vérification avant le lancement ou en déclencheur.
Concevez le parcours de rechange. Pour chaque étape, indiquez quelle défaillance elle couvre. Nommez une solution de rechange ou une autre option peu coûteuse.
Calculez le coût du modèle de rechange pendant une panne de 4 h. Calculez aussi son coût sur un mois entier s’il devait remplacer le modèle principal.
Écrivez au moins quatre déclencheurs qui imposeraient de refaire la comparaison.

Preuves pour la partie 5 : les limites avec leurs vérifications, le parcours de rechange, les deux coûts et les déclencheurs.

Partie 6 : la note

Rédigez la note selon les sept parties de Communiquer la recommandation : recommandation, exigences, preuves et résultats, hypothèses, limites, solution de rechange et autres options, déclencheurs et vérifications avant le lancement. Une page au maximum, plus une annexe contenant les tableaux des parties 1 à 5. Placez la version et la date en haut.

Vérifiez votre travail

Personne ne révise encore les travaux de ce cours. Révisez votre note avec ce tableau, ou demandez à un collègue de l’utiliser. Marquez chaque élément démontré, partiellement démontré ou pas encore démontré, avec une justification. Le cours est terminé quand chaque élément est démontré. Vous pouvez améliorer un élément et le réviser autant de fois que nécessaire.

Preuves requises	Démontré quand
Cas de test représentatifs	La note décrit les 24 billets par type et par langue; cinq billets, un de chaque type, indiquent ce qu’ils testent et ce qu’une mauvaise réponse coûte; deux types de messages de clavardage manquants sont nommés, avec un exemple chacun et un plan pour les ajouter avant le lancement.
Critères de comparaison transparents	Chaque exigence obligatoire est respectée ou non, avec un responsable et une justification; les pondérations ont été définies avant les totaux, avec une justification chacune; chaque note a une règle d’une phrase; le tableau montre les échecs, les notes et les totaux; la note indique si les notes de qualité sont à égalité et quel critère donne l’avance, ainsi que la pondération qui fait changer le modèle en tête.
Hypothèses de coût et de latence	Le coût mensuel de chaque option hébergée est correct pour 25 000 billets, avec un calcul complet; les jetons de raisonnement comptent comme sortie; la règle du p95 utilise le p95 enregistré; chaque chiffre choisi ou copié a une source et une date; la note indique que le volume et le budget sont des estimations.
Limites documentées et choix de la solution de rechange	Au moins quatre limites, chacune transformée en vérification avant le lancement ou en déclencheur; le parcours de rechange nomme la défaillance couverte par chaque étape, et la solution en cas de panne utilise un fournisseur différent du modèle principal; la solution de rechange ou l’autre option peu coûteuse est nommée avec son coût; les réglages propres à la solution de rechange sont indiqués (pour Gemini 3.5 Flash, une limite de sortie élevée); au moins quatre déclencheurs.

Une recommandation claire ne suffit pas à elle seule. La note choisit peut-être un modèle qui ne respecte pas une exigence obligatoire, ou fixe les pondérations après les totaux. Elle ignore peut-être les jetons de raisonnement cachés dans le coût, ou propose le même fournisseur comme rechange en cas de panne. L’élément concerné est alors pas encore démontré, même si tout le reste est bon.

Erreur courante

Le tableau décide, et personne ne lit la suite

Symptôme : la note recommande l’option au total le plus élevé, sans expliquer ce que le total laisse de côté.

Cause : le critère de coût compte seulement les appels au modèle. Un modèle qui transfère plus de billets à une personne coûte du temps aux agents, absent du tableau. Pour 25 000 billets, 2 transferts de plus sur 24 représentent environ 2 000 transferts supplémentaires par mois.

Correction : après le classement, examinez les différences entre les deux premières options, billet par billet. Transformez les différences importantes en vérifications avant le lancement, par exemple : « Mesurez le taux de transfert du modèle choisi sur 200 nouveaux billets de clavardage; s’il dépasse X %, utilisez la deuxième option. » On évalue un vrai service d’IA selon son coût total, pas seulement sa facture d’appels au modèle.

Récapitulatif

Une sélection forme une chaîne de preuves : cas représentatifs, critères définis d’avance, coût et vitesse mesurés avec leurs hypothèses, et description honnête des limites.
Les exigences obligatoires éliminent des options; les pondérations classent les autres. Sur 24 billets, un écart de qualité inférieur à environ 0,2 correspond à une égalité. Dites donc quel critère donne l’avance.
Une solution de rechange ne doit pas subir la défaillance qu’elle couvre. Il faut la tester avec ses propres réglages.
La note présente la recommandation en premier, donne une source et une date à chaque chiffre et précise quand décider à nouveau.

Ensuite : si vous n’en avez pas encore fait, terminez une étude de cas du module 6. Le certificat en exige au moins une : Choisir un modèle pour des réponses gouvernementales bilingues ou Choisir un modèle qui fonctionne sur votre propre matériel.