Aller au contenu
English

Choisir des fournisseurs et des modèles en tant que leader

  • Leçon 6
  • 30 min
  • Module 2 : Décider comment l'obtenir

Où nous en sommes

Dans la leçon précédente, nous avons choisi partie par partie, et Larkfield achète le modèle. Mais la proposition d'un fournisseur montre ce que le fournisseur veut que vous voyiez. Dans cette leçon, nous posons quatre questions au niveau de la décision, sur les données, les preuves, le coût et la sortie, et nous les appliquons quand l'équipe choisit un modèle de langage. Nous commençons par une vendeuse et une voiture brillante.

Ce que vous saurez faire

La proposition d’un fournisseur montre ce qu’il veut vous faire voir. Vous apprenez à poser quatre questions pour décider : données, preuves, coûts et départ. Ensuite, vous les appliquez quand votre équipe choisit un modèle de langage.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 30 minutes

Ce que vous devez savoir

Ce qu’il vous faut

Une vendeuse vous montre une voiture brillante. « Elle consomme seulement 5 litres de carburant aux 100 kilomètres », dit-elle. « Tous ceux qui la conduisent l’adorent. »

Vous posez quatre questions avant de payer. D’où viennent ces chiffres? La consommation peut venir d’une piste d’essai plate, pas de votre route vallonnée. Combien coûte-t-elle chaque année? L’assurance, les réparations et le carburant peuvent coûter plus cher que la voiture. Qu’est-ce que je signe? Un prêt à long terme vous lie à la voiture. Comment puis-je m’en départir? Pouvez-vous la revendre, et avec quels documents?

Un bon acheteur demande aussi un essai sur sa propre route. Les paroles de la vendeuse décrivent sa meilleure journée. Votre route montre votre journée habituelle.

Le problème : un chiffre qui répond à une autre question

Section intitulée « Le problème : un chiffre qui répond à une autre question »

Omar a deux propositions pour l’assistant de réponse au soutien. ReplyRight et DraftDesk sont des fournisseurs inventés pour ce cours; leurs offres sont construites. La proposition de ReplyRight met un chiffre en évidence : « 92 % des brouillons envoyés sans modification. » Cela semble être une preuve solide.

Lisez la ligne juste en dessous. Le chiffre vient d’« une démonstration sur 20 billets choisis par le fournisseur, provenant d’un autre magasin ». Cette phrase pose trois problèmes :

  • 20 billets de soutien, c’est un petit test. Le test de Larkfield utilisait 200 billets (102 pour le développement et 98 réservés au test final). Même un test d’environ 100 billets comporte du bruit.
  • Le fournisseur a choisi les billets. Une vendeuse montre les meilleures routes.
  • Ils provenaient d’un autre magasin. Personne ne sait s’il avait des billets de sécurité, des billets en français ou des questions sans réponse dans sa politique.

Et « envoyé sans modification » ne veut pas dire « correct ». Un agent qui fait confiance à un brouillon l’envoie tel quel, même s’il est faux. Les preuves de Larkfield en donnent un exemple. La requête v3 indiquait au client d’utiliser une « section des cartes enregistrées » qui n’existe pas. La réponse était fluide et polie, donc facile à envoyer.

L’outil d’un fournisseur peut aussi indiquer son propre degré de certitude. Ce n’est pas non plus une preuve. Vous avez vu pourquoi dans Ce que l’IA fait bien et mal : 9 des 10 valeurs erronées du modèle de vision avaient la confiance maximale, 1,0. Un autre fait consigné dans le cours IA documentaire et multimodale compte pour un acheteur. La confiance minimale pour une valeur était de 0,96. Donc, une règle « vérifier chaque valeur sous 0,95 » ne vérifiait rien. Trois des 54 documents contenant une valeur erronée ou manquante sont passés.

L’idée : quatre questions avant d’attribuer des scores

Section intitulée « L’idée : quatre questions avant d’attribuer des scores »

Pour prendre une décision, un leader pose les mêmes quatre questions à chaque fournisseur. Le modèle les présente à la section 3, avec deux autres.

  1. Données. Que gardez-vous de nos données (entrées, sorties, journaux), où et pendant combien de temps? Les utilisez-vous pour entraîner ou améliorer un modèle?
  2. Preuves. Ferez-vous un essai sur nos exemples, évalué par nous, avant la signature?
  3. Coûts. Combien coûte le service à notre volume, faible, de base et élevé, tous frais compris, pour tout le contrat?
  4. Départ. Comment pouvons-nous partir? Que pouvons-nous exporter, dans quel format et avec quel préavis?

Certaines réponses sont des exigences obligatoires : un « non » élimine le fournisseur, peu importe ses autres scores. Écrivez vos exigences obligatoires avant de lire les propositions. Les billets de Larkfield contiennent les noms, les commandes et les adresses des clients. Donc, « aucun entraînement sur nos billets » est une exigence obligatoire.

Le parcours d'une proposition de fournisseur. Question 1, données : que garde-t-il, et utilise-t-il ces données pour l'entraînement? S'il ne respecte pas une exigence obligatoire, il est éliminé. Si c'est acceptable, question 2, preuves : des résultats sur nos exemples? S'il n'offre qu'une démonstration, sans essai, il est éliminé. Si oui, ou s'il offre un essai avant la signature, question 3 : coût à notre volume, tous frais compris, pour tout le contrat. Quand ce coût est connu, question 4, départ : que pouvons-nous emporter? S'il ne respecte pas une exigence obligatoire, il est éliminé. Si c'est acceptable, attribuez-lui un score par rapport aux autres options, y compris la nôtre.
Les quatre questions aux fournisseurs. Une exigence obligatoire non respectée élimine un fournisseur avant toute attribution de score. Un fournisseur admissible reçoit un score par rapport aux autres options, y compris votre solution actuelle.
Description textuelle du diagramme

Chaque proposition passe par quatre questions, dans l’ordre. D’abord, les données : que garde le fournisseur, et les utilise-t-il pour l’entraînement? Une exigence obligatoire non respectée élimine le fournisseur. Ensuite, les preuves : existe-t-il des résultats sur nos exemples, ou un essai avant la signature? Une simple démonstration, sans essai, élimine le fournisseur. Troisièmement, les coûts : combien coûte le service à notre volume, tous frais compris, pour tout le contrat? Quatrièmement, le départ : que pouvons-nous emporter quand nous partons? Une exigence obligatoire non respectée élimine le fournisseur. Un fournisseur qui passe les quatre questions reçoit un score par rapport aux autres options, dont l’assistant de Larkfield.

La question 3 change souvent la situation. Un prix « par 1 000 billets » ou « par agent » ne veut rien dire sans votre volume. Voici le calcul pour Larkfield, avec toutes les valeurs visibles.

Larkfield reçoit environ 822 billets par jour (une hypothèse tirée de la journée synthétique du cours sur la mise à l’échelle). Cela donne 822 × 365 ÷ 12 = environ 25 003 billets par mois.

  • ReplyRight (construit) : 39 $ US par agent par mois × 12 agents = 468 $ US par mois, plus 2 500 $ US pour la configuration. Le contrat dure 24 mois : 468 × 24 + 2 500 = 13 732 $ US que Larkfield doit payer.
  • DraftDesk (construit) : 4,00 $ US par 1 000 billets × 25 003 = 100,01 $ US par mois. Mais le minimum est de 300 $ US par mois, donc Larkfield paie 300 $ US. Seulement le tiers de la facture correspond à l’utilisation réelle. L’utilisation atteindrait le minimum à 75 000 billets par mois. Configuration : 6 000 $ US. Le contrat dure 12 mois : 9 600 $ US.
  • Notre propre assistant (requête v2) : les frais du modèle sont de 0,341 $ US par 1 000 billets. Ils ont été consignés pendant la semaine d’exercice du cours MLOps et LLMOps : exploiter l’IA en production. Pour 25 003 billets, cela donne 8,53 $ US par mois. L’entretien par l’équipe ajoute 20 heures par mois × 60 $ US = 1 200 $ US par mois (deux hypothèses).

Pour comparer sur la même base, prenez les 12 premiers mois de chaque option, configuration comprise :

Les 12 premiers mois au volume de Larkfield. ReplyRight : 8 116 $ US et DraftDesk : 9 600 $ US (prix construits). Notre propre assistant : 14 502 $ US, soit 102 $ US de frais de modèle consignés et 14 400 $ US d'entretien estimé. Le contrat de ReplyRight dure 24 mois, donc Larkfield devrait payer 13 732 $ US en tout.
Description textuelle du graphique

Un graphique à trois colonnes, en dollars US pour les 12 premiers mois, configuration comprise. ReplyRight : 8 116 (468 par mois pendant 12 mois, plus 2 500). DraftDesk : 9 600 (le minimum de 300 pendant 12 mois, plus 6 000). Notre propre assistant : 14 502 (8,53 par mois de frais de modèle et 1 200 par mois d’entretien estimé). Les prix des fournisseurs sont construits pour le cours; les frais du modèle sont consignés; l’entretien est une hypothèse.

Deux choses ressortent. D’abord, notre assistant a les frais de modèle les plus bas, mais le total le plus élevé, à cause du temps de l’équipe. Ensuite, le prix par billet de DraftDesk est 11,7 fois nos frais de modèle. Pourtant, son minimum détermine la facture à notre volume. Le graphique omet aussi un coût : un produit acheté exige encore du temps de Larkfield pour le connecter et vérifier ses résultats. Comptez ce temps quand vous attribuez les scores.

Votre équipe peut vous demander d’approuver un changement de modèle de langage. Par exemple : « le modèle puissant obtient un meilleur score dans un classement public ». Posez les mêmes quatre questions. Les données et le départ dépendent des conditions du fournisseur du modèle. Les coûts et les preuves exigent vos propres chiffres.

Le cours Conception de systèmes d’IA et maîtrise des coûts a mesuré cela pour Larkfield. Il a posé les mêmes 67 questions de Grace à un petit modèle et à un modèle puissant, deux fois. Ces résultats sont consignés :

Petit modèle Modèle puissant
Réponses correctes, première et deuxième exécution 58 et 58 sur 67 57 et 58 sur 67
Coût du modèle par 1 000 questions 0,17 $ US 3,20 $ US

Le modèle puissant coûtait 19 fois plus cher et ne donnait pas plus de réponses correctes. Un classement teste les questions des autres; ce test utilisait celles de Larkfield. Comme leader, vous n’avez pas besoin de faire la comparaison. Vous demandez : quels exemples, combien, combien d’exécutions et quel coût à notre volume? Le cours Les LLM : comment ils fonctionnent et comment en choisir un enseigne la comparaison elle-même. Sa leçon Licences et conditions d’utilisation des données explique les conditions du fournisseur.

Posez une autre question pour chaque modèle et chaque fournisseur : que se passe-t-il quand le modèle change? Les fournisseurs mettent les modèles à jour. Demandez comment ils vous préviennent et si vous pouvez d’abord tester la nouvelle version sur vos exemples.

Discussion : signer avec ReplyRight le mois prochain?

Section intitulée « Discussion : signer avec ReplyRight le mois prochain? »

Omar veut une décision cette semaine. Nadia a les deux propositions et les avis de l’équipe.

  • Omar : « ReplyRight sera prêt le mois prochain. Il a le meilleur résultat, 92 %, et le coût le plus bas la première année. »
  • Grace : « Leurs 20 billets venaient d’un autre magasin. Est-ce qu’un seul nécessitait une personne? Les nôtres, oui, chaque jour. »
  • Mei, l’ingénieure de données : « Ils gardent nos billets pendant 18 mois et s’en servent pour l’entraînement, sauf si on achète le forfait Enterprise. Et on ne peut pas exporter l’historique des réponses si on part. »
  • Kwame : « Le contrat dure 24 mois. Si ça échoue au troisième mois, on paie quand même. »

Avant de poursuivre, répondez à ces questions :

  1. À quelles questions parmi les quatre la proposition de ReplyRight répond-elle bien, et auxquelles répond-elle mal?
  2. Quelles réponses ne respectent pas une exigence obligatoire que Larkfield avait écrite avant de lire?
  3. Que devrait offrir ReplyRight avant que Nadia puisse dire oui?

La réponse du cours. Ne signez pas avec ReplyRight selon cette offre. Elle ne respecte pas deux exigences obligatoires. Pour les données, il utilise les billets des clients pour l’entraînement, sauf si Larkfield achète un forfait sans prix indiqué. Pour les preuves, il n’offre aucun essai sur les billets de Larkfield. Son 92 % répond à une autre question, sur les billets d’un autre magasin. Ses conditions de départ sont aussi faibles : aucun historique des réponses à emporter après un contrat de 24 mois. Le coût plus bas la première année ne compte pas tant que les exigences obligatoires ne sont pas respectées.

Ce qui changerait la réponse : ReplyRight pourrait s’engager par écrit à ne pas utiliser les billets de Larkfield pour l’entraînement, en précisant le prix du forfait. Il pourrait aussi faire un essai sur les billets de Larkfield, évalué par Larkfield par rapport à l’assistant actuel. S’il passait ensuite les mêmes tests que la requête v2, Nadia lui attribuerait un score parmi les autres options. La prochaine leçon montre comment mener cet essai équitablement.

Posez les quatre questions pour chaque fournisseur et chaque changement de modèle, avant toute signature ou tout changement. Le coût est faible : quelques heures pour écrire les questions et quelques semaines pour attendre les réponses. Un fournisseur qui refuse de répondre ou de faire un essai sur vos exemples a tout de même donné sa réponse. À ce niveau, vous ne comparez pas le fonctionnement interne des modèles. Vous vérifiez que quelqu’un les a mesurés sur vos exemples.

Erreur courante

Le meilleur chiffre du fournisseur décide

Symptôme : une équipe achète un produit parce que sa proposition indique « 92 % envoyés sans modification ». Quelques semaines plus tard, les agents envoient des brouillons avec des étapes absentes de la politique.

Cause : le chiffre venait d’une démonstration sur des exemples choisis par le fournisseur. Il mesurait la confiance des agents dans les brouillons, pas leur justesse.

Solution : demandez des preuves sur vos exemples, évalués selon vos règles, avant de signer. Écrivez d’abord les exigences obligatoires, pour qu’un gros chiffre ne vous les fasse pas oublier.

Vérifiez votre compréhension

Nommez les quatre questions à poser à chaque fournisseur pour décider. Dites lesquelles Larkfield a rendues obligatoires, et pourquoi.

Afficher la réponse

Données : ce que le fournisseur garde, où, pendant combien de temps et s’il les utilise pour l’entraînement. Preuves : des résultats sur nos exemples, ou un essai avant la signature. Coûts : le prix à notre volume, faible, de base et élevé, tous frais compris, pour tout le contrat. Départ : ce que nous pouvons exporter, dans quel format et avec quel préavis. Larkfield exigeait « aucun entraînement sur nos billets », car les billets contiennent les noms, les commandes et les adresses des clients. Un essai sur ses propres billets était la deuxième exigence obligatoire.

Vérifiez votre compréhension

DraftDesk facture 4,00 $ US par 1 000 billets, avec un minimum de 300 $ US par mois. Larkfield a environ 25 003 billets par mois. Combien paie-t-elle par mois, et quelle part de la facture correspond à l'utilisation réelle?

Afficher la réponse

Utilisation : 25 003 × 4,00 ÷ 1 000 = 100,01 $ US. C’est sous le minimum, donc Larkfield paie 300 $ US par mois. L’utilisation réelle représente environ le tiers de la facture. Elle n’atteindrait le minimum qu’à 75 000 billets par mois. Un prix par unité ne veut rien dire sans votre volume.

Vérifiez votre compréhension

Prédisez : l'outil d'un fournisseur affiche une confiance de 1,0 pour chaque valeur lue dans vos documents. Pouvez-vous éviter de vérifier ces valeurs? Utilisez le résultat consigné du cours IA documentaire et multimodale.

Afficher la réponse

Non. Dans le cours IA documentaire et multimodale, 9 des 10 valeurs erronées du modèle de vision avaient la confiance maximale (1,0). Sa confiance minimale pour une valeur était de 0,96. Donc, une règle vérifiant les valeurs sous 0,95 ne vérifiait rien. Trois des 54 documents contenant une valeur erronée ou manquante sont passés. La confiance d’un outil est son propre avis, pas une preuve. Seul un test sur vos documents montre à quelle fréquence il se trompe.

Récapitulatif

  • Interrogez chaque fournisseur sur les données (gardées? utilisées pour l’entraînement?), les preuves sur vos exemples, les coûts à votre volume et le départ. Écrivez les exigences obligatoires avant de lire.
  • Le « 92 % envoyés sans modification » de ReplyRight venait de 20 billets choisis par lui, provenant d’un autre magasin (construit). Il ne respecte pas les deux exigences obligatoires de Larkfield.
  • Au volume de Larkfield, le minimum de DraftDesk détermine sa facture : 300 $ US, dont un tiers pour l’utilisation réelle. Les frais de modèle de notre assistant sont de 8,53 $ US par mois, mais son entretien estimé coûte 1 200 $ US.
  • Les mêmes questions s’appliquent aux modèles. Sur 67 questions de Grace, le modèle puissant coûtait 19 fois plus cher sans être plus juste (consigné).
  • La confiance d’un outil n’est pas une preuve : 9 des 10 valeurs erronées avaient une confiance de 1,0 (consigné).

Ensuite, vous planifiez l’essai demandé par les quatre questions, pour qu’il soit équitable envers chaque option.

Leçon suivante : Mener un projet pilote équitable