Choisir des fournisseurs et des modèles en tant que leader
- Leçon 6
- 30 min
- Module 2 : Décider comment l'obtenir
Où nous en sommes
Dans la leçon précédente, nous avons choisi partie par partie, et Larkfield achète le modèle. Mais la proposition d'un fournisseur montre ce que le fournisseur veut que vous voyiez. Dans cette leçon, nous posons quatre questions au niveau de la décision, sur les données, les preuves, le coût et la sortie, et nous les appliquons quand l'équipe choisit un modèle de langage. Nous commençons par une vendeuse et une voiture brillante.
Leçon 6 sur 22 · Diriger des produits et des équipes d'IAChoisir des fournisseurs et des modèles en tant que leader
1. Décider où l'IA aide
2. Décider comment l'obtenir
3. Planifier dans l'incertitude
4. Concevoir pour les personnes
5. Bâtir et diriger une équipe d'IA
6. Gérer les risques, la gouvernance et un lancement responsable
Ce que vous saurez faire
La proposition d’un fournisseur montre ce qu’il veut vous faire voir. Vous apprenez à poser quatre questions pour décider : données, preuves, coûts et départ. Ensuite, vous les appliquez quand votre équipe choisit un modèle de langage.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Développer, acheter ou s’associer, et la dépendance à un fournisseur, dans Développer, acheter ou s’associer.
Ce qu’il vous faut
- Les deux propositions de fournisseurs pour l’assistant de réponse au soutien de Larkfield. Les fournisseurs, leurs prix et leurs conditions sont construits : inventés pour ce cours.
- Le modèle de comparaison des fournisseurs. Sa section 3 présente les questions de cette leçon.
Acheter une voiture d’occasion
Section intitulée « Acheter une voiture d’occasion »Une vendeuse vous montre une voiture brillante. « Elle consomme seulement 5 litres de carburant aux 100 kilomètres », dit-elle. « Tous ceux qui la conduisent l’adorent. »
Vous posez quatre questions avant de payer. D’où viennent ces chiffres? La consommation peut venir d’une piste d’essai plate, pas de votre route vallonnée. Combien coûte-t-elle chaque année? L’assurance, les réparations et le carburant peuvent coûter plus cher que la voiture. Qu’est-ce que je signe? Un prêt à long terme vous lie à la voiture. Comment puis-je m’en départir? Pouvez-vous la revendre, et avec quels documents?
Un bon acheteur demande aussi un essai sur sa propre route. Les paroles de la vendeuse décrivent sa meilleure journée. Votre route montre votre journée habituelle.
Le problème : un chiffre qui répond à une autre question
Section intitulée « Le problème : un chiffre qui répond à une autre question »Omar a deux propositions pour l’assistant de réponse au soutien. ReplyRight et DraftDesk sont des fournisseurs inventés pour ce cours; leurs offres sont construites. La proposition de ReplyRight met un chiffre en évidence : « 92 % des brouillons envoyés sans modification. » Cela semble être une preuve solide.
Lisez la ligne juste en dessous. Le chiffre vient d’« une démonstration sur 20 billets choisis par le fournisseur, provenant d’un autre magasin ». Cette phrase pose trois problèmes :
- 20 billets de soutien, c’est un petit test. Le test de Larkfield utilisait 200 billets (102 pour le développement et 98 réservés au test final). Même un test d’environ 100 billets comporte du bruit.
- Le fournisseur a choisi les billets. Une vendeuse montre les meilleures routes.
- Ils provenaient d’un autre magasin. Personne ne sait s’il avait des billets de sécurité, des billets en français ou des questions sans réponse dans sa politique.
Et « envoyé sans modification » ne veut pas dire « correct ». Un agent qui fait confiance à un brouillon l’envoie tel quel, même s’il est faux. Les preuves de Larkfield en donnent un exemple. La requête v3 indiquait au client d’utiliser une « section des cartes enregistrées » qui n’existe pas. La réponse était fluide et polie, donc facile à envoyer.
L’outil d’un fournisseur peut aussi indiquer son propre degré de certitude. Ce n’est pas non plus une preuve. Vous avez vu pourquoi dans Ce que l’IA fait bien et mal : 9 des 10 valeurs erronées du modèle de vision avaient la confiance maximale, 1,0. Un autre fait consigné dans le cours IA documentaire et multimodale compte pour un acheteur. La confiance minimale pour une valeur était de 0,96. Donc, une règle « vérifier chaque valeur sous 0,95 » ne vérifiait rien. Trois des 54 documents contenant une valeur erronée ou manquante sont passés.
L’idée : quatre questions avant d’attribuer des scores
Section intitulée « L’idée : quatre questions avant d’attribuer des scores »Pour prendre une décision, un leader pose les mêmes quatre questions à chaque fournisseur. Le modèle les présente à la section 3, avec deux autres.
- Données. Que gardez-vous de nos données (entrées, sorties, journaux), où et pendant combien de temps? Les utilisez-vous pour entraîner ou améliorer un modèle?
- Preuves. Ferez-vous un essai sur nos exemples, évalué par nous, avant la signature?
- Coûts. Combien coûte le service à notre volume, faible, de base et élevé, tous frais compris, pour tout le contrat?
- Départ. Comment pouvons-nous partir? Que pouvons-nous exporter, dans quel format et avec quel préavis?
Certaines réponses sont des exigences obligatoires : un « non » élimine le fournisseur, peu importe ses autres scores. Écrivez vos exigences obligatoires avant de lire les propositions. Les billets de Larkfield contiennent les noms, les commandes et les adresses des clients. Donc, « aucun entraînement sur nos billets » est une exigence obligatoire.
Description textuelle du diagramme
Chaque proposition passe par quatre questions, dans l’ordre. D’abord, les données : que garde le fournisseur, et les utilise-t-il pour l’entraînement? Une exigence obligatoire non respectée élimine le fournisseur. Ensuite, les preuves : existe-t-il des résultats sur nos exemples, ou un essai avant la signature? Une simple démonstration, sans essai, élimine le fournisseur. Troisièmement, les coûts : combien coûte le service à notre volume, tous frais compris, pour tout le contrat? Quatrièmement, le départ : que pouvons-nous emporter quand nous partons? Une exigence obligatoire non respectée élimine le fournisseur. Un fournisseur qui passe les quatre questions reçoit un score par rapport aux autres options, dont l’assistant de Larkfield.
Un petit exemple : le coût à notre volume
Section intitulée « Un petit exemple : le coût à notre volume »La question 3 change souvent la situation. Un prix « par 1 000 billets » ou « par agent » ne veut rien dire sans votre volume. Voici le calcul pour Larkfield, avec toutes les valeurs visibles.
Larkfield reçoit environ 822 billets par jour (une hypothèse tirée de la journée synthétique du cours sur la mise à l’échelle). Cela donne 822 × 365 ÷ 12 = environ 25 003 billets par mois.
- ReplyRight (construit) : 39 $ US par agent par mois × 12 agents = 468 $ US par mois, plus 2 500 $ US pour la configuration. Le contrat dure 24 mois : 468 × 24 + 2 500 = 13 732 $ US que Larkfield doit payer.
- DraftDesk (construit) : 4,00 $ US par 1 000 billets × 25 003 = 100,01 $ US par mois. Mais le minimum est de 300 $ US par mois, donc Larkfield paie 300 $ US. Seulement le tiers de la facture correspond à l’utilisation réelle. L’utilisation atteindrait le minimum à 75 000 billets par mois. Configuration : 6 000 $ US. Le contrat dure 12 mois : 9 600 $ US.
- Notre propre assistant (requête v2) : les frais du modèle sont de 0,341 $ US par 1 000 billets. Ils ont été consignés pendant la semaine d’exercice du cours MLOps et LLMOps : exploiter l’IA en production. Pour 25 003 billets, cela donne 8,53 $ US par mois. L’entretien par l’équipe ajoute 20 heures par mois × 60 $ US = 1 200 $ US par mois (deux hypothèses).
Pour comparer sur la même base, prenez les 12 premiers mois de chaque option, configuration comprise :
Description textuelle du graphique
Un graphique à trois colonnes, en dollars US pour les 12 premiers mois, configuration comprise. ReplyRight : 8 116 (468 par mois pendant 12 mois, plus 2 500). DraftDesk : 9 600 (le minimum de 300 pendant 12 mois, plus 6 000). Notre propre assistant : 14 502 (8,53 par mois de frais de modèle et 1 200 par mois d’entretien estimé). Les prix des fournisseurs sont construits pour le cours; les frais du modèle sont consignés; l’entretien est une hypothèse.
Deux choses ressortent. D’abord, notre assistant a les frais de modèle les plus bas, mais le total le plus élevé, à cause du temps de l’équipe. Ensuite, le prix par billet de DraftDesk est 11,7 fois nos frais de modèle. Pourtant, son minimum détermine la facture à notre volume. Le graphique omet aussi un coût : un produit acheté exige encore du temps de Larkfield pour le connecter et vérifier ses résultats. Comptez ce temps quand vous attribuez les scores.
Les mêmes questions pour un modèle
Section intitulée « Les mêmes questions pour un modèle »Votre équipe peut vous demander d’approuver un changement de modèle de langage. Par exemple : « le modèle puissant obtient un meilleur score dans un classement public ». Posez les mêmes quatre questions. Les données et le départ dépendent des conditions du fournisseur du modèle. Les coûts et les preuves exigent vos propres chiffres.
Le cours Conception de systèmes d’IA et maîtrise des coûts a mesuré cela pour Larkfield. Il a posé les mêmes 67 questions de Grace à un petit modèle et à un modèle puissant, deux fois. Ces résultats sont consignés :
| Petit modèle | Modèle puissant | |
|---|---|---|
| Réponses correctes, première et deuxième exécution | 58 et 58 sur 67 | 57 et 58 sur 67 |
| Coût du modèle par 1 000 questions | 0,17 $ US | 3,20 $ US |
Le modèle puissant coûtait 19 fois plus cher et ne donnait pas plus de réponses correctes. Un classement teste les questions des autres; ce test utilisait celles de Larkfield. Comme leader, vous n’avez pas besoin de faire la comparaison. Vous demandez : quels exemples, combien, combien d’exécutions et quel coût à notre volume? Le cours Les LLM : comment ils fonctionnent et comment en choisir un enseigne la comparaison elle-même. Sa leçon Licences et conditions d’utilisation des données explique les conditions du fournisseur.
Posez une autre question pour chaque modèle et chaque fournisseur : que se passe-t-il quand le modèle change? Les fournisseurs mettent les modèles à jour. Demandez comment ils vous préviennent et si vous pouvez d’abord tester la nouvelle version sur vos exemples.
Discussion : signer avec ReplyRight le mois prochain?
Section intitulée « Discussion : signer avec ReplyRight le mois prochain? »Omar veut une décision cette semaine. Nadia a les deux propositions et les avis de l’équipe.
- Omar : « ReplyRight sera prêt le mois prochain. Il a le meilleur résultat, 92 %, et le coût le plus bas la première année. »
- Grace : « Leurs 20 billets venaient d’un autre magasin. Est-ce qu’un seul nécessitait une personne? Les nôtres, oui, chaque jour. »
- Mei, l’ingénieure de données : « Ils gardent nos billets pendant 18 mois et s’en servent pour l’entraînement, sauf si on achète le forfait Enterprise. Et on ne peut pas exporter l’historique des réponses si on part. »
- Kwame : « Le contrat dure 24 mois. Si ça échoue au troisième mois, on paie quand même. »
Avant de poursuivre, répondez à ces questions :
- À quelles questions parmi les quatre la proposition de ReplyRight répond-elle bien, et auxquelles répond-elle mal?
- Quelles réponses ne respectent pas une exigence obligatoire que Larkfield avait écrite avant de lire?
- Que devrait offrir ReplyRight avant que Nadia puisse dire oui?
La réponse du cours. Ne signez pas avec ReplyRight selon cette offre. Elle ne respecte pas deux exigences obligatoires. Pour les données, il utilise les billets des clients pour l’entraînement, sauf si Larkfield achète un forfait sans prix indiqué. Pour les preuves, il n’offre aucun essai sur les billets de Larkfield. Son 92 % répond à une autre question, sur les billets d’un autre magasin. Ses conditions de départ sont aussi faibles : aucun historique des réponses à emporter après un contrat de 24 mois. Le coût plus bas la première année ne compte pas tant que les exigences obligatoires ne sont pas respectées.
Ce qui changerait la réponse : ReplyRight pourrait s’engager par écrit à ne pas utiliser les billets de Larkfield pour l’entraînement, en précisant le prix du forfait. Il pourrait aussi faire un essai sur les billets de Larkfield, évalué par Larkfield par rapport à l’assistant actuel. S’il passait ensuite les mêmes tests que la requête v2, Nadia lui attribuerait un score parmi les autres options. La prochaine leçon montre comment mener cet essai équitablement.
Quand poser les questions, et à quel coût
Section intitulée « Quand poser les questions, et à quel coût »Posez les quatre questions pour chaque fournisseur et chaque changement de modèle, avant toute signature ou tout changement. Le coût est faible : quelques heures pour écrire les questions et quelques semaines pour attendre les réponses. Un fournisseur qui refuse de répondre ou de faire un essai sur vos exemples a tout de même donné sa réponse. À ce niveau, vous ne comparez pas le fonctionnement interne des modèles. Vous vérifiez que quelqu’un les a mesurés sur vos exemples.
Erreur courante
Le meilleur chiffre du fournisseur décide
Symptôme : une équipe achète un produit parce que sa proposition indique « 92 % envoyés sans modification ». Quelques semaines plus tard, les agents envoient des brouillons avec des étapes absentes de la politique.
Cause : le chiffre venait d’une démonstration sur des exemples choisis par le fournisseur. Il mesurait la confiance des agents dans les brouillons, pas leur justesse.
Solution : demandez des preuves sur vos exemples, évalués selon vos règles, avant de signer. Écrivez d’abord les exigences obligatoires, pour qu’un gros chiffre ne vous les fasse pas oublier.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Nommez les quatre questions à poser à chaque fournisseur pour décider. Dites lesquelles Larkfield a rendues obligatoires, et pourquoi.
Afficher la réponse
Données : ce que le fournisseur garde, où, pendant combien de temps et s’il les utilise pour l’entraînement. Preuves : des résultats sur nos exemples, ou un essai avant la signature. Coûts : le prix à notre volume, faible, de base et élevé, tous frais compris, pour tout le contrat. Départ : ce que nous pouvons exporter, dans quel format et avec quel préavis. Larkfield exigeait « aucun entraînement sur nos billets », car les billets contiennent les noms, les commandes et les adresses des clients. Un essai sur ses propres billets était la deuxième exigence obligatoire.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
DraftDesk facture 4,00 $ US par 1 000 billets, avec un minimum de 300 $ US par mois. Larkfield a environ 25 003 billets par mois. Combien paie-t-elle par mois, et quelle part de la facture correspond à l'utilisation réelle?
Afficher la réponse
Utilisation : 25 003 × 4,00 ÷ 1 000 = 100,01 $ US. C’est sous le minimum, donc Larkfield paie 300 $ US par mois. L’utilisation réelle représente environ le tiers de la facture. Elle n’atteindrait le minimum qu’à 75 000 billets par mois. Un prix par unité ne veut rien dire sans votre volume.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Prédisez : l'outil d'un fournisseur affiche une confiance de 1,0 pour chaque valeur lue dans vos documents. Pouvez-vous éviter de vérifier ces valeurs? Utilisez le résultat consigné du cours IA documentaire et multimodale.
Afficher la réponse
Non. Dans le cours IA documentaire et multimodale, 9 des 10 valeurs erronées du modèle de vision avaient la confiance maximale (1,0). Sa confiance minimale pour une valeur était de 0,96. Donc, une règle vérifiant les valeurs sous 0,95 ne vérifiait rien. Trois des 54 documents contenant une valeur erronée ou manquante sont passés. La confiance d’un outil est son propre avis, pas une preuve. Seul un test sur vos documents montre à quelle fréquence il se trompe.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Interrogez chaque fournisseur sur les données (gardées? utilisées pour l’entraînement?), les preuves sur vos exemples, les coûts à votre volume et le départ. Écrivez les exigences obligatoires avant de lire.
- Le « 92 % envoyés sans modification » de ReplyRight venait de 20 billets choisis par lui, provenant d’un autre magasin (construit). Il ne respecte pas les deux exigences obligatoires de Larkfield.
- Au volume de Larkfield, le minimum de DraftDesk détermine sa facture : 300 $ US, dont un tiers pour l’utilisation réelle. Les frais de modèle de notre assistant sont de 8,53 $ US par mois, mais son entretien estimé coûte 1 200 $ US.
- Les mêmes questions s’appliquent aux modèles. Sur 67 questions de Grace, le modèle puissant coûtait 19 fois plus cher sans être plus juste (consigné).
- La confiance d’un outil n’est pas une preuve : 9 des 10 valeurs erronées avaient une confiance de 1,0 (consigné).
Ensuite, vous planifiez l’essai demandé par les quatre questions, pour qu’il soit équitable envers chaque option.
Leçon suivante : Mener un projet pilote équitable