Routage entre modèles
- Leçon 11
- 60 min
- Module 4 : Optimiser avec des compromis mesurés
Où nous en sommes
Dans le module 3, nous avons calculé le coût de la conception, et le tableau de sensibilité a montré son plus grand risque : le modèle puissant pour chaque réponse. Mais un modèle plus puissant est-il vraiment meilleur pour nos questions? Dans cette leçon, nous mesurons trois conceptions sur les 67 questions de Grace : le petit modèle seulement, le modèle puissant seulement et une conception avec routage. Nous commençons par la ligne d'aide à deux niveaux d'une banque.
Leçon 11 sur 19 · Conception de systèmes d'IA et maîtrise des coûtsRoutage entre modèles
1. Commencer par les besoins
2. Concevoir l'architecture de bout en bout
3. Estimer les ressources et le coût
4. Optimiser avec des compromis mesurés
5. Concevoir pour les défaillances et la croissance
6. Présenter la proposition
Ce que vous saurez faire
Décidez à partir d’une mesure, pas d’un espoir, si un modèle plus puissant vaut son prix. Vous comparez trois conceptions sur les mêmes 67 questions : le petit modèle seulement, le modèle puissant seulement et une conception avec routage. La conception avec routage consulte le modèle puissant seulement quand une règle se déclenche. Puis vous inscrivez le résultat dans la proposition, même si le résultat est « le routage n’est pas rentable ici ».
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Le modèle de coûts et son tableau de sensibilité, dans Économie unitaire : lire le tableau de sensibilité. Il indiquait que « chat-strong pour chaque réponse » représente le plus grand risque du tableau.
- Les cibles de qualité et de latence Q4 et Q1, dans Attributs de qualité : Les attributs de qualité de Larkfield, et la première estimation des réponses lentes, dans Une première estimation pour Q1.
- Les 67 questions de Grace et la façon dont le cours de RAG note les réponses de l’assistant, dans Mesurer les réponses du cours RAG : créer une IA qui utilise vos données.
Ce qu’il vous faut sur votre ordinateur
- Votre dossier
design-packavec son environnement virtuel actif, etpython -m pytest -qqui affiche35 passed(35 tests réussis) : l’instantanéend-of-m03. - Le dossier de laboratoires
nextia-learning-labsà côté.
Vous n’appelez aucun modèle dans cette leçon. L’équipe du cours a effectué les 268 appels aux modèles; le dossier contient les résultats mesurés. Testé avec Python 3.12 sur macOS (Apple silicon). Les commandes Windows (PowerShell) et Linux sont fournies, mais n’ont pas été testées.
Une ligne d’aide à deux niveaux
Section intitulée « Une ligne d’aide à deux niveaux »Pensez à une ligne d’aide téléphonique dans une banque. Un agent de premier niveau prend tous les appels. La plupart des questions sont simples : une carte est bloquée, un paiement est en retard. Quand l’agent ne peut pas aider, il transfère l’appel à un spécialiste. Le spécialiste coûte beaucoup plus cher à l’heure. Le client attend aussi plus longtemps, car deux personnes consacrent maintenant du temps à l’appel.
La banque fait cela pour une raison : elle ne veut pas payer des spécialistes pour les appels simples. Mais ce plan fonctionne seulement si deux conditions sont réunies. Le spécialiste doit résoudre les problèmes que le premier agent n’a pas pu résoudre. Et l’agent doit savoir quand transférer un appel. Si le spécialiste échoue sur les mêmes appels, la banque paie deux fois et le client attend deux fois, pour rien.
Le problème : un meilleur modèle pour chaque réponse?
Section intitulée « Le problème : un meilleur modèle pour chaque réponse? »Ines, propriétaire de Bramble Books, veut de meilleures réponses. Tomás a un plan simple : « Utilisons chat-strong pour tout. C’est le meilleur modèle, donc les réponses seront meilleures. »
Le dossier indique déjà le coût de cette option. Dans le tableau de sensibilité du module précédent, chat-strong pour chaque réponse augmentait le coût mensuel de plus de 200 %. Le fichier de conception de ce module part de 51,90 $ US par mois, plutôt que des 52,67 $ US du module 3. Il suppose que le cache de réponses répond à 10 % des questions. La prochaine leçon explique ce nombre. Avec chat-strong pour chaque réponse, le coût mensuel passe de 51,90 $ US à 173,99 $ US : +235 %. Une question coûte 0,003197 $ US plutôt que 0,000171 $ US, soit environ 19 fois plus.
Il y a un deuxième coût : le temps. Le module 1 estimait les réponses lentes en additionnant le p95 de chaque étape. Avec chat-strong, cette somme est de 0,48 + 0,32 + 6,56 = 7,36 secondes. La cible Q1 est de 6 secondes pour 95 % des réponses. Donc, chat-strong pour tout échoue à une cible avant même qu’on vérifie si ses réponses sont meilleures.
Omar pose la question importante : « Peut-on payer le modèle puissant seulement pour les questions où il aide? »
L’idée : le routage entre modèles
Section intitulée « L’idée : le routage entre modèles »Le routage entre modèles signifie qu’une règle choisit le modèle qui répond à chaque requête. Le schéma courant ressemble à la ligne d’aide : le modèle peu coûteux répond d’abord. Une règle envoie ensuite certaines requêtes au modèle puissant. C’est l’escalade, et la règle est la règle d’escalade. Le nom vient des réseaux, où un routeur envoie chaque paquet sur l’un de plusieurs chemins.
Une bonne règle d’escalade utilise un signal peu coûteux à vérifier, qui apparaît quand le petit modèle risque de se tromper. Le dossier de conception teste trois signaux :
- Le petit modèle refuse de répondre. Il dit que les passages ne répondent pas à la question.
- Une vérification des citations échoue. La réponse cite un passage qu’il n’a pas reçu, ou un nombre absent des passages cités.
- La recherche semble faible. Le score du modèle de reclassement (reranker) pour le meilleur passage est inférieur à un seuil T. (Un modèle de reclassement note la pertinence d’un passage pour la question; un score plus élevé est meilleur.)
Description textuelle du diagramme
Une question et ses 5 meilleurs passages vont d’abord à chat-small. Sa réponse coûte 0,000171 $ US et prend 1,52 s (médianes de l’exécution mesurée). Ensuite, la règle d’escalade vérifie trois choses. chat-small a-t-il refusé de répondre? La vérification des citations échoue-t-elle? Le score du meilleur passage est-il inférieur à un seuil T? Si aucune règle ne se déclenche, le système envoie la réponse de chat-small. Si une règle se déclenche, chat-strong répond à nouveau à la même question. Cela ajoute 0,003197 $ US et 2,48 s au premier appel, et le système envoie la réponse de chat-strong.
Regardez le côté droit de l’image. Une question transférée n’est jamais moins coûteuse ni plus rapide qu’une question traitée seulement par le petit modèle. Elle coûte deux appels, et la personne attend les deux. Le routage économise de l’argent seulement par rapport à « le modèle puissant pour tout ». Il améliore la qualité seulement si le modèle puissant corrige les réponses aux questions transférées.
Un petit exemple : cinq questions
Section intitulée « Un petit exemple : cinq questions »Voici cinq des 67 questions de Grace lors du premier passage de l’équipe du cours, avec toutes les valeurs visibles. La règle ici est « transférer quand chat-small refuse de répondre ou qu’une vérification des citations échoue ».
| Question | chat-small | Règle déclenchée? | chat-strong | Résultat |
|---|---|---|---|---|
| Q01 « Un client a été facturé deux fois pour la même commande. Dans quel délai remboursons-nous le montant en trop? » | correct, 0,000125 $ US, 1,44 s | non | non consulté | correct |
| Q38 « Quel ensemble de pompe convient au PW-2200? » | correct, 0,000136 $ US, 1,13 s | non | non consulté | correct |
| Q45 « Combien de temps faut-il pour qu’un remboursement apparaisse sur la carte du client? » | incorrect, 0,000303 $ US, 3,31 s | non (bonnes citations) | non consulté | incorrect |
| Q14 « Offrons-nous un rabais étudiant? » | refuse de répondre (correct : aucun document ne le dit), 0,000104 $ US, 1,21 s | oui | refuse de répondre, 0,001914 $ US, 1,64 s | correct |
| Q13 « Larkfield vend-elle des garanties prolongées? » | refuse de répondre (incorrect : la réponse existe), 0,000112 $ US, 1,26 s | oui | refuse de répondre, 0,002028 $ US, 1,49 s | incorrect |
Additionnez les coûts des trois conceptions pour ces cinq questions :
- chat-small seulement : 0,000125 + 0,000136 + 0,000303 + 0,000104 + 0,000112 = 0,000780 $ US, 3 réponses correctes sur 5.
- Avec routage : les cinq mêmes appels au petit modèle + 0,001914 + 0,002028 = 0,004722 $ US, 3 réponses correctes sur 5. Q14 et Q13 ont chacune attendu deux appels : 2,85 s et 2,75 s.
- chat-strong seulement : 0,003146 + 0,002704 + 0,005398 + 0,001914 + 0,002028 = 0,015190 $ US, 3 réponses correctes sur 5. Il a aussi mal répondu à Q45.
La conception avec routage a coûté six fois plus que celle avec le petit modèle, sans rien corriger. Voyez pourquoi. Q14 était un « je ne sais pas » correct, donc le deuxième appel l’a seulement confirmé. Q13 était un échec de recherche. Sa réponse se trouve dans un document français sur la garantie légale au Québec, mais ce passage n’était pas parmi les 5 premiers. Le modèle puissant a reçu les mêmes cinq passages. Un rédacteur plus puissant ne peut pas citer une page qu’il n’a jamais reçue.
Larkfield : trois conceptions, une charge de travail
Section intitulée « Larkfield : trois conceptions, une charge de travail »Cinq questions ne prouvent rien; 67 questions en deux passages constituent une mesure. L’équipe du cours a exécuté les trois conceptions sur les 67 questions de Grace. Chaque exécution rejouait les requêtes enregistrées par le cours de RAG : mêmes passages, même requête (prompt), même format de réponse. Seul le modèle changeait. La vérification automatique du cours de RAG a noté chaque réponse. Puis le calculateur du dossier a établi le coût de chaque conception pour la charge de travail de base du module.
Exercice guidé : comparer les trois conceptions
Section intitulée « Exercice guidé : comparer les trois conceptions »-
Dans votre dossier
design-pack, avec l’environnement actif, demandez la nouvelle commande :Fenêtre de terminal python -m costmodel optionsThis command arrives in Module 4. Download the end-of-module-4 snapshot or keep going. -
Copiez le code des options de ce module et son fichier de conception depuis l’instantané
end-of-m04.Fenêtre de terminal S=../nextia-learning-labs/C26/snapshots/end-of-m04cp "$S/costmodel/options.py" costmodel/cp "$S/design.toml" .Fenêtre de terminal $S = "..\nextia-learning-labs\C26\snapshots\end-of-m04"Copy-Item "$S\costmodel\options.py" costmodel\Copy-Item "$S\design.toml" . -
Ouvrez
design.toml. Deux choses sont nouvelles.cache_hit_sharevaut maintenant[0.0, 0.1, 0.3]: la conception suppose que le cache répond à 10 % des questions dans le scénario de base. La prochaine leçon explique ce nombre. À la fin se trouve une section[labour], pour la dernière leçon du module. La lignemodel = "small"dans[answers]n’a pas changé. -
Comparez les trois conceptions :
Fenêtre de terminal python -m costmodel optionsModel routing: the same 67 questions, the same search results (measured), base workload (cost model)design correct US$/question p50 s p95 s US$/monthchat-small only 86.6% 0.000171 1.52 3.79 51.90chat-strong only 85.8% 0.003197 2.48 6.56 173.99routed (small first) 86.6% 0.000815 1.76 4.02 77.89Cheapest design with the best measured quality: chat-small onlyLa commande affiche deux autres tableaux, sur le cache et le traitement par lots. La prochaine leçon les examine. Les temps concernent seulement l’appel au modèle, de l’ordinateur de l’équipe du cours au fournisseur.
-
Exécutez les tests :
Fenêtre de terminal python -m pytest -q................................... [100%]35 passed in 0.06sLe nombre n’a pas changé. Les tests de
options.pyarrivent dans la dernière leçon du module, avec le code qu’ils testent aussi.
Lire la matrice d’options
Section intitulée « Lire la matrice d’options »Kwame regroupe les trois conceptions et les cibles dans un tableau. C’est l’image principale du module : une matrice d’options de qualité, de latence et de coût, mesurés sur une même charge de travail.
| Conception | Réponses correctes (Q4 : au moins 85 %) | Réponses lentes (Q1 : p95 de la réponse complète d’au plus 6 s) | $ US par question | $ US par mois (base) |
|---|---|---|---|---|
| chat-small seulement | 86,6 % : cible atteinte | 0,48 + 0,32 + 3,79 = 4,59 s : cible atteinte | 0,000171 | 51,90 |
| chat-strong seulement | 85,8 % : cible atteinte de justesse | 0,48 + 0,32 + 6,56 = 7,36 s : cible manquée | 0,003197 (19×) | 173,99 (+235 %) |
| avec routage (petit modèle d’abord) | 86,6 % : cible atteinte | 0,48 + 0,32 + 4,02 = 4,82 s : cible atteinte | 0,000815 (4,8×) | 77,89 (+50 %) |
La colonne des réponses lentes additionne le p95 de chaque étape, comme au module 1 : le plongement (embedding) de la question (0,48 s), le modèle de reclassement (0,32 s) et le modèle. C’est une estimation supérieure. Voici les mêmes trois conceptions dans un graphique :
Description textuelle du graphique
Un nuage de points avec trois points étiquetés. L’axe horizontal représente le coût par 1 000 questions, de 0 à 4 dollars US. L’axe vertical représente la proportion de réponses correctes, de 0 à 100 %. chat-small seulement : 0,17 $ US par 1 000 questions, 86,6 % de réponses correctes. Avec routage : 0,82 $ US, 86,6 %. chat-strong seulement : 3,20 $ US, 85,8 %. Les trois points sont à la même hauteur; seule leur position de gauche à droite change.
Les trois points sont à la même hauteur. Le modèle puissant n’était pas meilleur sur ces questions, et le routage n’a changé aucun résultat. La conception la moins chère avec la meilleure qualité mesurée est chat-small seulement. La conception de fin de cours la conserve donc.
Deux autres nombres méritent une explication. Le calculateur établit le coût du routage avec chat-small pour chaque question, plus une réponse moyenne de chat-strong pour 20,15 % d’entre elles. Cela donne 0,000171 + 0,2015 × 0,003197 = 0,000815 $ US. Dans l’exécution réelle, la conception avec routage coûtait un peu moins : 0,00065 $ US par question. Les questions transférées donnaient surtout de courtes réponses « je ne sais pas ». Le nombre du calculateur est prudent, et la décision reste la même avec les deux.
Pourquoi le routage n’a pas aidé
Section intitulée « Pourquoi le routage n’a pas aidé »En moyenne, 13,5 des 67 questions ont été transférées par passage. Kwame a examiné chaque question transférée et chaque question à laquelle chat-small avait mal répondu. Cet examen explique mieux le résultat que les totaux.
Description textuelle du diagramme
Au passage 1, chat-small a refusé de répondre à 14 questions, donc la règle les a envoyées à chat-strong. Pour huit questions, les documents ne contiennent pas la réponse, comme pour le rabais étudiant. chat-strong a aussi refusé d’y répondre : la réponse était correcte deux fois et payée deux fois. Cinq étaient des échecs de recherche, où le bon passage n’était pas parmi les 5 premiers : Q13, Q26, Q28, Q36 et Q60. chat-strong a aussi refusé d’y répondre. Une était un piège d’injection, Q56, une question proche d’un document contenant une instruction insérée. chat-strong a aussi refusé d’y répondre, et l’échec est resté. Trois autres réponses incorrectes n’ont jamais été transférées. Il s’agissait des contradictions Q45 et Q46, et du piège d’injection Q57. chat-small y a répondu avec de bonnes citations, donc aucune règle ne s’est déclenchée. chat-strong se trompe aussi sur les trois.
Chaque échec restant a une cause qu’un modèle plus puissant ne peut pas corriger :
- Un échec de recherche exige une meilleure recherche : le bon passage doit atteindre les 5 premiers. Le cours de RAG montre comment les repérer dans Trouver où ça échoue.
- Une contradiction entre deux documents exige de corriger les documents, ou une règle dans la requête indiquant lequel a priorité.
- Un piège d’injection exige les défenses de Sécurité de l’IA, vie privée et conception responsable, pas un modèle plus puissant.
C’est le point principal de la leçon : mesurez avant de router. Un modèle plus puissant rédige mieux à partir des mêmes passages. Quand les passages sont mauvais, il rédige la même réponse incorrecte, ou refuse de répondre, pour 19 fois le prix.
Essayer une troisième règle : le score de recherche
Section intitulée « Essayer une troisième règle : le score de recherche »La règle de refus se déclenche sur les mauvaises questions. Peut-être qu’un autre signal se déclencherait sur les bonnes? L’explorateur ajoute la troisième règle : transférer aussi quand le meilleur passage obtient un score inférieur à T. Déplacer T vers la droite envoie plus de questions à chat-strong. Faites d’abord une prédiction.
Explorer
Envoyer plus de questions au modèle puissant permet-il d'acheter de la qualité?
Prédisez d’abord : Déplacez T de « off » (désactivé) jusqu'à l'extrême droite, où les 67 questions vont aussi à chat-strong. Combien de réponses correctes supplémentaires obtiendrez-vous parmi les 67? Et que devient le coût par question?
- Envoyées aussi à chat-strong (passage 1 · passage 2)
- 14 · 13
- Correctes sur 67 (passage 1 · passage 2)
- 58 · 58
- US$ par question (× chat-small seul)
- US$0,000651 (×3,8)
- p95 des appels au modèle (passage 1 · passage 2)
- 3,93 · 4,10 s
Seuil désactivé : seules les deux règles fixes escaladent. chat-small a refusé ou raté la vérification des citations sur 14 questions au passage 1 et 13 au passage 2. Correctes : 58 et 58 sur 67, exactement comme chat-small seul : les appels en plus n’ont changé aucun résultat. Chaque question coûte en moyenne 0,000651 US$, 3,8 fois chat-small seul. Le p95 des appels au modèle est de 4,10 s.
- passage 1
- passage 2
Description textuelle de l’explorateur
L’explorateur a une commande : un curseur pour le seuil T du score de reclassement du meilleur passage. Il va de désactivé à une valeur supérieure au score maximal, en 83 étapes; chaque étape dépasse le score d’une question. Trois panneaux partagent l’axe du seuil. Le premier montre les réponses correctes sur 67 pour les passages 1 et 2, avec une ligne pointillée à la cible de qualité de 57 (85 %). Le deuxième montre les dollars US par question, avec des lignes pointillées pour chat-small seulement (0,000171 $ US) et chat-strong seulement (0,003197 $ US). Le troisième montre le p95 en secondes des appels aux modèles, avec une ligne pointillée à la cible de 6 secondes. Quand T est désactivé, 14 et 13 questions sont transférées; 58 et 58 réponses sont correctes; le coût est de 0,00065 $ US; le p95 est de 3,9 et 4,1 s. À T = 0, environ 21 à 23 questions sont transférées; toujours 58 et 58 réponses correctes; le coût est d’environ 0,0011 $ US. À T = 2, 37 et 35 sont transférées; 57 et 58 réponses sont correctes; 0,0018 $ US; p95 de 7,1 et 6,7 s. À l’extrême droite, les 67 sont transférées; 57 et 58 réponses sont correctes; 0,0034 $ US par question; p95 de 9,8 et 10,0 s. Le nombre de réponses correctes reste entre 57 et 59 à chaque seuil; le coût et le p95 augmentent.
La ligne de qualité reste plate, entre 57 et 59, à chaque seuil. Le coût passe de 0,00065 $ US à 0,0034 $ US par question. Le p95 des appels aux modèles passe d’environ 4 à 10 secondes, bien au-dessus de la cible. La règle du score échoue pour la même raison : quand la recherche est faible, les deux modèles reçoivent les mêmes passages faibles.
Quand utiliser le routage
Section intitulée « Quand utiliser le routage »Utilisez le routage quand vous avez mesuré deux choses sur vos propres questions. D’abord, le modèle puissant répond mieux à certains types de questions. Ensuite, un signal peu coûteux repère ces questions avant l’envoi de la réponse. Une langue que le petit modèle maîtrise mal est un bon exemple. Les longues questions à plusieurs étapes aussi, si votre jeu d’évaluation montre cet écart.
N’utilisez pas le routage parce qu’un modèle est « plus puissant » selon un classement public. Ne l’utilisez pas pour corriger un problème de recherche. Comparez toujours avec la bonne référence de base : le petit modèle seul, pas « le modèle puissant pour tout ».
Le routage coûte plus que le deuxième appel. Il double le travail d’évaluation, car Priya doit tester les deux modèles avant chaque changement. Il ajoute du code et une règle à tenir à jour. Chaque transfert au modèle puissant ajoute de la latence aux réponses les plus lentes. La proposition conserve donc la mesure et un déclencheur pour mesurer de nouveau. Ces déclencheurs sont une nouvelle version du modèle, un nouveau type de question ou les documents d’un nouveau locataire.
Erreurs fréquentes
Section intitulée « Erreurs fréquentes »Erreur courante
Présenter le routage comme une économie
Symptôme : la proposition dit « le routage économise 55 % par rapport au modèle puissant ». La facture du nuage augmente ensuite de 50 % après le changement.
Cause : la comparaison utilisait la mauvaise référence de base. Avant le changement, la conception utilisait seulement chat-small, à 51,90 $ US par mois. Le routage coûte 77,89 $ US.
Correction : comparez chaque option à la conception actuelle, avec les mêmes questions et la même charge de travail. Inscrivez la référence de base dans la première ligne de la matrice des options.
Erreur courante
Comparer deux modèles sur des questions différentes
Symptôme : un test donne 95 % de réponses correctes pour chat-strong et 86 % pour chat-small. Sur le jeu de Grace, les deux modèles sont à égalité.
Cause : le modèle puissant a été testé sur 20 questions faciles d’une démonstration, avec une recherche différente. Le petit modèle a été testé sur les 67 questions avec la vraie recherche.
Correction : testez chaque conception sur les mêmes questions, avec les mêmes passages et la même requête (prompt). L’équipe du cours a rejoué les requêtes enregistrées. Seul le modèle a donc changé. Faites plus d’un passage : chat-small a changé son résultat sur 2 des 67 questions entre ses deux passages.
Réinitialisation. Si votre dossier ne fonctionne plus, copiez l’instantané end-of-m04 comme l’indique le README des instantanés. Supprimez buildbuy.py et tests/test_options.py jusqu’à la dernière leçon du module.
À vous de jouer : intégrer la conception avec routage au modèle de coûts
Section intitulée « À vous de jouer : intégrer la conception avec routage au modèle de coûts »Le fichier de conception choisit le modèle qui répond, dans la section [answers] (réponses). Remplacez model = "small" par model = "routed". Avant toute exécution, prédisez deux choses : le coût mensuel et le principal facteur de coût.
Exécutez ensuite python -m costmodel costs, puis remettez la valeur à "small".
Afficher la réponse
La matrice des options donnait déjà le total : 77,89 $ US. Le coût des jetons (tokens) de réponse passe de 6,76 $ US à environ 32 $ US. Ils deviennent donc le principal facteur de coût :
Monthly cost, scenario base, month 0 (2 tenants, 43,950 questions) Driver US$ per month share Model tokens: answers 32.25 41.4% Compute: API 27.43 35.2% Database server 13.50 17.3% Database storage 4.05 5.2% Retries 0.65 0.8% Model tokens: question embeddings 0.01 0.0% Model tokens: summaries 0.00 0.0% Compute: ingestion worker 0.00 0.0% File storage 0.00 0.0% Model tokens: ingestion 0.00 0.0% Database backups 0.00 0.0% Requests 0.00 0.0% Logs 0.00 0.0% Network out 0.00 0.0% Total 77.89Biggest driver: Model tokens: answers (41% of the total)Le coût des nouvelles tentatives augmente aussi, de 0,14 $ US à 0,65 $ US. Une nouvelle tentative d’appel au modèle puissant utilise encore ce modèle. Une seule ligne du fichier de conception a changé le principal facteur de coût. Ce n’est plus l’API toujours active, mais les jetons. Remettez la valeur à "small"; costs affiche de nouveau 51,90 $ US.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Prédisez : la règle « transférer quand chat-small refuse de répondre » se déclenche sur une question sans réponse dans les documents. Par exemple : « Offrons-nous un rabais étudiant? » Qu'ajoute le transfert au résultat, au coût et au temps?
Afficher la réponse
Rien au résultat : chat-small a refusé de répondre à juste titre, et chat-strong refuse aussi. Le coût de cette question passe d’environ 0,0001 $ US à environ 0,002 $ US, car les deux appels sont facturés. La personne attend aussi les deux appels : 1,21 + 1,64 = 2,85 s au lieu de 1,21 s lors de l’exécution mesurée. Au passage 1, 8 des 14 questions transférées étaient de ce type.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Tomás écrit : « La conception avec routage coûte 0,000815 $ US par question, soit le quart des 0,003197 $ US de chat-strong. Le routage économise donc de l'argent. » Qu'est-ce qui cloche dans cette phrase, et comment l'écririez-vous?
Afficher la réponse
La référence de base est mauvaise. La conception actuelle utilise seulement chat-small, à 0,000171 $ US par question et 51,90 $ US par mois. Par rapport à elle, le routage coûte 4,8 fois plus par question et 50 % de plus par mois (77,89 $ US). Il donne les mêmes 86,6 % de réponses correctes. Une phrase juste : « Sur les 67 questions de Grace, le routage coûte 50 % de plus par mois que chat-small seul, à qualité égale. Nous gardons chat-small. »
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Ines demande : « chat-strong a obtenu 85,8 % et chat-small, 86,6 %. Alors, le modèle puissant est moins bon? » Répondez-lui avec la mesure et nommez un changement qui améliorerait vraiment les réponses.
Afficher la réponse
Non, la mesure ne montre aucune différence : 57 et 58 réponses correctes pour chat-strong, 58 et 58 pour chat-small. Il s’agit de deux passages de 67 questions. L’écart est d’une réponse. chat-small a lui-même changé son résultat sur 2 questions entre ses deux passages. Le modèle puissant n’est pas meilleur ici. Il est aussi plus lent (p95 de 6,56 s contre 3,79 s) et 19 fois plus cher. Une meilleure recherche apporterait une vraie amélioration. Cinq des neuf échecs viennent de la recherche : le bon passage ne figurait pas parmi les 5 premiers. Corriger les deux contradictions dans les documents aiderait aussi.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Routage entre modèles : une règle choisit le modèle qui répond. Habituellement, le petit modèle répond d’abord. Un signal peu coûteux déclenche ensuite un transfert au modèle puissant.
- Une question transférée entraîne la facturation des deux appels et l’attente des deux réponses. Le routage économise seulement par rapport au « modèle puissant pour tout ». Il améliore la qualité seulement si le modèle puissant corrige les réponses aux questions transférées.
- Le résultat mesuré sur les 67 questions de Grace : chat-small 86,6 %, 0,000171 $ US, p95 3,79 s · chat-strong 85,8 %, 0,003197 $ US, p95 6,56 s · routage 86,6 %, 0,000815 $ US, p95 4,02 s. Par mois : 51,90 $ US / 173,99 $ US / 77,89 $ US.
- Aucun transfert n’a changé un résultat. Les échecs viennent de la recherche, des contradictions et des pièges d’injection. Un modèle plus puissant ne corrige pas l’absence d’un passage.
- Un seuil de score comme troisième règle maintient la qualité entre 57 et 59 réponses correctes. Il augmente le coût jusqu’à 0,0034 $ US et le p95 jusqu’à 10 s.
- La conception conserve chat-small seulement et consigne quand mesurer de nouveau.
Ensuite, une autre façon de réduire la facture : cesser de payer à nouveau pour du travail que le système a déjà fait.
Leçon suivante : Cache et traitement par lots