Un catalogue de capacités à partir de résultats d'évaluation publics
- Étude de cas 1
- 150 min
- Facultative · 1 étude de cas requise pour le certificat
Où nous en sommes
Dans ce cours, nous avons rédigé les contrats de capacités de Larkfield à partir de ses propres évaluations enregistrées. La barrière de réassociation a bloqué un modèle moins cher parce qu'un consommateur échouait. La plupart des organisations n'ont pas leurs propres évaluations au premier jour. Dans cette étude de cas, une entreprise dont le seul modèle sera bientôt retiré crée son premier catalogue. Elle utilise des résultats de bancs d'essai publics et un fichier de prix public. Les contrats, la barrière et les règles viennent du cours; seules les preuves sont nouvelles.
Étude de cas 1 sur 3 · Gouverner les agents d'IA : passerelles, registres et contrôlesUn catalogue de capacités à partir de résultats d'évaluation publics
1. Pourquoi les agents ont besoin de contrôles de plateforme
2. Demander des capacités, pas des modèles
3. Enregistrer chaque agent
4. La passerelle de modèles
5. Gouverner les outils et les actions
6. Utilisation, preuves et IA fantôme
7. Construire, acheter et déployer
Ce que vous saurez faire
Créez le premier catalogue de capacités d’une entreprise à partir de preuves publiques. Vous rédigez les contrats et fixez le minimum propre à chaque application. Des règles choisissent ensuite l’association à partir d’un fichier de prix public et de résultats de bancs d’essai sous licence ouverte. Vous voyez comment l’association change quand le seul modèle de l’entreprise est retiré, puis si un deuxième l’était. Vous terminez par une recommandation qui précise ce que les données publiques ne peuvent pas vous dire.
Cette étude de cas est un petit dossier de projet, public-catalog, qui suit le style du cours : Python, YAML et une ligne de commande. Le projet de départ contient les données, les chargeurs et les vérifications. Vous rédigez un contrat, un minimum et la décision de la barrière. Vous laissez ensuite le projet choisir et écrire l’association. Le projet terminé constitue le résultat, à consulter si vous bloquez ou voulez comparer. Le code est sous licence MIT; vous pouvez donc publier votre version.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
Cette étude de cas utilise le catalogue et la barrière du cours. Voici les leçons les plus importantes :
- Les capacités et leurs contrats, dans Un catalogue de capacités.
- Les associations, les solutions de repli et les règles de données, dans Associer les capacités aux modèles.
- La barrière de réassociation par consommateur, et pourquoi la moyenne est une mauvaise vérification, dans Modifier une association en toute sécurité.
- L’enregistrement qui nomme l’évaluation de chaque consommateur, dans Le contenu d’un enregistrement, et la fenêtre de révision de 60 jours, dans Le cycle de vie d’un agent.
Cette page enseigne une nouvelle idée : un score public appartient à un seul réglage du modèle.
Ce qu’il vous faut sur votre ordinateur
- Python 3.12 ou plus récent, VS Code et un terminal, comme dans le cours.
- Environ 40 Mo d’espace disque libre pour l’environnement virtuel.
- Aucun compte, aucune clé et aucune dépense. Tout s’exécute sur votre ordinateur à partir des fichiers du projet. Une étape facultative télécharge les dernières données publiques (environ 5 Mo).
Testé sur macOS (Apple silicon) avec Python 3.12.13, PyYAML 6.0.3 et pytest 9.1.1, depuis une copie neuve du projet de départ. Les commandes Windows (PowerShell) et Linux sont fournies, mais elles n’ont pas été exécutées pour le cours.
La situation
Section intitulée « La situation »Hollin Energy fournit de l’électricité et du gaz à environ 300 000 foyers. Trois équipes ont chacune créé une application d’IA, en copiant le code de la première équipe :
- L’assistant de soutien (Joel, service à la clientèle) rédige des réponses aux questions des clients sur leurs factures. Un agent lit chaque réponse avant son envoi.
- L’agent de facturation (Ada, facturation) calcule les factures corrigées et les plans de paiement avec des outils. Une personne approuve chaque changement.
- L’assistant de recherche (Lena, ingénierie du réseau) répond de mémoire aux questions des ingénieurs sur les normes et l’équipement, sans recherche Web.
Les trois appellent directement le même modèle, avec la même clé : o3-2025-04-16 sur l’API OpenAI. Noor, l’ingénieure de plateforme, lit un fichier de prix public et trouve cette ligne à côté du modèle : deprecation_date: 2026-12-11. Le fournisseur retire le modèle dans 50 jours. Ce jour-là, les trois applications s’arrêtent en même temps.
Ben, des finances, a une réponse rapide : « Prenez le premier modèle d’un classement et faites passer tout le monde dessus. » Noor a un autre plan. Elle veut que les applications demandent une capacité, comme le cours l’a enseigné. Ainsi, le prochain retrait changera une ligne plutôt que trois applications. Mais Hollin n’a pas encore ses propres évaluations. Le premier catalogue doit donc reposer sur des preuves publiques et préciser ce qu’elles ne peuvent pas montrer.
Hollin Energy, son personnel, ses applications, ses contrats et ses charges de travail sont inventés pour cette étude de cas. Les modèles, fournisseurs, scores, prix et dates sont de vraies données publiques, tirées des deux sources ci-dessous.
Ce que vous allez créer
Section intitulée « Ce que vous allez créer »| Fichier | Son contenu | Partie |
|---|---|---|
config/models.yaml |
les preuves publiques pour 61 modèles : scores par réglage, offres par fournisseur | Les données |
config/catalog.yaml |
deux contrats, fast-small et strong-reasoning, et leur association |
Les contrats |
config/consumers/*.yaml |
les trois applications, avec leur propre banc d’essai et leur minimum | Le minimum propre à chaque application |
pubcat/gate.py |
la décision de la barrière | La barrière fondée sur les preuves publiques |
docs/RECOMMENDATION.md |
la décision, les preuves, le coût et les limites | La recommandation |
Description textuelle du diagramme
Deux fichiers publics alimentent le projet. Les résultats d’Epoch AI donnent un score par modèle et réglage. Le fichier de prix de LiteLLM donne le prix, les caractéristiques et la date de retrait de chaque modèle chez chaque fournisseur. Ils deviennent config/models.yaml, soit 61 modèles avec 102 offres. Avec les quatre fournisseurs de Hollin, cela donne 227 cibles : un modèle, chez un fournisseur, avec un réglage. Chaque cible passe la vérification du contrat, puis la barrière, où chaque application doit atteindre son propre minimum. La cible la moins chère qui réussit devient l’association, avec une solution de repli. Une date de retrait supprime des cibles, et les mêmes règles choisissent à nouveau.
Préparer le projet
Section intitulée « Préparer le projet »-
Téléchargez le projet de départ depuis l’encadré en haut de cette page. Décompressez-le dans votre dossier de projets, par exemple
~/projects. Vous obtenez le dossierpublic-catalog. Ouvrez-le dans VS Code. -
Dans le terminal de VS Code, créez un environnement virtuel et installez les deux paquets :
Fenêtre de terminal python3 -m venv .venvsource .venv/bin/activatepython -m pip install -r requirements.txtFenêtre de terminal py -m venv .venv.venv\Scripts\Activate.ps1python -m pip install -r requirements.txtFenêtre de terminal python3 -m venv .venvsource .venv/bin/activatepython -m pip install -r requirements.txtLes paquets sont PyYAML 6.0.3 et pytest 9.1.1, les versions du projet du cours. Votre environnement virtuel du cours fonctionne aussi.
-
Exécutez les tests :
python -m pytest -q --tb=no. La dernière ligne indique13 failed, 11 passed(13 échecs, 11 réussites). C’est normal : chaque test qui échoue appartient à l’une des quatre tâches, et son message nomme la tâche. À la fin, les 24 tests réussissent.
Les données
Section intitulée « Les données »Le projet réunit deux sources publiques. Les deux se trouvent dans data/, sous forme de copies figées, sans modification, avec un fichier SHA256SUMS.
Les résultats de bancs d’essai d’Epoch AI. Epoch AI, un organisme de recherche, exécute des bancs d’essai publics sur de nombreux modèles et publie chaque résultat. Le projet utilise trois de ses fichiers de bancs d’essai. GPQA Diamond contient 198 questions scientifiques difficiles de niveau universitaire supérieur. OTIS Mock AIME 2024–2025 contient des problèmes de concours de mathématiques avec des réponses exactes. SimpleQA Verified contient de courtes questions factuelles, auxquelles le modèle répond de mémoire, sans recherche. Une ligne représente un modèle, avec un réglage, sur un banc d’essai : la proportion de réponses correctes (mean_score) et son erreur-type (stderr).
Le fichier de prix de LiteLLM. LiteLLM est une passerelle à code source ouvert. Son projet maintient un grand fichier avec une entrée pour chaque modèle chez chaque fournisseur. Une entrée contient le prix courant par jeton (token) et les caractéristiques enregistrées par LiteLLM, comme l’appel de fonctions. Elle contient parfois une deprecation_date (date de retrait), le jour où le fournisseur retire le modèle.
Noor a d’abord comparé d’autres sources. Le classement LMArena (CC BY 4.0) donne des évaluations relatives issues des votes du public. Un minimum fixe changerait donc de sens avec l’arrivée de nouveaux modèles. Nous n’avons trouvé aucune licence pour les résultats du Open LLM Leaderboard, qui couvrent seulement les modèles à poids ouverts. Les pages de prix des fournisseurs n’ont pas de licence ouverte; l’étude de cas fournit donc des liens vers elles.
Premières vérifications
Section intitulée « Premières vérifications »Vérifiez que les fichiers sont ceux utilisés dans l’étude de cas, et comptez leur contenu :
python -m pubcat dataChecksums: 6 files match SHA256SUMS gpqa_diamond 325 results, 225 models otis_mock_aime_2024_2025 305 results, 204 models simpleqa_verified 92 results, 83 modelsModels with a public score: 234; with an offer at one of our providers: 61; without: 173Ce que cela nous dit. Les fichiers n’ont pas changé. Epoch AI a testé beaucoup plus de modèles sur GPQA Diamond que sur SimpleQA Verified. Les scores manquants seront fréquents, et un score manquant n’est pas un zéro. Seuls 61 des 234 modèles sont offerts par l’un des quatre fournisseurs de Hollin. Les 173 autres proviennent d’autres fournisseurs, sont plus anciens, ou ont des poids ouverts sans prix d’hébergement. Les fournisseurs de Hollin figurent dans config/providers.yaml : OpenAI, Azure OpenAI, Google Cloud Vertex AI et Anthropic. Chacun a un contrat comprenant une entente de traitement des données, ce qui constitue une hypothèse de l’étude de cas. Un fournisseur absent du fichier n’est jamais appelé, quels que soient ses scores, comme dans Associer les capacités aux modèles.
Le fichier de preuves
Section intitulée « Le fichier de preuves »Créez config/models.yaml, les preuves que le catalogue lit, et examinez le modèle actuel :
python -m pubcat modelspython -m pubcat show o3-2025-04-16Wrote config/models.yaml: 61 models, 102 offersLeft out: 173 models with a public score but no offer at our providersModel: o3-2025-04-16 (OpenAI) gpqa_diamond low 0.798 ±0.029, medium 0.808 ±0.028, high 0.818 ±0.021 otis_mock_aime_2024_2025 low 0.600 ±0.074, medium 0.844 ±0.055, high 0.839 ±0.044 simpleqa_verified high 0.494 ±0.016 offer azure US$2.0 in / US$8.0 out per 1M tokens; chat, structured_output, tools, images; retires 2026-11-19 offer openai US$2.0 in / US$8.0 out per 1M tokens; chat, structured_output, tools, images; retires 2026-12-11Ce que cela nous dit. Trois choses. D’abord, un modèle a plusieurs scores : o3 a résolu 60 % des problèmes de mathématiques à low (faible) et 84 % à high (élevé). Ensuite, le même modèle est retiré à des dates différentes selon le fournisseur : le 11 décembre 2026 chez OpenAI, le 19 novembre 2026 chez Azure. Une date de retrait appartient à une offre, pas à un modèle. Enfin, chaque score a une erreur-type. Sur 198 questions, ±0,029 correspond à environ six questions; une différence de 0,01 entre deux modèles ne signifie donc rien.
models.yaml est le models.yaml du cours avec deux ajouts : les scores publics, et un prix et une date de retrait par fournisseur. Ne le modifiez pas à la main. Changez les données ou les fournisseurs, puis reconstruisez-le.
Un score public appartient à un seul réglage
Section intitulée « Un score public appartient à un seul réglage »Pensez à la consommation de carburant d’une voiture. La brochure indique « 4,2 litres aux 100 km ». Les petits caractères précisent « à une vitesse constante de 50 km/h ». En ville, avec les arrêts et les départs, la même voiture consomme 7 litres. Le chiffre est vrai, mais seulement dans les conditions où il a été mesuré.
Les scores des modèles fonctionnent de la même façon. De nombreux modèles acceptent un réglage de raisonnement, comme reasoning_effort (effort de raisonnement) : none (aucun), low, high ou max (maximal). Un réglage plus élevé permet au modèle de raisonner plus longtemps avant de répondre. Il répond mieux aux questions difficiles, mais plus lentement et avec plus de jetons de sortie, que vous payez. Epoch AI écrit le réglage après le nom du modèle : gpt-5.6-luna_low désigne le modèle gpt-5.6-luna à low.
python -m pubcat show gpt-5.6-lunaModel: gpt-5.6-luna (OpenAI) gpqa_diamond none 0.636 ±0.034, low 0.823 ±0.027, max 0.916 ±0.017 otis_mock_aime_2024_2025 none 0.400 ±0.074, low 0.667 ±0.071, max 0.983 ±0.012 simpleqa_verified max 0.410 ±0.016 offer azure US$0.2 in / US$1.2 out per 1M tokens; chat, structured_output, tools, images; retires 2028-01-11 offer openai US$0.2 in / US$1.2 out per 1M tokens; chat, structured_output, tools, images; retires no date in the price fileLa règle est donc : un score compte seulement pour une association qui envoie le même réglage. Dans le cours, une association contient déjà ses réglages (params, dans Associer les capacités aux modèles). Le projet cherche le score correspondant au réglage de l’association. Un score manquant pour ce réglage signifie aucune preuve.
- gpt-5.6-luna
- gpt-5.4-nano
- o3
Description textuelle du graphique
Neuf colonnes de trois couleurs, une couleur par modèle. gpt-5.6-luna : none 0,64, low 0,82, max 0,92. gpt-5.4-nano : none 0,56, low 0,72, high 0,78. o3 : low 0,80, medium 0,81, high 0,82. L’axe commence à 0,5. Pour les deux petits modèles, le réglage change le score de 0,2 à 0,3, plus que l’écart entre la plupart des modèles. Pour o3, le réglage le change de 0,02.
Larkfield a rencontré le même effet dans ce cours. Dans Modifier une association en toute sécurité, chat-small, le modèle gpt-6-luna-2026-09-22, a échoué pour les deux consommateurs de Larkfield avec reasoning_effort: none. Epoch AI présente la même famille de modèles seulement à max, avec 0,905 sur GPQA Diamond. Les deux résultats sont vrais. Ils mesurent des réglages et des tâches différents.
Les contrats
Section intitulée « Les contrats »Le catalogue utilise le format du cours. Une capacité a un contrat (ce qu’elle promet) et une association (ce qui la fournit). Deux parties changent, parce que les preuves sont publiques :
settings(réglages) énumère les réglages de raisonnement qu’une association peut envoyer. Les résultats publics ne montrent pas la latence. Hollin utilise donc cette règle pour la vitesse et le coût :fast-smallautorise seulementnone,minimal(minimal) etlow.quality_floor(plancher de qualité) nomme un banc d’essai public, par son nom de fichier, et un minimum au réglage associé.
Ouvrez config/catalog.yaml. Le contrat de fast-small est complet :
| Partie | fast-small | strong-reasoning |
|---|---|---|
| Pour | réponses courtes et brouillons sur les factures | calculs en plusieurs étapes, réponses de recherche |
| Caractéristiques | chat, structured_output, tools | chat, structured_output, tools |
| Réglages | none, minimal, low | low, medium, high, xhigh, max |
| Plancher de qualité | GPQA Diamond ≥ 0,74 | OTIS Mock AIME 2024–2025 ≥ 0,75 |
| Classes de données | public, internal, personal | public, internal, personal |
| Fourchette de prix (entrée / sortie, $ US par million de jetons) | 0,50 / 2,00 | 2,50 / 12,00 |
Pourquoi GPQA Diamond pour l’assistant de soutien? Aucun banc d’essai public ne pose de questions sur les factures. GPQA Diamond couvre le plus de modèles aux réglages faibles. C’est donc le filtre le plus large pour « raisonne assez bien quand il répond vite », pas un test de la tâche. Pourquoi OTIS Mock AIME pour strong-reasoning? Ses problèmes exigent plusieurs étapes exactes de suite, comme une facture corrigée. Les deux fourchettes de prix viennent de Larkfield, dans Un catalogue de capacités.
Tâche 1 : compléter le contrat strong-reasoning
Section intitulée « Tâche 1 : compléter le contrat strong-reasoning »-
Dans
config/catalog.yaml, sousstrong-reasoning:etcontract:, remplacezminimum: nullparminimum: 0.75. Le plancher est le minimum de l’agent de facturation, principal consommateur de la capacité, que vous découvrirez dans la prochaine partie. -
Remplacez
price_band_usd_per_1m: {input: null, output: null}parprice_band_usd_per_1m: {input: 2.50, output: 12.00}. -
Exécutez le test de la tâche :
python -m pytest -q -k strong_reasoning_contract. Il affiche1 passed, 23 deselected(1 réussite, 23 tests non sélectionnés). -
Vérifiez l’association actuelle par rapport aux contrats :
Fenêtre de terminal python -m pubcat checkfast-small -> openai/o3-2025-04-16: the input price 2.0 is above the contract's band 0.5fast-small -> openai/o3-2025-04-16: the output price 8.0 is above the contract's band 2.0fast-small -> openai/o3-2025-04-16: retires on 2026-12-11 (50 days), inside the 60-day review windowstrong-reasoning -> openai/o3-2025-04-16: retires on 2026-12-11 (50 days), inside the 60-day review window
Ce que cela nous dit. Le catalogue de départ associe les deux capacités à o3, comme les applications l’appellent aujourd’hui. Chaque ligne nomme la capacité, la cible et la règle enfreinte, comme le fait estate catalog check dans le cours. Deux problèmes sont nouveaux. La fenêtre de retrait : une cible retirée dans les 60 jours échoue à la vérification, car une réassociation prend du temps. C’est la fenêtre de révision du Le cycle de vie d’un agent. Et la fourchette de prix : l’assistant de soutien paie le prix d’un modèle puissant pour de courts brouillons. C’était déjà vrai avant le retrait, mais personne n’avait écrit la fourchette.
Le minimum propre à chaque application
Section intitulée « Le minimum propre à chaque application »La barrière du cours exécute l’évaluation de chaque application consommatrice selon son propre minimum. Hollin n’a pas encore d’évaluations. Chaque application indique donc un banc d’essai public et un minimum dans son fichier dans config/consumers/. Chaque application a aussi une charge de travail : les jetons qu’elle envoie et reçoit en un mois. Ce sont les estimations des responsables, une hypothèse.
Quel minimum? Chaque responsable a choisi la même règle : pas moins bon qu’aujourd’hui. Le modèle actuel est o3, avec le réglage de l’application. Un score comporte une incertitude. « Pas moins bon » signifie donc « pas inférieur au score actuel moins deux erreurs-types ». Une baisse plus petite pourrait venir du bruit.
| Application (responsable) | Capacité | Banc d’essai | Aujourd’hui (o3) | Minimum | Charge de travail mensuelle (hypothèse) |
|---|---|---|---|---|---|
| Assistant d’aide (Joel) | fast-small | GPQA Diamond | 0,798 ± 0,029 avec low | 0,798 − 2 × 0,029 = 0,74 | 40 M de jetons en entrée, 6 M en sortie |
| Agent de facturation (Ada) | strong-reasoning | OTIS Mock AIME | 0,839 ± 0,044 avec high | 0,839 − 2 × 0,044 = 0,75 | 8 M en entrée, 2 M en sortie |
| Assistant de recherche (Lena) | strong-reasoning | SimpleQA Verified | 0,494 ± 0,016 avec high | votre tâche | 3 M en entrée, 1 M en sortie |
Tâche 2 : le minimum de l’assistant de recherche
Section intitulée « Tâche 2 : le minimum de l’assistant de recherche »- Trouvez le score actuel et l’erreur-type d’o3 sur SimpleQA Verified dans la sortie de
python -m pubcat show o3-2025-04-16ci-dessus. - Calculez le score actuel moins deux erreurs-types, puis arrondissez vers le bas à deux décimales.
- Dans
config/consumers/research-assistant.yaml, remplacezminimum: nullet son commentaire par votre nombre. Écrivez le calcul danswhy:. - Exécutez
python -m pytest -q -k research_assistants_minimum. La commande affiche1 passed, 23 deselected(1 test réussi, 23 tests non sélectionnés).
Vérifiez votre réponse
0,494 − 2 × 0,016 = 0,462, arrondi vers le bas à 0,46. La ligne devient minimum: 0.46, et why: peut contenir "no worse than today: 0.494 - 2 x 0.016 = 0.462, rounded down to 0.46" (pas moins bon qu’aujourd’hui : 0,494 − 2 × 0,016 = 0,462, arrondi vers le bas à 0,46).
Le minimum de Lena est faible en valeur absolue : o3 répond à moins de la moitié des questions. C’est le sens de « pas moins bon qu’aujourd’hui ». Aujourd’hui, l’assistant de recherche connaît mal les faits de mémoire, et la nouvelle association ne doit pas empirer la situation. Pour l’améliorer, il faut un outil de recherche, pas un nouveau modèle.
La barrière fondée sur les preuves publiques
Section intitulée « La barrière fondée sur les preuves publiques »Tâche 3 : écrire la décision de la barrière
Section intitulée « Tâche 3 : écrire la décision de la barrière »Essayez la barrière avant de l’écrire, avec l’un des modèles les moins chers du fichier, gpt-6-luna :
python -m pubcat gate strong-reasoning --to openai/gpt-6-luna --param reasoning_effort=maxL’exécution s’arrête avec NotImplementedError: Task 3: write the gate's decision in pubcat/gate.py (tâche 3 : écrire la décision de la barrière dans pubcat/gate.py).
- Ouvrez
pubcat/gate.pyet trouvezdecide(). Cette fonction reçoit une ligne par application consommatrice. Chacune contient un"verdict"(verdict) :"pass"(réussite),"fail"(échec) ou"no evidence"(aucune preuve). - Remplacez les trois lignes de la tâche 3 par une seule ligne. Elle renvoie
"pass"s’il existe une ligne et que tous les verdicts sont"pass". Sinon, elle renvoie"block"(blocage). - Exécutez
python -m pytest -q -k every_consumer. La commande affiche4 passed, 20 deselected(4 tests réussis, 20 tests non sélectionnés). Les quatre cas sont : deux réussites, un échec, une absence de preuves et aucune application consommatrice.
Vérifiez votre code
def decide(rows: list[dict]) -> str: """The gate's decision: 'pass' only if there is at least one consumer and EVERY consumer passes its own minimum. A failed consumer or a consumer without evidence blocks the remap. The average does not count.""" return "pass" if rows and all(r["verdict"] == "pass" for r in rows) else "block"rows and bloque une capacité sans applications consommatrices : sans application qui réussit, rien n’est prouvé.
La barrière appliquée à trois candidats
Section intitulée « La barrière appliquée à trois candidats »Faites d’abord une prédiction : gpt-6-luna avec max (maximum) coûte 20 fois moins par jeton qu’o3. Réussit-il pour les deux applications consommatrices de strong-reasoning? La moyenne de leurs scores dépasse-t-elle la moyenne de leurs minimums?
python -m pubcat gate strong-reasoning --to openai/gpt-6-luna --param reasoning_effort=maxRemap gate: strong-reasoning from openai/o3-2025-04-16 {'reasoning_effort': 'high'} to openai/gpt-6-luna {'reasoning_effort': 'max'}
billing-agent PASS otis_mock_aime_2024_2025 0.989 (minimum 0.75); today 0.839; US$1.80 vs US$32.00 a month today research-assistant FAIL simpleqa_verified 0.414 (minimum 0.46); today 0.494; US$0.80 vs US$14.00 a month today
Average of the consumers' scores: 0.701 (average of their minimums: 0.605)Decision: BLOCK - every consumer must pass its own evaluationCe que cela nous apprend. C’est le cas de Modifier une association en toute sécurité, avec de vraies données publiques et aucune application consommatrice construite. La moyenne des deux scores, 0,701, dépasse largement le minimum moyen de 0,605. Un classement fondé sur la moyenne des bancs d’essai placerait ce modèle parmi les meilleurs. Mais l’assistant de recherche perdrait 8 points d’exactitude factuelle, et seul le minimum propre à Lena le montre.
Deux autres candidats montrent les autres résultats possibles :
python -m pubcat gate strong-reasoning --to anthropic/claude-haiku-5-5 --param reasoning_effort=highpython -m pubcat gate strong-reasoning --to vertex/gemini-3.8-flash --param reasoning_effort=high billing-agent PASS otis_mock_aime_2024_2025 0.972 (minimum 0.75); today 0.839; US$1.80 vs US$32.00 a month today research-assistant NO EVIDENCE no public simpleqa_verified score for claude-haiku-5-5 at high: no evidence, no remapDecision: BLOCK - every consumer must pass its own evaluation
billing-agent PASS otis_mock_aime_2024_2025 0.989 (minimum 0.75); today 0.839; US$13.50 vs US$32.00 a month today research-assistant PASS simpleqa_verified 0.697 (minimum 0.46); today 0.494; US$6.00 vs US$14.00 a month todayDecision: PASS(La première ligne et les lignes vides de chaque exécution sont omises ici.) Epoch AI a testé claude-haiku-5-5 sur SimpleQA Verified uniquement avec max. Avec high (élevé), Lena n’a aucune preuve, donc la barrière bloque : « sans preuve, pas de nouvelle association », comme dans le cours. gemini-3.8-flash avec high réussit pour les deux applications.
Explorer ce dont la décision a besoin
Section intitulée « Explorer ce dont la décision a besoin »La question de Ben concerne l’argent, et celle de Noor concerne les règles. Un tableau répond aux deux. Listez toutes les cibles qui respectent le contrat de strong-reasoning, de la moins chère à la plus chère. Incluez le verdict de chaque application consommatrice :
python -m pubcat candidates strong-reasoning --limit 16strong-reasoning: 227 targets, 43 keep the contract, 13 also pass every consumer. Cheapest first: target US$/month billing-agent research-assistant azure/gpt-5-nano-2025-08-07 {'reasoning_effort': 'high'} 1.75 pass 0.811 fail 0.117 openai/gpt-6-luna {'reasoning_effort': 'max'} 2.60 pass 0.989 fail 0.414 azure/gpt-6-luna {'reasoning_effort': 'max'} 2.60 pass 0.989 fail 0.414 anthropic/claude-haiku-5-5 {'reasoning_effort': 'high'} 2.60 pass 0.972 no evidence anthropic/claude-haiku-5-5 {'reasoning_effort': 'xhigh'} 2.60 pass 0.989 no evidence vertex/claude-haiku-5-5 {'reasoning_effort': 'high'} 2.60 pass 0.972 no evidence vertex/claude-haiku-5-5 {'reasoning_effort': 'xhigh'} 2.60 pass 0.989 no evidence openai/gpt-5.6-luna {'reasoning_effort': 'max'} 5.80 pass 0.983 fail 0.410 azure/gpt-5.6-luna {'reasoning_effort': 'max'} 5.80 pass 0.983 fail 0.410 openai/gpt-5.4-nano-2026-03-17 {'reasoning_effort': 'high'} 5.95 pass 0.878 fail 0.117 azure/gpt-5.4-nano-2026-03-17 {'reasoning_effort': 'high'} 5.95 pass 0.878 fail 0.117 vertex/gemini-3.1-flash-lite {'reasoning_effort': 'high'} 7.25 pass 0.800 no evidence azure/gpt-5-mini-2025-08-07 {'reasoning_effort': 'high'} 8.75 pass 0.867 fail 0.216 azure/gpt-5-mini-2025-08-07 {'reasoning_effort': 'medium'} 8.75 pass 0.783 no evidence vertex/gemini-3.8-flash {'reasoning_effort': 'high'} 19.50 pass 0.989 pass 0.697 vertex/gemini-3.7-flash {'reasoning_effort': 'high'} 19.50 pass 0.972 pass 0.692Ce que cela nous apprend. Une cible est un modèle chez un fournisseur avec un réglage. Un modèle donne donc plusieurs lignes. L’agent de facturation réussit à chaque ligne : le seuil du contrat correspond à son minimum. L’assistant de recherche détermine le résultat. Les mathématiques et les faits connus de mémoire sont des compétences différentes. Les petits modèles résolvent les problèmes de concours, mais manquent la plupart des faits. La ligne de gpt-5-nano le montre, avec 0,811 et 0,117. Remarquez aussi azure/gpt-5-nano-2025-08-07 : l’offre OpenAI du même modèle ne figure pas dans la liste. Elle sera retirée le 11 décembre 2026. Celle d’Azure sera retirée le 9 février 2027, hors de la période.
- respecte chaque règle et réussit pour chaque application consommatrice
- bloqué par l'assistant de recherche
Description textuelle du graphique
Dix-huit points. Les cinq moins chers, de 1,75 $ US à 8,75 $ US par mois, sont tous sous le minimum de Lena de 0,46 : gpt-5-nano avec high obtient 0,117, et gpt-6-luna avec max, 0,414. Les premiers points au-dessus de la ligne sont gemini-3.8-flash et gemini-3.7-flash avec high, à 19,50 $ US, avec 0,697 et 0,692. Plus à droite, de 43,50 $ US à 58 $ US, se trouvent de plus grands modèles. Certains sont au-dessus de la ligne, comme gpt-6.1-sol avec max, qui obtient 0,739 à 52 $ US. D’autres sont en dessous. Le prix et l’exactitude factuelle n’ont qu’un lien faible.
L’entonnoir montre combien de cibles chaque règle élimine. choose (choisir) l’affiche pour chaque capacité :
strong-reasoning: all targets (model x provider x setting) 227 is not a preview model 219 has the contract's features 201 uses an allowed setting 141 inside the price band 80 the provider may receive the data 80 does not retire inside the review window 56 reaches the contract's floor 43 every consumer passes its own minimum 13Chaque règle correspond à une ligne de check_target() dans pubcat/catalog.py. Les modèles en préversion sont exclus, car les fournisseurs peuvent modifier ou retirer une préversion avec peu de préavis. L’étape des données n’en élimine aucun ici : tous les fournisseurs de Hollin peuvent recevoir des données personnelles, une hypothèse. La période de retrait élimine 24 cibles. Dix sont chez OpenAI et seront retirées le 11 décembre 2026, le même jour qu’o3. Six autres seront retirées chez OpenAI le 23 octobre 2026.
Une référence de base et trois options, selon une seule mesure
Section intitulée « Une référence de base et trois options, selon une seule mesure »Ben a demandé le premier modèle d’un classement. C’est une option valable. Le projet compare donc quatre façons de choisir, selon une seule mesure. Chaque méthode doit respecter toutes les règles : le contrat et le minimum de chaque application consommatrice. Ensuite, le coût mensuel le plus bas gagne.
python -m pubcat compareapproach broken rules US$/month1. keep today's model 4 174.00 fast-small: openai/o3-2025-04-16 {'reasoning_effort': 'low'} - price; retire strong-reasoning: openai/o3-2025-04-16 {'reasoning_effort': 'high'} - retire2. top of a leaderboard 3 192.00 fast-small: vertex/gemini-4-argon {'reasoning_effort': 'high'} - price; settings strong-reasoning: vertex/gemini-4-argon {'reasoning_effort': 'high'} - keeps every rule3. cheapest that keeps the contract 1 16.95 fast-small: openai/gpt-5.6-luna {'reasoning_effort': 'low'} - keeps every rule strong-reasoning: azure/gpt-5-nano-2025-08-07 {'reasoning_effort': 'high'} - research-assistant below its minimum4. cheapest that passes every consumer 0 34.70 fast-small: openai/gpt-5.6-luna {'reasoning_effort': 'low'} - keeps every rule strong-reasoning: vertex/gemini-3.8-flash {'reasoning_effort': 'high'} - keeps every rule
US$/month: the consumers' assumed workloads at list prices per token (more output tokens at a higher setting are not counted).Ce que cela nous apprend.
- Garder le modèle actuel est la référence de base. Il coûte 174 $ US par mois et s’arrête le 11 décembre.
- Le premier modèle d’un classement est celui dont la moyenne des trois scores publics est la plus élevée avec un réglage : gemini-4-argon avec
high. Pourstrong-reasoning, il respecte toutes les règles. Mais il coûte plus cher qu’aujourd’hui. Pour l’assistant d’aide, il ne respecte ni la fourchette de prix ni la règle de réglage. - Le moins cher qui respecte le contrat semble offrir une économie de 90 %. Il envoie les questions de Lena à un modèle qui trouve 12 % des faits.
- Le moins cher qui réussit pour chaque application consommatrice respecte toutes les règles et coûte 34,70 $ US par mois. C’est 80 % de moins qu’aujourd’hui.
Seule la quatrième option tient toutes les promesses. Elle coûte deux fois plus que la troisième. La différence, 17,75 $ US par mois, est le prix à payer pour ne pas dégrader l’assistant de recherche.
La recommandation
Section intitulée « La recommandation »Tâche 4 : laisser les règles choisir et écrire l’association
Section intitulée « Tâche 4 : laisser les règles choisir et écrire l’association »-
Proposez une association pour chaque capacité :
Fenêtre de terminal python -m pubcat choosePour chaque capacité, la commande affiche l’entonnoir et sa proposition. Pour
strong-reasoning:cheapest that keeps the contract: azure/gpt-5-nano-2025-08-07 {'reasoning_effort': 'high'}, US$1.75 a month - blocked by the gate (research-assistant)proposed primary: vertex/gemini-3.8-flash {'reasoning_effort': 'high'}, US$19.50 a month, smallest margin +0.237proposed fallback: azure/gpt-5-2025-08-07 {'reasoning_effort': 'high'} (a different model: every consumer passed its gate)Pour
fast-small:openai/gpt-5.6-lunaaveclow(faible), à 15,20 $ US par mois. La solution de repli estazure/gpt-5.6-lunaaveclow: le même modèle et réglage chez un autre fournisseur. À la fin, un diff (comparaison des différences) montre l’association actuelle et la proposition. -
Écrivez la proposition dans le catalogue :
python -m pubcat choose --write. L’ancienne association reste dans le fichier sousprevious_mapping, comme trace du changement. -
Vérifiez le catalogue :
python -m pubcat checkafficheThe catalog is consistent: every mapping keeps its contract.(le catalogue est cohérent : chaque association respecte son contrat). -
Exécutez tous les tests :
python -m pytest -q. La dernière ligne indique24 passed(24 tests réussis). -
Ouvrez
docs/RECOMMENDATION.md. Remplissez ses cinq sections pour les responsables des applications de Hollin et Ben, avec les sorties ci-dessus. Le projet terminé en contient une version.
Comment l’outil de choix départage-t-il des prix égaux? gemini-3.8-flash et gemini-3.7-flash coûtent le même prix. En cas d’égalité, il choisit la cible dont la plus petite marge est la plus grande. C’est le plus petit écart entre score et minimum parmi toutes les applications consommatrices, donc le plus éloigné d’un échec. Ici, c’est 0,237 contre 0,222. Ensuite, il choisit le fournisseur que la capacité utilise aujourd’hui, pour limiter le changement. C’est pourquoi fast-small reste chez OpenAI et Azure sert de solution de repli.
Les solutions de repli suivent la règle du cours. Pour fast-small, la solution de repli utilise le même modèle et réglage chez un autre fournisseur. Une panne ne change rien pour l’assistant d’aide. Pour strong-reasoning, aucun autre fournisseur de Hollin n’offre gemini-3.8-flash. La solution de repli est donc un modèle différent : gpt-5-2025-08-07 avec high, le moins cher qui réussit chez un autre fournisseur. Associer les capacités aux modèles appelle cela « une nouvelle association déguisée ». Elle est permise uniquement parce que la barrière de chaque application consommatrice l’a aussi acceptée.
Description textuelle du diagramme
Avant la nouvelle association, les trois applications appellent o3-2025-04-16 chez OpenAI, qui sera retiré dans 50 jours. Après, l’assistant d’aide demande fast-small : gpt-5.6-luna avec low, avec le même modèle chez Azure comme solution de repli. L’agent de facturation et l’assistant de recherche demandent strong-reasoning : gemini-3.8-flash avec high sur Vertex AI, avec gpt-5 avec high sur Azure comme solution de repli.
La recommandation de Noor, en bref : fast-small sur gpt-5.6-luna avec low, et strong-reasoning sur gemini-3.8-flash avec high. Cela représente environ 34,70 $ US par mois aux prix courants, au lieu de 174 $ US. Chaque application change une fois, passant d’un nom de modèle à un nom de capacité. Avant la mise en service, chaque responsable vérifie la nouvelle association sur son propre travail. Les limites ci-dessous expliquent pourquoi.
Exécuter avec de nouvelles données d’entrée
Section intitulée « Exécuter avec de nouvelles données d’entrée »Un catalogue n’est pas terminé une fois écrit. Des retraits, de nouveaux modèles et de nouveaux prix arrivent chaque mois. Voici trois nouvelles données d’entrée.
1. Un deuxième retrait (un scénario hypothétique). Supposons que le fournisseur annonce aujourd’hui le retrait de gpt-5.6-luna, ce qu’il n’a pas fait. L’option --retire retire les offres d’un modèle pour une exécution :
python -m pubcat choose --retire gpt-5.6-lunaWhat-if: gpt-5.6-luna retired today (2026-10-22).
fast-small: reaches the contract's floor 1 every consumer passes its own minimum 1 proposed primary: vertex/gemini-3.1-flash-lite {'reasoning_effort': 'low'}, US$19.00 a month, smallest margin +0.002 proposed fallback: none - no other provider passes(Les premières lignes de l’entonnoir et la partie pour strong-reasoning, dont la proposition ne change pas, sont omises ici.)
Ce que cela nous apprend. L’association change, et personne ne touche à une application. Mais regardez ce qui reste. Une cible réussit, avec 0,002 de plus que le minimum de Joel. Son erreur-type est de 0,031. Les preuves publiques ne permettent donc pas de la distinguer d’un modèle qui échoue. Elle n’a aucune solution de repli, et show gemini-3.1-flash-lite indique son retrait le 7 mai 2027. Les règles ont trouvé une réponse, mais les preuves sont faibles. Noor ajoute une prochaine étape : avant ce jour, Joel exécute sa propre évaluation sur deux ou trois candidats.
2. Une date ultérieure. La date par défaut est celle des données figées. Vérifiez le catalogue écrit à la date du retrait d’o3 :
python -m pubcat check --today 2026-12-11strong-reasoning -> azure/gpt-5-2025-08-07: retires on 2027-02-09 (60 days), inside the 60-day review windowLa solution de repli entre dans sa propre période de révision ce jour-là. Exécutez check (vérifier) à intervalles réguliers. La prochaine modification d’association commence alors 60 jours à l’avance, pas le jour où une application tombe en panne.
3. Les dernières données publiques. data/fetch.py télécharge les versions actuelles des deux sources dans data/latest/, avec leurs sommes de contrôle :
python data/fetch.pypython -m pubcat --data data/latest datapython -m pubcat --data data/latest --models config/models-latest.yaml modelspython -m pubcat --models config/models-latest.yaml choosepython data\fetch.pypython -m pubcat --data data\latest datapython -m pubcat --data data\latest --models config\models-latest.yaml modelspython -m pubcat --models config\models-latest.yaml choosepython data/fetch.pypython -m pubcat --data data/latest datapython -m pubcat --data data/latest --models config/models-latest.yaml modelspython -m pubcat --models config/models-latest.yaml chooseQuand le cours a figé les données, les derniers fichiers étaient identiques. La dernière ligne indiquait The proposed mapping is the same as today's. (l’association proposée est identique à celle d’aujourd’hui). Vos résultats seront différents : de nouveaux modèles, scores, prix et dates arrivent. Comparez votre proposition avec celle ci-dessus. Lisez chaque ligne du diff avant de l’écrire.
Erreur courante
Un fichier de données modifié
Symptôme : python -m pubcat data affiche ceci et se termine avec le code 1 :
epoch/simpleqa_verified.csv: wrong checksum (the file changed)Some data files are missing or changed. Download the project again, or run python data/fetch.py.Cause : un fichier dans data/ ne correspond pas au fichier dans SHA256SUMS. L’étude de cas a provoqué cela exprès : un score, le 0,494 d’o3, a été « corrigé » à 0,594 dans un éditeur. Le catalogue accepterait alors des modèles pour l’assistant de recherche que les vraies données refusent. La même chose se produit si un tableur enregistre de nouveau un fichier CSV.
Diagnostic : la ligne indique le nom du fichier. Comparez-le avec la copie dans le fichier zip téléchargé, par exemple avec git diff --no-index.
Rétablissement : extrayez de nouveau le fichier de l’archive de départ. Ensuite, exécutez python -m pubcat data jusqu’à l’affichage de Checksums: 6 files match SHA256SUMS (sommes de contrôle : 6 fichiers correspondent à SHA256SUMS). Ne modifiez jamais les preuves publiques à la main. Si vous contestez un score, écrivez-le dans la recommandation, avec votre raison.
Constats et limites
Section intitulée « Constats et limites »- Les résultats publics créent une liste restreinte; ils ne décident pas. Aucun banc d’essai ici ne pose une question de facturation ou d’ingénierie. Les règles et la barrière ont éliminé 214 des 227 cibles. Elles peuvent pourtant accepter un modèle qui échoue au vrai travail de Hollin. Chaque responsable teste d’abord un échantillon de ses propres tâches, comme le fait la barrière du cours.
- Le coût dépend aussi du réglage. Un modèle avec
maxécrit beaucoup plus de jetons en sortie qu’aveclow. Aucun des deux fichiers ne contient le nombre de jetons par tâche. Le coût destrong-reasoningest un minimum, pas une prévision. Mesurez les jetons de la première semaine. - Les fonctionnalités exigent un appel réel. Le fichier de prix indique que chaque candidat peut appeler des fonctions. Dans Un catalogue de capacités, un modèle avait besoin de
reasoning_effort: nonepour les outils. Un autre ne pouvait pas appeler d’outils du tout. Ada fait un appel d’outil réel sur chaque nouvelle cible. - Une date absente ne signifie pas « jamais ». 41 des 102 offres n’ont aucune date de retrait. Considérez ces dates comme inconnues.
- Les prix proviennent du relevé d’un tiers, et ils peuvent être en retard. Le service des finances vérifie chacun sur la page du fournisseur.
- Les questions des bancs d’essai peuvent se retrouver dans les données d’entraînement d’un modèle, ce qui augmente son score. Vos propres tâches n’ont pas ce problème.
Utilisation responsable
Section intitulée « Utilisation responsable »- Citez les sources. CC BY 4.0 exige de citer Epoch AI partout où vous utilisez ses données. La licence MIT exige de conserver la note de licence de LiteLLM avec son fichier. Gardez les deux dans votre version.
- Un score public n’est pas un verdict sur un fournisseur. Ce classement suit les règles et les charges de travail fictives de Hollin. Une autre organisation choisirait autrement. Dites « pour ces contrats », pas « le meilleur modèle ».
- Indiquez chaque hypothèse là où elle est utilisée. Les contrats, les charges de travail et les prix sont des hypothèses; le deuxième retrait est un scénario hypothétique.
- Les responsables décident. Noor exécute la barrière et propose l’association. Chaque responsable approuve son propre résultat. L’économie de Ben justifie un examen, pas une approbation.
Faites-en un projet de portfolio
Section intitulée « Faites-en un projet de portfolio »Cette étude de cas montre deux choses à un employeur. Vous pouvez transformer « quel modèle devrions-nous utiliser? » en règles que tout le monde peut vérifier. Et vous savez où s’arrêtent les preuves publiques. Personnalisez-la avec un changement : d’autres applications, d’autres bancs d’essai des archives d’Epoch AI ou une autre liste de fournisseurs.
Quoi mettre dans le dépôt :
README.md(modèle ci-dessous).- Le projet, avec vos fichiers
config/, les tests réussis etdata/avec ses licences et ses sommes de contrôle. docs/RECOMMENDATION.md: la décision, les preuves, le coût et les limites.- La sortie de
python -m pubcat compareet dechoose, et les différences dans l’association. - Les deux mentions de source de l’encadré des sources ci-dessus.
Un modèle de README :
# A capability catalog from public evaluation results
## ProblemThree apps called one model straight; the provider retires it in 50 days.Goal: apps ask for a capability; rules choose the model from public evidence.
## Data and licencesEpoch AI benchmark results (GPQA Diamond, OTIS Mock AIME 2024-2025, SimpleQAVerified), CC BY 4.0, frozen copy. LiteLLM price file, commit 159b5b2, MIT:prices, features and retirement dates (assumptions; check provider pages).
## ApproachTwo contracts (features, allowed settings, a public floor at the mapped setting,price band, data classes, a 60-day retirement window). Each app's own minimum:today's score minus two standard errors. A gate: every app must pass. Thecheapest target that passes is the mapping; same-model fallback if possible.
## ResultsToday (o3): 4 broken rules, US$174/month. Top of a leaderboard: 3 broken rules,US$192. Cheapest that keeps the contract: 1 broken rule (research app 0.117 vs0.46), US$16.95. Cheapest that passes every app: 0 broken rules, US$34.70.
## LimitsPublic benchmarks are proxies; no token counts per setting; features need onereal call; prices and dates are a third party's record.Comment le décrire en entrevue, en deux phrases : « Le modèle partagé de trois applications allait être retiré; j’ai créé un catalogue de capacités dont les règles choisissent le modèle selon des bancs d’essai publics et des prix. L’option la moins chère ne respectait pas le minimum d’une application; la barrière en a choisi une qui respectait chaque promesse, à un coût inférieur de 80 %. »
Pour aller plus loin :
- Ajoutez une troisième capacité,
embed, avec un banc d’essai de plongements sous licence ouverte, et vérifiez d’abord sa licence. - Ajoutez le classement LMArena (CC BY 4.0) comme deuxième avis pour un consommateur, et consignez comment vous avez associé ses noms de modèles.
- Remplacez le banc d’essai public d’un consommateur par 30 de ses propres tâches enregistrées, et comparez les deux barrières.
- Exécutez
checkchaque semaine dans la CI (intégration continue), et ouvrez un ticket lorsqu’une cible entre dans la fenêtre de révision.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
gpt-6-luna au réglage max réussit pour l'agent de facturation avec 0,989, mais échoue pour l'assistant de recherche avec 0,414. La moyenne des deux scores, 0,701, dépasse la moyenne des minimums, 0,605. Ben dit que la moyenne montre que le modèle est assez bon. Que répondez-vous?
Afficher la réponse
La moyenne mélange deux compétences différentes et les promesses de deux responsables. Le score de 0,989 de l’agent de facturation ne peut pas compenser la perte de 8 points de l’assistant de recherche. Les utilisateurs de Lena recevraient plus de mauvaises réponses sur l’équipement. Chaque minimum représente la promesse de son responsable, et la moyenne ne représente la promesse de personne. La barrière bloque donc, comme dans le cours : chaque consommateur doit réussir sa propre évaluation. La cible la moins chère qui réussit les deux, gemini-3.8-flash au réglage high, coûte encore 80 % moins cher qu’o3.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Epoch AI indique que claude-haiku-5-5 obtient 0,972 sur OTIS Mock AIME au réglage high, et 0,238 sur SimpleQA Verified au réglage max. Pourquoi la barrière indique-t-elle « aucune preuve » pour l'assistant de recherche au réglage high, et qu'est-ce qui déterminerait sa réussite ou son échec?
Afficher la réponse
Un score public correspond au réglage utilisé pour le mesurer. L’association enverrait reasoning_effort high, et personne n’a publié de score SimpleQA Verified au réglage high. Le score de 0,238 au réglage max correspond à un autre réglage; il est même inférieur au minimum de Lena. Un score manquant n’est ni un zéro ni une réussite, donc la barrière bloque : aucune preuve, aucune nouvelle association. Pour décider, Lena a besoin d’un score au réglage high : un score public ou sa propre évaluation avec ce réglage.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Dans le scénario hypothétique, gpt-5.6-luna est retiré et fast-small passe à gemini-3.1-flash-lite au réglage low, avec une marge de 0,002 et aucun modèle de repli. La vérification indique que le catalogue est cohérent. Noor devrait-elle l'accepter?
Afficher la réponse
Pas sur la seule base des données publiques. La marge est beaucoup plus petite que l’erreur-type du score, qui est de 0,031. Les preuves ne permettent donc pas de distinguer ce modèle d’un modèle qui échoue. Il n’y a aucun modèle de repli chez un autre fournisseur, et le modèle sera retiré le 7 mai 2027. Les règles ont trouvé la seule cible qui réussit, ce qui est utile : l’assistant d’aide ne s’arrêterait pas. Mais Noor devrait demander à Joel d’évaluer lui-même deux ou trois candidats avant cette date. Élargir la fourchette de prix ou les réglages permis est une autre option, dont il faut consigner le coût.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Vous avez créé un catalogue à partir de deux fichiers publics : les résultats des bancs d’essai d’Epoch AI (CC BY 4.0) et le fichier de prix de LiteLLM (MIT), figés avec des sommes de contrôle.
- Un score public correspond à un seul réglage : gpt-5.6-luna a obtenu 0,636, 0,823 et 0,916 sur GPQA Diamond aux réglages none, low et max. L’association contient le réglage, et un score manquant signifie qu’il n’y a aucune preuve.
- Les contrats ont ajouté une fenêtre de retrait : o3 sera retiré dans 50 jours chez OpenAI (et plus tôt chez Azure), donc l’association actuelle a échoué à la vérification.
- Le minimum de chaque application était « pas moins bon qu’aujourd’hui » : le score actuel moins deux erreurs-types.
- La barrière a bloqué gpt-6-luna même si la moyenne était suffisante, car l’assistant de recherche était sous son propre minimum.
- Selon une mesure, seul « le moins cher qui réussit pour chaque consommateur » respectait toutes les règles : 34,70 $ US par mois contre 174 $ US aujourd’hui. Un retrait hypothétique a de nouveau changé l’association, vers un modèle avec des preuves faibles et aucun modèle de repli.
Ensuite, la deuxième étude de cas : rejouer des trajectoires d’agents ouvertes à travers la passerelle. Vous mesurerez ce que les budgets, les limites d’étapes et les politiques d’outils auraient arrêté.
Leçon suivante : Contenir un agent emballé