Aller au contenu
English

Un catalogue de capacités à partir de résultats d'évaluation publics

  • Étude de cas 1
  • 150 min
  • Facultative · 1 étude de cas requise pour le certificat

Où nous en sommes

Dans ce cours, nous avons rédigé les contrats de capacités de Larkfield à partir de ses propres évaluations enregistrées. La barrière de réassociation a bloqué un modèle moins cher parce qu'un consommateur échouait. La plupart des organisations n'ont pas leurs propres évaluations au premier jour. Dans cette étude de cas, une entreprise dont le seul modèle sera bientôt retiré crée son premier catalogue. Elle utilise des résultats de bancs d'essai publics et un fichier de prix public. Les contrats, la barrière et les règles viennent du cours; seules les preuves sont nouvelles.

Ce que vous saurez faire

Créez le premier catalogue de capacités d’une entreprise à partir de preuves publiques. Vous rédigez les contrats et fixez le minimum propre à chaque application. Des règles choisissent ensuite l’association à partir d’un fichier de prix public et de résultats de bancs d’essai sous licence ouverte. Vous voyez comment l’association change quand le seul modèle de l’entreprise est retiré, puis si un deuxième l’était. Vous terminez par une recommandation qui précise ce que les données publiques ne peuvent pas vous dire.

Étude de casPièce de portfolio

Durée
Environ 2 h 30
S’exécute dans
VS Code, Python 3.12+
Compétences utilisées
  • Contrats de capacités
  • Preuves publiques pour un réglage
  • Minimums des consommateurs
  • Barrière de réassociation
  • Association fondée sur des règles
  • Fenêtre de retrait
  • Solutions de repli
  • Recommandation avec limites

Décompressez le projet de départ, ouvrez le dossier dans VS Code et suivez les étapes ci-dessous. Elles commencent par un nouvel environnement virtuel.

Cette étude de cas est un petit dossier de projet, public-catalog, qui suit le style du cours : Python, YAML et une ligne de commande. Le projet de départ contient les données, les chargeurs et les vérifications. Vous rédigez un contrat, un minimum et la décision de la barrière. Vous laissez ensuite le projet choisir et écrire l’association. Le projet terminé constitue le résultat, à consulter si vous bloquez ou voulez comparer. Le code est sous licence MIT; vous pouvez donc publier votre version.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 150 minutes

Ce que vous devez savoir

Cette étude de cas utilise le catalogue et la barrière du cours. Voici les leçons les plus importantes :

Cette page enseigne une nouvelle idée : un score public appartient à un seul réglage du modèle.

Ce qu’il vous faut sur votre ordinateur

  • Python 3.12 ou plus récent, VS Code et un terminal, comme dans le cours.
  • Environ 40 Mo d’espace disque libre pour l’environnement virtuel.
  • Aucun compte, aucune clé et aucune dépense. Tout s’exécute sur votre ordinateur à partir des fichiers du projet. Une étape facultative télécharge les dernières données publiques (environ 5 Mo).

Testé sur macOS (Apple silicon) avec Python 3.12.13, PyYAML 6.0.3 et pytest 9.1.1, depuis une copie neuve du projet de départ. Les commandes Windows (PowerShell) et Linux sont fournies, mais elles n’ont pas été exécutées pour le cours.

Hollin Energy fournit de l’électricité et du gaz à environ 300 000 foyers. Trois équipes ont chacune créé une application d’IA, en copiant le code de la première équipe :

  • L’assistant de soutien (Joel, service à la clientèle) rédige des réponses aux questions des clients sur leurs factures. Un agent lit chaque réponse avant son envoi.
  • L’agent de facturation (Ada, facturation) calcule les factures corrigées et les plans de paiement avec des outils. Une personne approuve chaque changement.
  • L’assistant de recherche (Lena, ingénierie du réseau) répond de mémoire aux questions des ingénieurs sur les normes et l’équipement, sans recherche Web.

Les trois appellent directement le même modèle, avec la même clé : o3-2025-04-16 sur l’API OpenAI. Noor, l’ingénieure de plateforme, lit un fichier de prix public et trouve cette ligne à côté du modèle : deprecation_date: 2026-12-11. Le fournisseur retire le modèle dans 50 jours. Ce jour-là, les trois applications s’arrêtent en même temps.

Ben, des finances, a une réponse rapide : « Prenez le premier modèle d’un classement et faites passer tout le monde dessus. » Noor a un autre plan. Elle veut que les applications demandent une capacité, comme le cours l’a enseigné. Ainsi, le prochain retrait changera une ligne plutôt que trois applications. Mais Hollin n’a pas encore ses propres évaluations. Le premier catalogue doit donc reposer sur des preuves publiques et préciser ce qu’elles ne peuvent pas montrer.

Hollin Energy, son personnel, ses applications, ses contrats et ses charges de travail sont inventés pour cette étude de cas. Les modèles, fournisseurs, scores, prix et dates sont de vraies données publiques, tirées des deux sources ci-dessous.

Fichier Son contenu Partie
config/models.yaml les preuves publiques pour 61 modèles : scores par réglage, offres par fournisseur Les données
config/catalog.yaml deux contrats, fast-small et strong-reasoning, et leur association Les contrats
config/consumers/*.yaml les trois applications, avec leur propre banc d’essai et leur minimum Le minimum propre à chaque application
pubcat/gate.py la décision de la barrière La barrière fondée sur les preuves publiques
docs/RECOMMENDATION.md la décision, les preuves, le coût et les limites La recommandation
Un flux, de haut en bas. Deux sources publiques : les résultats de bancs d'essai d'Epoch AI, un score par modèle et réglage, CC BY 4.0; et le fichier de prix de LiteLLM, avec le prix, les caractéristiques et la date de retrait par fournisseur, MIT. Les deux alimentent config/models.yaml : 61 modèles, 102 offres. Avec config/providers.yaml, les quatre fournisseurs de Hollin, ils donnent les cibles : chaque modèle chez chaque fournisseur avec chaque réglage, soit 227 cibles. Les cibles passent la vérification du contrat : version préliminaire, caractéristiques, réglage, fourchette de prix, données, fenêtre de retrait et plancher. Puis la barrière : le minimum propre à chaque consommateur, pour ce réglage. La cible la moins chère qui réussit devient l'association, avec une solution de repli. Une date de retrait, ou un scénario hypothétique, supprime une cible avant la vérification du contrat.
Comment le projet transforme deux fichiers publics en une association. Un retrait supprime une cible, et les mêmes règles choisissent à nouveau.
Description textuelle du diagramme

Deux fichiers publics alimentent le projet. Les résultats d’Epoch AI donnent un score par modèle et réglage. Le fichier de prix de LiteLLM donne le prix, les caractéristiques et la date de retrait de chaque modèle chez chaque fournisseur. Ils deviennent config/models.yaml, soit 61 modèles avec 102 offres. Avec les quatre fournisseurs de Hollin, cela donne 227 cibles : un modèle, chez un fournisseur, avec un réglage. Chaque cible passe la vérification du contrat, puis la barrière, où chaque application doit atteindre son propre minimum. La cible la moins chère qui réussit devient l’association, avec une solution de repli. Une date de retrait supprime des cibles, et les mêmes règles choisissent à nouveau.

  1. Téléchargez le projet de départ depuis l’encadré en haut de cette page. Décompressez-le dans votre dossier de projets, par exemple ~/projects. Vous obtenez le dossier public-catalog. Ouvrez-le dans VS Code.

  2. Dans le terminal de VS Code, créez un environnement virtuel et installez les deux paquets :

    Fenêtre de terminal
    python3 -m venv .venv
    source .venv/bin/activate
    python -m pip install -r requirements.txt

    Les paquets sont PyYAML 6.0.3 et pytest 9.1.1, les versions du projet du cours. Votre environnement virtuel du cours fonctionne aussi.

  3. Exécutez les tests : python -m pytest -q --tb=no. La dernière ligne indique 13 failed, 11 passed (13 échecs, 11 réussites). C’est normal : chaque test qui échoue appartient à l’une des quatre tâches, et son message nomme la tâche. À la fin, les 24 tests réussissent.

Le projet réunit deux sources publiques. Les deux se trouvent dans data/, sous forme de copies figées, sans modification, avec un fichier SHA256SUMS.

Les résultats de bancs d’essai d’Epoch AI. Epoch AI, un organisme de recherche, exécute des bancs d’essai publics sur de nombreux modèles et publie chaque résultat. Le projet utilise trois de ses fichiers de bancs d’essai. GPQA Diamond contient 198 questions scientifiques difficiles de niveau universitaire supérieur. OTIS Mock AIME 2024–2025 contient des problèmes de concours de mathématiques avec des réponses exactes. SimpleQA Verified contient de courtes questions factuelles, auxquelles le modèle répond de mémoire, sans recherche. Une ligne représente un modèle, avec un réglage, sur un banc d’essai : la proportion de réponses correctes (mean_score) et son erreur-type (stderr).

Le fichier de prix de LiteLLM. LiteLLM est une passerelle à code source ouvert. Son projet maintient un grand fichier avec une entrée pour chaque modèle chez chaque fournisseur. Une entrée contient le prix courant par jeton (token) et les caractéristiques enregistrées par LiteLLM, comme l’appel de fonctions. Elle contient parfois une deprecation_date (date de retrait), le jour où le fournisseur retire le modèle.

Noor a d’abord comparé d’autres sources. Le classement LMArena (CC BY 4.0) donne des évaluations relatives issues des votes du public. Un minimum fixe changerait donc de sens avec l’arrivée de nouveaux modèles. Nous n’avons trouvé aucune licence pour les résultats du Open LLM Leaderboard, qui couvrent seulement les modèles à poids ouverts. Les pages de prix des fournisseurs n’ont pas de licence ouverte; l’étude de cas fournit donc des liens vers elles.

Vérifiez que les fichiers sont ceux utilisés dans l’étude de cas, et comptez leur contenu :

Fenêtre de terminal
python -m pubcat data
Checksums: 6 files match SHA256SUMS
gpqa_diamond 325 results, 225 models
otis_mock_aime_2024_2025 305 results, 204 models
simpleqa_verified 92 results, 83 models
Models with a public score: 234; with an offer at one of our providers: 61; without: 173

Ce que cela nous dit. Les fichiers n’ont pas changé. Epoch AI a testé beaucoup plus de modèles sur GPQA Diamond que sur SimpleQA Verified. Les scores manquants seront fréquents, et un score manquant n’est pas un zéro. Seuls 61 des 234 modèles sont offerts par l’un des quatre fournisseurs de Hollin. Les 173 autres proviennent d’autres fournisseurs, sont plus anciens, ou ont des poids ouverts sans prix d’hébergement. Les fournisseurs de Hollin figurent dans config/providers.yaml : OpenAI, Azure OpenAI, Google Cloud Vertex AI et Anthropic. Chacun a un contrat comprenant une entente de traitement des données, ce qui constitue une hypothèse de l’étude de cas. Un fournisseur absent du fichier n’est jamais appelé, quels que soient ses scores, comme dans Associer les capacités aux modèles.

Créez config/models.yaml, les preuves que le catalogue lit, et examinez le modèle actuel :

Fenêtre de terminal
python -m pubcat models
python -m pubcat show o3-2025-04-16
Wrote config/models.yaml: 61 models, 102 offers
Left out: 173 models with a public score but no offer at our providers
Model: o3-2025-04-16 (OpenAI)
gpqa_diamond low 0.798 ±0.029, medium 0.808 ±0.028, high 0.818 ±0.021
otis_mock_aime_2024_2025 low 0.600 ±0.074, medium 0.844 ±0.055, high 0.839 ±0.044
simpleqa_verified high 0.494 ±0.016
offer azure US$2.0 in / US$8.0 out per 1M tokens; chat, structured_output, tools, images; retires 2026-11-19
offer openai US$2.0 in / US$8.0 out per 1M tokens; chat, structured_output, tools, images; retires 2026-12-11

Ce que cela nous dit. Trois choses. D’abord, un modèle a plusieurs scores : o3 a résolu 60 % des problèmes de mathématiques à low (faible) et 84 % à high (élevé). Ensuite, le même modèle est retiré à des dates différentes selon le fournisseur : le 11 décembre 2026 chez OpenAI, le 19 novembre 2026 chez Azure. Une date de retrait appartient à une offre, pas à un modèle. Enfin, chaque score a une erreur-type. Sur 198 questions, ±0,029 correspond à environ six questions; une différence de 0,01 entre deux modèles ne signifie donc rien.

models.yaml est le models.yaml du cours avec deux ajouts : les scores publics, et un prix et une date de retrait par fournisseur. Ne le modifiez pas à la main. Changez les données ou les fournisseurs, puis reconstruisez-le.

Pensez à la consommation de carburant d’une voiture. La brochure indique « 4,2 litres aux 100 km ». Les petits caractères précisent « à une vitesse constante de 50 km/h ». En ville, avec les arrêts et les départs, la même voiture consomme 7 litres. Le chiffre est vrai, mais seulement dans les conditions où il a été mesuré.

Les scores des modèles fonctionnent de la même façon. De nombreux modèles acceptent un réglage de raisonnement, comme reasoning_effort (effort de raisonnement) : none (aucun), low, high ou max (maximal). Un réglage plus élevé permet au modèle de raisonner plus longtemps avant de répondre. Il répond mieux aux questions difficiles, mais plus lentement et avec plus de jetons de sortie, que vous payez. Epoch AI écrit le réglage après le nom du modèle : gpt-5.6-luna_low désigne le modèle gpt-5.6-luna à low.

Fenêtre de terminal
python -m pubcat show gpt-5.6-luna
Model: gpt-5.6-luna (OpenAI)
gpqa_diamond none 0.636 ±0.034, low 0.823 ±0.027, max 0.916 ±0.017
otis_mock_aime_2024_2025 none 0.400 ±0.074, low 0.667 ±0.071, max 0.983 ±0.012
simpleqa_verified max 0.410 ±0.016
offer azure US$0.2 in / US$1.2 out per 1M tokens; chat, structured_output, tools, images; retires 2028-01-11
offer openai US$0.2 in / US$1.2 out per 1M tokens; chat, structured_output, tools, images; retires no date in the price file

La règle est donc : un score compte seulement pour une association qui envoie le même réglage. Dans le cours, une association contient déjà ses réglages (params, dans Associer les capacités aux modèles). Le projet cherche le score correspondant au réglage de l’association. Un score manquant pour ce réglage signifie aucune preuve.

  • gpt-5.6-luna
  • gpt-5.4-nano
  • o3
Scores publics (Epoch AI, mean_score sur les 198 questions de GPQA Diamond), selon le réglage utilisé pour chaque modèle. Le contrat fast-small exige 0,74 à none, minimal ou low. Le modèle reste le même pour chaque couleur; seul le réglage change.
Description textuelle du graphique

Neuf colonnes de trois couleurs, une couleur par modèle. gpt-5.6-luna : none 0,64, low 0,82, max 0,92. gpt-5.4-nano : none 0,56, low 0,72, high 0,78. o3 : low 0,80, medium 0,81, high 0,82. L’axe commence à 0,5. Pour les deux petits modèles, le réglage change le score de 0,2 à 0,3, plus que l’écart entre la plupart des modèles. Pour o3, le réglage le change de 0,02.

Larkfield a rencontré le même effet dans ce cours. Dans Modifier une association en toute sécurité, chat-small, le modèle gpt-6-luna-2026-09-22, a échoué pour les deux consommateurs de Larkfield avec reasoning_effort: none. Epoch AI présente la même famille de modèles seulement à max, avec 0,905 sur GPQA Diamond. Les deux résultats sont vrais. Ils mesurent des réglages et des tâches différents.

Le catalogue utilise le format du cours. Une capacité a un contrat (ce qu’elle promet) et une association (ce qui la fournit). Deux parties changent, parce que les preuves sont publiques :

  • settings (réglages) énumère les réglages de raisonnement qu’une association peut envoyer. Les résultats publics ne montrent pas la latence. Hollin utilise donc cette règle pour la vitesse et le coût : fast-small autorise seulement none, minimal (minimal) et low.
  • quality_floor (plancher de qualité) nomme un banc d’essai public, par son nom de fichier, et un minimum au réglage associé.

Ouvrez config/catalog.yaml. Le contrat de fast-small est complet :

Partie fast-small strong-reasoning
Pour réponses courtes et brouillons sur les factures calculs en plusieurs étapes, réponses de recherche
Caractéristiques chat, structured_output, tools chat, structured_output, tools
Réglages none, minimal, low low, medium, high, xhigh, max
Plancher de qualité GPQA Diamond ≥ 0,74 OTIS Mock AIME 2024–2025 ≥ 0,75
Classes de données public, internal, personal public, internal, personal
Fourchette de prix (entrée / sortie, $ US par million de jetons) 0,50 / 2,00 2,50 / 12,00

Pourquoi GPQA Diamond pour l’assistant de soutien? Aucun banc d’essai public ne pose de questions sur les factures. GPQA Diamond couvre le plus de modèles aux réglages faibles. C’est donc le filtre le plus large pour « raisonne assez bien quand il répond vite », pas un test de la tâche. Pourquoi OTIS Mock AIME pour strong-reasoning? Ses problèmes exigent plusieurs étapes exactes de suite, comme une facture corrigée. Les deux fourchettes de prix viennent de Larkfield, dans Un catalogue de capacités.

  1. Dans config/catalog.yaml, sous strong-reasoning: et contract:, remplacez minimum: null par minimum: 0.75. Le plancher est le minimum de l’agent de facturation, principal consommateur de la capacité, que vous découvrirez dans la prochaine partie.

  2. Remplacez price_band_usd_per_1m: {input: null, output: null} par price_band_usd_per_1m: {input: 2.50, output: 12.00}.

  3. Exécutez le test de la tâche : python -m pytest -q -k strong_reasoning_contract. Il affiche 1 passed, 23 deselected (1 réussite, 23 tests non sélectionnés).

  4. Vérifiez l’association actuelle par rapport aux contrats :

    Fenêtre de terminal
    python -m pubcat check
    fast-small -> openai/o3-2025-04-16: the input price 2.0 is above the contract's band 0.5
    fast-small -> openai/o3-2025-04-16: the output price 8.0 is above the contract's band 2.0
    fast-small -> openai/o3-2025-04-16: retires on 2026-12-11 (50 days), inside the 60-day review window
    strong-reasoning -> openai/o3-2025-04-16: retires on 2026-12-11 (50 days), inside the 60-day review window

Ce que cela nous dit. Le catalogue de départ associe les deux capacités à o3, comme les applications l’appellent aujourd’hui. Chaque ligne nomme la capacité, la cible et la règle enfreinte, comme le fait estate catalog check dans le cours. Deux problèmes sont nouveaux. La fenêtre de retrait : une cible retirée dans les 60 jours échoue à la vérification, car une réassociation prend du temps. C’est la fenêtre de révision du Le cycle de vie d’un agent. Et la fourchette de prix : l’assistant de soutien paie le prix d’un modèle puissant pour de courts brouillons. C’était déjà vrai avant le retrait, mais personne n’avait écrit la fourchette.

La barrière du cours exécute l’évaluation de chaque application consommatrice selon son propre minimum. Hollin n’a pas encore d’évaluations. Chaque application indique donc un banc d’essai public et un minimum dans son fichier dans config/consumers/. Chaque application a aussi une charge de travail : les jetons qu’elle envoie et reçoit en un mois. Ce sont les estimations des responsables, une hypothèse.

Quel minimum? Chaque responsable a choisi la même règle : pas moins bon qu’aujourd’hui. Le modèle actuel est o3, avec le réglage de l’application. Un score comporte une incertitude. « Pas moins bon » signifie donc « pas inférieur au score actuel moins deux erreurs-types ». Une baisse plus petite pourrait venir du bruit.

Application (responsable) Capacité Banc d’essai Aujourd’hui (o3) Minimum Charge de travail mensuelle (hypothèse)
Assistant d’aide (Joel) fast-small GPQA Diamond 0,798 ± 0,029 avec low 0,798 − 2 × 0,029 = 0,74 40 M de jetons en entrée, 6 M en sortie
Agent de facturation (Ada) strong-reasoning OTIS Mock AIME 0,839 ± 0,044 avec high 0,839 − 2 × 0,044 = 0,75 8 M en entrée, 2 M en sortie
Assistant de recherche (Lena) strong-reasoning SimpleQA Verified 0,494 ± 0,016 avec high votre tâche 3 M en entrée, 1 M en sortie
  1. Trouvez le score actuel et l’erreur-type d’o3 sur SimpleQA Verified dans la sortie de python -m pubcat show o3-2025-04-16 ci-dessus.
  2. Calculez le score actuel moins deux erreurs-types, puis arrondissez vers le bas à deux décimales.
  3. Dans config/consumers/research-assistant.yaml, remplacez minimum: null et son commentaire par votre nombre. Écrivez le calcul dans why:.
  4. Exécutez python -m pytest -q -k research_assistants_minimum. La commande affiche 1 passed, 23 deselected (1 test réussi, 23 tests non sélectionnés).
Vérifiez votre réponse

0,494 − 2 × 0,016 = 0,462, arrondi vers le bas à 0,46. La ligne devient minimum: 0.46, et why: peut contenir "no worse than today: 0.494 - 2 x 0.016 = 0.462, rounded down to 0.46" (pas moins bon qu’aujourd’hui : 0,494 − 2 × 0,016 = 0,462, arrondi vers le bas à 0,46).

Le minimum de Lena est faible en valeur absolue : o3 répond à moins de la moitié des questions. C’est le sens de « pas moins bon qu’aujourd’hui ». Aujourd’hui, l’assistant de recherche connaît mal les faits de mémoire, et la nouvelle association ne doit pas empirer la situation. Pour l’améliorer, il faut un outil de recherche, pas un nouveau modèle.

Essayez la barrière avant de l’écrire, avec l’un des modèles les moins chers du fichier, gpt-6-luna :

Fenêtre de terminal
python -m pubcat gate strong-reasoning --to openai/gpt-6-luna --param reasoning_effort=max

L’exécution s’arrête avec NotImplementedError: Task 3: write the gate's decision in pubcat/gate.py (tâche 3 : écrire la décision de la barrière dans pubcat/gate.py).

  1. Ouvrez pubcat/gate.py et trouvez decide(). Cette fonction reçoit une ligne par application consommatrice. Chacune contient un "verdict" (verdict) : "pass" (réussite), "fail" (échec) ou "no evidence" (aucune preuve).
  2. Remplacez les trois lignes de la tâche 3 par une seule ligne. Elle renvoie "pass" s’il existe une ligne et que tous les verdicts sont "pass". Sinon, elle renvoie "block" (blocage).
  3. Exécutez python -m pytest -q -k every_consumer. La commande affiche 4 passed, 20 deselected (4 tests réussis, 20 tests non sélectionnés). Les quatre cas sont : deux réussites, un échec, une absence de preuves et aucune application consommatrice.
Vérifiez votre code
def decide(rows: list[dict]) -> str:
"""The gate's decision: 'pass' only if there is at least one consumer and EVERY consumer passes its own
minimum. A failed consumer or a consumer without evidence blocks the remap. The average does not count."""
return "pass" if rows and all(r["verdict"] == "pass" for r in rows) else "block"

rows and bloque une capacité sans applications consommatrices : sans application qui réussit, rien n’est prouvé.

Faites d’abord une prédiction : gpt-6-luna avec max (maximum) coûte 20 fois moins par jeton qu’o3. Réussit-il pour les deux applications consommatrices de strong-reasoning? La moyenne de leurs scores dépasse-t-elle la moyenne de leurs minimums?

Fenêtre de terminal
python -m pubcat gate strong-reasoning --to openai/gpt-6-luna --param reasoning_effort=max
Remap gate: strong-reasoning from openai/o3-2025-04-16 {'reasoning_effort': 'high'} to openai/gpt-6-luna {'reasoning_effort': 'max'}
billing-agent PASS otis_mock_aime_2024_2025 0.989 (minimum 0.75); today 0.839; US$1.80 vs US$32.00 a month today
research-assistant FAIL simpleqa_verified 0.414 (minimum 0.46); today 0.494; US$0.80 vs US$14.00 a month today
Average of the consumers' scores: 0.701 (average of their minimums: 0.605)
Decision: BLOCK - every consumer must pass its own evaluation

Ce que cela nous apprend. C’est le cas de Modifier une association en toute sécurité, avec de vraies données publiques et aucune application consommatrice construite. La moyenne des deux scores, 0,701, dépasse largement le minimum moyen de 0,605. Un classement fondé sur la moyenne des bancs d’essai placerait ce modèle parmi les meilleurs. Mais l’assistant de recherche perdrait 8 points d’exactitude factuelle, et seul le minimum propre à Lena le montre.

Deux autres candidats montrent les autres résultats possibles :

Fenêtre de terminal
python -m pubcat gate strong-reasoning --to anthropic/claude-haiku-5-5 --param reasoning_effort=high
python -m pubcat gate strong-reasoning --to vertex/gemini-3.8-flash --param reasoning_effort=high
billing-agent PASS otis_mock_aime_2024_2025 0.972 (minimum 0.75); today 0.839; US$1.80 vs US$32.00 a month today
research-assistant NO EVIDENCE no public simpleqa_verified score for claude-haiku-5-5 at high: no evidence, no remap
Decision: BLOCK - every consumer must pass its own evaluation
billing-agent PASS otis_mock_aime_2024_2025 0.989 (minimum 0.75); today 0.839; US$13.50 vs US$32.00 a month today
research-assistant PASS simpleqa_verified 0.697 (minimum 0.46); today 0.494; US$6.00 vs US$14.00 a month today
Decision: PASS

(La première ligne et les lignes vides de chaque exécution sont omises ici.) Epoch AI a testé claude-haiku-5-5 sur SimpleQA Verified uniquement avec max. Avec high (élevé), Lena n’a aucune preuve, donc la barrière bloque : « sans preuve, pas de nouvelle association », comme dans le cours. gemini-3.8-flash avec high réussit pour les deux applications.

La question de Ben concerne l’argent, et celle de Noor concerne les règles. Un tableau répond aux deux. Listez toutes les cibles qui respectent le contrat de strong-reasoning, de la moins chère à la plus chère. Incluez le verdict de chaque application consommatrice :

Fenêtre de terminal
python -m pubcat candidates strong-reasoning --limit 16
strong-reasoning: 227 targets, 43 keep the contract, 13 also pass every consumer. Cheapest first:
target US$/month billing-agent research-assistant
azure/gpt-5-nano-2025-08-07 {'reasoning_effort': 'high'} 1.75 pass 0.811 fail 0.117
openai/gpt-6-luna {'reasoning_effort': 'max'} 2.60 pass 0.989 fail 0.414
azure/gpt-6-luna {'reasoning_effort': 'max'} 2.60 pass 0.989 fail 0.414
anthropic/claude-haiku-5-5 {'reasoning_effort': 'high'} 2.60 pass 0.972 no evidence
anthropic/claude-haiku-5-5 {'reasoning_effort': 'xhigh'} 2.60 pass 0.989 no evidence
vertex/claude-haiku-5-5 {'reasoning_effort': 'high'} 2.60 pass 0.972 no evidence
vertex/claude-haiku-5-5 {'reasoning_effort': 'xhigh'} 2.60 pass 0.989 no evidence
openai/gpt-5.6-luna {'reasoning_effort': 'max'} 5.80 pass 0.983 fail 0.410
azure/gpt-5.6-luna {'reasoning_effort': 'max'} 5.80 pass 0.983 fail 0.410
openai/gpt-5.4-nano-2026-03-17 {'reasoning_effort': 'high'} 5.95 pass 0.878 fail 0.117
azure/gpt-5.4-nano-2026-03-17 {'reasoning_effort': 'high'} 5.95 pass 0.878 fail 0.117
vertex/gemini-3.1-flash-lite {'reasoning_effort': 'high'} 7.25 pass 0.800 no evidence
azure/gpt-5-mini-2025-08-07 {'reasoning_effort': 'high'} 8.75 pass 0.867 fail 0.216
azure/gpt-5-mini-2025-08-07 {'reasoning_effort': 'medium'} 8.75 pass 0.783 no evidence
vertex/gemini-3.8-flash {'reasoning_effort': 'high'} 19.50 pass 0.989 pass 0.697
vertex/gemini-3.7-flash {'reasoning_effort': 'high'} 19.50 pass 0.972 pass 0.692

Ce que cela nous apprend. Une cible est un modèle chez un fournisseur avec un réglage. Un modèle donne donc plusieurs lignes. L’agent de facturation réussit à chaque ligne : le seuil du contrat correspond à son minimum. L’assistant de recherche détermine le résultat. Les mathématiques et les faits connus de mémoire sont des compétences différentes. Les petits modèles résolvent les problèmes de concours, mais manquent la plupart des faits. La ligne de gpt-5-nano le montre, avec 0,811 et 0,117. Remarquez aussi azure/gpt-5-nano-2025-08-07 : l’offre OpenAI du même modèle ne figure pas dans la liste. Elle sera retirée le 11 décembre 2026. Celle d’Azure sera retirée le 9 février 2027, hors de la période.

  • respecte chaque règle et réussit pour chaque application consommatrice
  • bloqué par l'assistant de recherche
Chaque point représente un modèle et un réglage qui respectent le contrat strong-reasoning et possèdent un score public SimpleQA Verified (Epoch AI), chez le fournisseur le moins cher. Le coût correspond aux charges de travail supposées des deux applications consommatrices aux prix courants (fichier de prix de LiteLLM, une hypothèse). La ligne représente le minimum de Lena. Les réglages plus élevés utilisent plus de jetons en sortie, ce que le coût ne compte pas.
Description textuelle du graphique

Dix-huit points. Les cinq moins chers, de 1,75 $ US à 8,75 $ US par mois, sont tous sous le minimum de Lena de 0,46 : gpt-5-nano avec high obtient 0,117, et gpt-6-luna avec max, 0,414. Les premiers points au-dessus de la ligne sont gemini-3.8-flash et gemini-3.7-flash avec high, à 19,50 $ US, avec 0,697 et 0,692. Plus à droite, de 43,50 $ US à 58 $ US, se trouvent de plus grands modèles. Certains sont au-dessus de la ligne, comme gpt-6.1-sol avec max, qui obtient 0,739 à 52 $ US. D’autres sont en dessous. Le prix et l’exactitude factuelle n’ont qu’un lien faible.

L’entonnoir montre combien de cibles chaque règle élimine. choose (choisir) l’affiche pour chaque capacité :

strong-reasoning:
all targets (model x provider x setting) 227
is not a preview model 219
has the contract's features 201
uses an allowed setting 141
inside the price band 80
the provider may receive the data 80
does not retire inside the review window 56
reaches the contract's floor 43
every consumer passes its own minimum 13

Chaque règle correspond à une ligne de check_target() dans pubcat/catalog.py. Les modèles en préversion sont exclus, car les fournisseurs peuvent modifier ou retirer une préversion avec peu de préavis. L’étape des données n’en élimine aucun ici : tous les fournisseurs de Hollin peuvent recevoir des données personnelles, une hypothèse. La période de retrait élimine 24 cibles. Dix sont chez OpenAI et seront retirées le 11 décembre 2026, le même jour qu’o3. Six autres seront retirées chez OpenAI le 23 octobre 2026.

Une référence de base et trois options, selon une seule mesure

Section intitulée « Une référence de base et trois options, selon une seule mesure »

Ben a demandé le premier modèle d’un classement. C’est une option valable. Le projet compare donc quatre façons de choisir, selon une seule mesure. Chaque méthode doit respecter toutes les règles : le contrat et le minimum de chaque application consommatrice. Ensuite, le coût mensuel le plus bas gagne.

Fenêtre de terminal
python -m pubcat compare
approach broken rules US$/month
1. keep today's model 4 174.00
fast-small: openai/o3-2025-04-16 {'reasoning_effort': 'low'} - price; retire
strong-reasoning: openai/o3-2025-04-16 {'reasoning_effort': 'high'} - retire
2. top of a leaderboard 3 192.00
fast-small: vertex/gemini-4-argon {'reasoning_effort': 'high'} - price; settings
strong-reasoning: vertex/gemini-4-argon {'reasoning_effort': 'high'} - keeps every rule
3. cheapest that keeps the contract 1 16.95
fast-small: openai/gpt-5.6-luna {'reasoning_effort': 'low'} - keeps every rule
strong-reasoning: azure/gpt-5-nano-2025-08-07 {'reasoning_effort': 'high'} - research-assistant below its minimum
4. cheapest that passes every consumer 0 34.70
fast-small: openai/gpt-5.6-luna {'reasoning_effort': 'low'} - keeps every rule
strong-reasoning: vertex/gemini-3.8-flash {'reasoning_effort': 'high'} - keeps every rule
US$/month: the consumers' assumed workloads at list prices per token (more output tokens at a higher setting are not counted).

Ce que cela nous apprend.

  1. Garder le modèle actuel est la référence de base. Il coûte 174 $ US par mois et s’arrête le 11 décembre.
  2. Le premier modèle d’un classement est celui dont la moyenne des trois scores publics est la plus élevée avec un réglage : gemini-4-argon avec high. Pour strong-reasoning, il respecte toutes les règles. Mais il coûte plus cher qu’aujourd’hui. Pour l’assistant d’aide, il ne respecte ni la fourchette de prix ni la règle de réglage.
  3. Le moins cher qui respecte le contrat semble offrir une économie de 90 %. Il envoie les questions de Lena à un modèle qui trouve 12 % des faits.
  4. Le moins cher qui réussit pour chaque application consommatrice respecte toutes les règles et coûte 34,70 $ US par mois. C’est 80 % de moins qu’aujourd’hui.

Seule la quatrième option tient toutes les promesses. Elle coûte deux fois plus que la troisième. La différence, 17,75 $ US par mois, est le prix à payer pour ne pas dégrader l’assistant de recherche.

Tâche 4 : laisser les règles choisir et écrire l’association

Section intitulée « Tâche 4 : laisser les règles choisir et écrire l’association »
  1. Proposez une association pour chaque capacité :

    Fenêtre de terminal
    python -m pubcat choose

    Pour chaque capacité, la commande affiche l’entonnoir et sa proposition. Pour strong-reasoning :

    cheapest that keeps the contract: azure/gpt-5-nano-2025-08-07 {'reasoning_effort': 'high'}, US$1.75 a month - blocked by the gate (research-assistant)
    proposed primary: vertex/gemini-3.8-flash {'reasoning_effort': 'high'}, US$19.50 a month, smallest margin +0.237
    proposed fallback: azure/gpt-5-2025-08-07 {'reasoning_effort': 'high'} (a different model: every consumer passed its gate)

    Pour fast-small : openai/gpt-5.6-luna avec low (faible), à 15,20 $ US par mois. La solution de repli est azure/gpt-5.6-luna avec low : le même modèle et réglage chez un autre fournisseur. À la fin, un diff (comparaison des différences) montre l’association actuelle et la proposition.

  2. Écrivez la proposition dans le catalogue : python -m pubcat choose --write. L’ancienne association reste dans le fichier sous previous_mapping, comme trace du changement.

  3. Vérifiez le catalogue : python -m pubcat check affiche The catalog is consistent: every mapping keeps its contract. (le catalogue est cohérent : chaque association respecte son contrat).

  4. Exécutez tous les tests : python -m pytest -q. La dernière ligne indique 24 passed (24 tests réussis).

  5. Ouvrez docs/RECOMMENDATION.md. Remplissez ses cinq sections pour les responsables des applications de Hollin et Ben, avec les sorties ci-dessus. Le projet terminé en contient une version.

Comment l’outil de choix départage-t-il des prix égaux? gemini-3.8-flash et gemini-3.7-flash coûtent le même prix. En cas d’égalité, il choisit la cible dont la plus petite marge est la plus grande. C’est le plus petit écart entre score et minimum parmi toutes les applications consommatrices, donc le plus éloigné d’un échec. Ici, c’est 0,237 contre 0,222. Ensuite, il choisit le fournisseur que la capacité utilise aujourd’hui, pour limiter le changement. C’est pourquoi fast-small reste chez OpenAI et Azure sert de solution de repli.

Les solutions de repli suivent la règle du cours. Pour fast-small, la solution de repli utilise le même modèle et réglage chez un autre fournisseur. Une panne ne change rien pour l’assistant d’aide. Pour strong-reasoning, aucun autre fournisseur de Hollin n’offre gemini-3.8-flash. La solution de repli est donc un modèle différent : gpt-5-2025-08-07 avec high, le moins cher qui réussit chez un autre fournisseur. Associer les capacités aux modèles appelle cela « une nouvelle association déguisée ». Elle est permise uniquement parce que la barrière de chaque application consommatrice l’a aussi acceptée.

Deux boîtes, de haut en bas. Aujourd'hui : l'assistant d'aide de Joel, l'agent de facturation d'Ada et l'assistant de recherche de Lena appellent tous openai o3-2025-04-16, qui sera retiré le 11 décembre 2026, dans 50 jours. Une flèche épaisse porte l'étiquette nouvelle association : contrats, puis barrière. Après : chaque application demande une capacité. L'assistant d'aide demande fast-small, servi par openai gpt-5.6-luna avec low, avec le même modèle chez azure comme solution de repli. L'agent de facturation et l'assistant de recherche demandent strong-reasoning, servi par vertex gemini-3.8-flash avec high, avec azure gpt-5 avec high comme solution de repli.
Un retrait, avant et après. Les applications nomment maintenant une capacité. Le prochain retrait change donc le catalogue, pas les applications.
Description textuelle du diagramme

Avant la nouvelle association, les trois applications appellent o3-2025-04-16 chez OpenAI, qui sera retiré dans 50 jours. Après, l’assistant d’aide demande fast-small : gpt-5.6-luna avec low, avec le même modèle chez Azure comme solution de repli. L’agent de facturation et l’assistant de recherche demandent strong-reasoning : gemini-3.8-flash avec high sur Vertex AI, avec gpt-5 avec high sur Azure comme solution de repli.

La recommandation de Noor, en bref : fast-small sur gpt-5.6-luna avec low, et strong-reasoning sur gemini-3.8-flash avec high. Cela représente environ 34,70 $ US par mois aux prix courants, au lieu de 174 $ US. Chaque application change une fois, passant d’un nom de modèle à un nom de capacité. Avant la mise en service, chaque responsable vérifie la nouvelle association sur son propre travail. Les limites ci-dessous expliquent pourquoi.

Un catalogue n’est pas terminé une fois écrit. Des retraits, de nouveaux modèles et de nouveaux prix arrivent chaque mois. Voici trois nouvelles données d’entrée.

1. Un deuxième retrait (un scénario hypothétique). Supposons que le fournisseur annonce aujourd’hui le retrait de gpt-5.6-luna, ce qu’il n’a pas fait. L’option --retire retire les offres d’un modèle pour une exécution :

Fenêtre de terminal
python -m pubcat choose --retire gpt-5.6-luna
What-if: gpt-5.6-luna retired today (2026-10-22).
fast-small:
reaches the contract's floor 1
every consumer passes its own minimum 1
proposed primary: vertex/gemini-3.1-flash-lite {'reasoning_effort': 'low'}, US$19.00 a month, smallest margin +0.002
proposed fallback: none - no other provider passes

(Les premières lignes de l’entonnoir et la partie pour strong-reasoning, dont la proposition ne change pas, sont omises ici.)

Ce que cela nous apprend. L’association change, et personne ne touche à une application. Mais regardez ce qui reste. Une cible réussit, avec 0,002 de plus que le minimum de Joel. Son erreur-type est de 0,031. Les preuves publiques ne permettent donc pas de la distinguer d’un modèle qui échoue. Elle n’a aucune solution de repli, et show gemini-3.1-flash-lite indique son retrait le 7 mai 2027. Les règles ont trouvé une réponse, mais les preuves sont faibles. Noor ajoute une prochaine étape : avant ce jour, Joel exécute sa propre évaluation sur deux ou trois candidats.

2. Une date ultérieure. La date par défaut est celle des données figées. Vérifiez le catalogue écrit à la date du retrait d’o3 :

Fenêtre de terminal
python -m pubcat check --today 2026-12-11
strong-reasoning -> azure/gpt-5-2025-08-07: retires on 2027-02-09 (60 days), inside the 60-day review window

La solution de repli entre dans sa propre période de révision ce jour-là. Exécutez check (vérifier) à intervalles réguliers. La prochaine modification d’association commence alors 60 jours à l’avance, pas le jour où une application tombe en panne.

3. Les dernières données publiques. data/fetch.py télécharge les versions actuelles des deux sources dans data/latest/, avec leurs sommes de contrôle :

Fenêtre de terminal
python data/fetch.py
python -m pubcat --data data/latest data
python -m pubcat --data data/latest --models config/models-latest.yaml models
python -m pubcat --models config/models-latest.yaml choose

Quand le cours a figé les données, les derniers fichiers étaient identiques. La dernière ligne indiquait The proposed mapping is the same as today's. (l’association proposée est identique à celle d’aujourd’hui). Vos résultats seront différents : de nouveaux modèles, scores, prix et dates arrivent. Comparez votre proposition avec celle ci-dessus. Lisez chaque ligne du diff avant de l’écrire.

Erreur courante

Un fichier de données modifié

Symptôme : python -m pubcat data affiche ceci et se termine avec le code 1 :

epoch/simpleqa_verified.csv: wrong checksum (the file changed)
Some data files are missing or changed. Download the project again, or run python data/fetch.py.

Cause : un fichier dans data/ ne correspond pas au fichier dans SHA256SUMS. L’étude de cas a provoqué cela exprès : un score, le 0,494 d’o3, a été « corrigé » à 0,594 dans un éditeur. Le catalogue accepterait alors des modèles pour l’assistant de recherche que les vraies données refusent. La même chose se produit si un tableur enregistre de nouveau un fichier CSV.

Diagnostic : la ligne indique le nom du fichier. Comparez-le avec la copie dans le fichier zip téléchargé, par exemple avec git diff --no-index.

Rétablissement : extrayez de nouveau le fichier de l’archive de départ. Ensuite, exécutez python -m pubcat data jusqu’à l’affichage de Checksums: 6 files match SHA256SUMS (sommes de contrôle : 6 fichiers correspondent à SHA256SUMS). Ne modifiez jamais les preuves publiques à la main. Si vous contestez un score, écrivez-le dans la recommandation, avec votre raison.

  • Les résultats publics créent une liste restreinte; ils ne décident pas. Aucun banc d’essai ici ne pose une question de facturation ou d’ingénierie. Les règles et la barrière ont éliminé 214 des 227 cibles. Elles peuvent pourtant accepter un modèle qui échoue au vrai travail de Hollin. Chaque responsable teste d’abord un échantillon de ses propres tâches, comme le fait la barrière du cours.
  • Le coût dépend aussi du réglage. Un modèle avec max écrit beaucoup plus de jetons en sortie qu’avec low. Aucun des deux fichiers ne contient le nombre de jetons par tâche. Le coût de strong-reasoning est un minimum, pas une prévision. Mesurez les jetons de la première semaine.
  • Les fonctionnalités exigent un appel réel. Le fichier de prix indique que chaque candidat peut appeler des fonctions. Dans Un catalogue de capacités, un modèle avait besoin de reasoning_effort: none pour les outils. Un autre ne pouvait pas appeler d’outils du tout. Ada fait un appel d’outil réel sur chaque nouvelle cible.
  • Une date absente ne signifie pas « jamais ». 41 des 102 offres n’ont aucune date de retrait. Considérez ces dates comme inconnues.
  • Les prix proviennent du relevé d’un tiers, et ils peuvent être en retard. Le service des finances vérifie chacun sur la page du fournisseur.
  • Les questions des bancs d’essai peuvent se retrouver dans les données d’entraînement d’un modèle, ce qui augmente son score. Vos propres tâches n’ont pas ce problème.
  • Citez les sources. CC BY 4.0 exige de citer Epoch AI partout où vous utilisez ses données. La licence MIT exige de conserver la note de licence de LiteLLM avec son fichier. Gardez les deux dans votre version.
  • Un score public n’est pas un verdict sur un fournisseur. Ce classement suit les règles et les charges de travail fictives de Hollin. Une autre organisation choisirait autrement. Dites « pour ces contrats », pas « le meilleur modèle ».
  • Indiquez chaque hypothèse là où elle est utilisée. Les contrats, les charges de travail et les prix sont des hypothèses; le deuxième retrait est un scénario hypothétique.
  • Les responsables décident. Noor exécute la barrière et propose l’association. Chaque responsable approuve son propre résultat. L’économie de Ben justifie un examen, pas une approbation.

Cette étude de cas montre deux choses à un employeur. Vous pouvez transformer « quel modèle devrions-nous utiliser? » en règles que tout le monde peut vérifier. Et vous savez où s’arrêtent les preuves publiques. Personnalisez-la avec un changement : d’autres applications, d’autres bancs d’essai des archives d’Epoch AI ou une autre liste de fournisseurs.

Quoi mettre dans le dépôt :

  • README.md (modèle ci-dessous).
  • Le projet, avec vos fichiers config/, les tests réussis et data/ avec ses licences et ses sommes de contrôle.
  • docs/RECOMMENDATION.md : la décision, les preuves, le coût et les limites.
  • La sortie de python -m pubcat compare et de choose, et les différences dans l’association.
  • Les deux mentions de source de l’encadré des sources ci-dessus.

Un modèle de README :

# A capability catalog from public evaluation results
## Problem
Three apps called one model straight; the provider retires it in 50 days.
Goal: apps ask for a capability; rules choose the model from public evidence.
## Data and licences
Epoch AI benchmark results (GPQA Diamond, OTIS Mock AIME 2024-2025, SimpleQA
Verified), CC BY 4.0, frozen copy. LiteLLM price file, commit 159b5b2, MIT:
prices, features and retirement dates (assumptions; check provider pages).
## Approach
Two contracts (features, allowed settings, a public floor at the mapped setting,
price band, data classes, a 60-day retirement window). Each app's own minimum:
today's score minus two standard errors. A gate: every app must pass. The
cheapest target that passes is the mapping; same-model fallback if possible.
## Results
Today (o3): 4 broken rules, US$174/month. Top of a leaderboard: 3 broken rules,
US$192. Cheapest that keeps the contract: 1 broken rule (research app 0.117 vs
0.46), US$16.95. Cheapest that passes every app: 0 broken rules, US$34.70.
## Limits
Public benchmarks are proxies; no token counts per setting; features need one
real call; prices and dates are a third party's record.

Comment le décrire en entrevue, en deux phrases : « Le modèle partagé de trois applications allait être retiré; j’ai créé un catalogue de capacités dont les règles choisissent le modèle selon des bancs d’essai publics et des prix. L’option la moins chère ne respectait pas le minimum d’une application; la barrière en a choisi une qui respectait chaque promesse, à un coût inférieur de 80 %. »

Pour aller plus loin :

  • Ajoutez une troisième capacité, embed, avec un banc d’essai de plongements sous licence ouverte, et vérifiez d’abord sa licence.
  • Ajoutez le classement LMArena (CC BY 4.0) comme deuxième avis pour un consommateur, et consignez comment vous avez associé ses noms de modèles.
  • Remplacez le banc d’essai public d’un consommateur par 30 de ses propres tâches enregistrées, et comparez les deux barrières.
  • Exécutez check chaque semaine dans la CI (intégration continue), et ouvrez un ticket lorsqu’une cible entre dans la fenêtre de révision.

Vérifiez votre compréhension

gpt-6-luna au réglage max réussit pour l'agent de facturation avec 0,989, mais échoue pour l'assistant de recherche avec 0,414. La moyenne des deux scores, 0,701, dépasse la moyenne des minimums, 0,605. Ben dit que la moyenne montre que le modèle est assez bon. Que répondez-vous?

Afficher la réponse

La moyenne mélange deux compétences différentes et les promesses de deux responsables. Le score de 0,989 de l’agent de facturation ne peut pas compenser la perte de 8 points de l’assistant de recherche. Les utilisateurs de Lena recevraient plus de mauvaises réponses sur l’équipement. Chaque minimum représente la promesse de son responsable, et la moyenne ne représente la promesse de personne. La barrière bloque donc, comme dans le cours : chaque consommateur doit réussir sa propre évaluation. La cible la moins chère qui réussit les deux, gemini-3.8-flash au réglage high, coûte encore 80 % moins cher qu’o3.

Vérifiez votre compréhension

Epoch AI indique que claude-haiku-5-5 obtient 0,972 sur OTIS Mock AIME au réglage high, et 0,238 sur SimpleQA Verified au réglage max. Pourquoi la barrière indique-t-elle « aucune preuve » pour l'assistant de recherche au réglage high, et qu'est-ce qui déterminerait sa réussite ou son échec?

Afficher la réponse

Un score public correspond au réglage utilisé pour le mesurer. L’association enverrait reasoning_effort high, et personne n’a publié de score SimpleQA Verified au réglage high. Le score de 0,238 au réglage max correspond à un autre réglage; il est même inférieur au minimum de Lena. Un score manquant n’est ni un zéro ni une réussite, donc la barrière bloque : aucune preuve, aucune nouvelle association. Pour décider, Lena a besoin d’un score au réglage high : un score public ou sa propre évaluation avec ce réglage.

Vérifiez votre compréhension

Dans le scénario hypothétique, gpt-5.6-luna est retiré et fast-small passe à gemini-3.1-flash-lite au réglage low, avec une marge de 0,002 et aucun modèle de repli. La vérification indique que le catalogue est cohérent. Noor devrait-elle l'accepter?

Afficher la réponse

Pas sur la seule base des données publiques. La marge est beaucoup plus petite que l’erreur-type du score, qui est de 0,031. Les preuves ne permettent donc pas de distinguer ce modèle d’un modèle qui échoue. Il n’y a aucun modèle de repli chez un autre fournisseur, et le modèle sera retiré le 7 mai 2027. Les règles ont trouvé la seule cible qui réussit, ce qui est utile : l’assistant d’aide ne s’arrêterait pas. Mais Noor devrait demander à Joel d’évaluer lui-même deux ou trois candidats avant cette date. Élargir la fourchette de prix ou les réglages permis est une autre option, dont il faut consigner le coût.

Récapitulatif

  • Vous avez créé un catalogue à partir de deux fichiers publics : les résultats des bancs d’essai d’Epoch AI (CC BY 4.0) et le fichier de prix de LiteLLM (MIT), figés avec des sommes de contrôle.
  • Un score public correspond à un seul réglage : gpt-5.6-luna a obtenu 0,636, 0,823 et 0,916 sur GPQA Diamond aux réglages none, low et max. L’association contient le réglage, et un score manquant signifie qu’il n’y a aucune preuve.
  • Les contrats ont ajouté une fenêtre de retrait : o3 sera retiré dans 50 jours chez OpenAI (et plus tôt chez Azure), donc l’association actuelle a échoué à la vérification.
  • Le minimum de chaque application était « pas moins bon qu’aujourd’hui » : le score actuel moins deux erreurs-types.
  • La barrière a bloqué gpt-6-luna même si la moyenne était suffisante, car l’assistant de recherche était sous son propre minimum.
  • Selon une mesure, seul « le moins cher qui réussit pour chaque consommateur » respectait toutes les règles : 34,70 $ US par mois contre 174 $ US aujourd’hui. Un retrait hypothétique a de nouveau changé l’association, vers un modèle avec des preuves faibles et aucun modèle de repli.

Ensuite, la deuxième étude de cas : rejouer des trajectoires d’agents ouvertes à travers la passerelle. Vous mesurerez ce que les budgets, les limites d’étapes et les politiques d’outils auraient arrêté.

Leçon suivante : Contenir un agent emballé