Aller au contenu
English

Modifier une association en toute sécurité

  • Leçon 6
  • 45 min
  • Module 2 : Demander des capacités, pas des modèles

Où nous en sommes

Dans les deux dernières leçons, nous avons donné un contrat à chaque capacité et l'avons associée à un modèle. Nous avons ajouté des solutions de repli, des règles sur les données et des versions fixes. Mais votre réassociation d'exercice a passé la vérification du catalogue sans question sur la qualité, et elle change d'un coup tous les agents de la capacité. Dans cette leçon, Omar demande un modèle moins cher derrière strong-reasoning. Nous la traitons comme une mise en production, filtrée par l'évaluation de chaque consommateur. La compagnie de location change d'abord ses voitures.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité

Ce que vous saurez faire

Traitez le changement de modèle derrière une capacité comme une mise en production. L’évaluation propre à chaque consommateur doit réussir avant tout transfert de trafic. Ensuite, une part du trafic est transférée en premier. Quelqu’un la surveille, et le changement peut être annulé. Vous décidez aussi qui peut approuver.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 45 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

  • Votre projet après la dernière leçon : python -m pytest -q affiche 100 passed, 1 deselected (100 tests réussis, 1 désélectionné), et try_route.py est supprimé.
  • Un terminal avec l’environnement virtuel actif. Le parc n’a pas besoin de fonctionner : la barrière démarre son propre simulateur de fournisseur dans la commande.

Testé sur macOS (Apple silicon) avec Python 3.12.13; les commandes Windows et Linux ne sont pas testées. Chaque réponse de modèle est rejouée à partir des cours Agents d’IA et orchestration des flux de travail et Évaluer et tester les systèmes d’IA. Un consommateur de cette leçon est construit, et la leçon le précise chaque fois.

La compagnie de location veut des voitures intermédiaires moins chères. Elle prête le nouveau modèle à 100 clients pour une fin de semaine. Elle demande à chacun une note de 1 à 5. La moyenne est de 4,4. La gestionnaire veut remplacer toutes les voitures intermédiaires lundi prochain.

Puis elle lit les notes une par une. La plupart des clients ont donné 5. La famille avec la remorque a donné 1 : la nouvelle voiture n’a pas d’attelage assez solide, et leur voyage a échoué. Dans une moyenne de 100 notes, un voyage raté est presque invisible. Pour cette famille, c’est le seul résultat qui compte.

Elle change donc le plan. Chaque grand client teste la voiture pour son propre voyage, avec sa propre règle pour un résultat « assez bon ». Si l’un d’eux échoue, le changement attend. Si tous réussissent, deux succursales changent en premier. Quelqu’un surveille les plaintes pendant une semaine. Les anciennes voitures restent dans le stationnement pour que les succursales puissent revenir en arrière. Et le vendeur qui a demandé des voitures moins chères ne décide pas seul. Chaque client approuve son propre test.

Le problème : une réassociation change tous les consommateurs en même temps

Section intitulée « Le problème : une réassociation change tous les consommateurs en même temps »

Omar, le gestionnaire de produit, regarde la facture. Dans le module 1, vous avez vu qu’une tâche du flux de travail coûte environ 50 fois un billet de triage. Elle fait plusieurs appels à chat-strong. Il demande à Kwame : « Passe strong-reasoning à chat-small. Il coûte 20 fois moins cher par jeton. »

Les chiffres lui donnent raison. Dans les évaluations enregistrées, les 70 tâches du flux de soutien coûtent 0,78 $ US sur chat-strong et 0,04 $ US sur chat-small. Les 101 réponses du juge de mise en production coûtent 0,42 $ US et 0,03 $ US (rejouées, aux prix du cours). Et dans la dernière leçon, la vérification du catalogue a accepté chat-small pour strong-reasoning.

Mais une association est partagée. Une ligne dans catalog.yaml change le modèle pour tous les consommateurs de la capacité, au même moment. Deux applications de Larkfield demandent strong-reasoning : le flux de soutien d’Amira et le juge de mise en production de Priya. Leurs requêtes (prompts) et leurs preuves ont été préparées sur chat-strong.

La façon habituelle de juger le changement présente aussi un piège. Regardez d’abord ce petit cas inventé :

Consommateur Éléments Réussis Taux Son propre minimum Résultat
A 10 6 0,60 0,90 échoue
B 90 88 0,98 0,85 réussit
Tous les éléments ensemble 100 94 0,94

La moyenne de tous les éléments est de 0,94. Une plateforme qui compare une seule moyenne à 0,85 dit oui. Mais le consommateur A échoue largement. La moyenne le cache parce que B a neuf fois plus d’éléments. Comme pour la famille avec la remorque, le résultat de A est le seul qui compte pour A.

L’idée : une barrière par consommateur, puis une mise en production

Section intitulée « L’idée : une barrière par consommateur, puis une mise en production »

Une réassociation modifie l’association : un autre modèle ou fournisseur derrière une capacité. Traitez-la comme une mise en production, comme une nouvelle version du code, avec ces étapes :

  1. Proposition. Quelqu’un écrit l’association candidate, avec les paramètres nécessaires au nouveau modèle.
  2. La barrière de réassociation. La plateforme trouve chaque consommateur : chaque enregistrement qui indique la capacité. Elle exécute l’évaluation propre à chaque consommateur, celle nommée dans son enregistrement, sur le modèle actuel et sur le candidat. La réassociation passe seulement si chaque consommateur atteint son propre minimum. Un consommateur sans évaluation exécutable par la barrière est considéré comme « sans preuve ». Sans preuve, aucune réassociation.
  3. Déploiement canari. Seulement alors, une part du trafic réel est transférée en premier. Chez Larkfield, c’est une des trois répliques de passerelle que vous construisez au module 4.
  4. Surveillance. Les erreurs, les refus, le modèle qui a répondu et les signaux propres à chaque consommateur. Par exemple, la part des tâches confiées à une personne.
  5. Promotion ou retour en arrière. Si tout va bien, le changement passe à toutes les répliques. Sinon, la version précédente de la configuration revient.

La barrière précède le déploiement canari pour une raison. Un déploiement canari envoie le travail de vrais clients au nouveau modèle. Pour un agent qui écrit, comme le flux qui envoie des commandes de remplacement, un mauvais déploiement canari laisse des changements réels. Un retour en arrière rétablit l’association; il ne peut pas reprendre un colis.

Une réassociation traitée comme une mise en production, de gauche à droite. 1, Proposition : Omar demande, Kwame écrit l'association candidate de strong-reasoning à chat-small. 2, Barrière : l'évaluation propre à chaque consommateur; release-judge 70 sur 101 = 0,693, minimum 0,9, ÉCHEC; support-workflow 64 sur 70 = 0,914, minimum 0,95, ÉCHEC. Si l'un échoue : BLOCAGE, retour à la proposition avec les preuves, ce qui est le résultat réel d'aujourd'hui. Si tous réussissent : 3, Déploiement canari, la nouvelle association sur 1 des 3 répliques. 4, Surveillance : erreurs, modèle qui a répondu, signaux propres à chaque consommateur. Si tout va bien : 5a, promotion à toutes les répliques. En cas de problème : 5b, retour à la dernière version de configuration. En dessous : qui approuve. Chaque responsable de consommateur approuve son propre résultat, Amira pour le flux et Priya pour le juge. Kwame, le responsable de la plateforme, exécute la mise en production. Omar peut demander, mais il n'approuve pas. Un retour en arrière rétablit l'association; il n'annule pas ce qu'un agent a déjà fait : une commande de remplacement reste envoyée.
Une réassociation est une mise en production : une barrière par consommateur, un déploiement canari, une surveillance et un retour possible. La demande d'Omar s'arrête à la barrière.
Description textuelle du diagramme

La mise en production comporte cinq étapes. D’abord, la proposition : Omar demande, et Kwame écrit l’association candidate, de strong-reasoning à chat-small. Ensuite, la barrière exécute l’évaluation propre à chaque consommateur. Ici, les deux échouent. Le juge de mise en production atteint 70 sur 101, soit 0,693, sous son minimum de 0,9. Le flux de soutien atteint 64 sur 70, soit 0,914, sous 0,95. La réassociation est donc bloquée et retourne à la proposition, avec les preuves. Si chaque consommateur avait réussi, la troisième étape serait un déploiement canari sur une des trois répliques. Ensuite, quelqu’un surveillerait les erreurs, le modèle qui a répondu et les signaux propres à chaque consommateur. Puis le changement serait promu à toutes les répliques, ou annulé pour revenir à la dernière version de configuration. Chaque responsable de consommateur approuve son propre résultat. Kwame exécute la mise en production, et Omar peut demander, mais n’approuve pas. Un retour en arrière n’annule pas ce qu’un agent a déjà fait.

Choisissez le modèle derrière strong-reasoning et les consommateurs qui comptent. L’explorateur montre les exécutions réelles de la barrière, pas une simulation de celles-ci :

Explorer

Une réassociation, l'évaluation propre à chaque consommateur

Décision de la barrière
BLOQUÉ
Moyenne sur tous les éléments
0,784 : échoue à un contrôle de moyenne à 0,85
Coût de l’évaluation
0,07 $ US contre 1,19 $ US aujourd’hui

La moyenne sur tous les éléments est de 0,784, aussi sous 0,85. Ici, la moyenne et la barrière sont d’accord : bloquer. En échec : release-judge et support-workflow. Le minimum d’un consommateur est la promesse de son responsable ; la moyenne n’est la promesse de personne.

  • atteint son propre minimum
  • sous son propre minimum
  • trait : le minimum du consommateur
strong-reasoning de chat-strong vers chat-small : l’évaluation de chaque consommateur
ConsommateurCandidat face à son minimumVerdict
release-judge
Priya
accord avec les vérifications du code 70/101 = 0,693 · minimum 0,90 · aujourd’hui 0,980102 réponses rejouées d’enregistrements faits avec un autre réglageÉCHEC
support-workflow
Amira
tâches réussies 64/70 = 0,914 · minimum 0,95 · aujourd’hui 1,0002 changements inattendus dans la baseÉCHEC
Exécutions réelles de python -m estate remap gate sur des réponses rejouées. Le consommateur de triage hypothétique est construit; ses réponses sont de vrais enregistrements. gemma3:4b : 0 $ US par jeton est une hypothèse (matériel interne).
Description textuelle de l’explorateur

L’explorateur a deux commandes. La première choisit le modèle derrière strong-reasoning : chat-strong, qui le sert aujourd’hui, chat-small, ou gemma3:4b sur le matériel de Larkfield. La deuxième choisit les consommateurs qui comptent : les deux consommateurs réels, ou le flux de soutien avec un consommateur hypothétique construit. Ce consommateur est le service de triage, comme s’il demandait strong-reasoning. L’affichage montre la décision de la barrière et le coût des exécutions d’évaluation. Il compare aussi la moyenne de tous les éléments à un minimum de 0,85, comme une vérification de moyenne unique. Un tableau montre une ligne par consommateur : une barre pour son taux, une ligne à son minimum, le taux actuel et le verdict.

Il commence sur chat-small avec les deux consommateurs réels. Le juge de mise en production atteint 70 sur 101, soit 0,693, sous son minimum de 0,9; aujourd’hui, 0,980. Le flux de soutien atteint 64 sur 70, soit 0,914, sous 0,95, avec 2 changements inattendus dans la base de données; aujourd’hui, 1,000. La moyenne de tous les éléments est de 0,784, et la décision est BLOCK (blocage). Les exécutions d’évaluation coûtent 0,07 $ US sur chat-small contre 1,19 $ US aujourd’hui.

Avec chat-strong, les deux consommateurs réussissent et rien ne change. Avec gemma3:4b, le flux atteint 28 sur 70, soit 0,400, et le juge n’a aucune preuve. Personne n’a enregistré ses requêtes sur gemma3:4b. La décision est BLOCK.

Avec l’ensemble construit et chat-small, le consommateur de triage hypothétique atteint 90 sur 102 (0,882). Il dépasse son minimum de 0,85 et fait mieux que les 87 sur 102 de chat-strong. Le flux échoue toujours. La moyenne est de 0,895, donc une vérification de moyenne unique à 0,85 réussirait. La barrière bloque quand même la réassociation.

Larkfield : exécuter la barrière sur la demande d’Omar

Section intitulée « Larkfield : exécuter la barrière sur la demande d’Omar »
  1. Copiez les fichiers de cette leçon depuis l’instantané end-of-m02 : la barrière, sa commande, les évaluations, les enregistrements provisoires, le test et le nouveau README.md :

    Fenêtre de terminal
    S=../nextia-learning-labs/C32/snapshots/end-of-m02
    cp $S/estate/remap.py estate/
    cp $S/estate/cli/remap.py estate/cli/
    cp -R $S/evaluations $S/registrations .
    cp $S/tests/test_remap.py tests/
    cp $S/README.md .
  2. Exécutez les tests. La dernière ligne indique 104 passed, 1 deselected (104 tests réussis, 1 désélectionné). Votre projet est maintenant identique à l’instantané end-of-m02.

  3. Ouvrez registrations/release-judge.yaml. C’est une version provisoire : le prochain module la complète. Trouvez les deux parties que la barrière lit : capabilities: [strong-reasoning] et, sous evaluations:, l’évaluation, sa mesure agreement (accord) et son minimum 0.9. Priya a écrit ce minimum; c’est sa promesse, pas celle de la plateforme.

  4. Exécutez d’abord la barrière pour un consommateur, le juge de mise en production :

    Fenêtre de terminal
    python -m estate remap gate strong-reasoning --to azure/chat-small --param reasoning_effort=none --consumer release-judge

    Cela prend environ une seconde :

    Remap gate: strong-reasoning from azure/chat-strong to azure/chat-small with {'reasoning_effort': 'none'}
    release-judge FAIL agreement 70/101 = 0.693 (minimum 0.9); today 99/101 = 0.980; cost US$0.0319 vs US$0.4165 today
    warning: 102 answers come from recordings made with another reasoning_effort: the real model may answer differently
    items that changed: T-64720, T-64740, T-64746, T-64800, T-64876, T-64944, T-65003, T-65104, T-65126, T-65270, T-65353, T-65552 ...
    Average over every item: 0.693 with the candidate, 0.980 today (mean of the consumers' rates: 0.693)
    Decision: BLOCK - every consumer must pass its own evaluation

Lisez la sortie étape par étape. La barrière a exécuté l’évaluation du juge deux fois : sur l’association actuelle et sur la candidate. Le juge lit chaque réponse de soutien et décide si elle est mauvaise. Le cours Évaluer et tester les systèmes d’IA a comparé ce verdict aux vérifications par code des mêmes réponses. Sur chat-strong, le juge était d’accord pour 99 réponses sur 101. Sur chat-small, il était d’accord pour 70. Une réponse n’a aucun verdict sur les deux modèles : le filtre de contenu du fournisseur l’a arrêtée. Donc, 101 réponses comptent, pas 102.

items that changed (éléments modifiés) liste les 31 réponses dont le résultat diffère entre les deux modèles (les 12 premières sont affichées). Priya peut les lire et voir où chat-small juge différemment.

L’avertissement montre que la barrière reconnaît sa propre limite. Le cours Évaluer et tester les systèmes d’IA a enregistré le juge sur chat-small sans reasoning_effort. Le candidat définit reasoning_effort: none, dont chat-small a besoin pour les outils. L’empreinte du simulateur exclut ce champ. Il rejoue donc les réponses enregistrées sans ce champ. Les chiffres du juge sont identiques dans une exécution sans ce paramètre, comme le cours les a enregistrés. Toutefois, une vraie barrière appelle réellement le modèle candidat.

Notez aussi ce qu’est le juge. C’est l’instrument qui vérifie les réponses de soutien avant leur envoi. Si la réassociation affaiblissait le juge, chaque mise en production ultérieure des réponses serait vérifiée par un juge plus faible. Un juge moins cher n’est pas une économie s’il laisse passer de mauvaises réponses.

Exécutez maintenant la barrière sur les deux consommateurs réels, comme Kwame doit le faire avant tout changement :

Fenêtre de terminal
python -m estate remap gate strong-reasoning --to azure/chat-small --param reasoning_effort=none
Remap gate: strong-reasoning from azure/chat-strong to azure/chat-small with {'reasoning_effort': 'none'}
release-judge FAIL agreement 70/101 = 0.693 (minimum 0.9); today 99/101 = 0.980; cost US$0.0319 vs US$0.4165 today
warning: 102 answers come from recordings made with another reasoning_effort: the real model may answer differently
items that changed: T-64720, T-64740, T-64746, T-64800, T-64876, T-64944, T-65003, T-65104, T-65126, T-65270, T-65353, T-65552 ...
support-workflow FAIL task_success 64/70 = 0.914 (minimum 0.95); today 70/70 = 1.000; cost US$0.0399 vs US$0.7771 today
unexpected changes in the database: 2 (today 0)
items that changed: T-90103, T-90106, T-90201, T-90305, T-90403, T-90407
Average over every item: 0.784 with the candidate, 0.988 today (mean of the consumers' rates: 0.804)
Decision: BLOCK - every consumer must pass its own evaluation

L’évaluation du flux comprend les 70 tâches de résolution du cours Agents d’IA et orchestration des flux de travail. Chacune utilise une nouvelle base de données d’exercice. Chaque proposition est approuvée telle quelle : le pire cas. chat-small en a résolu 64. La ligne unexpected changes in the database: 2 (changements inattendus dans la base de données : 2) est la plus grave. Les deux changements concernent T-90305, un billet écrit en allemand. La politique du flux confie ce billet à une personne. Sur chat-small, l’agent a plutôt envoyé une étiquette de retour et une commande de remplacement. Un déploiement canari les aurait envoyées à un vrai client.

La demande d’Omar échoue donc pour les deux consommateurs réels, et la moyenne échoue aussi : 0,784, contre 0,988 aujourd’hui. C’est le résultat réel des données du cours, et la décision est claire : BLOCK, avec les preuves ci-dessus. Kwame envoie la sortie à Omar, pas une opinion.

Tomás tire la conclusion inverse : « Donc, le modèle le plus puissant est toujours le choix sûr. Servons aussi fast-small avec chat-strong. » La barrière peut tester cela. Passez fast-small au modèle supérieur chat-strong :

Fenêtre de terminal
python -m estate remap gate fast-small --to azure/chat-strong
Remap gate: fast-small from azure/chat-small to azure/chat-strong
doc-assistant NO EVIDENCE no evaluation that the gate can run: no evidence, no remap for this consumer
helpdesk-assistant NO EVIDENCE no evaluation that the gate can run: no evidence, no remap for this consumer
support-workflow NO EVIDENCE no evaluation that the gate can run: no evidence, no remap for this consumer
ticket-triage PASS decisions 87/102 = 0.853 (minimum 0.85); today 90/102 = 0.882; cost US$0.5252 vs US$0.0353 today
items that changed: T-64746, T-64800, T-65317, T-65388, T-65449, T-65552, T-65615, T-65853, T-81018, T-81046, T-81048, T-81056 ...
Average over every item: 0.853 with the candidate, 0.882 today (mean of the consumers' rates: 0.853)
Decision: BLOCK - every consumer must pass its own evaluation

Pour le service de triage, le modèle plus puissant est moins bon : 87 bonnes décisions sur 102, contre 90 sur chat-small, pour 15 fois le coût. Le cours Évaluer et tester les systèmes d’IA a trouvé le même résultat. « Toujours le modèle le plus récent ou le plus puissant » est un mauvais choix pour certains consommateurs. Mesurez par consommateur; ne devinez pas.

Erreur courante

NO EVIDENCE : un consommateur sans évaluation

Symptôme : la barrière affiche NO EVIDENCE (aucune preuve) pour un ou plusieurs consommateurs, et Decision: BLOCK (décision : blocage), même si aucun consommateur n’a échoué. Ci-dessus : l’assistant documentaire, l’assistant du centre d’assistance et le flux de soutien, pour fast-small.

Cause : la barrière a trouvé un enregistrement qui indique la capacité, mais aucune évaluation qu’elle peut exécuter. L’enregistrement provisoire de l’assistant du centre d’assistance ne nomme aucune évaluation. L’assistant documentaire nomme les questions réservées du cours Projet intégrateur : créer, évaluer et livrer un produit d’IA. Le flux de soutien n’en nomme aucune pour fast-small; ce projet n’a de programme d’exécution pour aucun des deux. La barrière ne peut pas savoir si le nouveau modèle leur convient, donc elle ne devine pas.

Diagnostic : ouvrez l’enregistrement de chaque consommateur qui indique NO EVIDENCE, par exemple registrations/helpdesk-assistant.yaml. Cherchez la capacité sous evaluations:.

Correction : le responsable du consommateur ajoute une évaluation exécutable par la barrière, avec une mesure et un minimum, avant la réassociation. Ou le consommateur cesse de demander cette capacité. Ne retirez jamais un consommateur de la barrière pour faire passer une réassociation : ses appels seraient quand même transférés.

Après la barrière : déploiement canari, surveillance, retour en arrière

Section intitulée « Après la barrière : déploiement canari, surveillance, retour en arrière »

Aujourd’hui, la barrière bloque, donc rien ne bouge. Quand une réassociation passe, les prochaines étapes de Larkfield utilisent la passerelle que vous construisez au module 4 :

  • Déploiement canari. python -m estate config publish --stage canary envoie une nouvelle configuration à une des trois répliques de passerelle : environ un tiers des appels.
  • Surveillance. Chaque appel enregistre son consommateur, son résultat et le modèle qui a répondu. Surveillez les erreurs par consommateur et son propre signal, comme les billets confiés à une personne.
  • Promotion ou retour en arrière. promote (promouvoir) envoie la configuration à toutes les répliques; rollback (revenir en arrière) rétablit la version précédente en quelques secondes. L’association est une configuration, pas du code.

Qui approuve. La capacité appartient à la plateforme, mais les preuves appartiennent aux consommateurs. Chaque responsable de consommateur approuve donc son propre résultat : Amira pour le flux, Priya pour le juge. Kwame, le responsable de la plateforme, exécute la mise en production et peut l’arrêter. Omar peut demander une réassociation, et sa raison est bonne, mais il ne l’approuve pas. Un consommateur dont l’évaluation échoue peut aussi choisir une version fixe : il garde chat-strong jusqu’à sa date retire_by, et les autres changent. La barrière de ce projet compte tous les consommateurs de la capacité, avec ou sans version fixe. Le module 3 ajoute les versions fixes aux enregistrements.

Faites votre propre proposition. Le modèle le moins cher dans models.yaml est gemma3:4b, sur le matériel de Larkfield : 0 $ US par jeton. C’est une hypothèse : le matériel et l’électricité ne sont pas comptés. Sa règle sur les données est déjà fixée : les données restent chez Larkfield.

Faites d’abord une prédiction : quels consommateurs de strong-reasoning réussiront, lesquels échoueront, et lesquels la barrière ne pourra-t-elle pas évaluer? Exécutez ensuite la barrière pour les deux consommateurs réels. Écrivez votre décision en deux phrases, avec les preuves.

Fenêtre de terminal
python -m estate remap gate strong-reasoning --to local/gemma3:4b
Vérifiez votre prédiction
Remap gate: strong-reasoning from azure/chat-strong to local/gemma3:4b
release-judge NO EVIDENCE no answer of local/gemma3:4b to score: no evidence, no remap for this consumer
support-workflow FAIL task_success 28/70 = 0.400 (minimum 0.95); today 70/70 = 1.000; cost US$0.0000 vs US$0.7771 today
unexpected changes in the database: 1 (today 0)
items that changed: T-80005, T-90102, T-90103, T-64872, T-65273, T-90104, T-80009, T-65070, T-90105, T-90106, T-90107, T-90201 ...
Average over every item: 0.400 with the candidate, 1.000 today (mean of the consumers' rates: 0.400)
Decision: BLOCK - every consumer must pass its own evaluation

Une décision avec des preuves : « Bloquer. Le flux de travail de soutien a résolu 28 tâches sur 70 avec gemma3:4b, bien sous son minimum de 0,95. Il a aussi fait une modification inattendue dans la base de données. Le juge des mises en production n’a aucune preuve, car personne n’a exécuté son évaluation sur gemma3:4b. » Le cours Agents d’IA et orchestration des flux de travail a enregistré ses 70 tâches sur gemma3:4b. Aucun cours n’y a enregistré le juge, donc aucune réponse ne peut être notée. Des jetons gratuits n’aident pas un modèle qui échoue au travail.

Vérification de fin : la moyenne passe, un consommateur échoue

Section intitulée « Vérification de fin : la moyenne passe, un consommateur échoue »

Cette vérification utilise un consommateur construit. Dans les données réelles de Larkfield, aucune réassociation ne passe selon la moyenne avec un consommateur en échec. Les deux consommateurs réels ont échoué ensemble. Le cours a donc créé un enregistrement hypothétique, registrations/what-if/ticket-triage-on-strong.yaml. Il représente le service de triage comme s’il demandait strong-reasoning. Il ne fait pas partie du parc d’IA. Ses réponses sont réelles : le cours Évaluer et tester les systèmes d’IA a enregistré les mêmes requêtes de triage sur les deux modèles.

Exécutez la barrière avec le flux de travail de soutien et le consommateur hypothétique :

Fenêtre de terminal
python -m estate remap gate strong-reasoning --to azure/chat-small --param reasoning_effort=none \
--consumer support-workflow --consumer ticket-triage-on-strong \
--also registrations/what-if/ticket-triage-on-strong.yaml
Remap gate: strong-reasoning from azure/chat-strong to azure/chat-small with {'reasoning_effort': 'none'}
support-workflow FAIL task_success 64/70 = 0.914 (minimum 0.95); today 70/70 = 1.000; cost US$0.0399 vs US$0.7771 today
unexpected changes in the database: 2 (today 0)
items that changed: T-90103, T-90106, T-90201, T-90305, T-90403, T-90407
ticket-triage-on-strong PASS decisions 90/102 = 0.882 (minimum 0.85); today 87/102 = 0.853; cost US$0.0353 vs US$0.5252 today
warning: 102 answers come from recordings made with another reasoning_effort: the real model may answer differently
items that changed: T-64746, T-64800, T-65317, T-65388, T-65449, T-65552, T-65615, T-65853, T-81018, T-81046, T-81048, T-81056 ...
Average over every item: 0.895 with the candidate, 0.913 today (mean of the consumers' rates: 0.898)
Decision: BLOCK - every consumer must pass its own evaluation

Écrivez maintenant la décision comme Kwame l’enverrait à Omar, dans la vérification des connaissances ci-dessous.

Utilisez-la pour chaque réassociation, même une « petite », comme une nouvelle version de la même famille de modèles. Utilisez-la aussi pour toute solution de repli qui change le modèle. Le nom de la capacité reste le même; les réponses changent.

Elle exige une évaluation par consommateur. C’est le vrai coût. Chaque équipe conserve un ensemble de cas, une mesure et un minimum, dans un format que la barrière peut exécuter. Un consommateur sans évaluation bloque chaque réassociation de sa capacité. C’est la bonne pression à exercer.

Elle rejoue les réponses ici et fait de vrais appels ailleurs. La barrière de ce cours rejoue des réponses enregistrées en environ une seconde, sans frais. Une vraie barrière appelle le modèle candidat pour chaque cas. Aux tarifs du cours, les deux évaluations réelles ci-dessus coûtent 0,07 $ US sur chat-small et 1,19 $ US sur chat-strong. Les prix changent : consultez la page actuelle.

Elle ne remplace pas le déploiement canari ni la surveillance. Une évaluation est un ensemble fixe de cas. Le trafic réel contient des cas absents de cet ensemble. L’étape suivante consiste donc à diriger une partie du trafic vers le modèle, sous la surveillance d’une personne.

Vérifiez votre compréhension

Vérification de fin : dans l'exécution hypothétique, la moyenne de tous les éléments est de 0,895, au-dessus du minimum de 0,85. Écrivez la décision pour Omar, avec les preuves, et expliquez pourquoi vérifier la moyenne ne convient pas.

Afficher la réponse

Bloquer la réassociation. Le flux de travail de soutien réussit 64 tâches sur 70, soit 0,914, sous son propre minimum de 0,95. Aujourd’hui, il en résout 70 sur 70. Son exécution a aussi fait 2 modifications inattendues dans la base de données d’exercice, toutes deux sur T-90305. La politique prévoit de confier ce billet de soutien à une personne. Le consommateur de triage hypothétique passe : 90 sur 102, contre un minimum de 0,85, mieux que les 87 de chat-strong. La moyenne de 0,895 mélange 102 éléments de triage et 70 tâches du flux de travail. Le consommateur le plus volumineux masque donc celui qui échoue. Le minimum de chaque consommateur est la promesse de son responsable; la moyenne n’est la promesse de personne. Le consommateur hypothétique est construit, mais ses réponses sont de vrais enregistrements.

Vérifiez votre compréhension

La barrière a affiché un avertissement : 102 réponses viennent d'enregistrements faits avec un autre reasoning_effort. Cela rend-il le FAIL du juge peu fiable? Que ferait une vraie barrière?

Afficher la réponse

Le résultat FAIL (échec) reste valable pour les réponses enregistrées. Le cours Évaluer et tester les systèmes d’IA a enregistré le juge sur chat-small sans ce paramètre. Ces réponses donnent aussi 70 sur 101 dans une exécution sans ce paramètre. Mais l’association candidate ajoute reasoning_effort none, et le vrai modèle pourrait répondre un peu différemment avec ce paramètre. L’avertissement le signale au lieu de le cacher. Une vraie barrière appelle le modèle candidat, avec ses paramètres, pour chaque cas de l’évaluation. Cela coûte environ 0,03 $ US pour les 101 réponses du juge aux tarifs du cours, et donne une réponse exacte.

Vérifiez votre compréhension

Omar dit : « La réassociation économise de l'argent sur chaque tâche. Je suis le gestionnaire de produit, donc je l'approuve. » Qui devrait approuver une réassociation? Que peut faire Amira si son flux de travail échoue, mais que le juge de Priya passe?

Afficher la réponse

Le responsable de chaque consommateur approuve sa propre évaluation : Amira pour le flux de travail, Priya pour le juge. Kwame, le responsable de la plateforme, dirige la mise en production et peut l’arrêter. La demande d’Omar est une bonne raison d’examiner la proposition. Mais les preuves appartiennent aux consommateurs, donc ce n’est pas lui qui approuve. Si seul le flux de travail échoue, Amira peut fixer strong-reasoning à chat-strong avec une date retire_by. Les autres consommateurs passent au nouveau modèle. Elle peut aussi améliorer les requêtes du flux de travail pour chat-small et exécuter la barrière de nouveau.

Récapitulatif

  • Une réassociation change le modèle de tous les consommateurs d’une capacité à la fois. C’est donc une mise en production : proposition, barrière, déploiement canari, surveillance, généralisation ou retour en arrière.
  • La barrière de réassociation exécute l’évaluation de chaque consommateur selon son propre minimum. Sans preuves, aucune réassociation.
  • La demande d’Omar, strong-reasoning vers chat-small : le juge obtient 70/101 = 0,693 (minimum de 0,9). Le flux de travail obtient 64/70 = 0,914 (minimum de 0,95), avec 2 modifications inattendues sur T-90305. Moyenne : 0,784. BLOQUER, même si cela coûterait environ 20 fois moins.
  • Une moyenne peut passer alors qu’un consommateur échoue : le cas hypothétique construit atteint 0,895 et reste bloqué.
  • Le modèle moins cher n’est pas toujours moins bon : pour le triage, chat-small bat chat-strong, 90 contre 87 sur 102.
  • Le responsable de chaque consommateur approuve son propre résultat; le responsable de la plateforme dirige la mise en production. La personne qui fait la demande n’approuve pas.

Votre projet correspond maintenant à l’instantané end-of-m02 : 104 passed (104 tests réussis). Dans ce module, vous avez donné aux applications des capacités plutôt que des modèles. Vous les avez associées à des modèles et avez modifié une association avec des preuves. Mais la barrière a trouvé ses consommateurs dans des formulaires provisoires. Tout script muni d’une clé peut encore appeler un fournisseur sans y figurer. Ensuite, dans le module 3, chaque agent reçoit un enregistrement. Celui-ci indique son responsable, ce qu’il peut faire et combien il peut coûter.

Leçon suivante : Le contenu d'un enregistrement