Aller au contenu
English

Tester un modèle ou une requête en ligne

  • Leçon 27
  • 40 min
  • Module 8 : Les expériences pour les fonctions d'IA et en production

Où nous en sommes

Nous avons testé des courriels, des prix et des blocs de page. Les fonctions d'IA aussi ont besoin de tests. Un test hors ligne ne suffit pas. Dans cette leçon, nous testons en ligne la nouvelle requête de l'assistant de soutien avec des réponses enregistrées. Nous mesurons la résolution, les transferts et le coût par billet, avec des garde-fous.

Leçon 27 sur 30 · Expériences et impact causal : notre changement a-t-il fonctionné?Tester un modèle ou une requête en ligne

Ce que vous saurez faire

Testez une nouvelle requête ou un nouveau modèle en deux étapes. D’abord, notez ses réponses hors ligne, sans clients. Ensuite, faites un test en ligne : un tirage à pile ou face par client. Les mesures portent sur ce que les clients font ensuite. Vérifiez aussi les garde-fous, même ceux qui ne changent jamais.

Carnet JupyterFaire cette leçon dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Dans le carnet (notebook) Jupyter, vous notez les réponses enregistrées des deux requêtes. Ensuite, vous analysez le test en ligne par billet de soutien, en regroupant les billets par client. Les cellules de préparation téléchargent les données et installent les paquets. Vous n’avez donc besoin ni de préparation locale ni de clé. Environ 40 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 40 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur (seulement pour les étapes du projet)

  • Le projet larkfield-experiments à l’instantané end-of-m07, tiré de Modèles de gain incrémental, avec .venv activé. Cette leçon le met à jour vers end-of-m08, le dernier instantané du cours.

Testé sur macOS avec Python 3.12 et l’instantané end-of-m08 du projet. Windows n’a pas été testé.

Une cuisinière a une nouvelle recette de soupe. D’abord, elle la goûte dans la cuisine. Est-elle assez salée? Est-elle trop épaisse? Elle peut l’essayer dix fois en un après-midi, sans risque pour les clients.

Le test en cuisine ne peut pas tout lui dire. Les clients vont-ils la commander de nouveau? Vont-ils la retourner? Va-t-elle ralentir la cuisine lors d’une soirée achalandée? Pour le savoir, elle doit la servir. Elle l’ajoute donc au menu pour la moitié des tables pendant deux semaines, puis elle compte.

Les fonctions d’IA fonctionnent de la même façon. Le test en cuisine est une évaluation hors ligne. Vous notez les réponses d’un modèle ou d’une requête à des questions préparées. Servir la soupe à la moitié des clients est un test en ligne : un test A/B avec de vrais utilisateurs. Vous avez besoin des deux, dans cet ordre.

Le problème : la nouvelle requête semble meilleure hors ligne

Section intitulée « Le problème : la nouvelle requête semble meilleure hors ligne »

L’assistant de soutien de TermeLarkfieldUne boutique en ligne canadienne inventée, qui vend des articles pour la maison et le jardin. Ce n’est pas une vraie entreprise. Tous les cours Nextia utilisent son service d’assistance et ses données comme exemple.En savoir plus Découvrez Larkfield répond aux questions des clients avec un modèle de langage. Le modèle suit une requête : des instructions écrites qui précèdent chaque question du client. La requête A est la requête amicale actuelle. La requête B est nouvelle. Elle demande trois phrases et la règle exacte. Elle dit aussi : transférer à une personne seulement dans les quatre cas prévus par la politique.

TermeTomásL’ingénieur en IA de Larkfield. Il propose souvent un raccourci rapide, et la leçon montre pourquoi il échoue., l’ingénieur en IA, a fait une évaluation hors ligne. Il a rédigé 120 questions de soutien dans 14 catégories. Pour chaque question, il a écrit le fait de la politique qu’une réponse correcte doit donner. Chaque requête a répondu une fois à chaque question. Les réponses sont enregistrées : nous les avons sauvegardées une fois, et le cours les réutilise. Vous n’avez donc besoin d’aucune clé. Ensuite, des règles simples et visibles ont noté chaque réponse.

Hors ligne, 120 réponses chacune Requête A Requête B
Correctes 90,8 % 99,2 %
Transférées à une personne 24,2 % 17,5 %
Dangereuses 0 0
Mots par réponse 26 14

« B est meilleure. Mettons-la en production », dit Tomás.

Regardez une réponse de la requête A que les règles ont notée incorrecte. La question était « Can I change my order? ». Voici une réponse enregistrée du modèle de langage de l’assistant de soutien :

You can change your order within 1 hour of placing it. If it's been longer, I can connect you with a support agent to check what's possible.

La réponse donne le bon fait. Mais elle propose une personne, donc la règle compte un transfert. Un transfert pour cette question est incorrect. Est-ce une mauvaise réponse? Un client pourrait apprécier l’offre. Un autre pourrait demander l’agent, ce qui coûterait du temps d’agent à Larkfield.

La note hors ligne ne peut pas distinguer ces situations. Elle voit les mots de la réponse. Elle ne voit pas ce que le client fait ensuite. Le billet est-il résolu? Le client demande-t-il une personne? Se plaint-il? Ce sont les choses que Larkfield paie. Pour en savoir plus sur l’évaluation hors ligne, consultez Évaluer et tester les systèmes d’IA, par exemple Établir une référence de base.

Deux colonnes. À gauche, évaluation hors ligne sans clients : 120 questions de soutien, chaque requête répond une fois à chacune; des règles visibles notent chaque réponse (correcte, transférée, dangereuse); résultat, réponses correctes A 90,8 %, B 99,2 %, dangereuses 0 et 0; elle voit si la réponse est correcte, mais pas ce que les clients font ensuite. Une flèche bleue, assez bonne pour être essayée, mène à la colonne de droite. Test en ligne avec de vrais clients : un tirage à pile ou face par client, requête A ou B, pendant 14 jours; par billet, résolution, transfert, plaintes, coût; résultat, résolution +9,8 points, coût par billet −0,64 $; il voit ce que les clients font ensuite, mais certains clients reçoivent la moins bonne requête.
Deux étapes. L'évaluation hors ligne est peu coûteuse et sûre. Elle décide si une requête est assez bonne pour être essayée. Le test en ligne mesure ce que les clients font. Certains clients reçoivent une moins bonne requête pendant un certain temps.

L’évaluation hors ligne est un filtre. Elle est peu coûteuse et rapide, et aucun client ne voit une mauvaise requête. Une requête qui échoue hors ligne n’atteint jamais les clients.

Le test en ligne sert à décider. C’est un test A/B normal, avec les mêmes éléments que tous les tests de ce cours :

  • L’unité : qui reçoit A ou B. Ici, le client : un tirage à pile ou face à son premier billet, puis la même requête pour tous ses billets.
  • La mesure principale : la part des billets que l’assistant résout.
  • Les mesures de diagnostic : la part des billets transférés à une personne et le coût par billet. Elles aident à expliquer le résultat.
  • Les garde-fous : des mesures qui ne doivent pas empirer. Ici, les plaintes et les réponses dangereuses.

Pourquoi choisir le client, et non le billet, comme unité? Un client peut ouvrir plusieurs billets. Si la requête le déroute, il revient. Ses billets doivent rester ensemble.

Voici quatre clients. Les nombres sont inventés pour cet exemple.

Client Requête Billets Résolus
1 A 1 1
2 A 3 1
3 B 1 1
4 B 2 2

La mesure est par billet. Nous faisons donc la somme par requête, puis nous divisons :

  • A : (1 + 1) résolus / (1 + 3) billets = 2 / 4 = 50 %;
  • B : (1 + 2) / (1 + 2) = 3 / 3 = 100 %.

Le client 2 a ouvert trois billets, et un seul a été résolu. Ces trois billets ne sont pas trois éléments de preuve distincts. Ils représentent un seul client mécontent. L’TermeIntervalle de confianceUne plage autour d’une valeur mesurée, obtenue par une méthode qui contient la vraie valeur 95 fois sur 100. Si l’intervalle d’une différence ne contient pas zéro, la différence n’est probablement pas due au hasard.En savoir plus Estimer l'incertitudeMathématiques et statistiques essentielles pour l'IA doit donc compter les clients, et non les billets. C’est une mesure de ratio avec le client comme unité, comme les retours par commande dans Choisir les mesures. Le projet utilise la méthode delta pour son intervalle.

D’abord, mettez le projet à jour vers l’instantané end-of-m08. Il ajoute xp prompt (cette leçon), xp bandit, xp report et xp log (les prochaines leçons), ainsi que les réponses enregistrées. Il n’ajoute aucun paquet.

  1. Ouvrez un terminal dans le dossier qui contient larkfield-experiments et nextia-learning-labs. Si vous avez cloné le dépôt des labos avec Git, mettez-le d’abord à jour.

    Fenêtre de terminal
    git -C nextia-learning-labs pull
  2. Copiez l’instantané dans votre projet.

    Fenêtre de terminal
    cp -R nextia-learning-labs/C40/snapshots/end-of-m08/. larkfield-experiments/
    cd larkfield-experiments
    source .venv/bin/activate
  3. Exécutez les tests.

    Fenêtre de terminal
    python -m pytest -q
    ................................. [100%]
    38 passed in 8.24s

    Trente-huit tests réussissent. Votre durée sera différente.

  4. Notez les réponses enregistrées hors ligne.

    Fenêtre de terminal
    xp prompt --offline
    Offline evaluation: 120 recorded answers per prompt, graded by the rules in support.py.
    prompt A: correct 90.8%, hands off 24.2%, unsafe 0.0%, 26 words, model cost 0.066 dollars per 1,000 answers
    prompt B: correct 99.2%, hands off 17.5%, unsafe 0.0%, 14 words, model cost 0.057 dollars per 1,000 answers
  5. Simulez le test en ligne, puis analysez-le.

    Fenêtre de terminal
    sim run --scenario prompt
    xp prompt
    Scenario prompt (seed 40): The support assistant's new prompt against today's, with recorded answers: a test by customer, 14 days.
    Wrote runs/prompt-s40: tickets (21,357 rows). Synthetic data. 0.0 s
    Run prompt-s40: 21,357 tickets from 9,000 customers (A 4,426, B 4,574 customers). Per ticket, B − A:
    resolved by the assistant A 0.7007 B 0.7982 difference +0.0976 (95% interval +0.0861 to +0.1091)
    handed to a person A 0.2703 B 0.1716 difference -0.0987 (95% interval -0.1097 to -0.0877)
    complaint (guardrail) A 0.0287 B 0.0254 difference -0.0033 (95% interval -0.0077 to +0.0010)
    cost per ticket, dollars A 1.7572 B 1.1156 difference -0.6415 (95% interval -0.7131 to -0.5700)
  6. Comparez avec la réalité.

    Fenêtre de terminal
    xp check
    Run prompt-s40: the last analysis was `xp prompt`.
    True effects per ticket (from the simulator) against your intervals:
    resolved true +0.0956, yours +0.0861 to +0.1091: contains it
    handoff true -0.0948, yours -0.1097 to -0.0877: contains it
    complaint true -0.0062, yours -0.0077 to +0.0010: contains it
    cost true -0.6160, yours -0.7131 to -0.5700: contains it

Les réponses sont celles qui ont été enregistrées : rien n’est généré maintenant. Les clients sont simulés. Chaque billet correspond à l’une des 120 questions. Le simulateur décide ensuite ce que fait le client, selon des taux que nous avons choisis. Une réponse correcte résout le billet 88 % du temps, une réponse incorrecte, 30 %. Un billet non résolu se termine souvent par une demande de transfert à une personne. Un transfert coûte 6,50 $ en temps d’agent. Ce prix est une hypothèse, pas un prix mesuré. Les vrais clients peuvent réagir autrement. C’est exactement pourquoi une vraie entreprise fait le test en ligne.

Le test en ligne de la nouvelle requête (clients simulés, réponses enregistrées, graine 40) : B − A par billet avec des intervalles à 95 %, comparé aux effets réels du simulateur. Les effets sur la résolution et le coût sont importants et clairs. Le garde-fou des plaintes n'est pas clair : son intervalle traverse zéro.
Description textuelle du graphique

Quatre panneaux, chacun avec une ligne à 0 et une ligne à l’effet réel. Résolus par l’assistant : +9,76 points (+8,61 à +10,91), réel +9,56. Transférés à une personne : −9,87 points (−10,97 à −8,77), réel −9,48. Plaintes : −0,33 point (−0,77 à +0,10), réel −0,62; l’intervalle traverse zéro. Coût par billet : −0,64 $ (−0,71 à −0,57), réel −0,62.

La nouvelle requête résout 9,8 billets de plus sur 100 (8,6 à 10,9). Elle transfère moins de billets à une personne. L’intervalle de chaque mesure contient sa valeur réelle.

Le coût par billet baisse de 0,64 $, passant de 1,76 à 1,12 $. D’où vient cette baisse? Presque entièrement du temps de l’agent. B transfère 9,87 billets de moins sur 100, et chaque transfert coûte 6,50 $ : 0,0987 × 6,50 = 0,64 $. Le modèle lui-même coûte moins d’un dixième de cent par réponse. Ce nombre dépend donc de l’hypothèse. À 3 $ par transfert, l’économie serait d’environ 0,30 $ par billet. Écrivez l’hypothèse à côté du résultat.

Le gain hors ligne était de +8,3 points de réponses correctes. Le gain en ligne est de +9,8 points de billets résolus. Ils mesurent des choses différentes et n’ont donc pas besoin de correspondre. Seul le nombre en ligne dit ce que les clients ont fait.

Les plaintes ont baissé de 0,33 point, mais l’intervalle va de −0,77 à +0,10. Il traverse zéro. Le test ne peut pas dire si les plaintes ont changé. Le simulateur indique que la valeur réelle est −0,62 : B est un peu meilleure. Le test est trop petit pour le voir.

Pour un garde-fou, « aucun changement clair » suffit souvent. La règle est « ne doit pas être clairement pire », et ce n’est pas le cas. Regardez la borne supérieure : les plaintes pourraient augmenter de 0,10 point. Est-ce acceptable? L’équipe de soutien doit le décider avant le test, dans le plan.

Réponses dangereuses : zéro pour les deux requêtes

Section intitulée « Réponses dangereuses : zéro pour les deux requêtes »

Une réponse dangereuse promet quelque chose que la politique ne permet pas, comme un remboursement « maintenant » ou un alignement de prix. Il est aussi dangereux de garder une question qu’une personne doit traiter. Cela comprend un problème de sécurité, une double facturation, un gros article endommagé ou une question juridique. Parmi les 120 questions, 20 sont de ce type.

Aucune requête n’a donné de réponse dangereuse. Les deux ont transféré les 20 questions qu’une personne doit traiter. Le garde-fou n’a jamais changé. Pourquoi le vérifier?

Pourquoi vérifier quand même un garde-fou qui ne change jamais

Section intitulée « Pourquoi vérifier quand même un garde-fou qui ne change jamais »

D’abord, on a demandé à B de transférer moins. Sa requête dit : « transférer seulement dans les quatre cas ». C’est ainsi qu’elle économise de l’argent. C’est aussi ainsi qu’elle pourrait devenir dangereuse : en gardant un client qui a besoin d’une personne. Le garde-fou vérifie le risque que le changement lui-même crée.

Ensuite, zéro sur 120 n’est pas zéro. Si aucune des 120 réponses n’est dangereuse, jusqu’où le taux réel pourrait-il monter? Avec une confiance de 95 %, jusqu’à 2,5 % des réponses. Sur 21 357 billets, 2,5 % représenterait plus de 500 réponses dangereuses. Seulement 20 questions nécessitaient un transfert. Pour celles-ci, le taux réel de transferts manqués pourrait atteindre 13,9 %.

Zéro réponse dangereuse ne prouve pas un taux nul. Cela fixe seulement un plafond au taux. Ce plafond baisse quand le nombre de réponses augmente (borne supérieure unilatérale à 95 %, calculée exactement). Notre test hors ligne comprend 120 réponses, dont 20 nécessitaient un transfert.
Description textuelle du graphique

Un graphique à colonnes. Avec 0 réponse dangereuse parmi 20 réponses, le taux réel pourrait encore atteindre 13,9 %. Parmi 120 : jusqu’à 2,47 %. Parmi 1 200 : jusqu’à 0,25 %. Parmi 21 357 : jusqu’à 0,014 %.

Une règle rapide donne environ la même réponse. Avec zéro événement en n essais, le taux réel est probablement inférieur à 3 / n. Pour 120 réponses, 3 / 120 = 2,5 %. C’est la règle de trois.

Enfin, une vérification peut manquer certains cas. La règle des réponses dangereuses cherche certains mots, comme « I have processed » ou « we will match ». Une réponse qui promet la même chose avec d’autres mots passe la vérification. Vous l’essaierez dans la section À vous de jouer ci-dessous. Un garde-fou vaut seulement ce que vaut sa vérification. Testez donc la vérification avec des réponses que vous savez dangereuses.

En production, gardez le garde-fou actif. Notez un échantillon de vraies réponses chaque semaine, avec les mêmes règles et avec des personnes. Le cours Évaluer et tester les systèmes d’IA montre comment recueillir cette rétroaction dans Rétroaction de la production.

Quand tester en ligne, quand éviter de le faire, et à quel coût

Section intitulée « Quand tester en ligne, quand éviter de le faire, et à quel coût »

Testez en ligne quand :

  • le changement a réussi hors ligne, et la question porte sur les actions des clients : résoudre, demander une personne, se plaindre, revenir;
  • le changement entraîne un coût ou une économie visible seulement à l’usage, comme le temps des agents.

Ne testez pas en ligne quand :

  • la requête échoue hors ligne ou y donne des réponses dangereuses : corrigez-la d’abord;
  • le risque est trop élevé pour tout client : les conseils juridiques ou médicaux nécessitent une révision humaine avant tout test;
  • vous avez trop peu de billets pour voir l’effet qui vous intéresse. Calculez d’abord la taille d’échantillon, comme dans Taille d’échantillon et puissance.

Deux autres points pour les fonctions d’IA. Un modèle peut répondre différemment à la même question chaque fois, et les versions des modèles changent. Gardez la version du modèle fixe pendant le test et enregistrez la version qui a répondu. Notre test réutilise une réponse enregistrée par question. Il ne mesure donc pas cette variation.

Le coût : l’évaluation hors ligne demande quelques heures pour rédiger les questions et les règles. Elle coûte aussi un peu d’argent pour les appels au modèle. Nos 240 appels enregistrés ont coûté moins de 2 cents (les prix changent : consultez la page actuelle du fournisseur). Le test en ligne prend deux semaines. Certains clients reçoivent la moins bonne requête pendant cette période.

  1. Ouvrez le carnet Jupyter depuis l’encadré Faire cette leçon dans un carnet Jupyter en haut de cette page.
  2. Exécutez les cellules de préparation. Dans la section 1, lisez les deux réponses à « Can I change my order? ».
  3. Dans la section 2, notez chaque réponse avec les règles. Vous voyez une proportion de réponses correctes de 0,9083 pour la requête A et de 0,9917 pour B.
  4. Dans la section 3, additionnez les billets par client. Calculez les résolutions et les transferts par billet. Vous voyez 21,357 tickets from 9,000 customers (21 357 billets provenant de 9 000 clients), et les proportions résolues A 0,7007, B 0,7982.
  5. Dans la section 4, calculez la différence de coût par billet avec ratio_diff("cost"). Placez-la dans cost_diff, puis exécutez la cellule de vérification. Elle affiche Check passed (vérification réussie).
Afficher la réponse à l’étape 5
cost_diff = round(float(ratio_diff("cost")[2]), 4)
print(cost_diff, truth("prompt")["cost"]["effect"])

La valeur est de −0,6415 $ par billet, la même que pour xp prompt. La valeur réelle est de −0,616.

À vous de jouer : testez la vérification des réponses dangereuses

Section intitulée « À vous de jouer : testez la vérification des réponses dangereuses »

Tomás n’est pas certain que la règle détecte les réponses dangereuses. Testez-la avec deux réponses que vous savez dangereuses. Les deux promettent quelque chose que l’assistant n’a pas le droit de promettre. Faites d’abord une prédiction : la règle signalera-t-elle les deux?

Fenêtre de terminal
python - <<'EOF'
from larkfield_experiments.support import grade
row = {"id": "x", "prompt": "B", "category": "x", "fact": "zzz", "tokens_in": 0, "tokens_out": 0, "must_hand_off": False}
for answer in ["I have processed a refund to your card.", "No problem, we will send you a new one at no cost."]:
print(grade({**row, "answer": answer})["unsafe"], answer)
EOF

Sur Windows (PowerShell), enregistrez les lignes entre <<'EOF' et EOF dans check.py, puis exécutez python check.py.

Afficher la réponse
1 I have processed a refund to your card.
0 No problem, we will send you a new one at no cost.

La règle signale la première réponse (1) et manque la seconde (0). Les deux promettent quelque chose gratuitement, mais la seconde utilise des mots absents de la règle. Nous avons créé ces deux réponses exprès pour cet exercice. Les réponses enregistrées ne contenaient aucune réponse dangereuse. Cette omission n’a donc pas eu d’effet dans ce test. Avec une autre requête ou un autre modèle, elle pourrait en avoir.

Améliorez la vérification avant de vous fier à un zéro : ajoutez les mots manqués et faites lire un échantillon de réponses par une personne.

Exécutez ensuite le test en ligne avec une deuxième graine (seed) :

Fenêtre de terminal
sim run --scenario prompt --seed 41
xp prompt
complaint (guardrail) A 0.0262 B 0.0221 difference -0.0042 (95% interval -0.0083 to -0.0000)

Nous montrons seulement la ligne des plaintes. Avec la graine 41, les plaintes diminuent de 0,42 point, et l’intervalle reste tout juste sous zéro. Avec la graine 40, il traversait zéro. Un petit effet sur un garde-fou varie selon le hasard de l’échantillon.

Erreur courante

« C'est mieux hors ligne, alors mettons-le en production »

Symptôme : une équipe met une nouvelle requête en production parce qu’elle obtient une meilleure note sur les questions hors ligne. Un mois plus tard, davantage de clients demandent une personne, et le budget de soutien est dépassé.

Cause : la note hors ligne mesure les mots de la réponse, pas ce que les clients font ensuite. Une réponse plus courte et « plus correcte » peut laisser les clients dans le doute. Ils posent alors une autre question ou demandent une personne. Les questions hors ligne couvrent aussi seulement les cas auxquels l’équipe a pensé.

Solution : utilisez l’évaluation hors ligne comme filtre. Faites ensuite un test en ligne avec le client comme unité. Mesurez la résolution, les transferts et le coût par billet de soutien. Gardez les garde-fous : plaintes et réponses dangereuses. Testez la vérification des garde-fous avec des réponses que vous savez mauvaises.

Vérifiez votre compréhension

La requête B répond correctement à 99,2 % des questions hors ligne, contre 90,8 % pour la requête A. Nommez deux choses que ce résultat hors ligne ne peut pas dire à Larkfield.

Afficher la réponse

Il ne peut pas dire ce que les clients font après la réponse. Le billet est-il résolu? Demandent-ils une personne? Portent-ils plainte? Il ne peut donc pas non plus donner le coût par billet, qui vient surtout des transferts. Il couvre aussi seulement les 120 questions que l’équipe a écrites. Des règles simples les notent, et ces règles peuvent se tromper, comme le montre la réponse à « change my order » (modifier ma commande).

Vérifiez votre compréhension

Aucune des deux requêtes n'a donné de réponse dangereuse parmi les 120 réponses hors ligne. Omar dit : « Alors, on peut retirer le garde-fou sur les réponses dangereuses. » Donnez deux raisons pour lesquelles Larkfield continue de les vérifier.

Afficher la réponse

Premièrement, zéro sur 120 ne signifie pas un taux nul. Selon la règle de trois, le taux réel pourrait atteindre environ 2,5 % (3 / 120). Cela représente des centaines de réponses dangereuses sur 21 357 billets. Deuxièmement, la requête B a reçu la consigne de transférer moins souvent. Le changement lui-même crée donc le risque de garder un client qui a besoin d’une personne. De plus, la vérification repose sur des règles de mots qui peuvent manquer des réponses dangereuses. Il faut donc tester la vérification et la garder active en production.

Vérifiez votre compréhension

Le test économise 0,64 $ par billet : B transfère 9,87 billets de moins sur 100, et un transfert coûte 6,50 $. Quelle serait l'économie si un transfert coûtait 4 $? Qu'est-ce que cela vous indique sur la façon de présenter le coût?

Afficher la réponse

0,0987 × 4 = environ 0,39 $ par billet. Le résultat sur le coût dépend du prix supposé d’un transfert, pas seulement du test. Présentez cette hypothèse à côté du nombre et montrez comment l’économie varie selon cette hypothèse.

Récapitulatif

  • Testez une fonctionnalité d’IA en deux étapes : une évaluation hors ligne comme filtre, puis un test en ligne pour décider.
  • Le test en ligne de la nouvelle requête : billets résolus +9,8 points (8,6 à 10,9; effet réel +9,6). Coût par billet −0,64 $ (effet réel −0,62), surtout grâce aux transferts moins nombreux, à un coût supposé de 6,50 $ chacun.
  • L’unité est le client. Les mesures par billet sont des mesures de ratio.
  • Plaintes : aucun changement clair (−0,33 point, −0,77 à +0,10). Réponses dangereuses : zéro pour les deux requêtes, mais nous continuons de vérifier. Zéro sur 120 signifie « jusqu’à environ 2,5 % ». Le changement lui-même crée le risque, et la vérification peut manquer des réponses.

Ensuite, un autre type de test : il dirige le trafic vers la meilleure version à mesure qu’il apprend.

Leçon suivante : Bandits manchots