Aller au contenu
English

Le coût de chaque erreur

  • Leçon 3
  • 35 min
  • Module 1 : Le problème du routage et son coût

Où nous en sommes

Nous avons un système d'étiquettes : six équipes et « besoin d'une personne ». Les erreurs n'ont pas toutes le même coût. Une prise de contrôle de compte manquée coûte beaucoup plus qu'une révision supplémentaire. Dans cette leçon, nous attribuons un coût à chaque cellule de la matrice de confusion. Nous obtenons ainsi la mesure que le cours utilise pour choisir une méthode.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité
Leçon 3 sur 37 · Classification et routage de textes : envoyer chaque message au bon endroitLe coût de chaque erreur
Aperçu du cours

Ce que vous saurez faire

Attribuez un coût à chaque type d’erreur de routage. Additionnez les coûts pour obtenir un seul nombre : le coût par 1 000 messages. L’exactitude compte chaque erreur de la même façon. Elle peut donc mener au choix d’un routeur plus coûteux.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 35 minutes

Ce que vous devez savoir

  • Les sept destinations de Larkfield, les sujets et needs_person (besoin d’une personne), présentés dans Concevoir les étiquettes.
  • Une matrice de confusion compte, pour chaque étiquette réelle, combien de fois un modèle a prédit chaque étiquette. Les métriques de classification, dans le cours d’apprentissage automatique, l’explique avec deux étiquettes. Cette leçon en utilise sept.
  • Un seuil transforme une probabilité en décision, comme l’explique Le compromis entre précision et rappel. Cette leçon explique la seule idée dont elle a besoin.

Ce qu’il vous faut sur votre ordinateur

Rien. L’explorateur fonctionne dans cette page. Vous referez vous-même les mêmes calculs dans la prochaine leçon.

Retournons au bureau de poste. Un matin, deux lettres se retrouvent dans le mauvais casier. La première est une carte d’anniversaire. Elle arrive avec un jour de retard, sans grande conséquence. La deuxième vient d’un hôpital et indique la date d’une opération. Elle arrive avec un jour de retard, et le patient manque son rendez-vous.

Dans les deux cas, c’est « une lettre dans le mauvais casier ». Si le bureau de poste compte seulement ses erreurs, les deux journées semblent identiques. Mais la perte réelle du bureau de poste est très différente. Une bonne gestionnaire ne demande pas « combien de lettres ont été mal acheminées? ». Elle demande « combien nos erreurs ont-elles coûté? ». Elle sait aussi que certaines lettres doivent passer par une personne, même si cela prend plus de temps. Une erreur sur ces lettres coûte trop cher.

Le problème : l’exactitude compte chaque erreur de la même façon

Section intitulée « Le problème : l’exactitude compte chaque erreur de la même façon »

L’exactitude est la proportion des messages qu’un routeur envoie à la bonne destination. Elle est facile à lire et traite toutes les erreurs de la même façon. Voici un petit exercice que nous avons construit : dix messages et trois routeurs.

Messages Routeur A Routeur B Routeur C
4 questions sur la livraison toutes correctes 1 vers orders toutes correctes
3 questions sur les retours toutes correctes 1 vers product toutes correctes
2 questions sur la facturation toutes correctes toutes correctes 1 en révision
1 prise de contrôle de compte (urgent) vers billing correcte en révision
Exactitude 9 sur 10 8 sur 10 8 sur 8 décisions
Coût des erreurs 200 $ US 8 $ US 3 $ US

Le routeur A a la meilleure exactitude, mais il est de loin le plus coûteux. Sa seule erreur est une prise de contrôle de compte envoyée dans la file d’attente de facturation. Pendant que le message y attend, quelqu’un d’autre utilise le compte du client. Le routeur B fait deux erreurs peu coûteuses : deux messages normaux dans la mauvaise file, à 4 $ US chacun. Le routeur C transfère à une personne les deux messages pour lesquels il hésite, à 1,50 $ US chacun. Il ne fait aucune erreur.

Si vous choisissez selon l’exactitude, vous choisissez le routeur A. Si vous choisissez selon le coût, vous choisissez le routeur C. Ce cours choisit selon le coût.

Pour calculer les coûts, Larkfield a besoin d’un nombre pour chaque type d’erreur. Grace et Priya se sont entendues sur ces valeurs. Ce sont des hypothèses pour le cours, chacune accompagnée d’une raison, et non des mesures. Vous pouvez les modifier dans le fichier config/costs.json du projet. Vous le ferez dans la prochaine leçon.

Ce qui se passe Coût ($ US) Pourquoi
Une personne révise le message et l’achemine 1,50 Environ 1 minute d’un agent payé 28 $ US l’heure, et quelques heures d’attente
Un message dans la file de la mauvaise équipe 4 La mauvaise équipe le lit et le déplace (environ 2 minutes), et le client attend environ un jour de plus
Un message urgent dans la mauvaise file 20 Un jour de plus pour un message urgent : une commande perdue, une rétrofacturation ou parfois un client perdu
Une prise de contrôle de compte qui n’atteint pas l’équipe des comptes 200 Quelqu’un d’autre utilise le compte pendant que le message attend : commandes, travail de récupération et confiance du client
Un message needs_person envoyé à une équipe 40 Un problème de sécurité, une menace juridique ou une plainte remontée reçoit une réponse normale d’équipe : plainte aggravée et risque
Un message destiné à une équipe envoyé à needs_person 2 Une personne expérimentée lit un message normal et le transmet : environ 4 minutes
La bonne destination 0

Regardez l’étendue des coûts. L’erreur la moins coûteuse coûte 2 $ US, et la plus coûteuse, 200 $ US : un facteur de 100. Un routeur avec une exactitude légèrement inférieure peut donc coûter beaucoup moins s’il ne manque jamais une prise de contrôle de compte.

Pour chaque message, le cours détermine son coût avec les mêmes questions, dans cet ordre. Le premier « oui » décide.

Six questions en colonne, chacune avec une flèche oui vers un coût et une flèche non vers la question suivante. La destination prédite est-elle la bonne? Oui : 0 $ US. Le message est-il allé en révision? Oui : 1,50 $ US, une personne le lit et l'achemine. Est-il allé à needs_person, alors qu'une équipe était la bonne destination? Oui : 2 $ US, une personne expérimentée le lit et le transmet. S'agit-il d'une prise de contrôle de compte? Oui : 200 $ US, quelqu'un d'autre utilise le compte entre-temps, coût mis en évidence. L'étiquette était-elle needs_person? Oui : 40 $ US, une équipe répond à un message de sécurité ou d'ordre juridique. Le message est-il urgent? Oui : 20 $ US, un message urgent attend un jour de plus. Si toutes les réponses sont non : 4 $ US, la mauvaise équipe le lit et le déplace, un jour de plus.
Le coût d'un message. Les questions suivent un ordre précis, et le premier oui donne le coût. La même règle se trouve dans le code du projet (larkroute/costs.py) et dans la fonction d'aide des carnets Jupyter.
Description textuelle du diagramme

Le diagramme est une colonne de six questions. Chaque question a une flèche « oui » vers un coût à droite, et une flèche « non » vers la question suivante. Première question : la destination prédite est-elle la bonne? Si oui, le coût est de 0 $ US. Deuxième : le message est-il allé en révision? Si oui, 1,50 $ US : une personne le lit et l’achemine. Troisième : est-il allé à needs_person, alors qu’une équipe était la bonne destination? Si oui, 2 $ US : une personne expérimentée le lit et le transmet. Quatrième : s’agit-il d’une prise de contrôle de compte? Si oui, 200 $ US, parce que quelqu’un d’autre utilise le compte entre-temps. Ce coût est mis en évidence. Cinquième : l’étiquette était-elle needs_person? Si oui, 40 $ US : une équipe répond à un message de sécurité ou d’ordre juridique. Sixième : le message est-il urgent? Si oui, 20 $ US : un message urgent attend un jour de plus. Si toutes les réponses sont non, le coût est de 4 $ US. La mauvaise équipe lit et déplace le message, et il attend un jour de plus.

Essayez avec quatre messages :

Message Étiquette Prédiction Coût
M-109856, la question sur le remboursement de la première leçon (normal) returns_refunds product 4 $ US
Une prise de contrôle de compte (urgent) account billing 200 $ US
La même prise de contrôle de compte account needs_person 2 $ US
“My son cut his hand on the swing seat” needs_person product 40 $ US

La troisième ligne peut vous surprendre. La prise de contrôle n’a pas atteint l’équipe des comptes. Mais une personne expérimentée a lu le message d’abord et l’a transmis immédiatement. Cela coûte 4 minutes, et non un compte volé. L’ordre des questions traduit cette règle : un message qui atteint une personne est en sécurité.

Une matrice de confusion avec un coût dans chaque cellule

Section intitulée « Une matrice de confusion avec un coût dans chaque cellule »

Une matrice de confusion a une ligne par étiquette (la bonne destination) et une colonne par destination prédite. Les cellules de la diagonale sont les bonnes réponses. Toutes les autres cellules représentent un type d’erreur. Maintenant, attribuez un coût à chaque cellule.

Voici un deuxième exercice que nous avons construit : 20 messages et trois destinations.

Étiquette ↓ / prédiction → delivery returns_refunds account Coût de la ligne
delivery (8) 7 1 normal : 4 $ US 0 4 $ US
returns_refunds (8) 1 urgent : 20 $ US 7 0 20 $ US
account (4) 0 1 prise de contrôle : 200 $ US 3 200 $ US

Le routeur a raison pour 17 messages sur 20 : une exactitude de 85 %. Ses trois erreurs coûtent 4 + 20 + 200 = 224 $ US. Par 1 000 messages, cela donne 224 ÷ 20 × 1 000 = 11 200 $ US. Une seule cellule, celle de la prise de contrôle, représente presque 90 % du coût.

Le cours additionne le coût de chaque message des données de test et le ramène à 1 000 messages :

coût par 1 000 = (coût des révisions + coût des erreurs) ÷ nombre de messages × 1 000

Les modules suivants ajoutent un élément : le coût pour exécuter le routeur. Cela comprend, par exemple, le temps de calcul ou le prix d’une réponse d’un modèle de langage. Le total réunit alors le coût des erreurs, des révisions et de l’exécution. Chaque ligne du tableau comparatif du cours présente ce total. Vous pouvez donc comparer une règle par mots-clés à un grand modèle de langage sur une même échelle.

Un routeur ne fait pas que choisir une destination. La plupart des modèles donnent aussi une probabilité pour chaque destination. La probabilité la plus élevée indique le degré de confiance du modèle. Si elle est faible, le routeur peut envoyer le message en révision. Une personne le lit et l’achemine, pour 1,50 $ US.

Il faut un seuil pour cela. Si la probabilité la plus élevée atteint ou dépasse le seuil, le routeur décide. Si elle est inférieure, le message va en révision. Un seuil bas permet de décider pour presque tous les messages. Il économise des coûts de révision, mais conserve certaines erreurs coûteuses. Un seuil élevé envoie plus de messages en révision, à 1,50 $ US chacun, mais évite davantage d’erreurs.

L’explorateur ci-dessous utilise un vrai modèle : TF-IDF avec régression logistique. C’est un modèle classique qui apprend quels mots correspondent à quelle destination. Le module 3 le construit. Il a été entraîné sur les 6 000 messages d’entraînement de Larkfield. Il a été évalué sur les 2 000 messages de test, avec le tableau des coûts ci-dessus. Déplacez le seuil et observez les coûts.

Explorer

Le coût des erreurs et le coût des révisions

  • Coût total
  • Erreurs
  • Révisions par une personne
05001 0001 500Dollars pour 1 000 messages0,30,40,50,60,70,80,91Seuil de décision (probabilité la plus haute)seuil 0,3 : 289,5 $ US
05001 0001 500Dollars pour 1 000 messages0,40,60,81Seuil de décision (probabilité la plus haute)seuil 0,3 : 289,5 $ US
Décidés par le modèle
1 994 (99,7 %)
Envoyés en révision
6 (0,3 %)
Exactitude des décidés
96,5 %
Coût des révisions
9 $ US
Coût des erreurs
570 $ US
Total pour 1 000 messages
289,5 $ US

Messages décidés au seuil 0,3 : 1 994 décidés, 6 envoyés en révision. Chaque case : le nombre de messages et leur coût.

Étiquette ↓ Destination prédite →ordersdeliveryreturns_refundsbillingproductaccountneeds_personCoût de la ligne
orders275432 $ US28 $ US14 $ US14 $ US28 $ US056 $ US
delivery832 $ US441416 $ US28 $ US28 $ US14 $ US12 $ US70 $ US
returns_refunds328 $ US312 $ US388328 $ US416 $ US28 $ US092 $ US
billing14 $ US224 $ US640 $ US25600068 $ US
product28 $ US14 $ US640 $ US027814 $ US056 $ US
account312 $ US312 $ US02204 $ US01870228 $ US
needs_person000000990 $ US
Tous les décidés570 $ US

Au seuil 0,3, le modèle décide 1 994 messages sur 2 000 et en envoie 6 (0,3 %) en révision. Les révisions coûtent 9 $ US et les erreurs qui restent coûtent 570 $ US : 289,5 $ US pour 1 000 messages. Le coût le plus bas de ce graphique est 144,2 $ US pour 1 000, au seuil 0,57.

TF-IDF + régression logistique sur les 2 000 messages de test de Larkfield (mesuré). Un message dont la probabilité maximale est sous le seuil va en révision à 1,50 $ US. Les coûts sont les hypothèses du cours.
Description textuelle de l’explorateur

L’explorateur a un curseur, le seuil de décision, de 0,30 à 1,00 par pas de 0,01. Un graphique présente trois courbes en fonction du seuil. Ce sont le coût total par 1 000 messages, le coût des erreurs et le coût des révisions. La courbe des erreurs descend quand le seuil augmente. La courbe des révisions monte, lentement d’abord, puis rapidement après 0,90. La courbe du total descend de 289,5 $ US à 0,30 jusqu’à son minimum, 144,2 $ US, à 0,57. Elle remonte ensuite à 1 500 $ US à 1,00, où tous les messages vont en révision. Sous le graphique, des tuiles donnent les valeurs exactes au seuil choisi. Elles montrent les messages traités automatiquement et ceux envoyés en révision, l’exactitude des décisions automatiques, le coût des révisions, celui des erreurs et le total. Un tableau montre la matrice de confusion des messages traités automatiquement : une ligne par étiquette et une colonne par destination prédite. Chaque cellule donne le nombre de messages et, pour une erreur, son coût. La dernière colonne donne le coût de chaque ligne. À 0,30, la ligne account coûte 228 $ US. Cela vient surtout d’une prise de contrôle de compte envoyée à billing (204 $ US dans cette cellule).

Commencez à 0,30. Le modèle décide pour 1 994 messages et en envoie 6 en révision. Ses 70 erreurs coûtent 570 $ US, et le total est de 289,5 $ US par 1 000 messages. La ligne de ce modèle dans le tableau comparatif indique 296,0 $ US. Dans ce tableau, il décide pour tous les messages, sans aucune révision. Dans la matrice, regardez la ligne account. Une prise de contrôle est allée à billing, et cette cellule coûte à elle seule 204 $ US. Cela comprend 200 $ US pour la prise de contrôle et 4 $ US pour un message normal.

Voici la réponse à la question : cela dépend du point de départ.

  • Depuis 0,30, envoyer environ 10 % de messages de plus en révision correspond à un seuil proche de 0,70. À ce seuil, 200 messages (10,0 %) vont en révision, et le total baisse à 181,0 $ US par 1 000. Les révisions coûtent plus cher, mais elles éliminent beaucoup d’erreurs coûteuses.
  • Depuis 0,57, le minimum (103 messages en révision, 144,2 $ US par 1 000), ajouter 10 % correspond à un seuil proche de 0,82. Le total monte à 249,2 $ US. Les révisions supplémentaires n’évitent maintenant que quelques erreurs peu coûteuses.
  • À 1,00, tous les messages vont en révision : 1 500 $ US par 1 000, le coût actuel de Larkfield.

Observez un saut en particulier : de 0,45 à 0,46, le coût des erreurs baisse de 494 $ US à 290 $ US. Le modèle se trompe sur une des 12 prises de contrôle de compte et l’envoie à billing. Sa probabilité maximale se situe entre ces deux valeurs. À 0,46, le message va plutôt en révision. Dans la matrice, la cellule de account vers billing passe de 204 $ US à 4 $ US.

Une mise en garde. Cet explorateur utilise les messages de test pour vous montrer l’idée. En pratique, vous choisissez un seuil sur les messages de validation, puis le vérifiez une fois sur les messages de test. C’est ce qu’explique le cours d’apprentissage automatique. Le module 8 fait exactement cela, avec une limite au nombre de révisions que l’équipe de Grace peut gérer.

L’exactitude peut augmenter en même temps que le coût

Section intitulée « L’exactitude peut augmenter en même temps que le coût »

Le tableau des coûts change le routeur qui semble le meilleur. Voici trois vraies lignes du tableau comparatif du cours, sur les mêmes 2 000 messages de test. Vous les exécuterez vous-même dans la prochaine leçon.

Le coût total par 1 000 messages de test de trois routeurs (mesuré, avec les coûts du cours). Tout à une personne : exactitude de 0. Règles ou personne : exactitude de 0,555. TF-IDF + régression logistique : exactitude de 0,962.
Description textuelle du graphique

Un graphique à trois colonnes, sur un axe de 0 à 2 000 $ US par 1 000 messages. Tout à une personne coûte 1 500 $ US. Son exactitude est de 0, parce qu’une révision n’est pas une destination. Règles ou personne coûte 1 757,8 $ US, avec une exactitude de 0,555. TF-IDF avec régression logistique coûte 296 $ US, avec une exactitude de 0,962. La colonne des règles est la plus haute. Pourtant, les règles ont une meilleure exactitude qu’une personne qui lit tout.

« Tout à une personne » a une exactitude de 0. Ce routeur ne choisit jamais lui-même une destination, donc il n’a jamais « raison ». « Règles ou personne » laisse les règles par mots-clés choisir une destination lorsqu’une règle correspond. Il transfère le reste à une personne. Son exactitude est de 0,555. Pourtant, il coûte plus cher : 1 757,8 $ US contre 1 500 $ US par 1 000 messages. Ses règles correspondent à 76,4 % des messages de test, mais seulement 72,7 % de ces correspondances sont correctes. Chaque mauvaise correspondance coûte au moins 4 $ US, plus qu’une révision à 1,50 $ US. Une meilleure exactitude s’accompagne donc d’un coût plus élevé.

Le modèle de la troisième colonne est nettement meilleur sur les deux plans, ici. La boîte de réception de Larkfield est plus simple qu’une vraie boîte, comme l’explique la prochaine leçon. Ne considérez donc pas 0,962 comme le résultat de cette méthode pour n’importe quelle boîte de réception.

À vous de jouer : écrivez le tableau des coûts pour chaque destination

Section intitulée « À vous de jouer : écrivez le tableau des coûts pour chaque destination »

Changez une chose : au lieu du coût d’un message, écrivez le coût de chaque type d’erreur pour chaque étiquette. Faites un tableau avec une ligne pour chacune des sept destinations. Pour chaque ligne, indiquez le coût lorsque le routeur envoie le message en révision, à la mauvaise équipe et à needs_person. Utilisez le tableau des coûts et la règle étape par étape ci-dessus. Portez attention aux lignes account et needs_person.

Afficher la réponse
Étiquette En révision À la mauvaise équipe À needs_person
orders 1,50 4 (urgent : 20) 2
delivery 1,50 4 (urgent : 20) 2
returns_refunds 1,50 4 (urgent : 20) 2
billing 1,50 4 (urgent : 20) 2
product 1,50 4 (urgent : 20) 2
account 1,50 4 (urgent : 20); prise de contrôle d’un compte : 200 2
needs_person 1,50 40 (correct : 0)

Deux lignes diffèrent des autres. Dans la ligne account, une prise de contrôle de compte coûte 200 $ US dans toute mauvaise équipe. C’est vrai même si un seul transfert suffit pour joindre l’équipe des comptes. Dans la ligne needs_person, chaque équipe coûte 40 $ US. Une réponse d’équipe à un message de sécurité ou d’ordre juridique aggrave la situation. Dans les deux cas, la révision à 1,50 $ US offre une protection peu coûteuse. Voilà pourquoi un routeur devrait transférer à une personne les messages incertains sur les comptes et les plaintes.

Erreur courante

Une exactitude de 100 %, et un coût trois fois plus élevé

Symptôme : Tomás règle le seuil de l’explorateur à 0,94 et sourit : « Regardez, l’exactitude des messages traités automatiquement est de 100 %. Aucune erreur. Utilisons 0,94. »

Cause : à 0,94, le modèle décide seulement pour 1 361 messages. Les 639 autres messages, presque un tiers, passent en révision à 1,50 $ US chacun. Le total est de 479,2 $ US par 1 000 messages, contre 144,2 $ US à 0,57. L’exactitude des messages traités automatiquement cache le travail transféré aux personnes.

Correction : choisissez un seuil selon le coût total par 1 000 messages, révisions comprises. Vérifiez aussi la charge de révision : l’équipe de Grace peut seulement traiter un nombre limité de révisions par jour.

Conséquence pour le travail en IA : un routeur évalué uniquement sur l’exactitude de ses décisions peut transférer ses cas difficiles aux personnes. Le rapport du modèle semble parfait, mais l’équipe de soutien reçoit trop de révisions.

Vérifiez votre compréhension

Expliquez, avec un exemple de la boîte de réception, comment un routeur peut être plus exact et coûter plus cher.

Afficher la réponse

L’exactitude compte chaque erreur comme une seule erreur; le tableau des coûts ne le fait pas. « Règles ou personne » a une exactitude de 0,555 et coûte 1 757,8 $ US par 1 000 messages de test. « Tout transférer à une personne » a une exactitude de 0 et coûte 1 500 $ US. Les règles choisissent une destination pour 76,4 % des messages, et seulement 72,7 % de ces choix sont corrects. Chaque mauvais choix coûte au moins 4 $ US, plus qu’une révision à 1,50 $ US. Une prise de contrôle de compte manquée coûte 200 $ US. Le routeur plus exact coûte donc plus cher.

Vérifiez votre compréhension

Une prise de contrôle de compte est envoyée à needs_person plutôt qu'à account. Quel coût la règle du cours applique-t-elle, et pourquoi est-ce logique?

Afficher la réponse

2 $ US, le coût d’un message destiné à une équipe, mais envoyé à une personne expérimentée. La règle demande « Est-il allé à needs_person? » avant « Est-ce une prise de contrôle de compte? ». C’est logique, car une personne expérimentée lit d’abord le message et l’envoie immédiatement à l’équipe des comptes. Le compte ne reste pas vulnérable pendant une journée, comme ce serait le cas dans la file de facturation (200 $ US).

Vérifiez votre compréhension

Faites une prédiction : dans l'explorateur, passer le seuil de 0,57 à 0,82 envoie environ 10 % de messages supplémentaires en révision. Le coût par 1 000 messages augmente-t-il ou diminue-t-il, et pourquoi?

Afficher la réponse

Il augmente, passant de 144,2 $ US à 249,2 $ US par 1 000 messages. À 0,57, les erreurs les plus coûteuses sont déjà en révision. Les révisions supplémentaires coûtent 1,50 $ US chacune, mais elles éliminent surtout des erreurs peu coûteuses à 4 $ US. À partir de 0,30, les mêmes 10 % supplémentaires (jusqu’à environ 0,70) font baisser le coût. Il passe de 289,5 $ US à 181,0 $ US. À ce seuil, les révisions interceptent des erreurs coûteuses. La réponse dépend de votre point de départ.

Récapitulatif

  • L’exactitude compte chaque erreur comme une seule erreur. Les erreurs de Larkfield coûtent de 2 $ US à 200 $ US : un facteur de 100.
  • Le tableau des coûts (hypothèses) : révision 1,50 $ US, mauvaise file 4 $ US, mauvaise file pour un message urgent 20 $ US et prise de contrôle de compte manquée 200 $ US. Un message needs_person envoyé à une équipe coûte 40 $ US. Un message destiné à une équipe, mais envoyé à needs_person, coûte 2 $ US.
  • Une matrice de confusion pondérée par les coûts place un coût dans chaque cellule. Le cours additionne ces coûts en une mesure : le coût par 1 000 messages, révisions comprises, puis le coût d’exécution.
  • Un seuil envoie les messages incertains en révision. Pour TF-IDF + régression logistique sur les messages de test, le total est de 289,5 $ US à 0,30. Il est de 144,2 $ US à 0,57. À 1,00, il est de 1 500 $ US.
  • « Règles ou personne » est plus exact que « tout transférer à une personne » : 0,555 contre 0. Il coûte aussi plus cher : 1 757,8 $ US contre 1 500 $ US.

Vous pouvez maintenant juger un routeur selon le coût de ses erreurs. Mais jusqu’ici, chaque nombre provient de données que vous n’avez pas encore ouvertes. Ensuite, vous préparez le projet du cours, lisez la boîte de réception de Larkfield et son guide d’étiquetage. Vous exécutez aussi vous-même la première comparaison.

Leçon suivante : Découvrir la boîte de réception