Aller au contenu
English

Choisir des outils pour une équipe

  • Leçon 27
  • 35 min
  • Module 8 : Outils : Langfuse, les autres et l'inspecteur d'exécutions

Où nous en sommes

Dans la dernière leçon, nous avons envoyé la même télémétrie à Grafana et à Langfuse. Nous avons vu les points forts de chacun. D'autres équipes demanderont maintenant quels outils choisir. Dans cette leçon, nous comparons les principaux outils selon des critères définis. Ces critères comprennent la prise en charge d'OpenTelemetry, l'autohébergement, la résidence des données, le coût et la dépendance au fournisseur. Nous recommandons ensuite un ensemble d'outils pour une équipe. Nous commençons par un compte bancaire.

Leçon 27 sur 28 · Observabilité des agents d'IA : traces, coûts et pistes d'auditChoisir des outils pour une équipe
Aperçu du cours

Ce que vous saurez faire

Choisissez les outils d’observabilité d’une équipe selon des critères que vous notez d’abord. Vous pourrez ainsi expliquer votre choix et connaître le coût d’un changement ultérieur.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 35 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur : rien de nouveau. Cette leçon ne contient aucune commande. Vous lisez, comparez et rédigez une recommandation.

À propos des faits. Les faits sur les fournisseurs proviennent de leur documentation et de leurs pages de tarification respectives. Nous les avons consultées pendant la rédaction du cours. Les produits et les prix changent vite dans ce domaine : vérifiez les pages actuelles de chaque fournisseur avant de décider. Le cours ne montre aucune capture d’écran de ces produits; il décrit ce que leur documentation indique.

Quand vous choisissez un compte bancaire, la publicité présente une caractéristique : une carte gratuite ou une bonne application. Mais les questions importantes viennent plus tard. Combien coûte le compte chaque mois après la première année? Dans quel pays mon argent est-il conservé? Et si je pars, que dois-je refaire? Il faut configurer à nouveau chaque paiement automatique et chaque bénéficiaire enregistré à la nouvelle banque.

Une personne prudente note donc ses questions avant de lire les publicités. Elle pose les mêmes questions à chaque banque.

Le problème : un choix fondé sur une démonstration

Section intitulée « Le problème : un choix fondé sur une démonstration »

Chez Larkfield, Kwame reçoit trois demandes en une semaine. Il est responsable de la plateforme et de sa facture :

  • Priya veut Langfuse pour ses révisions, après la dernière leçon.
  • Tomás a vu une démonstration de LangSmith avec son cadriciel d’agents et le veut « pour tout ».
  • L’équipe de protection des renseignements personnels pose une question : « Où seront conservées les données des clients? »

Chaque demande est raisonnable, et chacune porte sur une caractéristique. Imaginez que Kwame accepte l’outil de la démonstration. La démonstration utilisait le SDK du fournisseur, pas OpenTelemetry. Un an plus tard, l’équipe veut partir. Il faut maintenant réécrire l’instrumentation. Les tableaux de bord, les notes de révision et un an d’historique restent dans l’ancien outil. Et le forfait gratuit qui semblait généreux pendant la démonstration a atteint sa limite au deuxième mois, avec l’augmentation du trafic.

La démonstration ne présentait rien de tout cela. Ces renseignements figuraient dans la page de tarification, la licence et la liste des régions.

Écrivez d’abord les critères : les questions que vous posez pour chaque outil, avec les mêmes mots. Placez ensuite les réponses dans une matrice, avec une ligne par critère et une colonne par outil. Certains critères sont obligatoires : un outil qui ne respecte pas l’un d’eux est exclu, peu importe ses autres qualités. Les autres sont des compromis que vous comparez.

Le cours utilise six critères. Chacun vient d’un problème rencontré dans ce cours :

  1. Prise en charge d’OpenTelemetry. L’outil peut-il recevoir OTLP de notre Collector, et comprend-il les noms GenAI? Si oui, l’outil correspond à un exportateur, comme Langfuse.
  2. Autohébergement et licence. Pouvons-nous l’exécuter sur nos propres serveurs, et sous quelle licence?
  3. Fonctions d’évaluation. Notes, modèles juges, jeux de données et files de révision, pour les révisions de Priya sur un échantillon.
  4. Résidence des données. Dans quelles régions les données peuvent-elles être conservées?
  5. Coût. Que permet le forfait gratuit, que compte-t-il, et que vient-il ensuite?
  6. Dépendance au fournisseur. Qu’est-ce qui reste dans l’outil si nous partons?

Les gens oublient souvent le dernier critère. La dépendance au fournisseur signifie que quitter un outil coûte plus cher que d’y rester. Certains travaux et certaines données existent uniquement dans cet outil.

Petit exemple détaillé : trois critères obligatoires

Section intitulée « Petit exemple détaillé : trois critères obligatoires »

Voici la méthode appliquée à un petit cas. L’équipe de protection des renseignements personnels de Larkfield fixe une règle pour les données réelles des clients. Elles restent au Canada ou sur les propres serveurs de Larkfield. Kwame ajoute deux règles : l’outil doit recevoir OTLP du Collector, et le budget annuel pour un nouvel outil est de 0 $ US. Ces trois règles sont des hypothèses du scénario du cours, pas des conseils juridiques.

Outil Réception d’OTLP Données au Canada ou sur nos serveurs 0 $ US cette année Résultat
Ensemble Grafana, autohébergé oui oui : nos serveurs oui : logiciel gratuit retenu
Langfuse oui autohébergement seulement : son nuage est dans l’UE, aux États-Unis ou au Japon autohébergé : oui retenu, autohébergé
LangSmith oui l’autohébergement exige le forfait Enterprise non exclu
Arize Phoenix oui oui : autohébergé oui retenu
Datadog oui aucun site canadien dans sa liste forfait gratuit seulement exclu
Honeycomb oui États-Unis ou UE forfait gratuit seulement exclu

Il reste trois outils, chacun retenu pour une raison différente. Remarquez l’effet des critères obligatoires : ils ont éliminé l’outil de la démonstration avant toute comparaison des fonctions. Remarquez aussi ce qu’ils n’ont pas fait. Grafana Cloud propose une région canadienne, tout comme le nuage d’Arize. Une règle qui dit « Canada » plutôt que « nos serveurs » garde ces options ouvertes.

Voici les six outils selon les six critères. Chaque cellule contient une réponse courte tirée de la documentation du fournisseur. Sa couleur indique dans quelle mesure l’outil respecte le critère.

Une matrice de sept lignes et six colonnes d'outils : ensemble Grafana, Langfuse, LangSmith, Arize Phoenix, Datadog, Honeycomb. Réception d'OTLP : Grafana oui, HTTP et gRPC (vert); Langfuse oui, HTTP seulement (jaune); LangSmith oui, HTTP (jaune); Phoenix oui, HTTP et gRPC (vert); Datadog oui, HTTP, en-tête propre au fournisseur (jaune); Honeycomb oui, HTTP et gRPC (vert). Lecture des noms GenAI : Grafana les conserve, vues d'IA en préversion (jaune); Langfuse oui, types selon l'opération; LangSmith oui, établit les correspondances pour gen_ai.*; Phoenix oui, convertit vers sa propre convention; Datadog oui; Honeycomb oui, chronologie des agents (tous verts). Autohébergement et licence : Grafana oui, AGPL-3.0, Prometheus Apache (vert); Langfuse oui, noyau MIT et parties payantes (vert); LangSmith forfait Enterprise seulement (rouge); Phoenix oui, Elastic License 2.0 (jaune); Datadog non, nuage seulement (rouge); Honeycomb non, nuage seulement (rouge). Évaluation : Grafana aucune dans l'ensemble ouvert (rouge); Langfuse notes, juge, jeux de données, files (vert); LangSmith évaluations, jeux de données, files (vert); Phoenix juge, annotations, jeux de données (vert); Datadog évaluateurs, files (vert); Honeycomb aucune trouvée (rouge). Lieux possibles de conservation des données : Grafana vos serveurs, nombreuses régions (vert); Langfuse UE, États-Unis, Japon ou vos serveurs (vert); LangSmith États-Unis, UE, Asie-Pacifique, autohébergé avec Enterprise (jaune); Phoenix vos serveurs, nuage aux États-Unis, dans l'UE et au Canada (vert); Datadog ses sites aux États-Unis, dans l'UE, au Japon, en Australie et au Royaume-Uni (jaune); Honeycomb États-Unis ou UE (jaune). Forfait gratuit : Grafana logiciel gratuit, vous l'exploitez (vert); Langfuse 50 000 unités, 30 jours, 2 utilisateurs (jaune); LangSmith 5 000 traces, 14 jours, 1 place (rouge); Phoenix autohébergement gratuit, nuage 25 000 spans (vert); Datadog 40 000 spans LLM, 15 jours (jaune); Honeycomb 20 millions d'événements, 60 jours (vert). Exportation des données : Grafana formats ouverts dans votre stockage (vert); Langfuse API et exportation en bloc (vert); LangSmith exportation en bloc avec Enterprise seulement (rouge); Phoenix exportation des jeux de données, rien trouvé pour les spans (jaune); Datadog API d'exportation, recherche (jaune); Honeycomb non vérifié (jaune). Légende : vert, solide sur ce critère; jaune, partiellement ou avec des limites; rouge, faible ou absent.
Six outils selon six critères, tirés de la documentation et de la page de tarification de chaque fournisseur pendant la rédaction du cours. Les produits et les prix changent : vérifiez les pages actuelles. « Non trouvé » et « non vérifié » signifient que l'équipe du cours ne l'a pas trouvé dans la documentation officielle.
Description textuelle du diagramme

Lisez la matrice par ligne, pas par colonne. Pour OpenTelemetry, tous les outils reçoivent maintenant OTLP, donc cette ligne aide peu à décider. Les lignes qui distinguent les outils sont l’autohébergement, l’évaluation, le forfait gratuit et l’exportation des données. Grafana est solide quand vous l’exploitez vous-même, mais faible en évaluation. Langfuse et Phoenix sont solides en évaluation et peuvent fonctionner sur vos serveurs. LangSmith, Datadog et Honeycomb sont des services infonuagiques; leurs régions et leurs forfaits déterminent donc le choix.

Voici ce que dit chaque ligne, plus en détail :

OpenTelemetry. Les six outils reçoivent OTLP par HTTP, et Grafana, Phoenix et Honeycomb le reçoivent aussi par gRPC. Les six lisent les noms GenAI d’une manière ou d’une autre. Langfuse a classé nos spans (segments de trace) comme générations et outils, comme vous l’avez vu. LangSmith établit les correspondances pour les attributs gen_ai.*. Phoenix les convertit à leur arrivée vers sa propre convention, OpenInference. Datadog exige son propre en-tête pour acheminer les spans vers ses vues d’agents. Grafana conserve tous les attributs; ses vues conçues pour les agents d’IA étaient en préversion lors de notre vérification.

Autohébergement et licence. Grafana, Tempo et Loki utilisent AGPL-3.0, et Prometheus utilise Apache-2.0. Le noyau de Langfuse utilise MIT. Quelques fonctions d’entreprise dans ses dossiers ee exigent une clé de licence payante. Phoenix utilise Elastic License 2.0, qui n’est pas une licence de logiciel libre. Vous pouvez l’exploiter pour vous-même, mais vous ne pouvez pas le vendre comme service hébergé. LangSmith fonctionne sur vos serveurs uniquement avec son forfait Enterprise. Datadog et Honeycomb sont offerts uniquement dans le nuage.

Évaluation. Langfuse, LangSmith, Phoenix et Datadog offrent tous des notes, des modèles juges et des jeux de données. La plupart offrent aussi des files de révision. L’ensemble Grafana ouvert n’en offre aucun : les révisions de Priya restent des événements, comme dans le module 7.

Résidence des données. Un outil infonuagique conserve les données dans les régions qu’il propose. Certains ne permettent jamais de déplacer un projet vers une autre région. Vérifiez la liste selon votre règle avant de vous inscrire, pas après.

Les forfaits gratuits se ressemblent, mais ils comptent des éléments différents. Langfuse compte des unités : traces, observations et notes. LangSmith compte les traces. Arize compte les spans, Datadog compte seulement les spans d’appels de modèle, et Honeycomb compte chaque span comme un événement. La même semaine utilise donc chaque forfait différemment. Voici un mois du trafic de la semaine rejouée, environ 45 billets de soutien par jour, en proportion de chaque forfait gratuit :

Estimation construite : les nombres mesurés de la semaine (2 027 spans, 434 traces, 718 spans d'appels de modèle, 2 521 unités Langfuse) multipliés par 30/7 pour un mois, puis divisés par la limite mensuelle de chaque forfait gratuit indiquée sur la page de tarification du fournisseur. Pour prendre une décision, pas pour établir une facture.
Description textuelle du graphique

Cinq barres. Langfuse Hobby: 21.6% (10,804 units (traces, observations, scores) a month of 50,000). LangSmith Developer: 37.2% (1,860 base traces a month of 5,000). Arize AX Free: 34.7% (8,687 spans a month of 25,000). Datadog (LLM spans): 7.7% (3,077 LLM spans (model calls only) a month of 40,000). Honeycomb Free: 0% (8,687 events (each span is one) a month of 20,000,000). Avec le trafic actuel, chaque forfait gratuit suffit. Avec dix fois plus de trafic, trois barres dépassent 100 % : LangSmith 372 %, Arize 347.5 % et Langfuse 216.1 %.

Lisez ce graphique en tenant compte d’un plan de croissance. Les 45 billets par jour des données de ce cours restent dans les limites de chaque forfait gratuit. À 450 billets par jour, les 5 000 traces de LangSmith dureraient environ huit jours. Les 50 000 unités de Langfuse dureraient environ deux semaines. Datadog compte seulement les appels de modèle; son forfait dure donc plus longtemps que notre nombre de spans le laisse penser. Les 20 millions d’événements de Honeycomb dureraient des années avec ce trafic. Notez aussi les limites qui ne concernent pas le volume. Le forfait gratuit de LangSmith comprend une place, et celui de Langfuse comprend deux utilisateurs. Chaque forfait conserve les données pendant une durée fixe.

La dernière question de Kwame est : « Et si nous nous trompons? » La réponse dépend de l’endroit où se trouve le travail.

Deux groupes. À gauche, en vert, « Peu coûteux à déplacer » : l'instrumentation (spans OpenTelemetry, noms GenAI) avec une flèche vers la configuration du Collector (un exportateur par outil), le stockage d'audit (votre schéma, votre chaîne) et la table des prix (datée, dans votre code). À droite, en rouge, « Coûteux à déplacer » : jeux de données et expériences; tableaux de bord, requêtes enregistrées et règles d'alerte; notes, annotations et files de révision; historique des anciennes traces au-delà de la durée de conservation du forfait. Une flèche intitulée « remplacer un exportateur » va de la configuration du Collector au groupe de droite.
Ce qui vous suit quand vous changez d'outil, et ce qui reste dans l'ancien outil. Le cours a volontairement conservé la partie gauche dans des formats ouverts.
Description textuelle du diagramme

À gauche se trouve ce que ce cours a construit dans votre propre code et vos fichiers. Ce sont les spans avec les noms GenAI, la configuration du Collector, le stockage d’audit et la table des prix. Changer d’outil y modifie un exportateur. À droite se trouve ce qu’une équipe construit dans un outil. Ce sont les tableaux de bord, règles d’alerte, notes, files de révision, jeux de données et l’historique des anciennes traces. Il faut refaire ce travail, ou l’exporter d’abord, quand vous partez.

Le coût d’un changement se trouve donc surtout à droite. Pour Larkfield, passer de Langfuse Cloud à Langfuse autohébergé, ou à Phoenix, signifierait :

  • Un exportateur et ses clés dans collector/otelcol-config-langfuse.yaml. Faible effort.
  • Les notes de révision. L’équipe du cours les a envoyées avec l’API de Langfuse; il faut donc modifier le script. Effort moyen.
  • L’historique. Les anciennes traces restent dans l’ancien outil jusqu’à la fin de leur conservation, sauf si vous les exportez d’abord. Langfuse documente une API et une exportation en bloc. Pour les nouveaux clients, l’exportation en bloc de LangSmith est maintenant réservée au forfait Enterprise. Vérifiez cette ligne avant de dépendre d’un outil.
  • Les habitudes des personnes. Les vues enregistrées de Priya et les liens de Grace. Un coût réel, difficile à mesurer.

L’instrumentation ne change pas du tout. C’est pourquoi ce cours a enregistré les données une seule fois, avec OpenTelemetry, avant de choisir un outil.

Kwame écrit le choix de l’équipe et ses raisons :

  • Grafana reste la vue du système, autohébergé : alertes, métriques, TraceQL et toutes les compétences de ce cours. Un logiciel gratuit sur des serveurs que Larkfield exploite déjà.
  • Langfuse, pour les révisions de Priya. Actuellement sur Langfuse Cloud, avec seulement des données synthétiques d’exercice. Pour les données réelles, Langfuse autohébergé au Canada, car les régions du nuage ne respectent pas la règle de confidentialité. Phoenix est le deuxième choix; sa licence permet l’utilisation interne.
  • Le stockage d’audit reste séparé, comme nous l’avons construit au module 6. Aucun outil de la matrice n’est une piste d’audit.
  • Pas maintenant : LangSmith, Datadog et Honeycomb. Chacun ne respecte pas la règle sur les données ou le budget de cette année. Réévaluez-les si les règles changent.
  • Coût d’un changement ultérieur : un exportateur, le script des notes et l’historique des révisions. L’instrumentation reste.

La recommandation tient en dix lignes parce que les critères ont été écrits d’abord.

Erreur courante

Le forfait gratuit atteint sa limite au milieu du mois

Symptôme : les traces cessent d’apparaître dans l’outil infonuagique, ou une facture arrive, même si « nous étions bien sous la limite ».

Cause : le forfait compte un élément que vous n’avez pas compté. Une unité Langfuse est une trace, une observation ou une note, pas une exécution. Honeycomb compte chaque span comme un événement, ainsi que ses événements de span et ses liens. Une exécution de notre flux de travail comprend environ 6,4 spans, et deux traces quand une personne approuve.

Diagnostic : comptez ce que le forfait compte dans vos propres données, sur une période connue. Pour la semaine rejouée : 316 exécutions, 434 traces, 2 027 spans, 718 spans d’appels de modèle et 60 notes. Multipliez par la croissance de votre trafic, et comparez avec la limite.

Rétablissement : échantillonnez avant cette destination dans le Collector, comme le fait le pipeline Grafana. Mais rappelez-vous que les révisions de Priya ont besoin de leurs exécutions. Vous pouvez aussi envoyer seulement les traces importantes, ou passer volontairement à un forfait supérieur. Écrivez la règle de comptage du forfait à côté de l’exportateur dans la configuration.

À vous de jouer : recommander un ensemble d’outils

Section intitulée « À vous de jouer : recommander un ensemble d’outils »

Une équipe vous demande une recommandation. Voici sa situation :

  • Quatre ingénieurs et deux responsables du soutien dans une boutique en ligne en Allemagne, avec un agent semblable à celui de Larkfield.
  • Leur règle : les données des clients restent dans l’Union européenne.
  • Leur budget : 100 $ US par mois pour les outils. Ils n’ont ni leurs propres serveurs ni le temps d’en exploiter.
  • Les responsables du soutien doivent réviser et noter environ 50 réponses de modèle par semaine.

Écrivez cinq à dix lignes, comme Kwame. Indiquez les outils choisis, la raison de chaque choix, les outils exclus et pourquoi, et le coût d’un changement ultérieur. Vérifiez d’abord chaque fait dans les pages actuelles du fournisseur. Une réponse détaillée se trouve dans la troisième vérification des connaissances.

Vérifiez votre compréhension

Chaque outil de la matrice accepte OTLP. Pourquoi la « prise en charge d'OpenTelemetry » reste-t-elle le premier critère? Quelle ligne distingue davantage les outils?

Afficher la réponse

Ce critère garde les autres coûts bas. Si un outil accepte OTLP et comprend les noms GenAI, son ajout nécessite un seul exportateur. Le quitter aussi. L’instrumentation ne change jamais. Quitter un outil qui exige son propre SDK pour ses fonctions principales nécessite une réécriture. Aujourd’hui, cette ligne distingue peu les outils, puisque les six acceptent OTLP. Les lignes qui les distinguent sont l’autohébergement et la licence, l’évaluation, la résidence des données et les limites du forfait gratuit. Pour Larkfield, la règle sur les données a éliminé trois outils avant toute comparaison des fonctions.

Vérifiez votre compréhension

Tomás dit : « Le forfait gratuit de LangSmith suffit : nous avons seulement 434 traces par semaine. » Vérifiez son affirmation avec les chiffres. Quelles autres limites ce forfait impose-t-il?

Afficher la réponse

Au même rythme, un mois représente environ 434 × 30/7 ≈ 1 860 traces, soit 37 % des 5 000 traces du forfait gratuit. Il a donc raison aujourd’hui. Avec dix fois plus de trafic, un mois représente environ 18 600 traces, soit 372 % du forfait. Celui-ci durerait environ huit jours. D’autres limites comptent aussi. Le forfait gratuit permet un seul utilisateur, donc Priya et Grace ne peuvent pas l’utiliser toutes les deux. Les traces de base sont conservées 14 jours. Ce forfait fonctionne uniquement dans le nuage, dans les régions indiquées, ce qui ne respecte pas la règle de Larkfield. De plus, l’autohébergement et l’exportation en masse exigent le forfait Enterprise. Ces chiffres proviennent de la page de tarifs du fournisseur au moment de la rédaction du cours. Vérifiez la page actuelle.

Vérifiez votre compréhension

À vous : que recommanderiez-vous au commerce allemand (données dans l'UE, 100 $ US par mois, aucun serveur, 50 révisions par semaine)?

Afficher la réponse

Une réponse solide : un outil infonuagique dans une région de l’UE, puisqu’ils n’ont aucun serveur à gérer. Pour les révisions et les traces, Langfuse Cloud dans la région de l’UE. Si leur trafic ressemble à celui de Larkfield, un mois représente environ 10 800 unités. C’est bien moins que les 50 000 unités du forfait Hobby. Mais Hobby permet seulement 2 utilisateurs, et six personnes ont besoin du forfait Core. Celui-ci coûtait 29 $ US par mois lors de la vérification pour le cours. Le forfait Plus de LangSmith, à 39 $ US par utilisateur, coûterait environ 234 $ US par mois pour six personnes. Cela dépasse le budget. Pour la vue du système, Grafana Cloud dans une région de l’UE. Son forfait gratuit permet 3 utilisateurs actifs. Prévoyez donc le forfait Pro, avec des frais de plateforme mensuels de 19 $ US lors de la vérification pour le cours. Ensemble, cela représente environ 48 $ US par mois, avant tout volume supplémentaire. Gardez la piste d’audit dans leur propre stockage, pas dans un outil. À exclure : les options autohébergées (aucun serveur) et tout outil sans région dans l’UE. Le coût d’un changement ultérieur concerne un exportateur dans le Collector, leurs scores et tableaux de bord, et l’historique jusqu’à son expiration. D’autres réponses conviennent si chaque fait est vérifié et chaque choix est justifié.

Récapitulatif

  • Écrivez les critères avant d’examiner les outils. Indiquez les exigences essentielles : un seul échec élimine un outil.
  • Les six critères du cours : prise en charge d’OpenTelemetry, autohébergement et licence, évaluation, résidence des données, coût et dépendance au fournisseur.
  • Chaque outil de la matrice accepte maintenant OTLP. L’autohébergement, l’évaluation, les régions et la règle de comptage du forfait gratuit les distinguent.
  • Les forfaits gratuits comptent différentes choses : unités, traces, spans (segments de trace) ou spans d’appels de modèle. Comptez-les dans vos propres données et multipliez par votre facteur de croissance.
  • La dépendance au fournisseur réside dans ce que vous créez dans un outil : tableaux de bord, scores, jeux de données et historique. Enregistrer une seule fois avec OpenTelemetry garde le coût de migration du reste bas.
  • Les renseignements des fournisseurs changent vite : vérifiez les pages actuelles avant de décider.

Vous pouvez maintenant choisir un ensemble d’outils et expliquer le coût d’un changement. Mais certaines questions prennent encore du temps dans tous les outils généralistes, comme reconstituer une exécution pour un auditeur. Ensuite, vous explorerez une vue conçue uniquement pour les exécutions d’agents. Vous découvrirez aussi comment elle calcule l’un de ses indicateurs de défaillance.

Leçon suivante : Ce qu'une vue conçue pour les agents ajoute