Envoyer les mêmes traces à Langfuse
- Leçon 26
- 40 min
- Module 8 : Outils : Langfuse, les autres et l'inspecteur d'exécutions
Où nous en sommes
Dans le module 7, nous avons transformé la télémétrie en niveaux de service, alertes et boucle de qualité, dans Grafana. Grafana voit tout le système, mais ne sait pas ce qu'est une session, une génération de modèle ou un score de révision. Dans cette leçon, nous ajoutons un deuxième exportateur au Collector et envoyons les mêmes traces masquées à Langfuse. Nous comparons ensuite les deux vues d'une exécution. Nous commençons par un contrat dont deux bureaux ont besoin.
Leçon 26 sur 28 · Observabilité des agents d'IA : traces, coûts et pistes d'auditEnvoyer les mêmes traces à Langfuse
1. Pourquoi les agents ont besoin de leur propre observabilité
2. OpenTelemetry pour les agents
3. Instrumenter le flux de travail
4. Trouver les défaillances des agents dans Grafana
5. Le coût
6. Pistes d'audit
7. Alertes, niveaux de service et qualité
8. Outils : Langfuse, les autres et l'inspecteur d'exécutions
Ce que vous saurez faire
Envoyez les mêmes traces masquées à un deuxième outil, Langfuse, sans changer une seule ligne de l’application. Lisez ensuite une exécution dans cet outil et dites ce que chaque outil montre mieux.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Le Collector, ses pipelines et son masquage, présentés dans Le Collector.
- Une exécution sous forme de deux traces liées, présentée dans Approbations, personnes et temps d’attente.
- Les révisions par échantillonnage, présentées dans La qualité à partir des exécutions en production.
Ce qu’il vous faut sur votre ordinateur
- Votre projet dans l’état du dernier module : l’instantané
end-of-m07, oùpython -m pytest -qse termine par112 passed, 1 skipped, 1 deselected. - L’environnement virtuel actif et un terminal dans le dossier du projet,
observable-workflow.
Facultatif : un compte Langfuse et Docker. Pour envoyer des traces à Langfuse, il vous faut votre propre compte Langfuse gratuit (forfait Hobby, sans paiement) et Grafana dans Docker. Envoyez uniquement les données d’exercice du cours : elles sont synthétiques. Si vous ne voulez pas de compte, suivez le parcours hors ligne. Les réponses de Langfuse enregistrées par l’équipe du cours figurent sur cette page.
Testé sur macOS (Apple silicon) avec Python 3.12.13 et le Collector 0.162.0. Les commandes Windows (PowerShell) et Linux sont écrites, mais n’ont pas été exécutées. L’équipe du cours a envoyé une fois la semaine rejouée à Langfuse. Vos nombres proviennent de votre propre exécution, et les identifiants seront différents.
Un contrat, deux bureaux
Section intitulée « Un contrat, deux bureaux »Une entreprise signe un contrat. Le comptable a besoin d’une copie, et l’avocat aussi. Vous ne rédigez pas le contrat deux fois. Vous faites deux copies du même document. Avant que les copies quittent votre bureau, vous masquez le numéro de compte bancaire, car aucun des deux bureaux n’en a besoin.
Chaque bureau classe sa copie à sa façon : le comptable par mois, l’avocat par client. Chacun trouve rapidement des réponses différentes.
Le problème : un seul outil ne peut pas répondre rapidement à toutes les questions
Section intitulée « Le problème : un seul outil ne peut pas répondre rapidement à toutes les questions »Priya est responsable de la qualité. Dans le module 7, elle a ajouté les révisions par échantillonnage aux exécutions sous forme d’événements gen_ai.evaluation.result. Maintenant, elle demande : « Montrez-moi les appels de modèle de chaque exécution qui a échoué à sa révision, avec leurs jetons. »
Dans Grafana, c’est possible, mais lent. La révision est un événement dans Loki, les appels de modèle sont des spans (unités de trace) dans Tempo. Une exécution comprend deux traces reliées par un lien. Grafana répond bien à la question « qu’est-ce qui ne va pas dans le système en ce moment ». Il n’a aucune notion de « session », de « génération » ou de « score ».
Les outils conçus pour les applications de modèles, comme Langfuse, classent les mêmes données à la façon de Priya. Ils regroupent les traces d’une exécution, montrent chaque appel de modèle avec ses jetons et gardent les scores près de l’exécution. Mais un deuxième outil apporte un deuxième risque. Chaque nouvelle destination devient un endroit où une requête, une adresse courriel ou un numéro de carte peut fuiter.
L’idée : un deuxième exportateur dans le même Collector
Section intitulée « L’idée : un deuxième exportateur dans le même Collector »L’application envoie déjà toute sa télémétrie à une seule adresse, celle du Collector. Le Collector décide où vont les données. Pour ajouter un outil, vous ajoutez donc un exportateur et un pipeline. Un exportateur est la partie du Collector qui envoie les données à une destination. Un pipeline est le chemin que suivent les données d’un récepteur à un exportateur. C’est ce qu’on appelle la diffusion multiple : une entrée, plusieurs sorties.
L’application ne change pas. Le nouveau pipeline réutilise le même processeur de masquage. La copie destinée à Langfuse est donc masquée avant son départ, comme le contrat.
Un petit exemple : ce que le changement ajoute
Section intitulée « Un petit exemple : ce que le changement ajoute »Le projet du cours comprend une deuxième configuration du Collector pour cela, collector/otelcol-config-langfuse.yaml. Comparez-la avec celle que vous avez déjà :
diff collector/otelcol-config.yaml ../nextia-learning-labs/C31/snapshots/end-of-m08/collector/otelcol-config-langfuse.yaml22a27,30> basicauth/langfuse:> client_auth:> username: ${env:LANGFUSE_PUBLIC_KEY}> password: ${env:LANGFUSE_SECRET_KEY}95a104,109> otlp_http/langfuse:> endpoint: ${env:LANGFUSE_BASE_URL}/api/public/otel> headers:> x-langfuse-ingestion-version: "4" # Langfuse's docs: new data appears in real time> auth:> authenticator: basicauth/langfuse114c128< extensions: [health_check]---> extensions: [health_check, basicauth/langfuse]119a134,137> traces/langfuse: # the same traces, not sampled: Langfuse's free plan counts units, check them> receivers: [otlp]> processors: [memory_limiter, transform/redact, batch]> exporters: [otlp_http/langfuse]Le comparatif ajoute aussi quatre lignes de commentaires au début, non montrées ici. Lisez les quatre parties qui changent :
- Une extension,
basicauth/langfuse. Elle signe chaque requête avec les deux clés de votre projet. Les clés proviennent de variables d’environnement. Elles ne figurent donc jamais dans un fichier que vous enregistrez dans un commit (enregistrement de modifications). - Un exportateur,
otlp_http/langfuse. Il envoie OTLP par HTTP à l’adresse OpenTelemetry de Langfuse,/api/public/otel. Langfuse accepte uniquement HTTP, pas gRPC. L’en-têtex-langfuse-ingestion-version: "4"demande la nouvelle ingestion de Langfuse. Sans lui, la documentation indique que les nouvelles données peuvent subir un retard allant jusqu’à 10 minutes. - L’extension est activée dans le service.
- Un nouveau pipeline,
traces/langfuse. Il utilise le même récepteur et le même processeurtransform/redactque le pipeline Grafana. Il n’a pas detail_sampling: Langfuse reçoit toutes les traces.
Pourquoi aucun échantillonnage pour Langfuse? Les révisions de Priya portent sur 20 % des exécutions choisies au hasard. Une révision d’une exécution écartée par l’échantillonnage ne pointerait vers rien. Ce choix augmente le volume, et les forfaits Langfuse comptent le volume, comme vous le verrez plus bas.
Un Collector, trois destinations
Section intitulée « Un Collector, trois destinations »Description textuelle du diagramme
Le flux de travail ne connaît qu’une adresse. Dans le Collector, les traces passent une fois par le masquage, puis se séparent. Une copie passe par l’échantillonnage en fin de trace vers Tempo, et l’autre va à Langfuse sans échantillonnage. Les événements vont au connecteur de routage. Les événements d’audit vont uniquement au stockage d’audit, jamais à Loki ni à Langfuse. Les métriques vont à Prometheus. Langfuse est la seule destination hors de votre ordinateur. C’est donc la seule qui a besoin de clés.
Ce qui quitterait votre ordinateur
Section intitulée « Ce qui quitterait votre ordinateur »Avant d’envoyer quoi que ce soit à Langfuse, l’équipe du cours a vérifié ce qui sortait. Elle a exécuté la configuration Langfuse avec le Collector 0.162.0. Elle l’a dirigée vers un petit substitut, un programme local qui répond comme Langfuse et conserve ce qu’il reçoit. Elle a activé la capture de contenu (OBS_CAPTURE_CONTENT=on). L’application a donc ajouté le texte des requêtes aux spans de modèle. L’équipe a ensuite rejoué le double remboursement et envoyé un span construit avec une adresse courriel inventée et un numéro de carte de test.
Voici ce que le substitut a reçu pendant l’exécution de l’équipe du cours :
| Élément | Valeur |
|---|---|
| Requêtes | 3, toutes vers /api/public/otel/v1/traces |
| Format | application/x-protobuf, gzip |
| En-têtes | authorization (Basic, avec les deux clés), x-langfuse-ingestion-version: 4 |
| Spans de l’exécution | 9 dans 2 traces, chacun avec session.id = l’identifiant de l’exécution |
Texte des requêtes (gen_ai.input.messages) |
aucun (l’exportation de l’application en contenait sur les deux spans de modèle : 7 823 et 8 817 caractères) |
| Le span construit | Write to [email], card [card number] (écrire à [courriel], carte [numéro de carte]) |
Le masquage s’effectue donc avant le départ de la copie. L’application a enregistré plus de 16 000 caractères de texte de requête, et aucun n’a atteint le substitut. Le cas de défaillance à la fin de cette leçon provient de la même vérification, avec de mauvaises clés.
Une session est une exécution
Section intitulée « Une session est une exécution »Langfuse possède un mot que Grafana n’a pas : une session. C’est un groupe de traces qui vont ensemble, comme les échanges d’une même conversation. Notre exécution comprend deux traces : le travail de l’agent, puis la décision de la personne avec les écritures. Le module 3 les a reliées par un lien entre spans. Langfuse regroupe les traces selon l’attribut session.id. Le projet ajoute donc maintenant l’identifiant de l’exécution à chaque span sous session.id.
Le changement est petit : un processeur de spans dans resolver/telemetry.py. Un processeur de spans est du code que le SDK OpenTelemetry appelle au début et à la fin de chaque span. Celui-ci, SessionProcessor, ajoute session.id au début de chaque span d’une exécution.
Voici le petit exemple avant le changement. Exécutez un billet de soutien et lisez l’attribut :
python -m resolver run T-80008python -c "from obs.model import Telemetry; r = next(iter(Telemetry('work/telemetry').runs.values())); print(r.run_id, {s.get('session.id') for s in r.spans})"T-80008-agent-chat-small-1 {None}Aucun span ne possède encore cet attribut.
Ajouter Langfuse à votre projet
Section intitulée « Ajouter Langfuse à votre projet »-
Copiez les fichiers de ce module depuis l’instantané
end-of-m08:Fenêtre de terminal S=../nextia-learning-labs/C31/snapshots/end-of-m08cp $S/collector/otelcol-config-langfuse.yaml collector/cp $S/resolver/telemetry.py resolver/cp $S/tests/test_stage_m08.py tests/cp $S/README.md .Fenêtre de terminal $S = "..\nextia-learning-labs\C31\snapshots\end-of-m08"Copy-Item -Force $S\collector\otelcol-config-langfuse.yaml collector\Copy-Item -Force $S\resolver\telemetry.py resolver\Copy-Item -Force $S\tests\test_stage_m08.py tests\Copy-Item -Force $S\README.md .Fenêtre de terminal S=../nextia-learning-labs/C31/snapshots/end-of-m08cp $S/collector/otelcol-config-langfuse.yaml collector/cp $S/resolver/telemetry.py resolver/cp $S/tests/test_stage_m08.py tests/cp $S/README.md . -
Exécutez les tests :
python -m pytest -q. La dernière ligne indique114 passed, 1 skipped, 1 deselected. Votre projet correspond maintenant à l’instantanéend-of-m08, le projet terminé du cours. Un nouveau test vérifie que la configuration ne contient aucune clé. L’autre exécute un billet et vérifie que chaque span possède l’identifiant de l’exécution soussession.id. -
Supprimez le dossier
work. Dans PowerShell, utilisezRemove-Item -Recurse work. -
Rejouez le double remboursement, en commençant par la partie de l’agent :
Fenêtre de terminal python -m resolver run T-90104 --variant agent_structured --model chat-strong -
Approuvez-le avec l’expiration du délai et la nouvelle tentative naïve du module 3 :
Fenêtre de terminal python -m resolver approve T-90104-agent_structured-chat-strong-1 --as agent --fault request_refund:timeout_after_write --naive-retryLa dernière ligne indique
Reply sent. Ticket: resolved.(réponse envoyée, billet résolu). -
Lisez l’identifiant de trace, le nom et
session.idde chaque span :Fenêtre de terminal python -c "from obs.model import Telemetry; r = next(iter(Telemetry('work/telemetry').runs.values())); print(r.run_id, len(r.trace_ids), 'traces'); [print(s.trace_id[:8], s.name, s.get('session.id')) for s in r.spans]"T-90104-agent_structured-chat-strong-1 2 tracese6059f6b invoke_agent support-resolver T-90104-agent_structured-chat-strong-1e6059f6b chat chat-strong T-90104-agent_structured-chat-strong-1e6059f6b execute_tool get_order T-90104-agent_structured-chat-strong-1e6059f6b chat chat-strong T-90104-agent_structured-chat-strong-10cb7e8f2 approve support-resolution T-90104-agent_structured-chat-strong-10cb7e8f2 execute_tool request_refund T-90104-agent_structured-chat-strong-1e6059f6b approval.request T-90104-agent_structured-chat-strong-10cb7e8f2 execute_tool request_refund T-90104-agent_structured-chat-strong-10cb7e8f2 execute_tool send_reply T-90104-agent_structured-chat-strong-1Vos identifiants de trace sont différents : ils sont aléatoires. Deux traces, neuf spans, un seul
session.id.
Envoyer la semaine rejouée à Langfuse (facultatif)
Section intitulée « Envoyer la semaine rejouée à Langfuse (facultatif) »Cette partie exige votre propre compte Langfuse et Docker. Elle rejoue la semaine en environ 10 minutes et l’envoie à Grafana et à Langfuse en même temps. Attention : envoyez uniquement les données d’exercice du cours. Ne dirigez jamais cette configuration vers un vrai flux de travail avant que votre équipe ait vérifié son masquage.
-
Inscrivez-vous à Langfuse Cloud avec le forfait gratuit Hobby, puis créez un projet. Choisissez sa région : UE (
https://cloud.langfuse.com), États-Unis (https://us.cloud.langfuse.com) ou Japon (https://jp.cloud.langfuse.com). -
Dans les paramètres du projet, créez une paire de clés d’API. La clé publique commence par
pk-lf-, la clé secrète parsk-lf-. Ne mettez la clé secrète dans aucun fichier. -
Dans le terminal où vous démarrerez Grafana, définissez les trois variables. Utilisez l’adresse de votre région et vos clés :
Fenêtre de terminal export LANGFUSE_BASE_URL=https://cloud.langfuse.comexport LANGFUSE_PUBLIC_KEY=pk-lf-...read -rs LANGFUSE_SECRET_KEY && export LANGFUSE_SECRET_KEYFenêtre de terminal $env:LANGFUSE_BASE_URL = "https://cloud.langfuse.com"$env:LANGFUSE_PUBLIC_KEY = "pk-lf-..."$env:LANGFUSE_SECRET_KEY = Read-Host -MaskInput "Secret key"Fenêtre de terminal export LANGFUSE_BASE_URL=https://cloud.langfuse.comexport LANGFUSE_PUBLIC_KEY=pk-lf-...read -rs LANGFUSE_SECRET_KEY && export LANGFUSE_SECRET_KEYLa ligne
read -rsattend que vous colliez la clé secrète, sans l’afficher. La clé ne figure donc pas dans l’historique de votre interpréteur de commandes. -
Dans un deuxième terminal, démarrez le point d’entrée du stockage d’audit pour que le conteneur puisse l’atteindre :
python -m auditstore serve --host 0.0.0.0. -
Dans le premier terminal, démarrez Grafana avec la configuration Langfuse :
Fenêtre de terminal OTELCOL_CONFIG=otelcol-config-langfuse.yaml docker compose -f grafana/compose.yaml up -dFenêtre de terminal $env:OTELCOL_CONFIG = "otelcol-config-langfuse.yaml"docker compose -f grafana/compose.yaml up -dFenêtre de terminal OTELCOL_CONFIG=otelcol-config-langfuse.yaml docker compose -f grafana/compose.yaml up -d -
Rejouez la semaine par le Collector :
python -m scenarios week --otlp --out work/week. Cela prend environ 10 minutes. -
Dans Langfuse, ouvrez les sessions du projet et trouvez
R-1014-040. Les identifiants d’exécution utilisent une graine fixe. Ils sont donc les mêmes que dans la semaine enregistrée. -
Quand vous avez terminé, arrêtez Grafana et supprimez ses données :
docker compose -f grafana/compose.yaml down -v. Arrêtez le stockage d’audit avec Ctrl+C.

Ce que Langfuse a reçu
Section intitulée « Ce que Langfuse a reçu »L’équipe du cours a effectué cette exécution une fois, avec la semaine rejouée à 1 000 fois sa vitesse réelle. Elle a ensuite lu les réponses de Langfuse avec son API publique. Langfuse a reçu les 2,027 spans sous forme de 2,027 observations, son mot pour désigner un span, dans 434 traces et 316 sessions : une session par exécution. 118 sessions contiennent deux traces : les exécutions qui ont attendu une personne.
Description textuelle du graphique
Quatre barres. TOOL (outil) : 750 observations, les spans execute_tool. GENERATION (génération) : 718, les spans chat, les appels de modèle. AGENT (agent) : 316, un span invoke_agent par exécution. SPAN (span) : 243, les spans d’approbation et les autres spans sans type GenAI. Langfuse nomme une observation d’outil sans le préfixe execute_tool , par exemple get_order.
Langfuse a lu les noms GenAI du module 2 : chat est devenu une génération et execute_tool un appel d’outil. Aucun code Langfuse n’a été ajouté à l’application. Comme nous avons suivi les conventions, un deuxième outil a compris nos données dès le premier jour.
Une exécution, lue dans la réponse de Langfuse
Section intitulée « Une exécution, lue dans la réponse de Langfuse »Voici la session du double remboursement, tirée de la réponse de Langfuse. Une ligne par observation, abrégée par l’équipe du cours :
trace 2939c009 AGENT invoke_agent support-resolver latency 6.589 strace 2939c009 GENERATION chat chat-strong input 2160, output 47, totalCost nulltrace 2939c009 TOOL get_order DEFAULTtrace 2939c009 GENERATION chat chat-strong input 2426, output 218, totalCost nulltrace 2939c009 SPAN approval.requesttrace dbbc757a SPAN approve support-resolution latency 10.027 strace dbbc757a TOOL request_refund ERROR "timeout" key 797fbb5bbb9f8a7etrace dbbc757a TOOL request_refund DEFAULT key 797fbb5bbb9f8a7e-retry1trace dbbc757a TOOL send_reply DEFAULTscore: sampled-review = 0 (source API)Les identifiants de trace ne sont pas ceux de la semaine enregistrée. L’équipe du cours a rejoué la semaine pour Grafana et Langfuse. Lisez de haut en bas :
- Une session, deux traces. Langfuse a regroupé la trace de l’agent et celle de Sam parce que les deux portent
session.id = R-1014-040. Dans Grafana, vous avez suivi un lien entre spans. - Les jetons sur chaque génération. Langfuse les a tirés de
gen_ai.usage.input_tokenset degen_ai.usage.output_tokens. - L’erreur du premier remboursement.
ERROR(erreur) avec le messagetimeout(délai expiré), provenant de l’état du span. La nouvelle tentative avec la nouvelle clé estDEFAULT(par défaut), le niveau de Langfuse pour une étape ordinaire. Tous nos attributs, commelarkfield.idempotency_key, sont conservés comme métadonnées. - Un score. Pendant l’exécution de l’équipe du cours, chacune des 60 révisions par échantillonnage de la semaine a été envoyée par l’API comme score Langfuse nommé
sampled-review. La révision du double remboursement vaut 0 : une révision échouée.

Deux surprises
Section intitulée « Deux surprises »Langfuse n’a calculé aucun coût. Chaque génération est revenue avec totalCost à null. Langfuse déduit un coût uniquement quand le nom du modèle correspond à l’une de ses définitions de prix. Il ne connaît ni chat-small ni gpt-6-luna. Notre larkfield.cost.usd est arrivé, mais seulement comme métadonnée. Un deuxième outil a donc besoin de ses propres définitions de prix. Sinon, vous devez envoyer le coût dans les noms d’attributs qu’il lit. Notre table de prix datée du module 5 reste la référence.
L’API de lecture avait changé. Les premières lectures de l’équipe du cours, GET /api/public/traces et /sessions, ont renvoyé HTTP 410 Gone (ressource supprimée). Ce projet utilisait la nouvelle version de Langfuse. Les réponses ci-dessus proviennent des nouveaux points de terminaison, GET /api/public/v2/observations et GET /api/public/v3/scores. La documentation de Langfuse indique que les anciens points de terminaison sont en cours de retrait. Un script qui lit l’API d’un outil a donc besoin d’un test, comme la configuration du Collector.
Ce que cela a coûté
Section intitulée « Ce que cela a coûté »Les forfaits Langfuse comptent des unités : chaque trace, observation et score vaut une unité. L’exécution a utilisé environ 2,521 unités : 434 traces, 2,027 observations et 60 scores. Le forfait gratuit Hobby permet 50,000 unités par mois, 30 jours d’accès aux données et 2 utilisateurs. Les forfaits changent : vérifiez la page de tarification actuelle de Langfuse avant de vous baser sur ces limites. La prochaine leçon compare cela avec d’autres outils.
La même exécution dans Grafana et dans Langfuse
Section intitulée « La même exécution dans Grafana et dans Langfuse »Grafana représente la même exécution par deux traces. Voici la deuxième trace du double remboursement dans Explore (explorer) de Grafana. Elle vient de l’exécution de la même semaine par l’équipe du cours :

Comparez les deux côte à côte :
| Question | Grafana | Langfuse |
|---|---|---|
| Y a-t-il un problème maintenant? | Alertes, métriques et tableaux de bord | Ne sert pas aux alertes dans ce cours |
| Trouver des exécutions selon un motif | TraceQL sur tous les spans | Filtres sur les observations |
| Une exécution du début à la fin | Deux traces, reliées par un lien de span | Une session, deux traces |
| Un appel de modèle | Un span avec des attributs | Une génération avec des jetons |
| Coût | Notre métrique larkfield.run.cost |
Aucun : aucun prix pour nos modèles |
| Révisions | Événements dans Loki | Scores à côté de l’exécution |
| Toutes les traces? | Non : l’échantillonnage en fin de trace en a conservé 275 sur 434 | Oui, toutes les traces |
Aucun outil n’est « meilleur ». Grafana sert à observer l’ensemble du système et ses alertes; Langfuse répond plus vite à la question de Priya. Les deux lisent les mêmes données, car l’application les enregistre une seule fois.
Quand ajouter une deuxième destination, et à quel coût
Section intitulée « Quand ajouter une deuxième destination, et à quel coût »Ajoutez-en une si l’outil actuel répond lentement aux questions de l’équipe, comme à celles de Priya. N’en ajoutez pas simplement parce que c’est facile. Chaque destination ajoute un endroit à sécuriser, une facture et une période de conservation à connaître. Ici, le forfait gratuit de Langfuse donne accès aux données pendant 30 jours. Tempo conserve les traces 14 jours par défaut. Le stockage d’audit conserve ses enregistrements 7 ans, selon une hypothèse retenue pour Larkfield.
Le coût est faible côté code, mais réel côté exploitation : un exportateur, un pipeline, deux clés secrètes et un forfait à surveiller. Gardez le masquage dans le Collector, avant chaque exportateur, pour qu’une nouvelle destination ne puisse jamais le contourner.
Erreur courante
Rien n'arrive dans Langfuse, mais Grafana fonctionne
Symptôme : Grafana affiche la semaine, mais Langfuse n’affiche aucune nouvelle trace.
Cause : l’exportateur Langfuse échoue, et le Collector abandonne les données. Les autres pipelines ne le remarquent pas. Les causes habituelles sont une variable manquante, des clés incorrectes ou une paire de clés d’une autre région.
Diagnostic : lisez le journal du Collector : docker compose -f grafana/compose.yaml logs lgtm | grep langfuse. Dans les vérifications de l’équipe du cours, l’absence de LANGFUSE_BASE_URL produisait un avertissement au démarrage, puis une erreur à l’exportation :
warn Configuration references unset environment variable {"name": "LANGFUSE_BASE_URL"}error Exporting failed. Dropping data. … "otlp_http/langfuse" … Post "/api/public/otel/v1/traces": unsupported protocol scheme ""Des clés incorrectes produisaient cette erreur. Elle venait du substitut, qui répondait comme un serveur refusant les clés :
error Exporting failed. Dropping data. … "otlp_http/langfuse" … responded with HTTP Status Code 401Rétablissement : définissez les trois variables dans le même terminal que docker compose, avec l’adresse de la région de votre projet. Redémarrez ensuite l’ensemble des services : docker compose -f grafana/compose.yaml down et up -d. Une erreur 401 est permanente pour le Collector : il ne réessaie pas, donc les traces abandonnées sont perdues. Rejouez-les ou acceptez cette lacune.
À vous de jouer : envoyer une deuxième exécution et la trouver
Section intitulée « À vous de jouer : envoyer une deuxième exécution et la trouver »- Rejouez la nouvelle tentative sûre du module 3 : supprimez
work, exécutez de nouveau T-90104, puis approuvez-la avec--fault request_refund:timeout_after_writeet sans--naive-retry. - Faites une prédiction : combien de traces, de spans et de valeurs différentes de
session.idcette exécution contient-elle? Vérifiez avec la commande de l’étape 6. - Prédisez le nombre d’observations dans la session
R-1014-051, le deuxième double remboursement de la semaine. Comptez ses spans dans la semaine enregistrée avecpython -m obs trace R-1014-051 --data data/telemetry/week. Si vous avez envoyé la semaine à Langfuse, ouvrez la session et vérifiez.
La réponse se trouve dans la deuxième vérification des connaissances.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Tomás propose d'envoyer les traces directement de l'application à Langfuse, avec l'exportateur de Langfuse, « pour éviter le Collector ». Que perd l'équipe?
Afficher la réponse
Le masquage du Collector. Aujourd’hui, l’application envoie les données à une seule adresse. Le Collector retire le texte et les données personnelles avant chaque exportateur. Un deuxième chemin depuis l’application enverrait des données sans aucun masquage. Avec la capture de contenu activée, cela représentait plus de 16 000 caractères de texte de requête pour une seule exécution. L’équipe perd aussi le point unique qui décide de la destination des données. Chaque nouvel outil exigerait alors une modification et une mise en production de l’application. Avec le Collector, l’ajout de Langfuse a demandé un exportateur, un pipeline et deux clés, sans modifier l’application.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
À vous de jouer : la nouvelle tentative sûre de T-90104. Combien de traces, de spans et de valeurs de session.id, et qu'est-ce qui change dans Langfuse?
Afficher la réponse
Deux traces et neuf spans, avec une seule valeur de session.id, l’identifiant de l’exécution, sur chaque span. La trace 1 contient les mêmes cinq spans qu’avant. La trace 2 contient approve support-resolution, un seul execute_tool request_refund (le délai dépassé), execute_tool send_reply et reconcile request_refund. La réconciliation a interrogé le service de paiement et confirmé le remboursement. Aucun deuxième appel de remboursement n’a donc suivi. Dans Langfuse, cette exécution formerait une session de neuf observations, avec un seul remboursement. R-1014-051 contient 10 spans dans la semaine enregistrée, donc 10 observations : Langfuse a reçu chaque span. Sa trace 2 contient trois appels de remboursement (unavailable (indisponible), timeout (délai dépassé), puis done (terminé) avec la clé se terminant par -retry2).
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Dans l'exécution de l'équipe du cours, Langfuse n'affichait aucun coût pour les générations. Nommez la cause et deux solutions, puis indiquez quelle valeur reste la référence.
Afficher la réponse
Langfuse déduit le coût en faisant correspondre le nom du modèle à ses définitions de prix. Il n’en a aucune pour chat-small, chat-strong ou les noms de déploiement correspondants, donc totalCost est nul. Notre larkfield.cost.usd est arrivé uniquement comme métadonnée. Solution 1 : ajoutez des définitions de prix pour nos modèles dans Langfuse. Solution 2 : envoyez le coût avec les noms d’attributs que Langfuse reconnaît comme un coût reçu. Dans les deux cas, la référence reste notre propre table de prix datée (version du 8 octobre 2026) et le compteur larkfield.run.cost. Si deux outils donnent des coûts différents, vérifiez d’abord leurs tables de prix, comme l’a montré le module 5.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Un deuxième outil ajoute un deuxième exportateur et un deuxième pipeline dans le Collector. L’application ne change pas.
- Le nouveau pipeline réutilise le masquage. Avec la capture de contenu activée, aucun texte de requête, adresse courriel ou numéro de carte n’a été envoyé à Langfuse.
session.id= l’identifiant de l’exécution sur chaque span. Langfuse affiche donc les deux traces d’une exécution comme une seule session.- Langfuse a déterminé les types de nos spans à partir des noms GenAI : générations, outils, agents. Il n’a calculé aucun coût : il n’a aucun prix pour nos modèles.
- Grafana répond à « quel problème touche le système »; Langfuse répond à « qu’ont fait les appels de modèle de cette exécution, et comment ont-ils été révisés ».
- Votre projet est le projet terminé du cours, l’instantané
end-of-m08: 114 tests réussissent.
Vous pouvez maintenant envoyer les mêmes données à deux outils et lire une exécution dans les deux. Mais votre équipe ne peut pas exploiter tous les outils. Chacun a sa licence, ses règles sur les données et son prix. Ensuite, vous comparerez les principaux outils selon des critères définis et choisirez un ensemble pour une équipe.
Leçon suivante : Choisir des outils pour une équipe