← Todos los módulos

Observability: LangFuse + LangSmith

Modo de estudioRepasoExamen

Ver qué hace tu agente por dentro: trazas, costes y latencia con LangFuse y LangSmith, y cómo depurar a partir de ellas.

todasobservabilidadtrazasspanslangfuselangsmithinstrumentacionobservetraceablecallbackhandlercomparativaself-hostingllmopsprompt-managementversionadoget-promptcachescoresllm-as-a-judgeevaluacionragasdatasetsexperimentosregresionsdklist-runsalertastags-metadatapiigdpranonimizacion

Lecciones

Anatomía de una traza: trace, span y generation

Un log dice qué pasó; una traza dice quién llamó a quién, con qué entrada exacta, cuánto tardó y qué costó. El árbol, el vocabulario de LangFuse y LangSmith, y por qué el envío asíncrono hace desaparecer trazas.

  • observabilidad
  • trazas
  • spans
  • langfuse
  • langsmith

Cuatro rutas de instrumentación: decorador, wrapper, callback o entorno

Instrumentar es elegir en qué capa te enganchas. Qué ve cada ruta, el árbol de decisión que empieza por si usas framework, cómo se rompe cada una sin dar error, y por qué wrapper y decorador se complementan.

  • instrumentacion
  • observe
  • traceable
  • callbackhandler
  • langfuse
  • langsmith

LangFuse frente a LangSmith

La elección se decide con dos preguntas: ¿lo orquesta LangChain, y pueden salir los datos de tu red? Los cuatro cuadrantes, lo diferencial de cada uno y lo que la elección no cambia.

  • langfuse
  • langsmith
  • comparativa
  • self-hosting
  • llmops

Prompt registry: sacar el prompt del código

Un prompt hardcodeado es configuración disfrazada de código. El registry lo versiona y —lo que importa— enlaza cada traza con la versión que la produjo. Versión, etiqueta y caché: tres mecanismos que se confunden.

  • langfuse
  • prompt-management
  • versionado
  • get-prompt
  • cache

Scores y LLM-as-a-Judge: medir lo que no lanza excepción

Una respuesta educada, fluida y falsa no lanza ninguna excepción. Los tres orígenes de un score, el patrón del juez con trace_id, la rúbrica que convierte una opinión en métrica, y las tres reglas para no envenenar tus propias medidas.

  • scores
  • llm-as-a-judge
  • evaluacion
  • ragas
  • langfuse

PII y soberanía del dato: qué sale de tu red

Instrumentar es enviar a un tercero el texto exacto que escribió tu usuario. Tres capas que no se sustituyen, privacy by design frente a borrar después, y los límites reales de anonimizar con expresiones regulares.

  • pii
  • gdpr
  • self-hosting
  • anonimizacion
  • langfuse

Ejercicios

Sin ejercicios con este filtro.