← Todas las etiquetas

#langsmith

Observability: LangFuse + LangSmith

Anatomía de una traza: trace, span y generation

Un log dice qué pasó; una traza dice quién llamó a quién, con qué entrada exacta, cuánto tardó y qué costó. El árbol, el vocabulario de LangFuse y LangSmith, y por qué el envío asíncrono hace desaparecer trazas.

  • observabilidad
  • trazas
  • spans
  • langfuse
  • langsmith

Observability: LangFuse + LangSmith

Cuatro rutas de instrumentación: decorador, wrapper, callback o entorno

Instrumentar es elegir en qué capa te enganchas. Qué ve cada ruta, el árbol de decisión que empieza por si usas framework, cómo se rompe cada una sin dar error, y por qué wrapper y decorador se complementan.

  • instrumentacion
  • observe
  • traceable
  • callbackhandler
  • langfuse
  • langsmith

Observability: LangFuse + LangSmith

LangFuse frente a LangSmith

La elección se decide con dos preguntas: ¿lo orquesta LangChain, y pueden salir los datos de tu red? Los cuatro cuadrantes, lo diferencial de cada uno y lo que la elección no cambia.

  • langfuse
  • langsmith
  • comparativa
  • self-hosting
  • llmops

Observability: LangFuse + LangSmith

Datasets y experimentos: evaluar antes de desplegar

Un score dice cómo fue lo que ya pasó; un dataset deja preguntar qué pasaría si. Las tres condiciones que hacen comparable un experimento, y por qué un dataset donde apruebas todo ha dejado de discriminar.

  • langsmith
  • datasets
  • evaluacion
  • experimentos
  • regresion

Observability: LangFuse + LangSmith

Auditar trazas con el SDK: de dashboard a alerta

El dashboard sirve cuando ya sospechas; el SDK sirve para no tener que sospechar. list_runs y el parámetro que más se olvida, dónde filtrar, tags frente a metadata por cardinalidad, y el salto de consulta a watchdog.

  • langsmith
  • sdk
  • list-runs
  • alertas
  • tags-metadata