Trae todo lo relevante y solo lo relevante. Las respuestas son correctas y completas.
Todo lo que trae sirve, pero se deja parte fuera. Respuestas ciertas a las que les falta un matiz — y es el fallo más difícil de detectar, porque nada suena mal.
La respuesta está ahí, enterrada entre material irrelevante. Salen respuestas genéricas o erráticas, y el mismo sistema acierta o falla según la pregunta.
No encuentra lo bueno y trae lo malo. La única ventaja es que es evidente a la primera.
El cuadrante que hay que vigilar es el segundo. Un sistema con alta precisión y bajo recall produce respuestas verdaderas, y por eso pasa las pruebas informales: preguntas, te contesta bien, sigues adelante. Lo que no ves es lo que no te contó. Ese fallo solo aparece midiendo recall contra una lista de lo que debería haber aparecido.
| Métrica | Qué es | La pregunta que contesta |
|---|---|---|
| Precision@K | Relevantes en el top-K / K | De lo que le di al LLM, ¿cuánto servía? |
| Recall@K | Relevantes en el top-K / total de relevantes | De todo lo que servía, ¿cuánto encontré? |
| MRR | 1 / posición del primer relevante | ¿Cómo de arriba está el primer resultado bueno? |
| NDCG@K | Ganancia acumulada, descontada por posición | ¿Está lo mejor antes que lo bueno? |
Las dos primeras se leen juntas o no se leen: subir K casi siempre mejora el recall y empeora la precisión, así que presumir de una sin decir la otra no significa nada. Las dos últimas añaden lo que a las primeras les da igual: el orden. Y el orden importa de verdad, porque el LLM no lee los K chunks con la misma atención — lo que va primero pesa más.
Un detalle práctico sobre MRR: es la métrica que mejor refleja la experiencia cuando basta con un acierto. Si la respuesta está siempre en la posición 1, MRR es 1; si está siempre en la 5, es 0,2. Esa caída no la capta Recall@5, que las trata igual.
Las cuatro fórmulas anteriores necesitan el mismo ingrediente: saber qué chunks eran los correctos. Ese conjunto no lo produce ningún script, se anota a mano, y por eso es el paso que se salta. Lo que hace falta es modesto:
| Ingrediente | Cuánto | Quién lo produce |
|---|---|---|
| Preguntas reales | 10–30 para empezar | Usuarios, soporte, tu propio log |
| Chunks correctos por pregunta | 1–3 cada una | Alguien que conozca el dominio, a mano |
| Un criterio escrito de «relevante» | Un párrafo | Tú, antes de anotar nada |
Ese tercer punto es el que decide si el ejercicio vale algo. Si «relevante» significa cosas distintas el lunes y el jueves, las cifras no son comparables entre sí — y comparar es para lo único que sirven. Escríbelo antes de anotar la primera pregunta.
Con eso montado, la disciplina es simple y no tiene atajo: mide antes de cambiar nada, cambia una sola cosa, y vuelve a medir. Un cambio que mejora dos preguntas y empeora tres no se nota probando a ojo, y es exactamente lo que pasa al subir K o al activar MMR.
// sin conjunto de evaluación no estás optimizando: estás cambiando cosassource_documents manualmente» y «evaluar contra preguntas de prueba». No dice sobre
cuántas queries, ni quién decide qué es relevante, ni con qué conjunto de referencia: un 80 %
medido sobre tres preguntas escogidas por quien construyó el sistema no es una métrica. Tres
unidades después llegan Precision@K, Recall@K, MRR y NDCG con fórmula e implementación, y el
aviso explícito de «no optimices sin un conjunto de evaluación con ground truth» — que es
justo la corrección de aquella tabla, sin decir que lo es. ¿De dónde salen ese 80 y ese 90, y
sobre cuántas preguntas tendrías que medirlos para que la cifra signifique algo?
Antes de tocar ni un parámetro más, monta el conjunto mínimo: diez preguntas reales, y para cada una, el fragmento de tus documentos que la responde, copiado a mano en un fichero. Media hora de trabajo aburrido.
Después mide tu sistema tal como está hoy y guarda esas cifras con la fecha. Ese número es tu línea base, y a partir de ahí cada cambio se puede justificar o descartar con un dato en vez de con una impresión. Sin él, la pregunta «¿ha mejorado?» no tiene respuesta — solo opiniones.