| Métrica | Test | |
|---|---|---|
| Qué devuelve | Un número | Pasa o falla |
| Quién lo interpreta | Tú, mirándolo | Nadie: el pipeline decide |
| Cuándo se mira | Cuando te acuerdas | En cada cambio, automáticamente |
| Qué exige por delante | Un conjunto de evaluación | Lo mismo, más un umbral escrito |
| Para qué sirve | Entender | Bloquear |
Las métricas de recuperación y los scores de producción que ya conoces producen números. Este módulo añade el paso que los vuelve operativos: comprometerse con una cifra por adelantado. Mientras el umbral no esté escrito, cada resultado se interpreta a posteriori — y a posteriori todo resultado parece aceptable.
| Origen | Cómo se fija | Cuándo es el bueno |
|---|---|---|
| Línea base | Mides el sistema tal como está hoy y pones el umbral un poco por debajo | Casi siempre. Es el único que no requiere saber nada de antemano |
| Requisito | Alguien de producto o de negocio dice cuánto es aceptable | Cuando existe de verdad. Suele no existir |
| Convención | Una cifra tomada de un libro, un curso o un artículo | El más débil: no conoce tu corpus ni tus preguntas |
El primero merece el peso que tiene. Un umbral de línea base no afirma que 0,42 sea bueno; afirma que bajar de 0,42 es una regresión, y eso sí lo sabes con certeza porque lo acabas de medir. Una cifra modesta y verdadera frente a una cifra ambiciosa e inventada.
Y el orden importa: primero mides, después escribes el umbral. Al revés —fijar el umbral y ajustar el sistema hasta pasarlo— produce sistemas que aprueban su propio examen.
Con una línea base medida en 0,42, la elección del umbral decide si el test informa de algo:
El margen entre la línea base y el umbral es la tolerancia al ruido, y no se elige a ojo: se mide corriendo la misma evaluación dos o tres veces sin cambiar nada. La variación entre esas corridas es tu ruido de fondo. Un umbral colocado dentro de ese ruido no detecta regresiones, detecta el azar.
// el test que falla cada martes se acaba desactivando, y con él la señal que sí importaba| Aserción | Forma | Qué detecta |
|---|---|---|
| Absoluta | metrica >= 0.30 | Que el sistema está por debajo de lo aceptable |
| Relativa | metrica >= base * 0.95 | Que el sistema ha empeorado, aunque siga siendo aceptable |
| Estructural | todos los casos devuelven algo | Que algo se ha roto, no que ha empeorado |
Un sistema puede pasar la absoluta mientras se cae a trozos: si tu línea base era 0,80 y hoy sale 0,35 con un umbral fijado en 0,30, el test pasa. La aserción relativa es la que detecta regresiones; la absoluta detecta desastres. Hacen falta las dos, y la estructural es la más barata de todas porque no necesita ni línea base.
Lo que hace que el conjunto valga la pena es esto: la primera corrida cuesta un día de anotación aburrida, y todas las siguientes salen gratis. El coste está en construir el examen, no en repetirlo.
El reto de este módulo propone umbrales concretos: documento correcto en el top-3 en ≥ 80 % de los casos, Precision@5 media > 0,3 y MRR medio > 0,5. Ninguno viene con justificación ni con la medición de la que salió. ¿De dónde sale ese 0,3? ¿Es la línea base de alguien sobre otro corpus, una convención de recuperación de información, o una cifra escogida para que el ejercicio dé aprobado?
La pregunta que importa no es si están mal —pueden ser razonables— sino qué habrás demostrado cuando los cumplas. Si tu Precision@5 sale 0,31 y el test pasa, ¿has demostrado que tu sistema es bueno, o que el umbral estaba por debajo de tu sistema? Merece la pena medir tu propia línea base y ver dónde cae respecto a esas tres cifras antes de aceptarlas como criterio.
Y un detalle aritmético: sobre 20 preguntas, «el documento correcto en el top-3 en el 80 % de los casos» significa que fallan exactamente 4. Un solo caso que cambie de lado mueve el resultado un 5 % y puede hacer pasar o fallar la suite entera. ¿Cuánto ruido tiene ese 80 % si repites la misma evaluación dos veces sin tocar nada?
No escribas ninguna aserción todavía. Corre tu evaluación tres veces seguidas sin cambiar una línea y apunta las tres cifras de cada métrica.
Si las tres son idénticas, tu evaluación es determinista y puedes poner el umbral pegado a la línea base. Si bailan, la diferencia entre la mayor y la menor es el margen mínimo que debe tener tu umbral — y también es un aviso: cualquier mejora que anuncies por debajo de ese margen no es una mejora, es la misma corrida otra vez.