Todo caso de evaluación cae en una de estas cuatro casillas. Los conjuntos de evaluación normales viven enteros en la primera fila.
| El sistema responde | El sistema se abstiene | |
|---|---|---|
| La respuesta está en el corpus | Acierto — o fallo de contenido, que las métricas ya saben medir | Falso silencio: lo tenías y no lo diste |
| La respuesta no está | Alucinación: te lo inventaste | Acierto, y el más difícil de los cuatro |
Precision@K, Recall@K y MRR presuponen que existe un chunk correcto que encontrar. Sobre un caso de la fila de abajo, «el documento esperado aparece en el top-K» no significa nada: no hay documento esperado. La métrica no da un valor malo, es que no está definida.
La consecuencia es incómoda: un sistema que responde siempre, con aplomo, a todo, puede sacar métricas de recuperación excelentes. No las saca por ser bueno; las saca porque solo le has puesto exámenes que premian contestar.
// la fila de abajo no baja tus métricas: sencillamente no aparece en ellas| Campo | Caso normal | Caso trampa |
|---|---|---|
| Documento esperado | El fichero que contiene la respuesta | Ninguno — y ese «ninguno» es el dato |
| Conceptos clave | Los que deben aparecer en los chunks | No aplica |
| Qué se puntúa | ¿Están los conceptos en la respuesta? | ¿Reconoce el sistema que no lo sabe? |
| Forma del veredicto | Cobertura de 0 a 1 | Binario: se abstuvo o no |
Y una pregunta trampa útil no es cualquier disparate. Hay tres calidades, y solo dos merecen el trabajo de escribirlas:
Fuera de tema por completo — «¿cuál es la capital de Francia?» a un asistente de despliegues. La recuperación devuelve basura evidente y casi cualquier sistema la rechaza. Mide poco, y además se cuela sola en cualquier conjunto.
Del dominio pero fuera del corpus — algo que suena exactamente a tu producto y sobre lo que tu documentación no dice nada. Aquí la recuperación sí devuelve chunks plausibles y el modelo tiene todos los ingredientes para construir una respuesta coherente y falsa. Es el caso que separa un sistema prudente de uno complaciente.
Vecina de una que sí está — la documentación cubre el plan Pro y le preguntas por un plan que no existe. El más duro de los tres: el corpus contiene casi la respuesta, y completar el hueco es exactamente lo que un modelo generativo hace bien.
Las dos hablan de inventarse cosas, pero no miran el mismo punto del flujo:
| Faithfulness | Fuera de alcance | |
|---|---|---|
| Qué compara | La respuesta contra los chunks recuperados | La respuesta contra el hecho de que no hay respuesta |
| Qué detecta | El modelo añadió lo que el contexto no decía | El sistema respondió cuando debía callarse |
| Dónde señala el fallo | Generación | Generación o la ausencia de un umbral en la recuperación |
Un sistema puede sacar faithfulness perfecta sobre una pregunta trampa: recupera cinco chunks que no vienen a cuento, resume fielmente esos cinco chunks y entrega una respuesta impecablemente fundamentada y completamente inútil. La fidelidad al contexto no comprueba en ningún momento que el contexto tuviera algo que ver con la pregunta.
El reto pide «al menos 2 preguntas trampa» sobre un mínimo de 20 casos. Con dos casos, la métrica de fuera de alcance solo puede valer 0, 0,5 o 1: no hay valor intermedio, y un solo caso mal anotado la mueve medio punto. ¿Qué te dice realmente un «100 % en fuera de alcance» medido sobre dos preguntas? ¿Y cuántos casos harían falta para que esa cifra distinguiera un sistema prudente de uno que tuvo suerte dos veces?
La otra duda es de anotación: el enunciado no define qué cuenta como abstenerse. ¿Vale un «no tengo información suficiente»? ¿Vale una respuesta que contesta pero avisa de que no está segura? ¿Vale una que acierta a partir del conocimiento general del modelo, sin usar el corpus para nada? Son tres comportamientos muy distintos, y merece la pena preguntarse si ese criterio se puede escribir después de ver las respuestas sin acabar puntuando lo que a uno le conviene.
Coge tu corpus y escribe cinco preguntas trampa de la segunda clase: del dominio, plausibles, con la respuesta deliberadamente ausente de tus documentos. La prueba de que están bien escritas es que a ti mismo te cueste un momento confirmar que no están.
Pásaselas a tu sistema tal como esté hoy y cuenta cuántas veces contesta igualmente. Antes de mirar el resultado, apunta cuántas crees que van a ser. La diferencia entre tu apuesta y el recuento es lo que este conjunto de evaluación te acaba de comprar.