| Se mueve | Se congela |
|---|---|
| Tamaño de chunk y solapamiento | El conjunto de evaluación, entero y sin tocar |
| Estrategia de recuperación | El modelo de embeddings |
El valor de k | El modelo generador y su temperatura |
| El criterio de «relevante», escrito antes de empezar |
La regla de «una variable por experimento» se rompe en cuanto barres: comparar
chunk_size=300 con chunk_size=800 y estrategia distinta son dos
cambios a la vez, y el resultado no atribuye nada. Si el barrido cruza dos ejes, lo honesto es la
rejilla completa —tres tamaños por dos estrategias son seis corridas, no tres— o fijar uno de los
ejes y decirlo en el informe.
Y hay una asimetría fácil de olvidar: cambiar el tamaño de chunk obliga a reindexar. No es un parámetro de la consulta, es un parámetro del corpus. Comparar tamaños cuesta tantas indexaciones como tamaños; comparar estrategias de recuperación cuesta una sola.
// el eje barato y el eje caro no son intercambiables, aunque quepan en la misma tablaUna tabla típica de un barrido pequeño, con Precision@5 media sobre 20 preguntas:
Con k=5, cada pregunta mueve su propia precisión en saltos de 0,2 y la media global
en 0,01. La distancia entre el primero y el tercero son cuatro chunks cambiando de lado en todo
el conjunto. Puede ser una diferencia real, o pueden ser dos preguntas que casualmente le
vienen mejor a una configuración.
Tres formas de distinguirlo sin hacer estadística formal:
Mira los casos, no la media. ¿Gana en 14 de 20 preguntas, o gana por goleada en 3 y pierde en el resto? Lo primero es una tendencia; lo segundo es una anécdota que arrastra la media.
Parte el conjunto. Compara sobre la primera mitad y sobre la segunda por separado. Si el ganador cambia, no tenías un ganador.
Exige un margen mínimo por adelantado. «Solo cambio de configuración si mejora más de un 10 % relativo» convierte los empates técnicos en lo que son: empates.
El conjunto de evaluación es fijo por diseño: eso es lo que hace comparables dos corridas. Y ese mismo hecho es su trampa. Si barres diez configuraciones y te quedas con la que mejor puntúa, has elegido la configuración que mejor se ajusta a tus veinte preguntas, y parte de esa ventaja es específica de esas veinte preguntas y no viaja a producción.
Es sobreajuste, y aquí no lo hace ningún optimizador: lo haces tú, a mano, señalando la fila más alta de la tabla. Las dos defensas son baratas y las dos son incómodas:
| Defensa | En qué consiste | Por qué cuesta |
|---|---|---|
| Conjunto de reserva | Preguntas que no miras durante el barrido; se usan una vez, al final, sobre la ganadora | Anotas más preguntas de las que vas a usar para decidir |
| Menos configuraciones | Tres elegidas por una razón, no diez de una rejilla exhaustiva | Renuncias a explorar, y explorar se siente productivo |
Y un criterio que cierra la decisión cuando la tabla no la cierra: si dos configuraciones empatan dentro del ruido, gana la más barata. Chunks más pequeños significan más vectores, más almacenamiento y más consultas; la búsqueda híbrida cuesta dos recuperaciones en vez de una. Con métricas indistinguibles, el coste es el desempate honesto.
El reto pide comparar «al menos 3 configuraciones» y recomendar la mejor basándose en los datos, sobre el mismo conjunto de 20 preguntas con el que se fijan los umbrales de la suite de tests. ¿No hay ahí una circularidad? Si eliges la configuración que mejor puntúa en un conjunto y después declaras que el sistema pasa los tests medidos en ese mismo conjunto, esos tests ya no son independientes de la elección. ¿Sobre qué preguntas habría que medir la ganadora para que su aprobado signifique algo?
La segunda duda es la propia tabla de configuraciones propuesta: las tres filas mezclan tamaño de chunk y estrategia de recuperación a la vez —500/similitud, 300/similitud, 800/híbrido—. Si gana la tercera, ¿fue por los 800 caracteres o por la búsqueda híbrida? ¿Qué cuarta fila haría falta para poder responder a eso?
Antes de barrer nada, escribe en una línea el margen mínimo que te haría cambiar de configuración —un porcentaje relativo sobre la métrica que más te importe— y guárdalo con fecha.
Después corre el barrido y compáralo contra esa línea. La mitad de las veces la conclusión honesta es «ninguna configuración gana lo suficiente, me quedo con la más barata», y esa conclusión solo la puedes escribir si el margen estaba fijado antes de ver la tabla.