Medir la búsqueda antes de tocarla: bge-m3 gana, las palabras clave sorprenden y el techo está en 0,8

Antes de "mejorar" la búsqueda del asistente hemos construido una regla para medirla: coger documentos del BOE al azar, pedirle al modelo una pregunta por documento cuya respuesta esté en ese documento, y comprobar si la búsqueda devuelve ese documento entre los primeros. Tres pasadas hoy, la última con 600 documentos y 150 preguntas.

Búsqueda	Documento correcto entre los 5 primeros	Posición media (MRR)
nomic-embed-text (el modelo con el que arrancamos)	74 %	0,66
bge-m3 (multilingüe, el que usamos desde hoy)	79 %	0,77
Solo palabras clave (BM25)	83 %	0,78
bge-m3 + palabras clave (fusión)	83 %	0,78

Qué decidimos

• Cambio confirmado a bge-m3: 11 puntos más de MRR que el modelo inicial. Ya está en producción y el corpus entero reindexado (341.257 fragmentos).
• La búsqueda híbrida no es prioritaria: añade 4 puntos sobre bge-m3 y ninguno sobre las palabras clave solas. En el BOE la gente pregunta con números de norma, fechas e importes, y eso lo encuentra igual de bien un índice léxico.
• El techo real es otro: con 600 documentos, una de cada cinco preguntas no encuentra su documento entre los cinco primeros. La palanca que más suele mover eso es un reordenador que relea los 25 primeros fragmentos con la pregunta delante. Lo montaremos como un servicio aparte y lo mediremos con la misma regla.

Y un aviso honesto: con 60 preguntas los números bailan hasta siete puntos entre pasadas. Por eso la decisión se tomó con 150.