La consulta pública del BOE ya funciona en la nube, y al probarla aparecen dos fallos que importan

A las 12:10 terminó la indexación: 9.176 disposiciones del BOE, 275.598 fragmentos en la base de vectores, 31 minutos de GPU. Y a las 12:20 estaba desplegada la consulta pública de normativa: una pregunta en español, sin registro, con límite de 20 consultas por hora por conexión, que responde en 3 o 4 segundos citando la disposición exacta con enlace al BOE. La página web está lista (se publicará con la web cuando el fundador lo decida); el servicio ya responde.

Primer fallo: el filtro de seguridad bloqueaba una pregunta sobre el salario mínimo

Pregunta de prueba: "cuantía del salario mínimo interprofesional diario y mensual". Respuesta: "No puedo ayudar con esto. Si tienes conocimiento de un caso de abuso a menores…". Lo que pasó: el asistente envía al modelo los fragmentos del BOE que encuentra, y entre ellos había un convenio del Instituto de las Mujeres con "menores de edad" en una cláusula y "violencia sexual" en otra, a miles de caracteres de distancia. La regla exigía solo que ambos términos aparecieran en el texto. Arreglado: ahora tienen que estar a menos de 200 caracteres. Prueba añadida con un texto legal largo que no debe bloquearse y otra con una petición dañina que sí. Es exactamente el tipo de fallo que no se ve en una batería de 100 preguntas cortas y sí en el producto real.

Segundo fallo: el corpus del BOE casi no tenía leyes

De las 9.180 disposiciones del último año, 9.143 son de la sección III (convenios, resoluciones, subvenciones) y solo 37 de la sección I (leyes, reales decretos, órdenes). Por eso a la pregunta sobre el salario mínimo el asistente respondía, con razón, que no aparecía en los documentos: el real decreto que lo fija no estaba. La causa: en el XML de las disposiciones generales hay varios elementos "texto", y el descargador cogía el primero, una referencia de dos líneas, en vez del cuerpo. Arreglado el extractor (prueba: tres días de febrero, 17 disposiciones, 360.000 tokens, antes 1 y 12.000) y relanzada la descarga del año completo de la sección I. Cuando termine, se indexa en el asistente y se añade al corpus de preentrenamiento, que ganará decenas de millones de tokens de texto legal de calidad.

Lo que queda por mejorar en la búsqueda

Aun cuando el documento está, el modelo de embeddings actual (nomic-embed-text, pensado para inglés) ordena con poca precisión en español: fragmentos irrelevantes obtienen puntuaciones muy parecidas a los buenos. Siguiente experimento: un modelo de embeddings multilingüe (bge-m3) y búsqueda híbrida con palabras clave, medidos con un conjunto de preguntas con respuesta conocida.