Documentos
La colección con la que se mide forma parte del instrumento
"Cero falsas alarmas en prosa ordinaria" no significa nada si no se responde a "qué prosa". La colección sobre la que se toma una medición es una parte tan esencial del instrumento como el propio código. Aprendimos esto como suelen aprenderse estas cosas: perdiendo dos colecciones a la vez.
Qué ocurrió
En una primera fase del trabajo se había medido el coste de los cambios frente a una colección de fragmentos de prosa, y la línea base de nuestros filtros frente a un conjunto de ejemplos canónicos de las reglas. Ninguna de las dos colecciones se había guardado como archivo. Lo que sobrevivió fueron las cifras en los informes.
Había que comparar los nuevos cambios con aquellos antiguos ceros, y el denominador de esos ceros había desaparecido. Dado que comparar frente a una colección distinta no es legítimo - ese es el tema del tercer artículo -, había que elegir entre declarar incomparables las cifras antiguas y perder el historial, o reconstruir las colecciones con exactitud.
Qué funcionó
Reconstrucción, no recuerdo. El ensamblaje de la colección de prosa es determinista: una configuración enumera las fuentes y un script las divide en fragmentos según reglas fijas. Ya no estaban presentes todas las fuentes enumeradas. La hipótesis fue que la colección antigua se había extraído del subconjunto que estaba disponible en aquel momento. Al ejecutar el ensamblaje sobre ese subconjunto se obtuvieron exactamente 7.773 fragmentos - la misma cifra que figuraba en los informes antiguos. La coincidencia en el recuento exacto es en sí misma la prueba de su composición. Los antiguos ceros volvieron a ser comparables.
Ampliar la colección, nunca reemplazarla. Se recuperaron las fuentes que faltaban y la colección creció hasta los 34.470 fragmentos. Ahora se informan ambos costes para cada cambio: sobre el subconjunto histórico, para mantener la comparabilidad con el registro, y sobre la colección completa, como línea base actual. Reemplazar la primera por la segunda habría borrado la capacidad de leer nuestro propio historial.
La línea base reconstruida se hizo más estricta, no más laxa. En lugar del conjunto perdido de ejemplos canónicos que cubría unas pocas docenas de reglas, reunimos 493 ejemplos que cubren 162 reglas, tomados de la misma fuente a partir de la cual se construye el mapa de reglas. La línea base en el nuevo conjunto coincidió con la antigua, hasta en el único caso fallido conocido. Ampliar la cobertura no rompió el historial, lo cual es la única prueba de que la ampliación se hizo bien.
El material en bruto no tiene por qué estar en el repositorio. Las fuentes son grandes y pueden volver a descargarse. Lo que se guarda en el control de versiones es la configuración, el script de ensamblaje y las cifras que sirven de huella digital. Eso basta para que cualquiera pueda reconstruir la misma colección.
Las reglas que esto produjo
- Cada medición indica siempre su colección y su tamaño.
- Una colección se amplía, nunca se reemplaza: la composición antigua sigue siendo reproducible, y una ampliación añade una segunda cifra en lugar de sobrescribir la primera.
- Un ensamblador determinista, una configuración y un recuento de control son el equipo mínimo para la reproducibilidad. Guardar la colección en sí como archivo es opcional una vez que este conjunto está completo.
Qué sigue abierto
La parte del banco de pruebas correspondiente a los estudiantes no puede reproducirse de este modo. Los textos escritos por estudiantes no se copian en el control de versiones; lo que sirve de colección ahí es un conjunto de referencias a ubicaciones de almacenamiento, y las referencias son más frágiles que una huella digital. Una referencia que se ha movido es indistinguible de una referencia que nunca fue correcta.
Cómo hacer que las mediciones sobre textos de estudiantes sean tan reproducibles como las mediciones sobre prosa publicada es una cuestión abierta, y es la que actualmente limita hasta qué punto confiamos en nuestras propias cifras de exhaustividad.
Todos los artículos
Práctica gratuita para cada regla
Cada regla gramatical en el sitio incluye una herramienta de práctica. Es gratuita y no requiere registro.