Documentos
Un denominador honesto
Toda proporción vale exactamente lo que vale su denominador. "El detector capta el 14 por ciento de los casos", "reconoce un punto de cada tres" - estas frases parecen mediciones, pero la mayoría de las lecturas erróneas que hicimos de nuestro propio sistema se debieron a fallos en el denominador y no en el recuento de arriba.
Cuatro formas en que falla un denominador
Es más generoso que la realidad. Para una regla, la herramienta de extracción informó de siete puntos donde ocurría el error. Al leerlos se vio que, en tres de los siete, la frase del estudiante ya contenía la palabra en cuestión: el error real allí pertenecía a una regla vecina, y la búsqueda simplemente había captado una corrección situada justo al lado. Así que el detector "guardó silencio en siete puntos", de los cuales menos de siete le correspondían realmente. Una proporción cuyo denominador nadie ha leído es mero ruido.
Una exhaustividad nula no es una precisión nula. Un detector que no ha reconocido ningún caso real puede portarse perfectamente bien en la otra dirección: no salta ante un texto correcto. Son ejes distintos. Mezclarlos llevó a conclusiones del tipo "este detector está muerto", cuando solo lo estaba una de sus dos caras.
Una proporción baja es a veces simple escasez. Antes de reparar un detector que se activa en dos casos de cada cien, hay que medir el techo de la propia regla: cuántas ocasiones para ese error surgen realmente al escribir en ese nivel. Si la ocasión se presenta tres veces en cien textos, entonces un dos por ciento puede ser un resultado honesto, y "repararlo" solo traerá falsas alarmas.
Las mejoras no se suman entre bases distintas. Una mejora medida en una colección no puede sumarse a una cifra obtenida en otra. Las familias de errores se solapan, por lo que la suma de las proporciones por familia supera el total. Solo se pueden comparar cifras que comparten denominador, y nos hemos sorprendido incumpliendo esto más de una vez.
El cuarto resultado
Los tres resultados habituales para una construcción son: se usa correctamente, se usa con un error o se confunde con una regla vecina. Hay un cuarto resultado, y no lo contabilizamos en ningún sitio. El estudiante evita la construcción por completo y da un rodeo mediante una paráfrasis.
Para cualquiera que enseñe, eso es una señal en sí misma: una regla que se evita sistemáticamente no se ha aprendido, digan lo que digan los recuentos de errores. Construir un contador para esto es más difícil que encontrar errores, porque implica reconocer un punto donde una construcción habría sido oportuna y no se usó. No tenemos ningún instrumento para ello, y nos gustaría tenerlo.
Lo que funcionó
Un denominador pequeño se lee entero, no se muestrea. Hasta unos diez casos, se leen todos, y la proporción se presenta junto con un desglose de cada caso según la función que cumplen las palabras en él. Las familias más grandes se leen mediante muestreo, y la muestra crece con el volumen total de casos en lugar de quedarse en unos cómodos cinco.
Toda proporción llega con un ejemplo. En un informe no se acepta ninguna cifra sin al menos un caso analizado. Un caso extremo no hace una regla, pero una regla sin un solo caso no ha sido medida.
Lo que sigue abierto
Hacer que la extracción sea lo bastante precisa como para que los errores vecinos queden fuera del denominador de una regla implica modificar la herramienta de extracción, que a su vez necesitará sus propios filtros de control. Y el contador de evitación descrito más arriba no existe. Hasta que exista, cada cifra de exhaustividad que publicamos es una declaración sobre las ocasiones que podemos ver, no sobre la lengua que el estudiante está produciendo realmente.
Todos los artículos
Práctica gratuita para cada regla
Cada regla gramatical en el sitio incluye una herramienta de práctica. Es gratuita y no requiere registro.