Documentos
Por qué medimos nuestras propias reglas gramaticales
Nuestro sitio contiene un mapa de reglas gramaticales del inglés, desde los artículos en el nivel A1 hasta la inversión y las oraciones hendidas en el C2, y detrás de cada regla hay un detector automático diseñado para reconocer el error que los estudiantes realmente cometen. Lo difícil no es escribir ese detector. Lo difícil es saber si funciona.
El silencio tiene dos lecturas
Supongamos que uno de esos detectores no ha encontrado nada en un mes. Hay dos razones posibles y, desde fuera, parecen idénticas.
La primera es que los estudiantes simplemente no cometen este error en los textos que vemos. Algunas reglas son poco frecuentes: la ocasión de aplicarlas mal apenas se presenta en el nivel en que se enseñan.
La segunda es que el detector está escrito de tal forma que nunca reconocerá el error, sin importar cuántas veces se cometa.
Ambas razones arrojan el mismo número: cero. Un cero que puede significar tanto "no hay nada que encontrar" como "incapaz de encontrarlo" no es una medición, sino la ausencia de ella. La mayoría de las conclusiones erróneas que hemos sacado sobre nuestro propio sistema empezaron aquí.
La norma que adoptamos
Toda pregunta del tipo "qué está frenando esta regla" tiene al menos dos respuestas posibles, y no se acepta ninguna respuesta que no venga con su propia medición.
En la práctica, esto significa que para cada regla silenciosa hay que presentar una de dos cosas: o bien ejemplos reales en textos de estudiantes donde ocurre el error y el detector ahora logra reconocerlos tras ser reparado; o bien una razón medida de por qué esos casos no aparecen, acompañada de una cifra y de una muestra que una persona haya leído realmente, caso por caso.
La segunda mitad de esa frase es la que hace el trabajo. Un número por sí solo tiende a creerse; un número junto a cinco oraciones que una persona ha leído tiende a entenderse. Más de una vez, leer la muestra ha echado por tierra la cifra que estábamos a punto de presentar y, en todos esos casos, el error era nuestro y no de la máquina.
Qué funcionó
Separar el taller del producto. Los detectores candidatos viven donde nada del producto en vivo los lee. Se pueden medir, romper y volver a medir sin que nadie que use el sitio se vea afectado. Un detector solo llega al producto mediante un paso independiente con sus propios filtros, descrito en el quinto artículo de esta serie.
Esto suena a higiene básica de ingeniería, y lo es. La razón por la que importa aquí es que resulta tentador usar el banco de pruebas directamente sobre el sistema en vivo, porque ahí están todos los datos. El coste de ceder a esa tentación es que cada experimento se convierte en un lanzamiento, y un lanzamiento no se puede deshacer de forma tan barata como un experimento.
Qué sigue pendiente
La descripción honesta de nuestra situación es esta: todavía no conocemos el denominador completo de ninguna regla, es decir, cuántas ocasiones para cometer ese error concreto existen en los textos de los estudiantes de ese nivel. Nadie ha medido aún la exhaustividad frente a una muestra anotada a ciegas por una persona que nunca haya visto nuestros detectores. Es una deuda que declaramos en lugar de una carencia que ocultamos, y los artículos tercero y séptimo de esta serie vuelven sobre ello.
El resto de la serie es un catálogo: cómo nos engañaron nuestras propias herramientas de medición, cuánto cuesta un denominador honesto, qué puede y qué no puede decidir la forma superficial del texto, y cuáles de nuestros hábitos demostraron que valía la pena conservar.
Todos los artículos
Práctica gratuita para cada regla
Cada regla gramatical en el sitio incluye una herramienta de práctica. Es gratuita y no requiere registro.