Documentos
El defecto suele estar en el instrumento
La lección más cara de los últimos meses es también la menos atractiva. Cuando una medición arroja una cifra extraña, el fallo suele estar en lo que mide y no en lo que se mide. Lo que sigue es un catálogo. Cada punto es un caso real que costó horas de búsqueda en el lugar equivocado.
Formas en que nuestras propias herramientas nos engañaron
La herramienta repite el producto. Un script de comprobación montado con las mismas piezas que el código que comprueba no confirma la corrección, confirma la identidad: es ciego exactamente a los mismos errores. El remedio consiste en medir por un camino distinto, con otra maquinaria, o leyendo.
La herramienta solo lee la primera coincidencia. Un script tomaba el primer elemento que encajaba e informaba de "una coincidencia" donde había cinco. Un cero o un uno de una herramienta así no significa nada hasta que se demuestre que lee hasta el final.
Un control es ciego por diseño. Uno de los nuestros inspeccionaba archivos buscando texto tomado de otro sitio, pero solo extraía lo que estaba entre comillas. Un fragmento ajeno entre corchetes resultaba invisible. Una luz verde en un control demuestra la ausencia del tipo de problemas que puede ver, y nada más allá de eso.
Una búsqueda vacía no es un resultado limpio. La falta de resultados significa "no encontrado", y "no encontrado" puede deberse igualmente a una errata en la consulta. Un resultado negativo solo se acepta después de que la misma consulta haya encontrado algo que sabemos que está ahí.
Verde antes de la comprobación no es verde. Un informe de "resuelto" escrito antes de que la herramienta se haya ejecutado es una declaración de intenciones, no de estado. Nosotros informamos del estado.
Nuestro propio límite se lee como un defecto ajeno. Un límite de velocidad de nuestro lado apareció en una medición como un fallo de un servicio externo. Antes de culpar a lo medido, hay que comprobar si el instrumento ha tocado su propio techo.
Lo que funcionó
Tomar la unidad del código. La herramienta debe tomar su unidad de medida del código que se mide, en lugar de inventar una que resulte cómoda. Cuando medimos hasta dónde llega una comprobación dentro de una frase, los intentos parciales se ejecutaron con la misma maquinaria que usa el producto. Por eso se podía confiar en las cifras resultantes: el recorrido era el del producto, no un boceto.
Un cambio por medición. Entre dos mediciones cambia exactamente una cosa. Las variantes se numeran, cada una difiere de la anterior en una sola modificación, y solo se conserva la ganadora. De otro modo no hay forma de saber qué modificación produjo el efecto y cuál produjo el coste.
Una herramienta defectuosa retira sus cifras. Cuando resulta que un instrumento estaba roto, todas las cifras que produjo se retiran públicamente, incluidas las que nos convenían. Esto no es autoflagelación; es la única manera de que el registro siga siendo útil.
Lo que sigue abierto
No tenemos ningún paso automático que compruebe los propios instrumentos, uno que exija que "esta herramienta encontró algo cuya existencia se conocía antes de dar por bueno su cero". Todo depende de la disciplina de quien ejecuta el banco de pruebas, lo que significa que se omitirá en una tarde de cansancio. Cómo integrarlo en cada ejecución sin duplicar el coste del banco de pruebas es una cuestión abierta.
Vale la pena mencionar una limitación relacionada: un instrumento siempre mide el estado desde el que fue llamado, no el estado que teníamos en mente. Una medición tomada de una copia de trabajo no dice nada sobre la versión publicada, y un resultado en verde frente a datos obsoletos es una afirmación sobre el día de ayer.
Todos los artículos
Práctica gratuita para cada regla
Cada regla gramatical en el sitio incluye una herramienta de práctica. Es gratuita y no requiere registro.