Documentos

Jueces, guardias y lo que aun no podemos medir

No todo se puede medir por la forma de una frase. Cuando hace falta juzgar el sentido - si un texto esta bien escrito, si una construccion es oportuna, si el estilo es el adecuado - ponemos un juez automatico. Alrededor del banco de pruebas hay guardias: para los secretos, para los contratos, para los fragmentos copiados. Los jueces y los guardias tambien son instrumentos, y tienen sus propias maneras de equivocarse.

Donde fallaron

Un rechazo se convierte en un veredicto sobre el contenido. Cuando un juez no responde - por sobrecarga, un filtro o el tiempo de espera - una secuencia sin un manejo especial registra el rechazo como una nota, casi siempre baja. La frase del estudiante recibe entonces un veredicto que nadie llego a emitir. El remedio consiste en medir ambas salidas por separado: la proporcion de rechazos y la distribucion de las notas reales. Un rechazo es un dato estadistico, no una opinion.

Un limite de espera fijado en el promedio convierte la cola en rechazos. Si el tiempo de espera se ajusta al promedio de respuesta, la cola lenta de la distribucion se transforma en rechazos sistematicos que - si no se aplica la leccion anterior - pasan a ser notas bajas sistematicas.

Un guardia puede ser ciego por diseno. El guardia que revisa nuestros textos en busca de redaccion prestada solo extrae los pasajes entre comillas. Un fragmento entre corchetes, sin comillas, le resulta invisible. Detectamos un caso asi a mano, una hora antes de incorporarlo al repositorio. Ese punto ciego figura ahora en la documentacion del propio guardia, porque antes de eso su luz verde daba una falsa confianza, que es el peor estado en el que puede encontrarse un instrumento.

Una medicion abierta se desliza hacia los casos faciles. Si a lo que se mide se le permite elegir sobre que se le mide, la muestra se desplaza en silencio hacia el extremo facil y la tasa de exito sube sin que haya mejora alguna en la calidad. Una medicion abierta es un defecto en si misma: la muestra debe fijarla alguien distinto del sujeto evaluado.

No se puede confiar en un corrector de estilo automatico en solitario. Un unico juez de estilo se equivoca de forma asistematica, por lo que su palabra no basta para modificar un texto. Lo que funciona es el acuerdo entre dos voces independientes; en los pares que medimos, la proporcion de falsas alarmas se reduce en un orden de magnitud. Una sola voz puede senalar, nunca editar.

Lo que funciono

  • Los procesos que emplean jueces cuentan los rechazos aparte de los veredictos, y la proporcion de rechazos es un renglon obligatorio en el informe.
  • Los cambios basados en la revision automatica requieren el acuerdo de dos voces.
  • Los guardias llevan una nota escrita sobre sus puntos ciegos: aquello que este guardia no puede ver por la forma en que esta hecho. La luz verde se lee junto con esa nota.

El programa que aun no hemos hecho

Una muestra anotada a ciegas. La exhaustividad de nuestras comprobaciones nunca se ha medido frente a textos anotados por una persona que no haya visto antes esas comprobaciones. Sin eso, lo que llamamos exhaustividad es solo la deteccion sobre pasajes que nuestras propias herramientas encontraron, lo cual mide hasta que punto nuestras herramientas estan de acuerdo consigo mismas.

La calibracion del juez de redaccion con respecto a una coleccion de referencia puntuada por personas, para que sus veredictos se situen en una escala humana y no en la suya propia.

La sintesis de errores para aquellas reglas de las que el material reunido no contiene casos naturales. Los casos sinteticos nos permitirian medir la exhaustividad alli donde la naturaleza calla, pero antes hay que demostrar que un error sintetico equivale a uno natural, y esa demostracion requiere su propio instrumento.

Un banco de medicion nunca se termina. Cada instrumento nuevo trae sus propias maneras de mentir, y la unica esperanza real es que el catalogo de mentiras crezca mas despacio que el de instrumentos.

Todos los artículos

Práctica gratuita para cada regla

Cada regla gramatical en el sitio incluye una herramienta de práctica. Es gratuita y no requiere registro.

Informar de un problema

Página en la que estás
/es/science/papers/measure-07-judges.html es

Para nosotros lo más cómodo es el inglés, pero escribe en el idioma que quieras.

El aviso lleva solo tus palabras, la dirección de la página y el idioma. Sin captura de pantalla, sin registros, sin cuenta. No podemos responder a un aviso, así que si necesitas respuesta escribe a [email protected]