Materiais

Juízes, guardas e o que ainda não conseguimos medir

Nem tudo se consegue medir pela forma de uma expressão. Onde é necessário um juízo sobre o sentido - saber se um texto está bem escrito, se uma construção é adequada, se o estilo está certo - colocamos um juiz automático. À volta da bancada de testes estão os guardas: para segredos, para contratos, para formulações emprestadas. Juízes e guardas também são instrumentos e têm as suas próprias formas de errar.

Onde falharam

Uma recusa torna-se um veredicto sobre o conteúdo. Quando um juiz se recusa a responder - por sobrecarga, por causa de um filtro, por tempo limite excedido - um sistema sem tratamento especial regista a recusa como uma pontuação, geralmente baixa. A frase do estudante fica então com um veredicto que ninguém chegou a proferir. A solução passa por medir as duas portas em separado: a proporção de recusas e a distribuição das pontuações reais. Uma recusa é um dado estatístico, não uma opinião.

Um tempo limite definido pela média transforma a cauda em recusas. Se definirmos o tempo de espera pelo tempo médio de resposta, a cauda lenta da distribuição transforma-se em recusas sistemáticas, as quais - sem a lição anterior aplicada - se tornam pontuações baixas sistemáticas.

Um guarda pode ser cego por construção. O guarda que verifica se os nossos textos têm formulações emprestadas extrai apenas as passagens entre aspas. Um fragmento entre parênteses retos, sem aspas, é-lhe invisível. Detetámos um caso destes manualmente, uma hora antes de ser registado no sistema. Este ângulo morto está agora descrito na própria documentação do guarda, porque até lá, uma luz verde desse guarda produzia uma falsa confiança, que é o pior estado em que um instrumento pode estar.

Uma medida aberta resvala para os casos fáceis. Se aquilo que está a ser medido puder escolher sobre o que é medido, a amostra desliza silenciosamente para o lado mais fácil e a taxa de sucesso sobe sem qualquer ganho de qualidade. Uma medida aberta é um defeito por si só: a amostra tem de ser fixada por outra parte que não o objeto de avaliação.

Não se pode confiar apenas na revisão automática de estilo. Um único juiz de estilo erra de forma não sistemática, pelo que a sua palavra não basta para alterar um texto. O que funciona é a concordância entre duas vozes independentes; nos pares que medimos, a proporção de falsos alarmes cai uma ordem de grandeza. Uma voz isolada pode assinalar, mas nunca editar.

O que funcionou

  • Os processos que recorrem a juízes contam as recusas em separado dos veredictos, e a proporção de recusas é uma linha obrigatória no relatório.
  • As alterações baseadas na revisão automática exigem a concordância de duas vozes.
  • Os guardas incluem uma nota escrita sobre os seus ângulos mortos: o que este guarda não consegue ver por construção. A luz verde é lida em conjunto com essa nota.

O programa que ainda não cumprimos

Uma amostra anotada às cegas. A sensibilidade das nossas verificações nunca foi medida em comparação com textos anotados por uma pessoa que não conhecesse essas verificações. Sem isso, aquilo a que chamamos sensibilidade é a deteção sobre locais que as nossas próprias ferramentas encontraram, o que é apenas uma medida de as nossas ferramentas concordarem consigo mesmas.

Calibração do juiz de escrita face a uma coleção de referência avaliada por pessoas, para que os seus veredictos assentem numa escala humana e não na sua própria escala.

Síntese de erros para regras em que o material recolhido não contém casos naturais. Os casos sintéticos permitir-nos-iam medir a capacidade de deteção onde a natureza é silenciosa, mas primeiro é preciso demonstrar que um erro sintético equivale a um erro natural, e essa demonstração precisa de um instrumento próprio.

Uma bancada de medição nunca está acabada. Cada novo instrumento traz as suas próprias formas de mentir, e a única esperança real é que o catálogo de mentiras cresça mais devagar do que o catálogo de instrumentos.

Todos os artigos

Prática gratuita para cada regra

Cada regra gramatical no site inclui exercícios práticos. O acesso é gratuito e não requer registo.

Relatar um problema

Página em que você está
/pt/science/papers/measure-07-judges.html pt

Para nós o inglês é mais fácil, mas escreva no idioma que preferir.

O relato leva apenas as suas palavras, o endereço da página e o idioma. Sem captura de tela, sem registros, sem conta. Não podemos responder a um relato, então se precisar de resposta escreva para [email protected]