Materiais

Porque medimos as nossas próprias regras gramaticais

O nosso site apresenta um mapa de regras de gramática inglesa, desde os artigos no nível A1 até à inversão e frases clivadas no nível C2, e por detrás de cada regra existe uma verificação automática concebida para reconhecer o erro que os alunos realmente cometem. O difícil não é escrever essa verificação. O difícil é saber se funciona.

O silêncio tem duas leituras

Suponhamos que uma dessas verificações não detetou nada durante um mês. Há duas razões possíveis e, vistas de fora, parecem idênticas.

A primeira é que os alunos simplesmente não cometem esse erro nos textos que analisamos. Algumas regras são raras: a ocasião para as aplicar mal quase não surge no nível em que são ensinadas.

A segunda é que a verificação está escrita de uma forma que nunca irá reconhecer o erro, independentemente de quantas vezes seja cometido.

Ambas dão o mesmo número: zero. Um zero que pode significar tanto "nada a encontrar" como "incapaz de encontrar" não é uma medição, é a ausência dela. A maioria das conclusões erradas que tirámos sobre o nosso próprio sistema começou aqui.

A regra que adotámos

Qualquer pergunta do tipo "o que está a travar esta regra" tem pelo menos dois resultados possíveis, e uma resposta sem a sua própria medição não é aceite.

Na prática, isto significa que, para cada regra silenciosa, é preciso apresentar uma de duas coisas. Ou exemplos reais em textos de alunos onde o erro ocorre e que a verificação, depois de corrigida, passa a reconhecer. Ou uma razão quantificada para o facto de esses casos não existirem, acompanhada de um número e de uma amostra que uma pessoa tenha efetivamente lido, caso a caso.

É a segunda metade dessa frase que faz a diferença. Um número isolado tende a ser acreditado; um número ao lado de cinco frases lidas por uma pessoa tende a ser compreendido. Mais do que uma vez, a leitura da amostra invalidou o número que estávamos prestes a apresentar e, em todos esses casos, o erro era nosso e não da máquina.

O que resultou

Separar a oficina do produto. As verificações candidatas ficam num espaço onde nada no produto em funcionamento as lê. Podem ser medidas, desmontadas e medidas novamente sem afetar quem usa o site. Uma verificação só chega ao produto através de uma etapa separada, com os seus próprios filtros, descrita no quinto artigo desta série.

Isto soa a higiene básica de engenharia, e é. A razão pela qual isto importa aqui é a tentação de correr os testes de medição diretamente no sistema ativo, já que é lá que estão todos os dados. O custo dessa tentação é que cada experiência se torna um lançamento em produção, e um lançamento não pode ser desfeito de forma tão simples e barata como uma experiência.

O que continua em aberto

A descrição honesta da nossa posição é esta. Para nenhuma regra conhecemos ainda o denominador completo: quantas ocasiões para aquele erro específico existem nos textos dos alunos daquele nível. A taxa de deteção face a uma amostra anotada de forma cega, por uma pessoa que nunca tenha visto as nossas verificações, ainda não foi medida por ninguém. É uma dívida que assumimos em vez de uma lacuna que escondemos, e o terceiro e sétimo artigos desta série voltam a este tema.

O resto da série é um catálogo: como as nossas próprias ferramentas de medição nos induziram em erro, quanto custa um denominador honesto, o que a forma superficial do texto pode ou não decidir, e quais dos nossos hábitos valeu a pena manter.

Todos os artigos

Prática gratuita para cada regra

Cada regra gramatical no site inclui exercícios práticos. O acesso é gratuito e não requer registo.

Relatar um problema

Página em que você está
/pt/science/papers/measure-01-why.html pt

Para nós o inglês é mais fácil, mas escreva no idioma que preferir.

O relato leva apenas as suas palavras, o endereço da página e o idioma. Sem captura de tela, sem registros, sem conta. Não podemos responder a um relato, então se precisar de resposta escreva para [email protected]