Materiais
Porque medimos as nossas próprias regras gramaticais
O nosso site apresenta um mapa de regras de gramática inglesa, desde os artigos no nível A1 até à inversão e frases clivadas no nível C2, e por detrás de cada regra existe uma verificação automática concebida para reconhecer o erro que os alunos realmente cometem. O difícil não é escrever essa verificação. O difícil é saber se funciona.
O silêncio tem duas leituras
Suponhamos que uma dessas verificações não detetou nada durante um mês. Há duas razões possíveis e, vistas de fora, parecem idênticas.
A primeira é que os alunos simplesmente não cometem esse erro nos textos que analisamos. Algumas regras são raras: a ocasião para as aplicar mal quase não surge no nível em que são ensinadas.
A segunda é que a verificação está escrita de uma forma que nunca irá reconhecer o erro, independentemente de quantas vezes seja cometido.
Ambas dão o mesmo número: zero. Um zero que pode significar tanto "nada a encontrar" como "incapaz de encontrar" não é uma medição, é a ausência dela. A maioria das conclusões erradas que tirámos sobre o nosso próprio sistema começou aqui.
A regra que adotámos
Qualquer pergunta do tipo "o que está a travar esta regra" tem pelo menos dois resultados possíveis, e uma resposta sem a sua própria medição não é aceite.
Na prática, isto significa que, para cada regra silenciosa, é preciso apresentar uma de duas coisas. Ou exemplos reais em textos de alunos onde o erro ocorre e que a verificação, depois de corrigida, passa a reconhecer. Ou uma razão quantificada para o facto de esses casos não existirem, acompanhada de um número e de uma amostra que uma pessoa tenha efetivamente lido, caso a caso.
É a segunda metade dessa frase que faz a diferença. Um número isolado tende a ser acreditado; um número ao lado de cinco frases lidas por uma pessoa tende a ser compreendido. Mais do que uma vez, a leitura da amostra invalidou o número que estávamos prestes a apresentar e, em todos esses casos, o erro era nosso e não da máquina.
O que resultou
Separar a oficina do produto. As verificações candidatas ficam num espaço onde nada no produto em funcionamento as lê. Podem ser medidas, desmontadas e medidas novamente sem afetar quem usa o site. Uma verificação só chega ao produto através de uma etapa separada, com os seus próprios filtros, descrita no quinto artigo desta série.
Isto soa a higiene básica de engenharia, e é. A razão pela qual isto importa aqui é a tentação de correr os testes de medição diretamente no sistema ativo, já que é lá que estão todos os dados. O custo dessa tentação é que cada experiência se torna um lançamento em produção, e um lançamento não pode ser desfeito de forma tão simples e barata como uma experiência.
O que continua em aberto
A descrição honesta da nossa posição é esta. Para nenhuma regra conhecemos ainda o denominador completo: quantas ocasiões para aquele erro específico existem nos textos dos alunos daquele nível. A taxa de deteção face a uma amostra anotada de forma cega, por uma pessoa que nunca tenha visto as nossas verificações, ainda não foi medida por ninguém. É uma dívida que assumimos em vez de uma lacuna que escondemos, e o terceiro e sétimo artigos desta série voltam a este tema.
O resto da série é um catálogo: como as nossas próprias ferramentas de medição nos induziram em erro, quanto custa um denominador honesto, o que a forma superficial do texto pode ou não decidir, e quais dos nossos hábitos valeu a pena manter.
Todos os artigos
Prática gratuita para cada regra
Cada regra gramatical no site inclui exercícios práticos. O acesso é gratuito e não requer registo.