Materiais

A coleção em que se mediu faz parte do instrumento

"Sem falsos alarmes em prosa comum" não significa nada sem uma resposta a "qual prosa". A coleção em que uma medição foi feita faz tanto parte do instrumento como o próprio código. Aprendemos isto da forma como estas coisas costumam ser aprendidas: perdendo duas coleções de uma só vez.

O que aconteceu

Uma fase inicial do trabalho tinha medido o custo das alterações face a uma coleção de excertos de prosa, e a linha de base dos nossos filtros face a um conjunto de exemplos canónicos das regras. Nenhuma das coleções tinha sido guardada num ficheiro. O que sobreviveu foram os números nos relatórios.

As novas alterações tinham de ser comparadas com esses zeros antigos, e o denominador desses zeros tinha desaparecido. Como comparar com uma coleção diferente não é legítimo - esse é o tema do terceiro artigo - a escolha era entre declarar os números antigos incomparáveis e perder o histórico, ou reconstruir as coleções com exatidão.

O que funcionou

Reconstrução, não memória. A montagem da coleção de prosa é determinística: uma configuração lista as fontes e um script corta-as em excertos segundo regras fixas. Já nem todas as fontes listadas estavam presentes. A hipótese era a de que a coleção antiga tinha sido extraída do subconjunto disponível na altura. Executar a montagem sobre esse subconjunto produziu exatamente 7 773 excertos - o mesmo número que constava nos relatórios antigos. A correspondência exata na contagem é, por si só, a prova da composição. Os zeros antigos voltaram a ser comparáveis.

Completar a coleção, nunca substituí-la. As fontes em falta foram recuperadas e a coleção cresceu para 34 470 excertos. Agora, ambos os custos são registados para cada alteração: no subconjunto histórico, para permitir a comparação com o registo anterior, e na coleção completa, como linha de base atual. Substituir a primeira pela segunda teria apagado a capacidade de ler o nosso próprio histórico.

A linha de base reconstruída tornou-se mais rigorosa, não mais branda. Em vez do conjunto perdido de exemplos canónicos que cobria algumas dezenas de regras, reunimos 493 exemplos que cobrem 162 regras, retirados da fonte a partir da qual o próprio mapa de regras é construído. A linha de base no novo conjunto coincidiu com a antiga, até ao único caso negativo conhecido. Alargar a cobertura não quebrou o histórico, o que é a única prova de que o alargamento foi bem feito.

A matéria-prima não tem de estar no repositório. As fontes são grandes e podem voltar a ser transferidas. O que fica no controlo de versões é a configuração, o script de montagem e os números de verificação. Isso basta para que qualquer pessoa reconstrua a mesma coleção.

As regras que isto gerou

  • Cada medição indica sempre o nome da sua coleção e a respetiva dimensão.
  • Uma coleção é acrescentada, nunca substituída: a composição antiga continua a ser reprodutível, e uma extensão acrescenta um segundo valor em vez de substituir o primeiro.
  • Um montador determinístico, uma configuração e uma contagem de verificação são o conjunto mínimo para garantir a reprodutibilidade. Guardar a própria coleção como ficheiro passa a ser opcional quando este conjunto está completo.

O que continua em aberto

A parte dos testes relativa aos estudantes não pode ser reproduzida desta forma. Os textos escritos por estudantes não são copiados para o controlo de versões; o que serve de coleção aí é um conjunto de referências para locais de armazenamento, e as referências são mais frágeis do que uma contagem de verificação. Uma referência que mudou de sítio é indistinguível de uma referência que nunca esteve certa.

Como tornar as medições em textos de estudantes tão reprodutíveis como as medições em prosa publicada é uma questão em aberto, e é o que atualmente limita o grau de confiança que temos nos nossos próprios números de cobertura.

Todos os artigos

Prática gratuita para cada regra

Cada regra gramatical no site inclui exercícios práticos. O acesso é gratuito e não requer registo.

Relatar um problema

Página em que você está
/pt/science/papers/measure-06-base.html pt

Para nós o inglês é mais fácil, mas escreva no idioma que preferir.

O relato leva apenas as suas palavras, o endereço da página e o idioma. Sem captura de tela, sem registros, sem conta. Não podemos responder a um relato, então se precisar de resposta escreva para [email protected]