Články

Kolekce, na které měříte, je součástí měřidla

"Žádné falešné poplachy na běžné próze" neznamená nic, pokud neodpovíme na otázku "na které próze". Kolekce textů, na níž proběhlo měření, je součástí měřicího nástroje úplně stejně jako samotný kód. Zjistili jsme to tak, jak už se takové věci obvykle zjišťují: když jsme o dvě kolekce naráz přišli.

Co se stalo

V rané fázi práce jsme dopad změn měřili proti kolekci úryvků z prózy a výchozí stav našich kontrolních bran proti sadě vzorových příkladů pro jednotlivá pravidla. Ani jednu z těchto kolekcí jsme si ale neuložili jako soubor. Zůstala jen čísla ve výkazech.

Nové změny bylo nutné porovnat s těmi starými nulami, jenže jmenovatel těchto starých nul byl pryč. Protože srovnávat s jinou kolekcí není korektní - to je tématem třetího článku - zbývaly dvě možnosti: buď prohlásit stará čísla za neporovnatelná a přijít o historii, nebo kolekce do detailu zrekonstruovat.

Co zafungovalo

Rekonstrukce, ne vzpomínání. Sestavení kolekce prózy je deterministické: konfigurace vyjmenovává zdroje a skript je podle pevných pravidel rozřeže na úryvky. Ne všechny uvedené zdroje už ale byly k dispozici. Pracovali jsme s hypotézou, že stará kolekce byla posbírána z té podmnožiny zdrojů, která v té době přítomná byla. Když jsme nad touto podmnožinou spustili sestavovací skript, vzniklo přesně 7 773 úryvků - tedy přesně to číslo, které figurovalo ve starých výkazech. Shoda v přesném počtu je sama o sobě důkazem totožného složení. Staré nuly tak bylo možné znovu porovnávat.

Kolekci doplňujte, nikdy ji nenahrazujte. Chybějící zdroje jsme stáhli a kolekce se rozrostla na 34 470 úryvků. U každé změny teď vykazujeme obě hodnoty: na historické podmnožině kvůli porovnatelnosti se záznamy a na plné kolekci, která tvoří současný výchozí stav. Kdybychom první nahradili druhou, připravili bychom se o možnost číst vlastní historii.

Obnovený výchozí stav je přísnější, ne volnější. Namísto ztracené sady vzorových příkladů, která pokrývala několik desítek pravidel, jsme sestavili 493 příkladů pokrývajících 162 pravidel, a to přímo ze zdroje, z něhož vychází i samotná mapa pravidel. Výchozí stav na nové sadě se shodoval s tím starým, a to až do jediného známého chybového případu. Rozšíření záběru nerozbilo historii, což je jediný důkaz toho, že bylo provedeno správně.

Surová data nemusí ležet v repozitáři. Zdroje jsou objemné a dají se kdykoli stáhnout znovu. V systému pro správu verzí je uložená konfigurace, sestavovací skript a kontrolní počty. To stačí k tomu, aby kdokoli dokázal sestavit tutéž kolekci znovu.

Pravidla, která z toho vzešla

  • Každé měření vždy uvádí název kolekce a její velikost.
  • Kolekce se doplňuje, nikdy nenahrazuje: staré složení zůstává reprodukovatelné a rozšíření přidá druhé číslo, místo aby přepsalo to první.
  • Deterministický sestavovací skript, konfigurace a kontrolní počet tvoří minimální sadu pro reprodukovatelnost. Jakmile je tato sada kompletní, uchovávat samotnou kolekci jako soubor už není nutné.

Co zůstává otevřené

Část testovací stolice, která pracuje s texty studentů, tímto způsobem reprodukovat nelze. Texty napsané studenty se do správy verzí nekopírují; roli kolekce tam plní sada odkazů na místa v úložišti, a odkazy jsou křehčí než kontrolní otisk. Odkaz, jehož cíl se přesunul, nelze odlišit od odkazu, který byl špatně od samého začátku.

Jak udělat měření na textech studentů stejně reprodukovatelná, jako jsou měření na publikované próze, zůstává otevřenou otázkou - a právě ta v současnosti omezuje, nakolik můžeme věřit vlastním číslům o úplnosti záchytu.

Všechny články

Procvičování zdarma pro každé pravidlo

Ke každému gramatickému pravidlu na webu je připojen trenažér. Je zdarma a nevyžaduje registraci.

Nahlásit problém

Stránka, na které se nacházíte
/cs/science/papers/measure-06-base.html cs

Angličtina je pro nás nejjednodušší, ale napište v jakémkoli jazyce, který preferujete.

Hlášení obsahuje pouze vaše slova, adresu stránky a jazyk. Žádný snímek obrazovky, žádné záznamy, žádný účet. Na hlášení nemůžeme odpovídat, takže pokud potřebujete odpověď, napište na [email protected]