Články
Poctivý jmenovatel
Každý podíl má přesně takovou cenu, jakou má jeho jmenovatel. "Kontrola zachytí 14 procent případů", "rozpozná jedno místo ze tří" - takové věty znějí jako měření, ale většina našich špatných odhadů vlastního systému pramenila z chyby ve jmenovateli, ne v čitateli.
Čtyři způsoby, jak se jmenovatel mýlí
Je štědřejší než skutečnost. U jednoho pravidla sběrný nástroj nahlásil sedm míst, kde se chyba vyskytla. Když jsme si je přečetli, ukázalo se, že ve třech ze sedmi případů už věta studenta dané slovo obsahovala: skutečná chyba tam patřila k sousednímu pravidlu a vyhledávání jen zachytilo opravu stojící vedle ní. Kontrola tedy "mlčela na sedmi místech", z nichž méně než sedm jí skutečně patřilo. Podíl, jehož jmenovatel nikdo nečetl, je jen šum.
Nulový záchyt neznamená nulovou přesnost. Kontrola, která nerozpoznala žádný skutečný případ, se přesto může chovat naprosto vzorně v opačném směru: u správně napsaného textu mlčí. Jsou to dvě oddělené osy. Jejich zaměňování vedlo k závěrům typu "tato kontrola je mrtvá", i když mrtvá byla jen jedna z jejích dvou stran.
Nízký podíl je někdy jen poctivá vzácnost. Než začneme opravovat kontrolu, která se spustí ve dvou případech ze sta, musíme změřit strop samotného pravidla: kolik příležitostí k této chybě v textech na dané úrovni vůbec vzniká. Pokud taková příležitost nastane třikrát ve stu textech, pak dvě procenta mohou být poctivý výsledek a "oprava" nepřinese nic než falešné poplachy.
Zisky z různých základů nelze sčítat. Zlepšení naměřené na jednom souboru textů nelze přičíst k číslu získanému na jiném. Skupiny chyb se překrývají, takže součet podílů za jednotlivé skupiny převyšuje celek. Porovnávat lze jen čísla se společným jmenovatelem a nejednou jsme se přistihli, že toto pravidlo porušujeme.
Čtvrtý výsledek
Obvyklé tři výsledky u gramatického jevu jsou: použit správně, použit s chybou, nebo zaměněn se sousedním pravidlem. Existuje ale i čtvrtý a ten nikde nepočítáme. Student se jevu zcela vyhne a opíše ho jinak.
Pro každého, kdo učí, je to samo o sobě jasný signál: pravidlo, kterému se student soustavně vyhýbá, nemá osvojené, ať už počty chyb říkají cokoli. Sestrojit na to počítadlo je těžší než hledat chyby, protože to znamená rozpoznat místo, kde by se daná vazba hodila, ale nebyla použita. Nemáme na to žádný nástroj, ale rádi bychom ho měli.
Co se osvědčilo
Malý jmenovatel se čte celý, ne po vzorcích. Do zhruba deseti míst se čtou všechna a podíl se uvádí spolu s rozborem každého případu podle toho, jakou roli v něm slova hrají. Větší skupiny se čtou jako vzorek, který roste úměrně s celkovým počtem nálezů, místo aby zůstával na pohodlných pěti.
Každý podíl přichází s příkladem. Číslo bez alespoň jednoho rozebraného případu se do zprávy nepřijímá. Extrémní případ sice nedělá pravidlo, ale pravidlo bez jediného případu nebylo změřeno.
Co zůstává otevřené
Zpřesnit sběr dat natolik, aby se sousední chyby nedostávaly do jmenovatele daného pravidla, znamená upravit samotný sběrný nástroj, což si následně vyžádá vlastní kontrolní mechanismy. A výše popsané počítadlo vyhýbavosti zatím neexistuje. Dokud ho mít nebudeme, je každý zveřejněný údaj o záchytu jen výpovědí o příležitostech, které dokážeme vidět, nikoli o jazyce, který student skutečně tvoří.
Všechny články
Procvičování zdarma pro každé pravidlo
Ke každému gramatickému pravidlu na webu je připojen trenažér. Je zdarma a nevyžaduje registraci.