Články
Proč měříme vlastní gramatická pravidla
Na našem webu je mapa pravidel anglické gramatiky, od členů na úrovni A1 po inverze a vytýkací konstrukce na úrovni C2. Za každým pravidlem stojí automatická kontrola, která má rozpoznat chybu, jakou studenti skutečně dělají. Těžké není takovou kontrolu napsat. Těžké je zjistit, jestli funguje.
Ticho má dva výklady
Představme si, že jedna z těchto kontrol za celý měsíc nic nenašla. Možné důvody jsou dva a zvenčí vypadají úplně stejně.
První je, že studenti v textech, které vidíme, tuto chybu prostě nedělají. Některá pravidla jsou vzácná: příležitost udělat v nich chybu se na úrovni, kde se vyučují, téměř nevyskytuje.
Druhý důvod je, že kontrola je napsaná tak, že chybu nerozpozná nikdy, bez ohledu na to, kolikrát ji studenti udělají.
Oba případy dávají stejné číslo: nulu. Nula, která může znamenat buď "není co najít", nebo "nedokáže najít", není měření, ale jeho absence. Většina chybných závěrů, které jsme o vlastním systému udělali, začala právě tady.
Pravidlo, které jsme přijali
Každá otázka typu "co toto pravidlo brzdí" má nejméně dva možné výsledky a odpověď bez vlastního měření nebereme.
V praxi to znamená, že pro každé mlčící pravidlo musíme doložit jednu ze dvou věcí. Buď skutečná místa v textech studentů, kde se chyba vyskytuje a kde ji kontrola po opravě už rozpozná. Nebo změřený důvod, proč tam taková místa nejsou, podložený číslem a vzorkem, který člověk skutečně přečetl případ po případu.
Klíčová je druhá polovina té věty. Samotnému číslu mají lidé sklon věřit; číslu vedle pěti vět, které někdo přečetl, mají sklon rozumět. Už mockrát se stalo, že přečtení vzorku vyvrátilo číslo, které jsme se chystali vykázat, a v každém z těchto případů byla chyba na naší straně, ne na straně stroje.
Co zafungovalo
Oddělení dílny od produktu. Rozpracované kontroly žijí tam, odkud je nic v ostrém provozu nečte. Dají se měřit, rozbíjet a znovu měřit, aniž by to ovlivnilo kohokoli, kdo web používá. Do produktu se kontrola dostane až samostatným krokem s vlastními filtry, jak popisujeme v pátém článku této série.
Zní to jako běžná inženýrská hygiena, a také to tak je. Tady na tom záleží proto, že je lákavé spouštět měření přímo na ostrém systému: ostrý systém má všechna data. Cenou za toto pokušení je, že se z každého experimentu stává ostré nasazení, a to nejde vzít zpět tak levně jako experiment.
Co zůstává otevřené
Upřímný popis naší situace zní takto. U žádného pravidla zatím neznáme plného jmenovatele: kolik příležitostí pro danou chybu v textech studentů na dané úrovni celkem existuje. Záchyt oproti vzorku, který by naslepo anotoval člověk, jenž naše kontroly nikdy neviděl, zatím nikdo nezměřil. Je to dluh, který pojmenováváme, ne mezera, kterou skrýváme, a vracíme se k němu ve třetím a sedmém článku této série.
Zbytek série je katalog: jak nás naše vlastní měřicí nástroje svedly na scestí, kolik stojí poctivý jmenovatel, o čem povrchová forma vypovědět může a o čem ne a které z našich zvyků se nakonec vyplatilo zachovat.
Všechny články
Procvičování zdarma pro každé pravidlo
Ke každému gramatickému pravidlu na webu je připojen trenažér. Je zdarma a nevyžaduje registraci.