Články

Sudí, strážci a to, co zatím změřit neumíme

Ne všechno se dá změřit podle tvaru věty. Tam, kde je potřeba posoudit význam - jestli je text dobrý, jestli se vazba hodí, jestli odpovídá styl - nasazujeme automatického sudího. Kolem samotné zkušebny pak stojí strážci: hlídají tajemství, dodržení zadání i převzaté formulace. Jenže sudí a strážci jsou také jen měřicí přístroje a mýlí se svým vlastním způsobem.

Kde dělali chyby

Odmítnutí odpovědi se změní v hodnocení obsahu. Když sudí odmítne odpovědět - kvůli přetížení, filtru nebo vypršení času - linka bez zvláštního ošetření zapíše toto odmítnutí jako známku, obvykle nízkou. Věta studenta si pak odnese rozsudek, který nad ní ve skutečnosti nikdo nevynesl. Řešením je měřit obojí zvlášť: podíl odmítnutí a rozložení skutečných známek. Odmítnutí je řádek ve statistice, ne posudek.

Časový limit nastavený na průměr promění pomalý konec v odmítnutí. Pokud nastavíte čekací dobu podle průměrné odezvy, z pomalého konce rozložení se stanou systematická odmítnutí. A ta se - pokud jste nezavedli předchozí pravidlo - promění v systematicky nízké známky.

Strážce může být slepý už z principu své konstrukce. Strážce, který v našich textech hlídá převzaté formulace, vytahuje jen pasáže v uvozovkách. Úryvek v závorce bez uvozovek je pro něj neviditelný. Jeden takový případ jsme zachytili ručně hodinu předtím, než by prošel do systému. Toto slepé místo je teď zapsané přímo v dokumentaci strážce. Dokud tam totiž nebylo, zelená od tohoto strážce vzbuzovala falešný pocit jistoty, což je ten nejhorší stav, do jakého se měřidlo může dostat.

Otevřené měření sklouzává k lehkým případům. Pokud si měřený systém může sám vybírat, na čem se bude měřit, vzorek potichu sklouzne k lehčímu konci a úspěšnost roste, aniž by stoupala kvalita. Otevřené měření je vada sama o sobě: vzorek musí pevně stanovit někdo jiný než ten, koho měříme.

Automatické korektuře stylu se nedá věřit, pokud je na to sama. Jeden samostatný sudí přes styl chybuje nesystematicky, takže jeho slovo k úpravě textu nestačí. Funguje až shoda dvou nezávislých hlasů - u dvojic, které jsme měřili, klesá podíl planých poplachů o řád. Osamělý hlas smí na chybu upozornit, ale nikdy nesmí text sám měnit.

Co zafungovalo

  • Linky, které využívají sudí, počítají odmítnutí odděleně od samotných hodnocení a podíl odmítnutí je povinným řádkem ve výkazu.
  • Změny navržené automatickou korekturou vyžadují shodu dvou hlasů.
  • Strážci mají u sebe zapsanou poznámku o slepém místě: co daný strážce ze své podstaty nemůže vidět. Zelená se pak čte vždy společně s touto poznámkou.

Co máme teprve před sebou

Naslepo anotovaný vzorek. Úplnost záchytu (recall) našich kontrol jsme zatím nikdy neměřili oproti textům, které by označil člověk neznalý našich nástrojů. Bez toho je to, čemu říkáme úplnost záchytu, jen záchyt na místech, která našly naše vlastní nástroje - měříme tedy jen to, nakolik naše nástroje souhlasí samy se sebou.

Kalibrace sudího pro psaní oproti referenční sadě textů oznámkované lidmi, aby jeho verdikty seděly na lidské stupnici, a ne na jeho vlastní.

Syntéza chyb pro pravidla, u kterých v nasbíraném materiálu chybí přirozené příklady. Uměle vytvořené případy by nám umožnily měřit záchyt i tam, kde přirozená data mlčí. Nejprve je ale nutné prokázat, že umělá chyba skutečně zastupuje tu přirozenou, a tento důkaz si žádá svůj vlastní měřicí přístroj.

Měřicí zkušebna není nikdy hotová. Každý nový přístroj si s sebou přináší vlastní způsoby, jak lhát, a jedinou reálnou nadějí je, že katalog lží poroste pomaleji než katalog přístrojů.

Všechny články

Procvičování zdarma pro každé pravidlo

Ke každému gramatickému pravidlu na webu je připojen trenažér. Je zdarma a nevyžaduje registraci.

Nahlásit problém

Stránka, na které se nacházíte
/cs/science/papers/measure-07-judges.html cs

Angličtina je pro nás nejjednodušší, ale napište v jakémkoli jazyce, který preferujete.

Hlášení obsahuje pouze vaše slova, adresu stránky a jazyk. Žádný snímek obrazovky, žádné záznamy, žádný účet. Na hlášení nemůžeme odpovídat, takže pokud potřebujete odpověď, napište na [email protected]