Články
Co povrchová forma dokáže rozhodnout a co ne
Většina našich automatických kontrol pracuje s povrchovou formou: se stavbou fráze, slovosledem nebo tvarem slovesa. Je to levné, rychlé a srozumitelné - když taková kontrola zareaguje, důvod lze dotyčnému vysvětlit jednou větou. Má to ale také svůj pevný strop. To užitečné, co jsme se v posledních měsících naučili, bylo vyjádřit tento strop číslem místo toho, abychom se o něm dohadovali.
Kde forma přestává stačit
Podoba chyby je často zcela platným tvarem jazyka. Vezměme si skutečnou chybu studentů: holý infinitiv po modálním slovese tam, kde má být perfektum, jako ve vymyšleném příkladu "he could pass the exam last year" místo "could have passed". Kontrola postavená na tomto tvaru chybu spolehlivě rozpozná. Zároveň se ale spustí u stovek naprosto správných vět v běžné publikované próze, protože stejná konstrukce je v angličtině na každém kroku. Tuto chybu nelze podchytit jen na základě formy. Změřili jsme ztráty, pojmenovali je a kontrolu zamítli.
Požadavek na konec fráze odřízne živé případy. Když kontrolu zúžíme tak, aby reagovala jen na konci věty, přestane chybu rozpoznávat v reálných textech, kde za ní vždy něco následuje. Když tento požadavek odstraníme, kontrola začne hlásit chyby i v našich vlastních správných větách. Anglické slovo totiž může být na jednom místě podstatným jménem a na jiném slovesem, jako ve vymyšleném příkladu "told us help is coming", kde "help" je podstatné jméno, ale náš systém ho zná jako sloveso.
Ručně psaný seznam slov mlčí o tom, co v něm není. Dvě kontroly přešly skutečné chyby bez povšimnutí z prostého důvodu: dané sloveso chybělo v ručně sestaveném seznamu. Seznam vytvořený tak, aby pokryl učebnicové příklady pravidla, bude systematicky selhávat u slovní zásoby reálného psaní.
Sousední slova nejsou syntax. Naše kontroly porovnávají slova, která stojí vedle sebe. Nevidí hranice vět, podmět vedlejší věty ani přemístěný předmět. Rozšíření mezery mezi dvěma částmi vzorce jednou vpustilo dovnitř klauzi, která v rámci téhož souvětí patřila k úplně jiné větě.
Co zafungovalo
Přidat podmínku místo jejího odebrání. Ve výše uvedeném případě nebylo řešením kontrolu uvolnit, ale vyžadovat po slovese konkrétní typ slova: takový, který se vyskytuje po přechodném slovese, ale nestojí na stejné pozici po podstatném jméně. Kontrola začala zachytávat reálné případy, pojistky proti falešným poplachům u správných vět zůstaly v zelených číslech a naměřená chybovost na našem referenčním souboru běžné prózy představovala jediný falešný poplach, a to v citované přímé řeči.
Změřit jednotlivé části před opravou celku. Než kontrolu upravíme, spustíme její dílčí verze a sledujeme, která část ztrácí případy: "první část rozpozná šest ze sedmi, část nahlížející do seznamu slov nerozpozná žádný". Skutečný viník je ještě před jakýmkoli zásahem označen číslem, takže úprava míří přímo na něj, a ne na první pravděpodobnou teorii. V tomto konkrétním případě byla teorie mylná a číslo mělo pravdu.
Odmítnutí se známou cenou je také výsledek. Tam, kde forma nedokáže případ uzavřít, kontrola mlčí a důvod i cena alternativ jsou zaznamenány. Je to poctivější než kontrola, která se spustí u každé desáté správné věty, kterou student napíše, a je to řešení, po kterém nyní saháme jako po prvním.
Co zůstává otevřené
Náš dluh je přesně pojmenovaný: jsou to desítky případů, kde je chyba definována syntaxí, nikoli sousedními slovy. U některých pravidel nelze úplnost záchytu pomocí formy změřit ani v principu, protože stejný tvar nese dvě různé struktury.
Cestou ven je syntaktický parser zapojený vedle stávajícího systému. To ale zároveň znamená novou závislost a novou sadu nástrojů pro jeho kontrolu, protože parser bude chybovat zase svým vlastním způsobem - a tento katalog chyb zatím napsaný není.
Všechny články
Procvičování zdarma pro každé pravidlo
Ke každému gramatickému pravidlu na webu je připojen trenažér. Je zdarma a nevyžaduje registraci.