Artykuły

Dlaczego mierzymy własne reguły gramatyczne

Na naszej stronie znajduje się mapa reguł gramatyki angielskiej, od przedimków na poziomie A1 po inwersję i zdania rozszczepione na C2, a za każdą regułą stoi automatyczny mechanizm sprawdzający, który ma rozpoznawać błędy faktycznie popełniane przez uczących się. Trudność nie polega na napisaniu takiej reguły sprawdzającej. Trudność polega na tym, by wiedzieć, czy ona działa.

Cisza ma dwa znaczenia

Załóżmy, że jeden z takich mechanizmów sprawdzających przez miesiąc niczego nie wykrył. Są dwa możliwe powody, a z zewnątrz wyglądają one identycznie.

Pierwszy to taki, że uczący się po prostu nie popełniają tego błędu w tekstach, które widzimy. Niektóre konstrukcje są rzadkie: okazja, by użyć ich błędnie, niemal nie pojawia się na poziomie, na którym są wprowadzane.

Drugi powód to taki, że reguła sprawdzająca została napisana w sposób, który nigdy nie rozpozna błędu, niezależnie od tego, ile razy zostanie on popełniony.

W obu przypadkach wynik jest ten sam: zero. Zero, które może oznaczać zarówno "nie ma nic do znalezienia", jak i "nie da się znaleźć", nie jest pomiarem, lecz jego brakiem. Większość błędnych wniosków, jakie wyciągnęliśmy na temat własnego systemu, miała swoje źródło właśnie tutaj.

Zasada, którą przyjęliśmy

Każde pytanie w rodzaju "co blokuje tę regułę" ma co najmniej dwie możliwe odpowiedzi, a odpowiedź bez własnego pomiaru nie jest akceptowana.

W praktyce oznacza to, że dla każdej milczącej reguły trzeba przedstawić jedną z dwóch rzeczy. Albo rzeczywiste fragmenty tekstów uczących się, w których błąd występuje, a naprawiony mechanizm teraz go rozpoznaje. Albo potwierdzony pomiarem powód, dla którego takich miejsc nie da się znaleźć, wraz z liczbą i próbką, którą człowiek faktycznie przeczytał, przypadek po przypadku.

Kluczowa jest druga część tego zdania. Samej liczbie łatwo uwierzyć; liczba zestawiona z pięcioma zdaniami przeczytanymi przez człowieka pozwala sprawę zrozumieć. Niejeden raz lektura próbki podważyła wynik liczbowy, który mieliśmy właśnie ogłosić, i w każdym z tych przypadków błąd leżał po naszej stronie, a nie po stronie maszyny.

Co zadziałało

Oddzielenie warsztatu od gotowego produktu. Robocze wersje reguł sprawdzających znajdują się tam, gdzie żaden element działającego serwisu z nich nie korzysta. Można je mierzyć, psuć i mierzyć na nowo bez wpływu na kogokolwiek, kto korzysta ze strony. Reguła trafia do produktu dopiero w osobnym kroku, obwarowanym własnymi progami kontrolnymi, co opisujemy w piątym artykule z tej serii.

Brzmi to jak zwykła higiena pracy inżynierskiej i tym właśnie jest. Ma to tutaj znaczenie, ponieważ łatwo ulec pokusie prowadzenia pomiarów na żywym organizmie: to tam są wszystkie dane. Cena ulegania tej pokusie jest taka, że każdy eksperyment staje się wdrożeniem, a wdrożenia nie da się cofnąć tak niskim kosztem jak eksperymentu.

Co pozostaje otwarte

Uczciwe postawienie sprawy wygląda następująco. Dla żadnej pojedynczej reguły nie znamy jeszcze pełnego mianownika: nie wiemy, ile okazji do popełnienia tego konkretnego błędu występuje w tekstach osób uczących się na danym poziomie. Czułość (recall) względem próbki opisanej w ciemno przez osobę, która nigdy nie widziała naszych reguł sprawdzających, nie została jeszcze przez nikogo zmierzona. To dług, o którym mówimy wprost, a nie luka, którą ukrywamy - wracamy do tego w trzecim i siódmym artykule z tej serii.

Pozostała część serii to katalog: jak nasze własne narzędzia pomiarowe wyprowadziły nas w pole, ile kosztuje rzetelny mianownik, o czym forma powierzchniowa może rozstrzygnąć, a o czym nie, oraz które z naszych nawyków okazały się warte zachowania.

Wszystkie artykuły

Bezpłatne ćwiczenia do każdej reguły

Każdej regule gramatycznej na stronie towarzyszy zestaw ćwiczeń. Jest bezpłatny i nie wymaga rejestracji.

Zgłoś problem

Strona, na której jesteś
/pl/science/papers/measure-01-why.html pl

Najłatwiej nam po angielsku, ale pisz w dowolnym języku.

Zgłoszenie niesie tylko twoje słowa, adres strony i język. Bez zrzutu ekranu, bez logów, bez konta. Nie możemy odpowiedzieć na zgłoszenie, więc jeśli potrzebujesz odpowiedzi, napisz na [email protected]