Artykuły

Uczciwy mianownik

Każdy odsetek jest wart dokładnie tyle, ile wart jest jego mianownik. "Sprawdzian wyłapuje 14 procent przypadków", "rozpoznaje jedno miejsce na trzy" - takie zdania brzmią jak twarde pomiary, tymczasem większość naszych błędnych ocen własnego systemu wynikała z pomyłek w mianowniku, a nie w liczniku.

Cztery sposoby, w jakie mianownik wprowadza w błąd

Jest bardziej hojny niż rzeczywistość. Dla jednej z reguł narzędzie zbierające dane zgłosiło siedem miejsc wystąpienia błędu. Po ich przeczytaniu okazało się, że w trzech z nich zdanie uczącego się zawierało już właściwe słowo: prawdziwy błąd należał do sąsiedniej reguły, a wyszukiwanie po prostu wychwyciło poprawkę stojącą obok. Sprawdzian "przemilczał więc siedem miejsc", z których mniej niż siedem w ogóle do niego należało. Udział, którego mianownika nikt nie przeczytał, to zwykły szum.

Zerowa czułość to nie zerowa precyzja. Sprawdzian, który nie rozpoznał żadnego rzeczywistego błędu, może mimo to zachowywać się wzorowo w drugą stronę: milczeć przy poprawnym tekście. To dwie osobne osie. Mieszanie ich prowadziło do wniosków w rodzaju "ten sprawdzian jest martwy", podczas gdy nie działała tylko jedna z jego dwóch stron.

Niski udział bywa po prostu rzadkością. Zanim zacznie się naprawiać sprawdzian, który reaguje w dwóch przypadkach na sto, trzeba zmierzyć pułap samej reguły: ile okazji do popełnienia tego błędu w ogóle pojawia się w tekstach na danym poziomie. Jeśli taka okazja zdarza się trzy razy na sto prac, to dwa procent mogą być uczciwym wynikiem, a "naprawa" przyniesie wyłącznie fałszywe alarmy.

Przyrosty z różnych baz się nie sumują. Poprawy zmierzonej na jednym zbiorze tekstów nie da się dodać do wyniku uzyskanego na innym. Rodziny błędów nakładają się na siebie, więc suma udziałów poszczególnych rodzin przekracza całość. Porównywać można tylko liczby o wspólnym mianowniku - a nie raz złapaliśmy się na łamaniu tej zasady.

Czwarty wynik

Zwykle dla danej konstrukcji zakłada się trzy sytuacje: użyto jej poprawnie, użyto z błędem albo pomylono z sąsiednią regułą. Istnieje jednak czwarta, której nigdzie nie zliczamy. Uczący się całkowicie unika danej konstrukcji i obchodzi ją za pomocą parafrazy.

Dla każdego, kto uczy, to osobny, ważny sygnał: reguła systematycznie unikana nie została opanowana, niezależnie od tego, co mówią statystyki błędów. Zbudowanie licznika takich uników jest trudniejsze niż szukanie pomyłek, bo wymaga rozpoznania miejsca, w którym dana konstrukcja byłaby trafna, ale nie została użyta. Nie mamy do tego narzędzia, a bardzo byśmy chcieli je mieć.

Co zadziałało

Mały mianownik czytamy w całości, bez próbkowania. Do około dziesięciu miejsc czytamy wszystkie, a wynik podajemy wraz z rozpisaniem każdego przypadku według roli, jaką pełnią w nim poszczególne słowa. Większe rodziny błędów czytamy wyrywkowo, przy czym próba rośnie wraz z liczbą trafień, zamiast zatrzymywać się na wygodnych pięciu przykładach.

Każdemu wynikowi towarzyszy przykład. Liczba bez co najmniej jednego przeanalizowanego przypadku nie trafia do raportu. Skrajny przypadek nie stanowi reguły, ale reguła bez ani jednego przykładu to reguła, której w ogóle nie zmierzono.

Co pozostaje otwarte

Doprecyzowanie zbierania danych tak, by sąsiednie błędy nie wpadały do mianownika danej reguły, wymaga przebudowy samego narzędzia zbierającego, które z kolei będzie potrzebowało własnych sit kontrolnych. Nie istnieje też opisany wyżej licznik uników. Dopóki go nie ma, każdy publikowany przez nas wskaźnik czułości mówi wyłącznie o okazjach, które potrafimy dostrzec, a nie o języku, jakim uczący się faktycznie się posługuje.

Wszystkie artykuły

Bezpłatne ćwiczenia do każdej reguły

Każdej regule gramatycznej na stronie towarzyszy zestaw ćwiczeń. Jest bezpłatny i nie wymaga rejestracji.

Zgłoś problem

Strona, na której jesteś
/pl/science/papers/measure-03-denominator.html pl

Najłatwiej nam po angielsku, ale pisz w dowolnym języku.

Zgłoszenie niesie tylko twoje słowa, adres strony i język. Bez zrzutu ekranu, bez logów, bez konta. Nie możemy odpowiedzieć na zgłoszenie, więc jeśli potrzebujesz odpowiedzi, napisz na [email protected]