Artykuły
Sędziowie, strażnicy i to, czego wciąż nie potrafimy zmierzyć
Nie wszystko da się zmierzyć po samym kształcie frazy. Tam, gdzie potrzebna jest ocena znaczenia - czy dany tekst jest dobry, czy konstrukcja jest trafna, czy styl jest odpowiedni - stawiamy automatycznego sędziego. Wokół samego stanowiska pomiarowego stoją strażnicy: od tajemnic, od kontraktów, od zapożyczonych sformułowań. Sędziowie i strażnicy to także przyrządy pomiarowe i mają własne sposoby na to, by się mylić.
Gdzie popełnili błędy
Odmowa staje się werdyktem o treści. Kiedy sędzia odmawia odpowiedzi - przez przeciążenie, filtr, przekroczenie czasu - potok bez specjalnej obsługi zapisuje tę odmowę jako ocenę, zazwyczaj niską. Zdanie napisane przez uczącego się otrzymuje wtedy werdykt, którego nikt nigdy nie wydał. Lekarstwem jest osobne mierzenie obu furtek: udziału odmów oraz rozkładu rzeczywistych ocen. Odmowa to wiersz w statystyce, a nie opinia.
Limit czasu ustawiony na średnią zamienia ogon rozkładu w odmowy. Jeśli ustawimy czas oczekiwania na podstawie średniego czasu odpowiedzi, wolniejszy ogon rozkładu zamieni się w systematyczne odmowy, które - bez wdrożenia poprzedniej lekcji - stają się systematycznymi niskimi ocenami.
Strażnik może być ślepy z założenia. Strażnik sprawdzający nasze teksty pod kątem zapożyczonych sformułowań wyciąga tylko fragmenty w cudzysłowie. Fragment w nawiasie, bez cudzysłowu, jest dla niego niewidoczny. Wyłapaliśmy jeden taki przypadek ręcznie, godzinę przed tym, jak zostałby zatwierdzony. Martwy punkt jest teraz wpisany do własnej dokumentacji strażnika, bo dopóki go tam nie było, zielone światło od tego strażnika dawało fałszywą pewność, a to najgorszy stan, w jakim może znaleźć się przyrząd.
Otwarty pomiar dryfuje w stronę łatwych przypadków. Jeśli temu, co jest mierzone, pozwoli się wybierać, na czym jest mierzone, próba po cichu przesuwa się w stronę łatwiejszego bieguna, a wskaźnik sukcesu rośnie bez żadnego przyrostu jakości. Otwarty pomiar jest wadą samą w sobie: próba musi być ustalona przez kogoś innego niż badany obiekt.
Automatycznej korekcie stylu nie można ufać w pojedynkę. Pojedynczy sędzia stylu myli się niesystematycznie, więc jego słowo nie wystarczy, by zmienić tekst. Działa dopiero zgodność dwóch niezależnych głosów; w parach, które zmierzyliśmy, udział fałszywych alarmów spada o rząd wielkości. Pojedynczy głos może zgłosić uwagę, ale nigdy nie może redagować.
Co zadziałało
- Potoki korzystające z sędziów zliczają odmowy oddzielnie od werdyktów, a udział odmów jest obowiązkowym wierszem w raporcie.
- Zmiany wprowadzane na podstawie automatycznej korekty wymagają zgodności dwóch głosów.
- Strażnicy mają spisaną notatkę o martwym punkcie: czego ten strażnik nie widzi z racji swojej konstrukcji. Zielone światło odczytuje się razem z tą notatką.
Program, którego jeszcze nie zrealizowaliśmy
Próba oznaczona w ciemno. Czułość naszych testów nigdy nie została zmierzona na tekstach oznaczonych przez osobę, która tych testów wcześniej nie widziała. Bez tego to, co nazywamy czułością, jest czułością w miejscach znalezionych przez nasze własne narzędzia, co jest miarą tego, jak bardzo nasze narzędzia zgadzają się same ze sobą.
Kalibracja sędziego pisania względem zbioru odniesienia ocenionego przez ludzi, tak aby jego werdykty mieściły się na skali ludzkiej, a nie jego własnej.
Synteza błędów dla reguł, dla których zebrany materiał nie zawiera naturalnych przypadków. Sztuczne przypadki pozwoliłyby nam zmierzyć czułość tam, gdzie natura milczy, ale najpierw trzeba wykazać, że sztuczny błąd dobrze zastępuje błąd naturalny, a ten dowód wymaga osobnego przyrządu.
Stanowisko pomiarowe nigdy nie jest ukończone. Każdy nowy przyrząd wnosi własne sposoby kłamania, a jedyna realna nadzieja polega na tym, że katalog kłamstw rośnie wolniej niż katalog przyrządów.
Wszystkie artykuły
Bezpłatne ćwiczenia do każdej reguły
Każdej regule gramatycznej na stronie towarzyszy zestaw ćwiczeń. Jest bezpłatny i nie wymaga rejestracji.