Artykuły

Zbiór, na którym mierzysz, jest częścią przyrządu pomiarowego

"Brak fałszywych alarmów na zwykłej prozie" nic nie znaczy bez odpowiedzi na pytanie "na jakiej prozie". Zbiór tekstów, na którym dokonano pomiaru, jest taką samą częścią przyrządu pomiarowego jak sam kod. Przekonaliśmy się o tym w sposób, w jaki zazwyczaj człowiek się o takich rzeczach przekonuje: tracąc dwa zbiory naraz.

Co się stało

Na wczesnym etapie prac mierzyliśmy koszt wprowadzanych zmian na zbiorze fragmentów prozy, a poziom odniesienia dla naszych bramek kontrolnych - na zestawie kanonicznych przykładów dla poszczególnych reguł. Żaden z tych zbiorów nie został zachowany w postaci pliku. Przetrwały jedynie liczby w raportach.

Nowe zmiany trzeba było porównać z dawnymi zerami, ale mianownik tamtych zer zniknął. Ponieważ porównywanie wyników na innym zbiorze jest nieuprawnione - o czym traktuje trzeci artykuł - stanęliśmy przed wyborem: uznać stare liczby za nieporównywalne i stracić historię pomiarów albo odtworzyć tamte zbiory z pełną dokładnością.

Co zadziałało

Odtworzenie, a nie przypominanie sobie. Budowanie zbioru prozy jest deterministyczne: plik konfiguracyjny wymienia źródła, a skrypt tnie je na fragmenty według stałych reguł. Nie wszystkie wymienione źródła były już dostępne. Postawiliśmy hipotezę, że stary zbiór został wygenerowany z tego podzbioru źródeł, który był wówczas obecny na dysku. Uruchomienie skryptu na tym podzbiorze dało dokładnie 7773 fragmenty - tę samą liczbę, która widniała w starych raportach. Zgodność co do jednej sztuki sama w sobie jest dowodem na identyczny skład zbioru. Stare zera znów stały się porównywalne.

Uzupełniaj zbiór, nigdy go nie zastępuj. Pobraliśmy brakujące źródła i zbiór urósł do 34 470 fragmentów. Obecnie przy każdej zmianie raportujemy oba koszty: na podzbiorze historycznym, dla zachowania ciągłości z dawnymi zapisami, oraz na pełnym zbiorze, który stanowi obecną bazę odniesienia. Zastąpienie pierwszego zbioru drugim odebrałoby nam możliwość odczytywania własnej historii.

Odtworzoną bazę odniesienia zaostrzyliśmy, zamiast ją rozluźniać. W miejsce utraconego zestawu kanonicznych przykładów, który obejmował kilkadziesiąt reguł, zebraliśmy 493 przykłady obejmujące 162 reguły, zaczerpnięte z tego samego źródła, na którym opiera się nasza mapa reguł. Wynik bazowy na nowym zestawie pokrył się ze starym, aż do pojedynczego, znanego wcześniej błędnego przypadku. Poszerzenie zakresu nie złamało ciągłości historycznej, co jest jedynym dowodem na to, że zostało przeprowadzone prawidłowo.

Surowy materiał nie musi leżeć w repozytorium. Źródła są duże i zawsze można je pobrać ponownie. W systemie kontroli wersji przechowujemy konfigurację, skrypt składający oraz liczby kontrolne. To wystarczy, aby każdy mógł zbudować identyczny zbiór.

Zasady, które z tego wynikły

  • Każdy pomiar bezwzględnie podaje nazwę zbioru oraz jego rozmiar.
  • Zbiór można rozbudowywać, ale nigdy zastępować: stary skład pozostaje odtwarzalny, a rozszerzenie dodaje drugą wartość, zamiast nadpisywać pierwszą.
  • Deterministyczny skrypt składający, konfiguracja i kontrolna liczba elementów to minimalny zestaw zapewniający powtarzalność. Przechowywanie samego zbioru w pliku staje się opcjonalne, gdy mamy taki zestaw.

Co pozostaje otwarte

Tej części stanowiska testowego, która obejmuje teksty uczących się, nie da się odtworzyć w ten sposób. Tekstów pisanych przez uczniów nie kopiujemy do systemu kontroli wersji; rolę zbioru pełni tam zestaw odnośników do miejsc w pamięci masowej, a odnośniki są bardziej ulotne niż suma kontrolna. Odnośnik do przeniesionego zasobu jest nie do odróżnienia od odnośnika, który od początku był błędny.

To, jak uczynić pomiary na tekstach uczących się równie powtarzalnymi co pomiary na opublikowanej prozie, pozostaje pytaniem otwartym - i to ono ogranicza dziś nasze zaufanie do własnych wskaźników czułości (recall).

Wszystkie artykuły

Bezpłatne ćwiczenia do każdej reguły

Każdej regule gramatycznej na stronie towarzyszy zestaw ćwiczeń. Jest bezpłatny i nie wymaga rejestracji.

Zgłoś problem

Strona, na której jesteś
/pl/science/papers/measure-06-base.html pl

Najłatwiej nam po angielsku, ale pisz w dowolnym języku.

Zgłoszenie niesie tylko twoje słowa, adres strony i język. Bez zrzutu ekranu, bez logów, bez konta. Nie możemy odpowiedzieć na zgłoszenie, więc jeśli potrzebujesz odpowiedzi, napisz na [email protected]