Документи

Колекція, на якій ви проводили вимірювання - це частина інструмента

Твердження "жодних хибних спрацьовувань на звичайній прозі" нічого не означає без відповіді на питання "на якій саме прозі". Колекція текстів, на якій проводили вимірювання - це така ж частина вимірювального інструмента, як і сам код. Ми засвоїли це так, як зазвичай засвоюють подібні речі: втративши дві колекції одночасно.

Що сталося

На ранньому етапі роботи ми оцінювали ціну змін на колекції уривків прози, а базові показники наших фільтрів - на наборі канонічних прикладів до правил. Жодна з цих колекцій не була збережена окремим файлом. Залишилися лише цифри у звітах.

Нові зміни треба було порівнювати з тими старими нулями, але знаменник тих старих нулів зник. Оскільки порівнювати результати на іншій колекції некоректно - про це йдеться в третій статті - перед нами постав вибір: або визнати старі цифри непорівнянними і втратити історію, або відтворити колекції з абсолютною точністю.

Що спрацювало

Реконструкція, а не пригадування. Збирання колекції прози є детермінованим процесом: у конфігурації перелічено джерела, а скрипт нарізає їх на уривки за фіксованими правилами. Не всі зі списку джерел залишилися в наявності. Ми припустили, що стару колекцію було зібрано з тієї підмножини джерел, яка була доступною на той момент. Запуск збирання на цій підмножині дав рівно 7 773 уривки - саме стільки було записано в старих звітах. Точний збіг кількості сам по собі доводить ідентичність складу. Старі нулі знову стало можливо порівнювати.

Доповнювати колекцію, але ніколи не замінювати її. Відсутні джерела довантажили, і колекція зросла до 34 470 уривків. Тепер для кожної зміни ми фіксуємо обидва показники: на історичній підмножині - для порівнянності з попередніми записами, і на повній колекції - як поточний базовий рівень. Якби ми замінили першу колекцію другою, то втратили б можливість читати власну історію.

Відновлений базовий набір зробили суворішим, а не м'якшим. Замість втраченого набору канонічних прикладів, що охоплював кілька десятків правил, ми зібрали 493 приклади для 162 правил, узявши їх із того самого джерела, на якому базується сама карта правил. Базовий показник на новому наборі збігся зі старим аж до єдиного відомого проблемного випадку. Розширення охоплення не зламало історію спостережень, і це єдиний доказ того, що розширення було зроблено правильно.

Сировині не обов'язково лежати в репозиторії. Джерела великі за обсягом, і їх завжди можна завантажити повторно. У системі контролю версій зберігаються конфігурація, скрипт збирання та контрольні числа. Цього достатньо, щоб будь-хто міг відтворити ту саму колекцію.

Правила, які з цього випливли

  • Кожне вимірювання кожного разу називає свою колекцію та її розмір.
  • Колекцію доповнюють, а не замінюють: старий склад залишається відтворюваним, а розширення додає другу цифру, а не перезаписує першу.
  • Детермінований збирач, конфігурація та контрольна кількість елементів - це мінімальний набір для відтворюваності. Зберігати саму колекцію у вигляді файлу необов'язково, якщо є цей набір.

Що залишається невирішеним

Частину стенда з текстами студентів неможливо відтворити в такий спосіб. Письмові роботи студентів не копіюються в систему контролю версій; роль колекції там виконує набір посилань на місця в сховищі, а посилання значно вразливіші за контрольне число. Посилання, за яким перемістили дані, неможливо відрізнити від посилання, яке було помилковим від самого початку.

Як зробити вимірювання на текстах студентів такими ж відтворюваними, як і на опублікованій прозі - це відкрите питання, і саме воно зараз обмежує нашу довіру до власних показників повноти.

Усі статті

Безкоштовна практика для кожного правила

До кожного граматичного правила на сайті є тренажер. Він безкоштовний і не потребує реєстрації.

Повідомити про проблему

Сторінка, на якій ви перебуваєте
/uk/science/papers/measure-06-base.html uk

Нам найлегше англійською, але пишіть будь-якою мовою.

У зверненні йдуть лише ваші слова, адреса сторінки та мова. Ні знімка екрана, ні журналів, ні облікового запису. Відповісти на звернення ми не можемо, тож якщо потрібна відповідь - напишіть на [email protected]