Документи

Чому ми тестуємо власні граматичні правила

На нашому сайті є карта правил англійської граматики - від артиклів на рівні A1 до інверсії та розщеплених речень (clefts) на рівні C2. За кожним правилом стоїть автоматична перевірка, яка має розпізнавати реальні помилки студентів. Складність не в тому, щоб написати таку перевірку. Складність у тому, щоб зрозуміти, чи вона працює.

Мовчання має два пояснення

Уявімо, що одна з таких перевірок за місяць нічого не знайшла. На це є дві можливі причини, і ззовні вони виглядають однаково.

Перша причина - студенти просто не роблять цієї помилки в текстах, які ми бачимо. Деякі правила рідкісні: нагода помилитися в них майже не випадає на тому рівні, де їх вивчають.

Друга причина - перевірка написана так, що вона ніколи не розпізнає помилку, скільки б разів її не зробили.

Обидва випадки дають однаковий результат: нуль. Нуль, який може означати або "немає чого шукати", або "не здатен знайти" - це не вимірювання, а його відсутність. Більшість хибних висновків, які ми робили про власну систему, починалися саме з цього.

Правило, яке ми запровадили

Кожне запитання на кшталт "що заважає цьому правилу працювати" має щонайменше два варіанти відповіді, і відповідь без власного вимірювання не приймається.

На практиці це означає, що для кожного "мовчазного" правила потрібно надати одне з двох. Або реальні уривки з текстів студентів, де є ця помилка і де перевірка після виправлення тепер її бачить. Або виміряне обґрунтування того, чому таких прикладів немає, з конкретним числом і вибіркою, яку людина справді вичитала випадок за випадком.

Саме друга частина цього речення є ключовою. Самому лише числу зазвичай просто вірять; число ж поруч із п'ятьма реченнями, які прочитала людина, зазвичай розуміють. Не раз читання вибірки спростовувало цифри, про які ми вже збиралися звітувати, і в кожному з тих випадків помилка була нашою, а не машинною.

Що спрацювало

Відокремлення майстерні від продукту. Чернетки перевірок живуть там, де жодна частина робочого сайту їх не бачить. Їх можна вимірювати, ламати й знову вимірювати так, що це ніяк не зачепить користувачів сайту. Перевірка потрапляє в продукт лише через окремий етап зі своїми фільтрами, описаний у п'ятій статті цієї серії.

Це звучить як звичайна інженерна гігієна, і так воно і є. Тут це важливо тому, що завжди є спокуса запустити тестовий стенд просто на живому продукті, адже саме там є всі дані. Ціна цієї спокуси в тому, що кожен експеримент стає релізом, а реліз не можна скасувати так само дешево, як експеримент.

Що залишається відкритим

Чесний опис нашої позиції такий. Для жодного правила ми ще не знаємо повного знаменника: скільки взагалі нагод зробити цю конкретну помилку трапляється в текстах студентів на цьому рівні. Повноту виявлення (recall) на вибірці, розміченій наосліп людиною, яка ніколи не бачила наших перевірок, ще ніхто не вимірював. Це борг, який ми визнаємо, а не прогалина, яку ховаємо, і в третій та сьомій статтях цієї серії ми до цього повернемося.

Решта серії - це каталог: як наші власні інструменти вимірювання вводили нас в оману, скільки коштує чесний знаменник, що поверхнева форма може і чого не може визначити, і які з наших звичок виявилися вартими того, щоб їх зберегти.

Усі статті

Безкоштовна практика для кожного правила

До кожного граматичного правила на сайті є тренажер. Він безкоштовний і не потребує реєстрації.

Повідомити про проблему

Сторінка, на якій ви перебуваєте
/uk/science/papers/measure-01-why.html uk

Нам найлегше англійською, але пишіть будь-якою мовою.

У зверненні йдуть лише ваші слова, адреса сторінки та мова. Ні знімка екрана, ні журналів, ні облікового запису. Відповісти на звернення ми не можемо, тож якщо потрібна відповідь - напишіть на [email protected]