Документи
Чому ми тестуємо власні граматичні правила
На нашому сайті є карта правил англійської граматики - від артиклів на рівні A1 до інверсії та розщеплених речень (clefts) на рівні C2. За кожним правилом стоїть автоматична перевірка, яка має розпізнавати реальні помилки студентів. Складність не в тому, щоб написати таку перевірку. Складність у тому, щоб зрозуміти, чи вона працює.
Мовчання має два пояснення
Уявімо, що одна з таких перевірок за місяць нічого не знайшла. На це є дві можливі причини, і ззовні вони виглядають однаково.
Перша причина - студенти просто не роблять цієї помилки в текстах, які ми бачимо. Деякі правила рідкісні: нагода помилитися в них майже не випадає на тому рівні, де їх вивчають.
Друга причина - перевірка написана так, що вона ніколи не розпізнає помилку, скільки б разів її не зробили.
Обидва випадки дають однаковий результат: нуль. Нуль, який може означати або "немає чого шукати", або "не здатен знайти" - це не вимірювання, а його відсутність. Більшість хибних висновків, які ми робили про власну систему, починалися саме з цього.
Правило, яке ми запровадили
Кожне запитання на кшталт "що заважає цьому правилу працювати" має щонайменше два варіанти відповіді, і відповідь без власного вимірювання не приймається.
На практиці це означає, що для кожного "мовчазного" правила потрібно надати одне з двох. Або реальні уривки з текстів студентів, де є ця помилка і де перевірка після виправлення тепер її бачить. Або виміряне обґрунтування того, чому таких прикладів немає, з конкретним числом і вибіркою, яку людина справді вичитала випадок за випадком.
Саме друга частина цього речення є ключовою. Самому лише числу зазвичай просто вірять; число ж поруч із п'ятьма реченнями, які прочитала людина, зазвичай розуміють. Не раз читання вибірки спростовувало цифри, про які ми вже збиралися звітувати, і в кожному з тих випадків помилка була нашою, а не машинною.
Що спрацювало
Відокремлення майстерні від продукту. Чернетки перевірок живуть там, де жодна частина робочого сайту їх не бачить. Їх можна вимірювати, ламати й знову вимірювати так, що це ніяк не зачепить користувачів сайту. Перевірка потрапляє в продукт лише через окремий етап зі своїми фільтрами, описаний у п'ятій статті цієї серії.
Це звучить як звичайна інженерна гігієна, і так воно і є. Тут це важливо тому, що завжди є спокуса запустити тестовий стенд просто на живому продукті, адже саме там є всі дані. Ціна цієї спокуси в тому, що кожен експеримент стає релізом, а реліз не можна скасувати так само дешево, як експеримент.
Що залишається відкритим
Чесний опис нашої позиції такий. Для жодного правила ми ще не знаємо повного знаменника: скільки взагалі нагод зробити цю конкретну помилку трапляється в текстах студентів на цьому рівні. Повноту виявлення (recall) на вибірці, розміченій наосліп людиною, яка ніколи не бачила наших перевірок, ще ніхто не вимірював. Це борг, який ми визнаємо, а не прогалина, яку ховаємо, і в третій та сьомій статтях цієї серії ми до цього повернемося.
Решта серії - це каталог: як наші власні інструменти вимірювання вводили нас в оману, скільки коштує чесний знаменник, що поверхнева форма може і чого не може визначити, і які з наших звичок виявилися вартими того, щоб їх зберегти.
Усі статті
Безкоштовна практика для кожного правила
До кожного граматичного правила на сайті є тренажер. Він безкоштовний і не потребує реєстрації.