Публикации

Зачем мы измеряем работу собственных грамматических правил

На нашем сайте собрана карта правил английской грамматики - от артиклей на уровне A1 до инверсии и расщепленных предложений на C2. За каждым правилом стоит автоматическая проверка, которая должна находить реальные ошибки студентов. Сложность не в том, чтобы написать такую проверку. Сложность в том, чтобы понять, работает ли она.

Молчание можно прочитать двояко

Допустим, одна из таких проверок за месяц ничего не нашла. У этого есть две возможные причины, и со стороны они выглядят одинаково.

Первая причина: в текстах, которые мы видим, студенты просто не делают эту ошибку. Некоторые правила встречаются редко, и повод ошибиться в них почти не возникает на том уровне, где их проходят.

Вторая причина: проверка написана так, что она никогда не распознает ошибку, сколько бы раз ее ни допустили.

Оба случая дают одно и то же число - ноль. Ноль, который может означать как "нечего находить", так и "не получается найти", - это не измерение, а его отсутствие. Большинство неверных выводов о нашей собственной системе начинались именно с этого.

Правило, которое мы приняли

Любой вопрос вида "что мешает этому правилу работать" имеет как минимум два исхода, и ответ без собственного измерения не принимается.

На практике это означает, что для каждого молчащего правила нужно предъявить одно из двух. Либо реальные примеры из текстов студентов, где есть ошибка и где исправленная проверка теперь ее видит. Либо измеренное объяснение того, почему таких мест в текстах нет - с конкретным числом и выборкой, которую человек прочитал глазами, пример за примером.

Вторая половина этого предложения - самая важная. Числу самому по себе легко поверить; число рядом с пятью предложениями, которые прочитал человек, дает понимание. Уже не раз чтение выборки опровергало цифры, о которых мы собирались отчитаться, и в каждом таком случае ошибка была нашей, а не машинной.

Что сработало

Отделение мастерской от продукта. Проверки-кандидаты живут там, где работающий продукт к ним не обращается. Их можно измерять, ломать и снова измерять так, что никто из пользователей сайта этого не заметит. В сам продукт проверка попадает только через отдельный этап со своими фильтрами - о нем говорится в пятой статье этой серии.

Звучит как обычная инженерная гигиена, и так оно и есть. Здесь это важно потому, что всегда есть соблазн устроить измерительный стенд прямо на живом продукте: ведь все данные находятся там. Цена этого соблазна в том, что каждый эксперимент превращается в релиз, а отменить релиз не так дешево, как отменить эксперимент.

Что остается открытым

Если говорить честно, наше положение таково. Ни для одного правила мы пока не знаем полный знаменатель: сколько всего ситуаций, где возможна конкретная ошибка, возникает в текстах студентов этого уровня. Полноту нахождения ошибок на выборке, размеченной вслепую человеком, который никогда не видел наших проверок, еще никто не измерял. Это долг, который мы открыто называем, а не пробел, который пытаемся скрыть, и мы еще вернемся к нему в третьей и седьмой статьях серии.

Остальная часть серии устроена как каталог: как наши собственные инструменты измерения вводили нас в заблуждение, сколько стоит честный знаменатель, что можно и чего нельзя определить по поверхностной форме текста, и какие из наших рабочих привычек оказались полезными.

Все статьи

Бесплатная практика для каждого правила

К каждому грамматическому правилу на сайте есть тренажер. Он бесплатный и работает без регистрации.

Сообщить об ошибке

Страница, на которой вы находитесь
/ru/science/papers/measure-01-why.html ru

Нам проще всего по-английски, но пишите на любом языке.

В обращении уходят только ваши слова, адрес страницы и язык. Ни снимка экрана, ни журналов, ни учётной записи. Ответить на обращение мы не можем, поэтому если нужен ответ - напишите на [email protected]