Публикации
Что можно и чего нельзя решить по поверхностной форме
Большинство наших автоматических проверок работают с поверхностной формой: структурой фразы, порядком слов, формой глагола. Это дешево, быстро и прозрачно - когда такая проверка срабатывает, причину можно в одном предложении объяснить студенту. Но у этого подхода есть жесткий потолок, и главная польза последних месяцев в том, что мы научились выражать этот потолок в цифрах, а не спорить о нем.
Где форма перестает работать
Форма ошибки часто совпадает с правильной формой языка. Возьмем реальную ошибку изучающих язык: чистый инфинитив после модального глагола там, где нужен перфект, как в придуманном примере "he could pass the exam last year" вместо "could have passed". Проверка, настроенная на такую конструкцию, отлично распознает ошибку. Но она же срабатывает на сотнях абсолютно правильных предложений в обычной художественной и деловой прозе, потому что сама эта конструкция встречается в английском на каждом шагу. Такую ошибку нельзя отловить только по форме. Мы посчитали цену, зафиксировали ее и отказались от этой проверки.
Привязка к концу фразы отсекает живые примеры. Если сузить проверку так, чтобы она срабатывала только в конце предложения, она перестанет видеть ошибку в реальных текстах, где после глагола всегда что-то идет. Если убрать это требование, проверка начнет срабатывать на наших собственных правильных предложениях, потому что английское слово в одном месте может быть существительным, а в другом - глаголом. Например, в придуманной фразе "told us help is coming" слово "help" - существительное, а наш механизм считает его глаголом.
Список слов, собранный вручную, молчит о том, чего в нем нет. Две проверки промолчали на реальных ошибках просто потому, что нужного глагола не оказалось в составленном вручную списке. Список, написанный под канонические примеры из правил, неизбежно будет пропускать лексику из живой письменной речи.
Соседние слова - это еще не синтаксис. Наши проверки сравнивают слова, которые стоят рядом. Они не видят границ придаточных предложений, подлежащего в придаточном или смещенного дополнения. Когда мы однажды разрешили больший разрыв между двумя частями шаблона, внутрь попала часть совсем другого предложения в составе сложного.
Что сработало
Добавить условие, а не убрать его. В примере выше решением стало не ослабление проверки, а требование определенного типа слова после глагола - такого, которое встречается после переходного глагола, но не бывает после существительного в той же позиции. Проверка начала видеть реальные ошибки, тесты на отсутствие ложных срабатываний остались зелеными, а измеренная цена на нашем контрольном корпусе обычной прозы составила ровно одно ложное срабатывание - в цитате с прямой речью.
Измерять по частям, прежде чем чинить целое. Перед тем как менять проверку, мы запускаем ее по частям и смотрим, на каком этапе теряются примеры: "первая часть распознает шесть из семи, а часть, сверяющаяся со списком слов, - ни одного". Истинный виновник определяется числом еще до начала правок, поэтому мы чиним конкретную поломку, а не проверяем первую правдоподобную гипотезу. В том конкретном случае гипотеза оказалась неверной, а число - правым.
Отказ с указанием цены - это тоже результат. Там, где форма не позволяет закрыть проблему, проверка молчит, а причина и цена альтернативных решений записываются. Это честнее, чем проверка, которая срабатывает на каждом десятом правильном предложении студента, и теперь мы в первую очередь выбираем именно такое решение.
Что остается открытым
Весь наш технический долг известен поименно: это десятки случаев, где ошибка определяется синтаксисом, а не соседними словами. Для некоторых правил полноту покрытия в принципе невозможно измерить через форму, потому что за одной и той же внешней цепочкой слов стоят две разные структуры.
Выход здесь - добавить синтаксический парсер к нынешнему механизму. Но это означает новую зависимость и новый класс инструментов для ее контроля, потому что парсер будет ошибаться по-своему, и каталог его ошибок еще не написан.
Все статьи
Бесплатная практика для каждого правила
К каждому грамматическому правилу на сайте есть тренажер. Он бесплатный и работает без регистрации.