Публикации

Судьи, сторожа и то, что мы пока не умеем измерять

Не все можно измерить по форме фразы. Там, где нужно суждение о смысле - хорошо ли написан фрагмент, уместна ли конструкция, верен ли стиль - мы ставим автоматического судью. Вокруг самого стенда стоят сторожа: они следят за секретами, контрактами и заимствованными формулировками. Судьи и сторожа - тоже инструменты, и каждый из них ошибается по-своему.

В чем они ошибались

Отказ превращается в оценку содержания. Когда судья не дает ответа - из-за перегрузки, фильтра или таймаута - конвейер без специальной обработки записывает этот отказ как оценку, обычно низкую. В итоге предложение учащегося получает приговор, которого никто не выносил. Решение - считать оба исхода раздельно: долю отказов и распределение реальных оценок. Отказ - это строчка в статистике, а не мнение.

Таймаут, настроенный по среднему времени, превращает хвост распределения в отказы. Если задать время ожидания по среднему времени ответа, медленный хвост распределения превратится в систематические отказы, а они - если не учтен предыдущий пункт - станут систематическими низкими оценками.

Сторож может быть слеп по своей конструкции. Сторож, проверяющий наши тексты на заимствования, извлекает только фрагменты в кавычках. Фрагмент в скобках, но без кавычек, для него невидим. Мы поймали один такой случай вручную за час до того, как он попал бы в репозиторий. Теперь это слепое пятно записано в документации самого сторожа. До этого зеленый свет от него давал ложную уверенность, а это худшее состояние для любого инструмента.

Незафиксированная выборка смещается к простым случаям. Если позволить проверяемой системе самой выбирать материал для проверки, выборка незаметно сползает к простым примерам, и доля успеха растет без реального прироста качества. Незафиксированная выборка - это самостоятельный дефект: материал для проверки должен быть жестко задан извне.

Автоматической вычитке стиля нельзя доверять в одиночку. Одиночный судья по стилю ошибается бессистемно, поэтому его слова недостаточно, чтобы менять текст. Работает согласие двух независимых голосов: на проверенных нами парах доля ложных срабатываний падает на порядок. Одиночный голос может только помечать места, но не править.

Что сработало

  • Конвейеры, использующие судей, считают отказы отдельно от оценок, а доля отказов - обязательная строка в отчете.
  • Правки по результатам автоматической вычитки требуют согласия двух голосов.
  • У каждого сторожа есть описание слепых пятен: чего именно этот сторож не видит по своей конструкции. Зеленый свет читается только вместе с этим примечанием.

Программа, которую мы еще не выполнили

Слепая разметка выборки. Полноту (recall) наших проверок никогда не измеряли на текстах, размеченных человеком, который не видел самих проверок. Без этого то, что мы называем полнотой - это полнота на местах, найденных нашими же инструментами, то есть мера согласия наших инструментов с самими собой.

Калибровка судьи письменных работ на эталонной коллекции, оцененной людьми, чтобы его вердикты ложились на человеческую шкалу, а не на его собственную.

Синтез ошибок для правил, на которые в собранном материале нет естественных примеров. Синтетические примеры позволили бы измерить полноту там, где естественный материал молчит. Но сначала нужно доказать, что синтетическая ошибка достоверно заменяет естественную, а для этого доказательства нужен свой инструмент.

Измерительный стенд никогда не бывает закончен. Каждый новый инструмент приносит свои способы врать, и единственная реальная надежда состоит в том, что каталог этой лжи растет медленнее, чем каталог инструментов.

Все статьи

Бесплатная практика для каждого правила

К каждому грамматическому правилу на сайте есть тренажер. Он бесплатный и работает без регистрации.

Сообщить об ошибке

Страница, на которой вы находитесь
/ru/science/papers/measure-07-judges.html ru

Нам проще всего по-английски, но пишите на любом языке.

В обращении уходят только ваши слова, адрес страницы и язык. Ни снимка экрана, ни журналов, ни учётной записи. Ответить на обращение мы не можем, поэтому если нужен ответ - напишите на [email protected]