Публикации

Назовите число до того, как мерить

Эта статья - о той части нашей практики, которая работает, и о том, почему работает именно она, а не что-то более хитроумное.

Сначала число записывается в протокол

Перед запуском замера мы записываем, что именно измеряем, чем, какое число ожидаем получить и с каким допуском. Только после этого запускается инструмент.

Это не ритуал. Запись ожидания заранее - это то, что отличает измерение от подгонки под ответ. Когда число уже известно, человек - да и языковая модель - незаметно расширяет допуск: "ну, шесть - это почти от двух до шести". Из этого вытекают три следствия, и все три намеренно сделаны неудобными.

Граница допуска не считается попаданием. Результат "шесть" при ожидании "от двух до шести" выносится в отдельную строку как пограничный, а не прячется в общую графу "в пределах нормы".

О промахах сообщается в первую очередь. Отчет начинается с того, что не сошлось. Любой другой порядок превращает отчет в рекламу того, кто его написал.

Предсказанный провал - это тоже прогноз. Фраза "снятие этого требования не пройдет входной фильтр" была записана до запуска, и фильтр действительно его не пропустил. Правильно предсказанный провал ценнее случайного попадания: он означает, что наше представление о поведении системы верно.

Самое полезное открытие, связанное с этой привычкой, состоит в том, что промахи оказались продуктивнее попаданий. В случае, описанном в предыдущей статье, именно несбывшийся прогноз - "эта часть распознает от одного до пяти случаев", а она не распознала ни одного - позволил найти настоящего виновника, а не того, на которого указывал первоначальный диагноз.

Три фильтра для каждого изменения

Ни одно изменение в проверке не принимается на основании одного лишь показателя. Есть три фильтра.

  • Проверка узнает свою ошибку: она срабатывает на заведомо неправильных предложениях.
  • Она молчит на правильном тексте: никаких срабатываний на исправленных версиях тех же самых предложений и на эталонных примерах для каждого правила на карте, а их несколько сотен.
  • Она молчит на обычной прозе: цена изменения измеряется числом ложных срабатываний на большом фиксированном корпусе опубликованных текстов. Это число фиксируется для каждого изменения - как на историческом корпусе для сопоставимости, так и на текущем полном.

Именно третий фильтр отсеивает большинство проверок-кандидатов, и именно его проще всего было бы опустить, потому что это единственный фильтр, который нельзя пройти за счет простого усердия.

Что остается нерешенным

Вся дисциплина держится на человеке, который запускает стенд. Технически ничто не мешает запустить инструмент без предварительной декларации - мешает только правило. Мы бы хотели, чтобы отказ был встроен в сам инструмент: нет заявленных чисел - нет замера. Для этого нужен машиночитаемый формат деклараций, который не превращал бы рабочий диалог в бумажную волокиту, и мы его пока не нашли.

Есть и второй, менее заметный риск. Привычка, порождающая неудобные отчеты, живет лишь до тех пор, пока кто-то готов терпеть это неудобство. Три следствия, описанные выше, зафиксированы письменно именно поэтому: правило на бумаге переживает неудачную неделю лучше, чем доброе намерение.

Все статьи

Бесплатная практика для каждого правила

К каждому грамматическому правилу на сайте есть тренажер. Он бесплатный и работает без регистрации.

Сообщить об ошибке

Страница, на которой вы находитесь
/ru/science/papers/measure-05-declarations.html ru

Нам проще всего по-английски, но пишите на любом языке.

В обращении уходят только ваши слова, адрес страницы и язык. Ни снимка экрана, ни журналов, ни учётной записи. Ответить на обращение мы не можем, поэтому если нужен ответ - напишите на [email protected]