Публикации
Корпус, на котором вы проводите замеры, - это часть инструмента
Фраза "нет ложных срабатываний на обычной прозе" ничего не значит без ответа на вопрос "на какой именно прозе". Корпус текстов, на котором делались замеры, - такая же часть инструмента, как и сам код. Мы поняли это так, как обычно понимают подобные вещи: потеряв два корпуса сразу.
Что произошло
На раннем этапе работы мы оценивали цену изменений на подборке прозаических отрывков, а базовый уровень наших фильтров проверяли на наборе эталонных примеров к правилам. Ни тот, ни другой корпус не сохранили в виде файлов. Остались только цифры в отчетах.
Новые изменения нужно было сравнивать со старыми нулями, а знаменатель этих старых нулей исчез. Поскольку сравнивать показатели на другом корпусе некорректно - об этом речь в третьей статье, - выбор был таким: либо признать старые цифры несравнимыми и потерять историю, либо восстановить корпуса в точности.
Что сработало
Реконструкция, а не попытки вспомнить. Сборка прозаического корпуса детерминирована: в конфигурации перечислены источники, а скрипт нарезает их на отрывки по жестким правилам. Не все перечисленные источники были на месте. Мы предположили, что старый корпус был собран из того подмножества источников, которое было в наличии на тот момент. Запуск сборки на этом подмножестве дал ровно 7 773 отрывка - именно это число стояло в старых отчетах. Точное совпадение количества само по себе доказывает идентичность состава. Старые нули снова стали сравнимыми.
Корпус нужно пополнять, а не заменять. Мы докачали недостающие источники, и корпус вырос до 34 470 отрывков. Теперь для каждого изменения мы приводим обе оценки: на историческом подмножестве - для сопоставимости с прошлыми записями, и на полном корпусе - как текущий базовый ориентир. Если бы мы заменили первый показатель вторым, мы бы лишились возможности читать собственную историю.
Восстановленный базовый набор сделали строже, а не мягче. Вместо утерянного набора эталонных примеров, который охватывал несколько десятков правил, мы собрали 493 примера для 162 правил, взяв их из того же источника, на котором построена сама карта правил. Базовые показатели на новом наборе совпали со старыми, вплоть до единственного известного проблемного случая. Расширение охвата не сломало историю, и это единственное доказательство того, что расширение было сделано правильно.
Исходный материал не обязан лежать в репозитории. Источники объемны, и их всегда можно скачать заново. В системе контроля версий хранятся конфигурация, скрипт сборки и контрольные числа. Этого достаточно, чтобы кто угодно мог заново собрать точно такой же корпус.
Правила, которые из этого вышли
- При каждом замере всегда указывается название корпуса и его объем.
- Корпус только дополняется, но никогда не заменяется: старый состав остается воспроизводимым, а расширение добавляет в отчет вторую цифру, не затирая первую.
- Детерминированный сборщик, конфигурация и контрольное число элементов - это минимальный набор для воспроизводимости. Когда этот набор есть, хранить сам корпус в виде файла необязательно.
Что остается нерешенным
Ту часть стенда, которая состоит из работ студентов, воспроизвести таким способом нельзя. Тексты студентов не копируются в систему контроля версий; корпусом там служит набор ссылок на места в хранилище, а ссылки - вещь более хрупкая, чем контрольное число. Ссылку, которая сместилась, невозможно отличить от ссылки, которая была неверной изначально.
Как сделать замеры на текстах студентов такими же воспроизводимыми, как замеры на опубликованной прозе, - вопрос открытый. И именно он сейчас ограничивает то, насколько мы можем доверять собственным показателям полноты (recall).
Все статьи
Бесплатная практика для каждого правила
К каждому грамматическому правилу на сайте есть тренажер. Он бесплатный и работает без регистрации.