Публикации
Ошибка обычно кроется в самом приборе
Самый дорогой урок последних месяцев оказался и самым прозаичным. Когда замер выдает странную цифру, проблема чаще в том, чем измеряют, а не в том, что измеряют. Ниже - список таких случаев. Каждый из них реален и стоил нам многих часов поиска не там, где нужно.
Как нас подводили собственные инструменты
Инструмент повторяет продукт. Проверочный скрипт, собранный из тех же деталей, что и проверяемый код, подтверждает не правильность, а совпадение: он слеп к тем же самым ошибкам. Лечится это проверкой по другому пути, другими средствами или просто чтением глазами.
Инструмент читает только до первого совпадения. Один наш скрипт брал первый подходящий элемент и отчитывался об "одном совпадении", хотя их было пять. Ноль или единица от такого прибора ничего не значат, пока не доказано, что он дочитывает до конца.
Предохранитель слеп по своей конструкции. Один из наших проверочных скриптов искал в файлах чужие формулировки, но извлекал только текст в кавычках. Заимствованный фрагмент в скобках оставался для него невидимым. Зеленый сигнал такой проверки доказывает лишь отсутствие тех проблем, которые она способна разглядеть, и ничего больше.
Пустая выдача поиска - это еще не чистый результат. Отсутствие выдачи означает "не найдено", а "не найдено" легко получается из-за опечатки в запросе. Отрицательный результат можно принимать только после того, как тот же самый запрос нашел то, что там заведомо есть.
Зеленый свет до проверки - не зеленый. Отчет "исправлено", написанный до запуска проверочного инструмента, говорит о намерении, а не о фактическом состоянии. Мы отчитываемся о состоянии.
Наше собственное ограничение выглядит как чужой сбой. В одном замере лимит запросов с нашей стороны выглядел как отказ внешнего сервиса. Прежде чем винить измеряемый объект, стоит проверить, не уперся ли сам прибор в свой потолок.
Что сработало
Брать единицу измерения из самого кода. Инструмент должен брать единицу измерения из проверяемого кода, а не выдумывать удобную свою. Когда мы замеряли, как далеко продвигается проверка внутри предложения, частичные попытки прогонялись тем же механизмом, который работает в самом продукте. Поэтому полученным цифрам можно было верить: путь был реальным путем продукта, а не его наброском.
Одно изменение за один замер. Между двумя замерами меняется ровно одна деталь. Варианты нумеруются, каждый отличается от предыдущего одной правкой, и остается только лучший. Иначе невозможно понять, какая именно правка дала полезный эффект, а какая - накладные расходы.
Если инструмент врал, его цифры отзываются. Когда выясняется, что прибор был неисправен, все выданные им цифры открыто аннулируются, включая удобные. Это не самобичевание, а единственный способ сохранить рабочую ценность записей.
Что остается нерешенным
У нас нет автоматического шага, который проверял бы сами инструменты - такого, который требовал бы: "прежде чем поверить нулю от этого прибора, убедитесь, что он нашел то, что заведомо существует". Пока это держится на дисциплине того, кто запускает стенд, а значит, однажды усталым вечером этот шаг пропустят. Как встроить его в каждый прогон, не удваивая стоимость прогона стенда - вопрос открытый.
Стоит назвать и смежное ограничение: прибор всегда измеряет то состояние, из которого его вызвали, а не то, которое вы имели в виду. Замер, снятый с рабочей копии, ничего не говорит об опубликованной версии, а зеленый результат на устаревших данных - это утверждение о вчерашнем дне.
Все статьи
Бесплатная практика для каждого правила
К каждому грамматическому правилу на сайте есть тренажер. Он бесплатный и работает без регистрации.