Документи
Дефект зазвичай ховається у вимірювальному приладі
Найдорожчий урок останніх місяців виявився ще й найменш ефектним. Коли вимірювання видає дивне число, проблема найчастіше в тому, чим вимірюють, а не в тому, що вимірюють. Нижче наведено перелік таких випадків. Кожен пункт - це реальна ситуація, через яку ми витратили години на пошуки не там, де треба.
Як нас вводили в оману власні інструменти
Інструмент повторює продукт. Скрипт для перевірки, зібраний з тих самих частин, що й код, який він перевіряє, підтверджує не правильність, а тотожність: він сліпий до тих самих помилок. Рішення - вимірювати іншим шляхом, за допомогою іншого механізму або просто вичитувати очима.
Інструмент читає лише перший збіг. Один скрипт брав перший елемент, що підходив під умову, і звітував про "один збіг" там, де їх було п'ять. Нуль чи одиниця від такого інструмента нічого не значать, доки не доведено, що він читає до кінця.
Запобіжник сліпий за своєю конструкцією. Один з наших скриптів перевіряв файли на запозичені формулювання, але витягував лише текст у лапках. Запозичений фрагмент у дужках залишався для нього невидимим. Зелений сигнал запобіжника доводить лише відсутність того класу проблем, який він здатен бачити, і нічого більше.
Порожній пошук не означає чистий результат. Відсутність виводу означає "не знайдено", а "не знайдено" так само може бути наслідком одруківки в запиті. Негативний результат приймається лише після того, як цей самий запит знайде щось, що там точно є.
Зелений до перевірки не є зеленим. Звіт "виправлено", написаний до запуску інструмента - це заява про намір, а не про стан. Ми звітуємо про стан.
Наше власне обмеження виглядає як чужий дефект. Обмеження частоти запитів на нашому боці в одному з вимірювань виглядало як збій зовнішнього сервісу. Перш ніж звинувачувати об'єкт вимірювання, перевірте, чи не вперся сам прилад у власну стелю.
Що спрацювало
Брати одиницю вимірювання з коду. Інструмент має брати одиницю вимірювання з коду, який він вимірює, а не вигадувати зручну для себе. Коли ми вимірювали, як далеко перевірка просувається реченням, часткові спроби запускалися тим самим механізмом, який використовує продукт. Саме тому отриманим числам можна було довіряти: шлях був шляхом продукту, а не його начерком.
Одна зміна на одне вимірювання. Між двома вимірюваннями змінюється рівно одна річ. Варіанти нумеруються, кожен відрізняється від попереднього однією правкою, і залишається лише переможець. Інакше неможливо сказати, яка саме правка дала результат, а яка спричинила витрати.
Зламаний інструмент відкликає свої показники. Коли виявляється, що прилад був несправним, кожне видане ним число публічно анулюється, включно зі зручними. Це не самобичування; це єдиний спосіб зберегти придатність записів для роботи.
Що залишається відкритим
У нас немає автоматичного кроку, який би перевіряв самі інструменти - такого, що вимагав би: "цей інструмент знайшов щось завідомо наявне, перш ніж ми повірили його нулю". Усе тримається на дисципліні того, хто запускає стенд, а це означає, що втомленого вечора цей крок пропустять. Як вбудувати це в кожен запуск, не подвоюючи вартість роботи стенда - питання відкрите.
Варто назвати й суміжне обмеження: прилад завжди вимірює той стан, з якого його викликали, а не той, який ви мали на увазі. Вимірювання, зняте з робочої копії, нічого не каже про опубліковану версію, а зелений результат на застарілих даних - це твердження про вчорашній день.
Усі статті
Безкоштовна практика для кожного правила
До кожного граматичного правила на сайті є тренажер. Він безкоштовний і не потребує реєстрації.