Документи
Назвіть число до того, як вимірювати
Ця стаття про ту частину нашої практики, яка працює, і про те, чому працює саме вона, а не якась хитріша.
Спочатку записуємо число
Перед запуском вимірювання ми записуємо, що саме вимірюємо, чим, яке число очікуємо отримати і з яким допуском. Тільки після цього вмикаємо інструмент.
Це не ритуал. Записане заздалегідь очікування відрізняє вимірювання від підгонки під відповідь. Коли число вже відоме, людина - як і мовна модель - непомітно розширює допуск: "ну, шість майже вкладається в діапазон від двох до шести". З цього випливають три наслідки, і всі три навмисно зроблені незручними.
Межа допуску не вважається влучанням. Результат "шість" при очікуванні "від двох до шести" виноситься в окремий рядок як граничний, а не ховається в загальне "в межах норми".
Промахи вказуються першими. Звіт починається з того, що не зійшлося. Будь-який інший порядок перетворює звіт на рекламу його автора.
Передбачений провал - це також прогноз. Фраза "зняття цієї вимоги не пройде фільтр" була записана до запуску, і фільтр це відхилив. Правильно передбачена невдача цінніша за випадкове влучання: вона означає, що ми правильно розуміємо поведінку системи.
Найкорисніше відкриття щодо цієї звички полягає в тому, що промахи виявилися продуктивнішими за влучання. У випадку, описаному в попередній статті, саме помилковий прогноз - "ця частина розпізнає від одного до п'яти випадків", а вона не розпізнала жодного - допоміг знайти справжнього винуватця, а не того, на якого вказував початковий діагноз.
Три фільтри для кожної зміни
Жодна зміна у перевірці не приймається на основі лише одного показника. Є три фільтри.
- Вона розпізнає цільову помилку: перевірка спрацьовує на відомих неправильних реченнях.
- Вона мовчить на правильному тексті: жодного спрацьовування на виправлених версіях тих самих речень і на еталонних прикладах до кожного правила на карті, яких є кілька сотень.
- Вона мовчить на звичайній прозі: ціна зміни вимірюється кількістю хибних тривог на великому фіксованому корпусі опублікованих текстів. Цей показник фіксується для кожної зміни - як на історичній вибірці для порівнянності, так і на поточному повному корпусі.
Саме третій фільтр відсіює більшість кандидатів у перевірки. І саме його найлегше було б пропустити, бо це єдиний етап, який неможливо пройти просто за рахунок більшої старанності.
Що залишається відкритим
Дисципліна тримається на людині, яка проводить тестування. Технічно ніщо не заважає запустити інструмент без попередньої декларації - заважає лише правило. Ми хотіли б вбудувати цю відмову в сам інструмент: немає заявлених чисел - немає вимірювання. Для цього потрібен машиночитаний формат декларацій, який не перетворював би робочу розмову на паперову тяганину, і ми його ще не знайшли.
Є й другий, менш помітний ризик. Звичка, яка породжує незручні звіти, зберігається лише доти, доки хтось готовий терпіти цей дискомфорт. Три наслідки, описані вище, зафіксовані письмово саме з цієї причини: правило на папері переживає важкий тиждень краще, ніж добрий намір.
Усі статті
Безкоштовна практика для кожного правила
До кожного граматичного правила на сайті є тренажер. Він безкоштовний і не потребує реєстрації.