Документи

Назвіть число до того, як вимірювати

Ця стаття про ту частину нашої практики, яка працює, і про те, чому працює саме вона, а не якась хитріша.

Спочатку записуємо число

Перед запуском вимірювання ми записуємо, що саме вимірюємо, чим, яке число очікуємо отримати і з яким допуском. Тільки після цього вмикаємо інструмент.

Це не ритуал. Записане заздалегідь очікування відрізняє вимірювання від підгонки під відповідь. Коли число вже відоме, людина - як і мовна модель - непомітно розширює допуск: "ну, шість майже вкладається в діапазон від двох до шести". З цього випливають три наслідки, і всі три навмисно зроблені незручними.

Межа допуску не вважається влучанням. Результат "шість" при очікуванні "від двох до шести" виноситься в окремий рядок як граничний, а не ховається в загальне "в межах норми".

Промахи вказуються першими. Звіт починається з того, що не зійшлося. Будь-який інший порядок перетворює звіт на рекламу його автора.

Передбачений провал - це також прогноз. Фраза "зняття цієї вимоги не пройде фільтр" була записана до запуску, і фільтр це відхилив. Правильно передбачена невдача цінніша за випадкове влучання: вона означає, що ми правильно розуміємо поведінку системи.

Найкорисніше відкриття щодо цієї звички полягає в тому, що промахи виявилися продуктивнішими за влучання. У випадку, описаному в попередній статті, саме помилковий прогноз - "ця частина розпізнає від одного до п'яти випадків", а вона не розпізнала жодного - допоміг знайти справжнього винуватця, а не того, на якого вказував початковий діагноз.

Три фільтри для кожної зміни

Жодна зміна у перевірці не приймається на основі лише одного показника. Є три фільтри.

  • Вона розпізнає цільову помилку: перевірка спрацьовує на відомих неправильних реченнях.
  • Вона мовчить на правильному тексті: жодного спрацьовування на виправлених версіях тих самих речень і на еталонних прикладах до кожного правила на карті, яких є кілька сотень.
  • Вона мовчить на звичайній прозі: ціна зміни вимірюється кількістю хибних тривог на великому фіксованому корпусі опублікованих текстів. Цей показник фіксується для кожної зміни - як на історичній вибірці для порівнянності, так і на поточному повному корпусі.

Саме третій фільтр відсіює більшість кандидатів у перевірки. І саме його найлегше було б пропустити, бо це єдиний етап, який неможливо пройти просто за рахунок більшої старанності.

Що залишається відкритим

Дисципліна тримається на людині, яка проводить тестування. Технічно ніщо не заважає запустити інструмент без попередньої декларації - заважає лише правило. Ми хотіли б вбудувати цю відмову в сам інструмент: немає заявлених чисел - немає вимірювання. Для цього потрібен машиночитаний формат декларацій, який не перетворював би робочу розмову на паперову тяганину, і ми його ще не знайшли.

Є й другий, менш помітний ризик. Звичка, яка породжує незручні звіти, зберігається лише доти, доки хтось готовий терпіти цей дискомфорт. Три наслідки, описані вище, зафіксовані письмово саме з цієї причини: правило на папері переживає важкий тиждень краще, ніж добрий намір.

Усі статті

Безкоштовна практика для кожного правила

До кожного граматичного правила на сайті є тренажер. Він безкоштовний і не потребує реєстрації.

Повідомити про проблему

Сторінка, на якій ви перебуваєте
/uk/science/papers/measure-05-declarations.html uk

Нам найлегше англійською, але пишіть будь-якою мовою.

У зверненні йдуть лише ваші слова, адреса сторінки та мова. Ні знімка екрана, ні журналів, ні облікового запису. Відповісти на звернення ми не можемо, тож якщо потрібна відповідь - напишіть на [email protected]