Документи
Судді, вартові та те, що ми досі не вміємо вимірювати
Не все можна виміряти за формою фрази. Там, де потрібно оцінити зміст - чи вдалий текст, чи доречна конструкція, чи правильний стиль - ми ставимо автоматичного суддю. Навколо самого вимірювального стенда стоять вартові: вони стежать за секретами, за контрактами, за запозиченими формулюваннями. Судді та вартові - це теж інструменти, і вони помиляються по-своєму.
Де вони помилялися
Відмова стає вердиктом щодо змісту. Коли суддя відмовляється відповідати - через перевантаження, фільтр або перевищення часу очікування - конвеєр без спеціальної обробки записує цю відмову як оцінку, зазвичай низьку. Тоді речення студента отримує вердикт, якого ніхто ніколи не виносив. Рішення полягає в тому, щоб вимірювати обидва потоки окремо: частку відмов і розподіл реальних оцінок. Відмова - це рядок у статистиці, а не думка.
Час очікування, виставлений за середнім значенням, перетворює хвіст розподілу на відмови. Якщо встановити ліміт очікування за середнім часом відповіді, повільний хвіст розподілу перетвориться на систематичні відмови, які - без урахування попереднього правила - стануть систематичними низькими оцінками.
Вартовий може бути сліпим через власну конструкцію. Вартовий, який перевіряє наші тексти на запозичені формулювання, витягує лише уривки в лапках. Фрагмент у дужках, без лапок, для нього невидимий. Ми спіймали один такий випадок вручну за годину до того, як він потрапив би до репозиторію. Тепер ця сліпа пляма записана в документації самого вартового, бо доки її там не було, зелене світло від нього створювало хибну впевненість - а це найгірший стан, у якому може перебувати інструмент.
Незафіксована вибірка сповзає до легких випадків. Якщо об'єкту вимірювання дозволити самому обирати, на чому його вимірюють, вибірка непомітно зміщується в бік легких завдань, і показник успішності зростає без жодного покращення якості. Незафіксована міра сама по собі є дефектом: вибірку має фіксувати хтось інший, а не об'єкт вимірювання.
Автоматичному редагуванню стилю не можна довіряти поодинці. Один суддя стилю помиляється безсистемно, тому його слова недостатньо, щоб змінювати текст. Працює згода між двома незалежними голосами: на парах, які ми вимірювали, частка хибних тривог падає на порядок. Один голос може лише ставити прапорець, але ніколи не редагувати.
Що спрацювало
- Конвеєри, які використовують суддів, рахують відмови окремо від вердиктів, а частка відмов є обов'язковим рядком у звіті.
- Зміни на основі автоматичної вичитки вимагають згоди двох голосів.
- Вартові мають письмову примітку про сліпі плями: чого саме цей вартовий не бачить через свою конструкцію. Зелене світло читається разом із цією приміткою.
Програма, яку ми ще не виконали
Вибірка, розмічена наосліп. Повноту виявлення наших перевірок ніколи не вимірювали на текстах, розмічених людиною, яка не бачила цих перевірок. Без цього те, що ми називаємо повнотою, є повнотою на місцях, які знайшли наші власні інструменти, тобто мірою того, наскільки наші інструменти погоджуються самі з собою.
Калібрування судді письмових робіт на еталонній колекції, оціненій людьми, щоб його вердикти лягали на людську шкалу, а не на його власну.
Синтез помилок для правил, де в зібраному матеріалі немає природних прикладів. Синтетичні приклади дозволили б нам виміряти повноту там, де природа мовчить, але спершу треба показати, що синтетична помилка відповідає природній, а для такого доведення потрібен власний інструмент.
Вимірювальний стенд ніколи не буває завершеним. Кожен новий інструмент приносить власні способи брехати, і єдина реальна надія полягає в тому, що каталог брехні зростатиме повільніше, ніж каталог інструментів.
Усі статті
Безкоштовна практика для кожного правила
До кожного граматичного правила на сайті є тренажер. Він безкоштовний і не потребує реєстрації.