Документи
Чесний знаменник
Кожна частка варта рівно стільки, скільки вартий її знаменник. "Перевірка ловить 14 відсотків випадків", "вона розпізнає одне місце з трьох" - такі фрази звучать як вимірювання, і більшість наших хибних оцінок власної системи були помилками в знаменнику, а не в чисельнику.
Чотири способи помилитися зі знаменником
Він більший, ніж насправді. Для одного правила інструмент збору знайшов сім місць із помилкою. Коли ми їх перечитали, виявилося, що в трьох із семи речення студента вже містило потрібне слово: реальна помилка там належала сусідньому правилу, а пошук просто зачепив виправлення поруч із ним. Отже, перевірка "промовчала в семи місцях", хоча її власних там було менше семи. Частка, чий знаменник ніхто не читав очима - це шум.
Нульова повнота - це не нульова точність. Перевірка, яка не розпізнала жодного реального випадку, може бездоганно поводитися в інший бік: мовчати на правильному тексті. Це різні осі. Коли ми їх змішували, виходили висновки на кшталт "ця перевірка мертва", хоча не працював лише один із двох її боків.
Низька частка іноді просто відображає рідкісність. Перш ніж лагодити перевірку, яка спрацьовує у двох випадках зі ста, треба виміряти стелю самого правила: як часто взагалі виникає привід для такої помилки в текстах цього рівня. Якщо нагода трапляється тричі на сто робіт, то два відсотки можуть бути чесним результатом, а "ремонт" принесе лише хибні спрацьовування.
Прирости з різних баз не додаються. Покращення, виміряне на одній вибірці, не можна додавати до числа, отриманого на іншій. Групи помилок перетинаються, тому сума часток за групами перевищує ціле. Порівнювати можна лише числа зі спільним знаменником, і ми не раз ловили себе на порушенні цього правила.
Четвертий варіант
Зазвичай для мовної конструкції розглядають три варіанти: вжито правильно, вжито з помилкою або сплутано із сусіднім правилом. Але є й четвертий, і ми його ніде не рахуємо. Студент взагалі уникає конструкції і перефразовує думку в обхід неї.
Для кожного, хто навчає, це окремий сигнал: правило, якого систематично уникають, не засвоєне, що б там не показували лічильники помилок. Зробити лічильник для уникнення складніше, ніж шукати помилки, бо для цього треба розпізнати місце, де конструкція була б доречною, але її не вжили. У нас немає для цього інструменту, а хотілося б мати.
Що спрацювало
Малий знаменник читають повністю, а не вибірково. Якщо місць до десяти, ми вичитуємо їх усі, а частку подаємо разом із розбором кожного випадку за роллю, яку в ньому відіграють слова. Більші групи читаємо вибірково, причому вибірка зростає пропорційно до загальної кількості знахідок, а не зупиняється на зручних п'яти прикладах.
Кожна частка супроводжується прикладом. Число без принаймні одного розібраного випадку у звіт не приймається. Крайній випадок - це не правило, але правило без жодного прикладу - це не вимірювання.
Що залишається відкритим
Щоб зробити збір достатньо точним і не пускати сусідні помилки в знаменник правила, потрібно змінювати сам інструмент збору, а йому тоді знадобляться власні запобіжники. А описаного вище лічильника для уникнення взагалі не існує. Поки його немає, кожен опублікований нами показник повноти описує лише ті випадки, які ми здатні побачити, а не мову, якою студент користується насправді.
Усі статті
Безкоштовна практика для кожного правила
До кожного граматичного правила на сайті є тренажер. Він безкоштовний і не потребує реєстрації.