Публикации

Честный знаменатель

Любая доля стоит ровно столько, сколько стоит ее знаменатель. "Проверка ловит 14 процентов случаев", "она узнает одно место из трех" - такие фразы кажутся измерениями, и большинство наших неверных выводов о собственной системе были ошибками в знаменателе, а не в числителе.

Четыре способа ошибиться в знаменателе

Он щедрее, чем на самом деле. Для одного правила инструмент сбора нашел семь мест с этой ошибкой. Когда мы их прочитали, оказалось, что в трех из семи предложение учащегося уже содержало нужное слово: настоящая ошибка там относилась к соседнему правилу, а поиск просто зацепил стоящее рядом исправление. То есть проверка "промолчала в семи местах", но ее собственных среди них было меньше семи. Доля, чей знаменатель никто не прочитал глазами, - это шум.

Нулевая полнота не означает нулевую точность. Проверка, которая не распознала ни одного реального случая, может безупречно вести себя в обратную сторону: молчать на правильном тексте. Это разные оси. Когда их смешивали, получались выводы вроде "эта проверка мертва", хотя не работала только одна из двух ее сторон.

Низкая доля иногда означает честную редкость. Прежде чем чинить проверку, которая срабатывает в двух случаях из ста, нужно измерить потолок самого правила: как часто в текстах этого уровня вообще возникает повод для такой ошибки. Если повод появляется три раза на сотню работ, то два процента могут быть честным результатом, а "починка" принесет только ложные срабатывания.

Приросты на разных базах не складываются. Улучшение, измеренное на одной подборке текстов, нельзя прибавлять к числу, полученному на другой. Семейства ошибок пересекаются, поэтому сумма долей по отдельным семействам превышает целое. Сравнивать можно только числа с общим знаменателем, и мы не раз ловили себя на нарушении этого правила.

Четвертый исход

Обычно у грамматической конструкции три исхода: использована правильно, использована с ошибкой или перепутана с соседним правилом. Но есть и четвертый, который мы нигде не считаем. Учащийся вообще избегает конструкции и перефразирует мысль в обход нее.

Для любого преподавателя это самостоятельный сигнал: правило, которого систематически избегают, не усвоено, что бы ни говорили счетчики ошибок. Сделать счетчик для избегания труднее, чем искать ошибки, потому что для этого нужно распознать место, где конструкция была бы уместна, но не появилась. У нас нет для этого инструмента, а хотелось бы.

Что сработало

Маленький знаменатель читают целиком, а не выборочно. Если мест около десяти или меньше, прочитываются все, а доля в отчете сопровождается разбором каждого случая по ролям слов. Крупные семейства читаются выборочно, и размер выборки растет вместе с общим числом находок, а не застревает на удобных пяти примерах.

Каждая доля приносится с примером. Число без хотя бы одного разобранного случая в отчет не принимается. Крайний случай не делает правила, но правило без единого примера не измерено.

Что остается открытым

Чтобы сделать сбор примеров достаточно точным и не пускать соседние ошибки в знаменатель правила, нужно менять сам инструмент сбора, а значит, строить отдельные фильтры уже для него. А описанного выше счетчика избегания просто не существует. Пока его нет, любой публикуемый нами показатель полноты говорит лишь о тех случаях, которые мы способны увидеть, а не о языке, который на самом деле порождает учащийся.

Все статьи

Бесплатная практика для каждого правила

К каждому грамматическому правилу на сайте есть тренажер. Он бесплатный и работает без регистрации.

Сообщить об ошибке

Страница, на которой вы находитесь
/ru/science/papers/measure-03-denominator.html ru

Нам проще всего по-английски, но пишите на любом языке.

В обращении уходят только ваши слова, адрес страницы и язык. Ни снимка экрана, ни журналов, ни учётной записи. Ответить на обращение мы не можем, поэтому если нужен ответ - напишите на [email protected]