Документи

Що може і чого не може поверхнева форма

Більшість наших автоматичних перевірок працюють із поверхневою формою: будовою фрази, порядком слів, формою дієслова. Це дешево, швидко й легко пояснити - коли така перевірка спрацьовує, причину можна викласти студенту одним реченням. Але цей підхід має чітку межу, і користь останніх місяців полягала в тому, що ми навчилися виражати цю межу в цифрах, а не сперечатися про неї.

Де форма перестає працювати

Форма помилки часто збігається з правильною формою мови. Візьмімо реальну помилку тих, хто вивчає мову: просте дієслово після модального там, де потрібен перфект, як у вигаданому прикладі "he could pass the exam last year" замість "could have passed". Перевірка, налаштована на таку конструкцію, бездоганно розпізнає помилку. Водночас вона спрацьовує на сотнях абсолютно правильних речень у звичайній опублікованій прозі, бо ця сама конструкція в англійській мові трапляється на кожному кроці. Самою лише формою цю помилку не перекрити. Ми порахували ціну такого рішення, зафіксували її та відхилили перевірку.

Вимога кінця фрази відсікає живі приклади. Якщо звузити перевірку так, щоб вона спрацьовувала лише в кінці речення, вона перестає бачити помилку в реальних текстах, де далі завжди щось іде. Якщо ж прибрати цю вимогу, перевірка починає спрацьовувати на наших власних правильних реченнях. Річ у тім, що англійське слово в одному місці може бути іменником, а в іншому - дієсловом, як у вигаданому "told us help is coming", де "help" є іменником, а наша система сприймає його як дієслово.

Список слів, складений вручну, мовчить про те, чого в ньому немає. Дві перевірки пропускали реальні помилки лише тому, що потрібного дієслова не було в списку, зібраному вручну. Список, написаний під типові приклади з правила, систематично не охоплюватиме лексику живого письма.

Сусідні слова - це не синтаксис. Наші перевірки порівнюють слова, що стоять поруч. Вони не бачать меж підрядних речень, підмета в підрядній частині чи зміщеного додатка. Коли ми одного разу дозволили більший розрив між двома частинами шаблону, всередину потрапила частина зовсім іншого речення в межах того самого.

Що спрацювало

Додати вимогу замість того, щоб прибирати її. У згаданому вище випадку рішенням було не послабити перевірку, а вимагати певного типу слова після дієслова: такого, що вживається після перехідного дієслова і не вживається після іменника в тій самій позиції. Перевірка почала бачити реальні помилки, запобіжники хибних спрацьовувань залишилися зеленими, а виміряна похибка на нашій еталонній базі звичайної прози склала лише одне хибне спрацьовування - у цитаті з прямою мовою.

Виміряти частини перед тим, як лагодити ціле. Перш ніж змінювати перевірку, ми запускаємо її по частинах і дивимося, де саме губляться приклади: "перша частина бачить шість із семи, а та, що звіряється зі списком слів, - жодного". Справжній винуватець отримує числову оцінку ще до внесення правок, тож ми виправляємо саме його, а не перевіряємо першу-ліпшу правдоподібну здогадку. У тому конкретному випадку здогадка була хибною, а цифри не підвели.

Відмова з названою ціною - це теж результат. Там, де форма не може перекрити помилку, перевірка мовчить, а причина і ціна альтернативних рішень записуються. Це чесніше, ніж перевірка, яка спрацьовує на кожному десятому правильному реченні студента, і тепер ми насамперед обираємо саме таке рішення.

Що залишається відкритим

Наші борги відомі поіменно: це десятки випадків, де помилка визначається синтаксисом, а не сусідніми словами. Для деяких правил повноту охоплення в принципі неможливо виміряти за формою, бо за тією самою послідовністю слів стоять дві різні структури.

Вихід - додати синтаксичний парсер до наявної системи. Але це також нова залежність і новий клас інструментів для її контролю, бо парсер помилятиметься по-своєму, і каталог цих помилок ще не складено.

Усі статті

Безкоштовна практика для кожного правила

До кожного граматичного правила на сайті є тренажер. Він безкоштовний і не потребує реєстрації.

Повідомити про проблему

Сторінка, на якій ви перебуваєте
/uk/science/papers/measure-04-form.html uk

Нам найлегше англійською, але пишіть будь-якою мовою.

У зверненні йдуть лише ваші слова, адреса сторінки та мова. Ні знімка екрана, ні журналів, ні облікового запису. Відповісти на звернення ми не можемо, тож якщо потрібна відповідь - напишіть на [email protected]