מאמרים

מה שהצורה החיצונית יכולה ואינה יכולה להכריע

רוב הבדיקות האוטומטיות שלנו עובדות על הצורה החיצונית של הטקסט: מבנה הצירוף, סדר המילים, הצורה שהפועל מקבל. זו גישה זולה, מהירה וניתנת להסבר - כשבדיקה כזו מופעלת, אפשר להסביר את הסיבה במשפט אחד למי שכתב את הטקסט. יש לה גם תקרת זכוכית קשיחה, והחלק המועיל בחודשים האחרונים היה ללמוד להצמיד לתקרה הזו מספר במקום להתווכח עליה.

איפה שהצורה כבר לא מספיקה

התבנית של שגיאה היא לא פעם תבנית חוקית בשפה. קחו לדוגמה שגיאה אמיתית של לומדים: פועל בצורת הבסיס אחרי פועל מודאלי במקום שבו נדרש זמן מושלם (perfect), כמו בדוגמה המומצאת "he could pass the exam last year" במקום "could have passed". בדיקה שמבוססת על התבנית הזו מזהה את השגיאה באופן מושלם. היא גם קופצת על מאות משפטים תקינים לחלוטין בטקסטים רגילים שיצאו לאור, פשוט כי אותה תבנית בדיוק נמצאת בכל מקום באנגלית. אי אפשר לתפוס את השגיאה הזו על סמך הצורה בלבד. מדדנו את המחיר, קראנו לו בשם, ופסלנו את הבדיקה.

הדרישה שהצירוף יעמוד בסוף משפט חותכת החוצה מקרים אמיתיים. אם נצמצם את הבדיקה כך שתפעל רק בסוף משפט, היא תפסיק לזהות את השגיאה בכתיבה אמיתית, שבה תמיד מופיע המשך. אם נסיר את הדרישה הזו, הבדיקה תתחיל לקפוץ על משפטים תקינים משלנו, כי מילה באנגלית יכולה להיות שם עצם במקום אחד ופועל במקום אחר, כמו בדוגמה המומצאת "told us help is coming", שבה "help" הוא שם עצם אבל המערכת שלנו מכירה אותו כפועל.

רשימת מילים שנכתבה ידנית שותקת לגבי מה שאין בה. שתי בדיקות לא התריעו על מקרים אמיתיים מהסיבה הפשוטה שהפועל הרלוונטי היה חסר ברשימה שהורכבה ידנית. רשימה שנכתבה כדי לכסות את הדוגמאות הקלאסיות של כלל דקדוקי תיכשל באופן שיטתי מול אוצר המילים של כתיבה אמיתית.

מילים סמוכות אינן תחביר. הבדיקות שלנו משוות מילים שעומדות זו לצד זו. הן לא רואות גבולות של פסוקיות, את הנושא של פסוקית משועבדת, או מושא שהוזז ממקומו. כשהגדלנו פעם את המרווח המותר בין שני חלקים של תבנית, נכנסה פנימה פסוקית שהייתה שייכת בכלל למשפט אחר בתוך אותו משפט.

מה כן עבד

להוסיף דרישה במקום להסיר דרישה. במקרה שתואר למעלה, הפתרון לא היה להגמיש את הבדיקה אלא לדרוש סוג מסוים של מילה אחרי הפועל: כזו שמופיעה אחרי פועל יוצא ולא מופיעה אחרי שם עצם באותה עמדה. הבדיקה חזרה לתפוס מקרים אמיתיים, מדדי השקט על משפטים תקינים נשארו ירוקים, והמחיר שמדדנו על מאגר הייחוס שלנו - שכולל פרוזה רגילה - היה התרעת שווא בודדת, בשורה מצוטטת בדיבור ישיר.

למדוד את החלקים לפני שמתקנים את השלם. לפני שאנחנו משנים בדיקה, אנחנו מריצים גרסאות חלקיות שלה ורואים איזה חלק מאבד את המקרים: "החלק הראשון מזהה שישה מתוך שבעה, החלק שניגש לרשימת המילים לא מזהה אף אחד". האשם האמיתי מקבל מספר עוד לפני שנוגעים בקוד, וכך התיקון מכוון אליו במקום אל ההשערה הסבירה הראשונה. במקרה הספציפי ההוא ההשערה הייתה שגויה והמספר צדק.

ויתור עם תג מחיר נקוב הוא תוצאה. במקום שבו הצורה אינה יכולה להכריע, הבדיקה שותקת, והסיבה לכך מתועדת יחד עם המחיר של החלופות. זה הוגן יותר מבדיקה שקופצת על כל משפט תקין עשירי שהלומד כותב, וזו ההחלטה שאנחנו פונים אליה כיום בעדיפות ראשונה.

מה שעדיין פתוח

החוב מוכר ומתועד: עשרות מקרים שבהם השגיאה מוגדרת על ידי התחביר ולא על ידי מילים סמוכות. עבור חלק מהכללים, אי אפשר למדוד כיסוי (recall) על סמך הצורה אפילו ברמה העקרונית, כי אותה צורה נושאת שני מבנים שונים.

הדרך החוצה עוברת במנתח תחבירי (syntactic parser) שיעבוד לצד המנגנון הקיים. המשמעות היא גם תלות חדשה ומשפחה חדשה של כלי בדיקה שיפקחו עליו, כי גם למנתח תחבירי יהיו דרכים משלו לטעות, והקטלוג הזה טרם נכתב.

כל המאמרים

תרגול בחינם לכל כלל

מאחורי כל כלל דקדוק באתר עומד כלי תרגול. הוא חינמי ולא מצריך הרשמה.

דיווח על תקלה

הדף שאתם נמצאים בו
/he/science/papers/measure-04-form.html he

הכי נוח לנו באנגלית, אבל כתבו בכל שפה שתרצו.

בדיווח נשלחים רק המילים שלכם, כתובת הדף והשפה. בלי צילום מסך, בלי יומנים, בלי חשבון. איננו יכולים להשיב על דיווח, ולכן אם דרושה תשובה - כתבו אל [email protected]