מאמרים
שופטים, שומרים ומה שעדיין איננו יכולים למדוד
לא כל דבר אפשר למדוד לפי צורת הביטוי. במקומות שבהם נדרש שיפוט של משמעות - האם קטע כתיבה הוא טוב, האם מבנה תחבירי מתאים להקשרו, האם הסגנון נכון - אנחנו מציבים שופט אוטומטי. סביב עמדת המדידה עצמה ניצבים שומרים: נגד דליפת סודות, נגד הפרת חוזי ממשק, נגד ניסוחים שאולים. גם שופטים ושומרים הם מכשירי מדידה, ויש להם דרכים משלהם לטעות.
איפה הם טעו
סירוב להשיב הופך לפסק דין על התוכן. כששופט מסרב לענות - בגלל עומס, מסנן או חריגה מזמן ההמתנה - צינור עיבוד ללא טיפול מיוחד רושם את הסירוב כציון, לרוב ציון נמוך. המשפט של הלומד מקבל אז פסק דין שאיש מעולם לא גזר עליו. התרופה היא למדוד את שתי הדלתות בנפרד: את שיעור הסירובים ואת התפלגות הציונים האמיתיים. סירוב הוא שורה בסטטיסטיקה, לא חוות דעת.
זמן המתנה מרבי שמכויל לפי הממוצע הופך את הזנב לסירובים. אם קובעים את זמן ההמתנה המרבי לפי זמן התגובה הממוצע, הזנב האיטי של ההתפלגות הופך לסירובים שיטתיים, ואלה - בהיעדר הלקח הקודם - הופכים לציונים נמוכים שיטתיים.
שומר יכול להיות עיוור מתוך עצם המבנה שלו. השומר שבודק בטקסטים שלנו אם יש בהם ניסוחים שאולים מחלץ רק קטעים שמופיעים בתוך מרכאות. קטע בסוגריים, ללא מרכאות, שקוף לו לחלוטין. תפסנו מקרה כזה בבדיקה ידנית, שעה לפני שהיה נכנס למאגר הקוד. הנקודה העיוורת הזו כתובה כעת בתיעוד של השומר עצמו, משום שעד שנכתבה שם, אור ירוק מהשומר הזה יצר ביטחון כוזב, וזה המצב הגרוע ביותר שמכשיר מדידה יכול להימצא בו.
מדד פתוח נסחף לעבר מקרים קלים. אם מתירים לדבר הנמדד לבחור על מה יימדד, המדגם מחליק בשקט אל הקצה הקל ושיעור ההצלחה עולה בלי שום שיפור באיכות. מדד פתוח הוא פגם בפני עצמו: המדגם חייב להיקבע בידי גורם חיצוני למושא המדידה.
אי אפשר לסמוך על הגהה אוטומטית של סגנון לבדה. שופט סגנון יחיד טועה באופן לא שיטתי, ולכן המילה שלו אינה מספיקה כדי לשנות טקסט. מה שעובד הוא הסכמה בין שני קולות בלתי תלויים; בצמדים שמדדנו, שיעור התראות השווא צונח בסדר גודל שלם. קול בודד רשאי לסמן בעיה, לעולם לא לערוך.
מה עבד
- צינורות עיבוד שמשתמשים בשופטים סופרים סירובים בנפרד מפסקי דין, ושיעור הסירובים הוא שורת חובה בדוח.
- שינויים שמבוססים על הגהה אוטומטית דורשים הסכמה של שני קולות.
- לשומרים מצורפת הערת נקודה עיוורת כתובה: מה השומר הזה אינו יכול לראות מתוך עצם המבנה שלו. את האור הירוק קוראים יחד עם ההערה הזו.
התוכנית שעדיין לא ביצענו
מדגם מתוייג באופן עיוור. שיעור האיתור של הבדיקות שלנו מעולם לא נמדד מול טקסטים שתוייגו בידי אדם שלא ראה את הבדיקות עצמן. בלי זה, מה שאנחנו מכנים שיעור איתור הוא איתור במקומות שהכלים שלנו עצמם מצאו, וזהו מדד למידה שבה הכלים שלנו מסכימים עם עצמם.
כיול של שופט הכתיבה מול אוסף ייחוס שדורג בידי בני אדם, כדי שפסקי הדין שלו ישבו על סולם אנושי ולא על סולם משלו.
סינתזה של שגיאות עבור כללים שבהם החומר שנאסף אינו מכיל מקרים טבעיים. מקרים מלאכותיים יאפשרו לנו למדוד את שיעור האיתור במקומות שבהם הטבע שותק, אבל קודם יש להוכיח ששגיאה מלאכותית אכן מייצגת שגיאה טבעית, וההוכחה הזו דורשת מכשיר מדידה משלה.
עמדת מדידה לעולם אינה שלמה. כל מכשיר חדש מביא איתו דרכים משלו לשקר, והתקווה הממשית היחידה היא שקטלוג השקרים יגדל לאט יותר מקטלוג המכשירים.
כל המאמרים
תרגול בחינם לכל כלל
מאחורי כל כלל דקדוק באתר עומד כלי תרגול. הוא חינמי ולא מצריך הרשמה.