מאמרים

לנקוב במספר לפני שמודדים

המאמר הזה עוסק בחלק בשיטת העבודה שלנו שבאמת עובד, ובסיבה לכך שזה דווקא החלק הזה ולא חלק מתוחכם יותר.

המספר נרשם בפרוטוקול מראש

לפני שמריצים מדידה, אנחנו רושמים מה נמדד, באמצעות מה, לאיזה מספר אנחנו מצפים, ומהו טווח הסטייה המותר. רק אז מפעילים את הכלי.

זה לא טקס. רישום הציפייה מראש הוא מה שמפריד בין מדידה לבין התאמת התוצאות בדיעבד. ברגע שהמספר ידוע, אדם - וגם מודל שפה - מרחיבים בשקט את טווח הסטייה: "טוב, שש זה כמעט בטווח של שתיים עד שש". מכך נגזרות שלוש תוצאות, ושלושתן לא נוחות בכוונה.

קצה טווח הסטייה אינו פגיעה במטרה. תוצאה של שש מול ציפייה של שתיים עד שש מדווחת בשורה נפרדת, כקצה הטווח, ולא נבלעת בתוך "בטווח התקין".

החטאות מדווחות ראשונות. דוח נפתח במה שלא תאם את הציפייה. כל דבר אחר הופך את הדוח לפרסומת עבור מי שכתב אותו.

גם כישלון חזוי הוא תחזית. המשפט "הסרת הדרישה הזו תידחה על ידי שער הבקרה" נרשם לפני ההרצה, ושער הבקרה אכן דחה אותה. כישלון שנחזה במדויק שווה יותר מפגיעה שהושגה במזל: המשמעות היא שהמודל שיש לנו בראש לגבי התנהגות המערכת הוא נכון.

הממצא המועיל ביותר לגבי ההרגל הזה הוא שהחטאות התבררו כפוריות יותר מפגיעות. במקרה שתואר במאמר הקודם, זו הייתה תחזית שהחטיאה - "החלק הזה יזהה בין מקרה אחד לחמישה", והוא לא זיהה אף אחד - שחשפה את הגורם האמיתי לבעיה, שלא היה זה שהאבחנה המקורית הצביעה עליו.

שלושה שערי בקרה סביב כל שינוי

שום שינוי בבדיקה אינו מתקבל על סמך מספר אחד. ישנם שלושה שערי בקרה.

  • הבדיקה מזהה את השגיאה שעליה היא מופקדת: היא מופעלת על המשפטים השגויים המוכרים.
  • היא שומרת על שקט מול טקסט תקין: היא אינה מופעלת על גרסאות מתוקנות של אותם משפטים עצמם, ולא על הדוגמאות הקנוניות של כל כלל במפה, ויש כמה מאות כאלה.
  • היא שומרת על שקט מול פרוזה רגילה: המחיר נמדד בהתרעות שווא לאורך אוסף קבוע וגדול של טקסטים שפורסמו, והוא מצוין עבור כל שינוי - הן על האוסף ההיסטורי לצורכי השוואה, והן על האוסף המלא הנוכחי.

השער השלישי הוא זה שפוסל את רוב הבדיקות המועמדות, והוא זה שהכי קל היה לוותר עליו, משום שהוא היחיד שאי אפשר לעבור פשוט על ידי השקעת מאמץ נוסף.

מה שעדיין פתוח

המשמעת נשענת על האדם שמריץ את הבדיקות. שום דבר אינו מונע טכנית להריץ כלי בלי הצהרה מוקדמת; רק הכלל מונע זאת. היינו רוצים שהסירוב יהיה מובנה בתוך הכלי עצמו: אין מספרים מוצהרים, אין מדידה. לשם כך נדרש פורמט קריא-מכונה להצהרות שלא יהפוך שיחת עבודה לבירוקרטיה, ועדיין לא מצאנו כזה.

ישנו סיכון שני, שקט יותר. הרגל שמייצר דוחות לא נוחים נשמר רק כל עוד מישהו מוכן להרגיש לא בנוח. שלוש התוצאות שלעיל כתובות בדיוק מהסיבה הזו: כלל כתוב שורד שבוע רע טוב יותר מכוונה טובה.

כל המאמרים

תרגול בחינם לכל כלל

מאחורי כל כלל דקדוק באתר עומד כלי תרגול. הוא חינמי ולא מצריך הרשמה.

דיווח על תקלה

הדף שאתם נמצאים בו
/he/science/papers/measure-05-declarations.html he

הכי נוח לנו באנגלית, אבל כתבו בכל שפה שתרצו.

בדיווח נשלחים רק המילים שלכם, כתובת הדף והשפה. בלי צילום מסך, בלי יומנים, בלי חשבון. איננו יכולים להשיב על דיווח, ולכן אם דרושה תשובה - כתבו אל [email protected]