מאמרים

הקורפוס שעליו מדדתם הוא חלק ממכשיר המדידה

הצהרה כמו "אפס התראות שווא על פרוזה רגילה" היא חסרת משמעות ללא תשובה לשאלה "איזו פרוזה". אוסף הטקסטים שעליו התבצעה המדידה הוא חלק ממכשיר המדידה לא פחות מהקוד עצמו. למדנו זאת בדרך שבה לומדים דברים כאלה בדרך כלל: איבדנו שני אוספים בבת אחת.

מה קרה

בשלב מוקדם של העבודה מדדנו את המחיר של שינויים מול אוסף של קטעי פרוזה, ואת קו הבסיס של ספי הסינון שלנו מול קבוצה של דוגמאות קנוניות של הכללים. אף אחד משני האוספים לא נשמר כקובץ. מה ששרד הם רק המספרים בדוחות.

היה צורך להשוות שינויים חדשים לאותם אפסים ישנים, אבל המכנה של האפסים הישנים איננו. מאחר שהשוואה מול אוסף אחר אינה לגיטימית - זהו נושא המאמר השלישי - הבחירה הייתה בין להכריז שהמספרים הישנים אינם בני השוואה ולאבד את ההיסטוריה, לבין לשחזר את האוספים במדויק.

מה עבד

שחזור מובנה, לא הסתמכות על הזיכרון. הרכבת אוסף הפרוזה היא דטרמיניסטית: קובץ הגדרות מפרט את המקורות, וסקריפט חותך אותם לקטעים לפי כללים קבועים. לא כל המקורות שברשימה היו קיימים עדיין. ההשערה הייתה שהאוסף הישן הופק מתת-הקבוצה שהייתה זמינה באותו זמן. הרצת תהליך ההרכבה על תת-הקבוצה הזו הניבה בדיוק 7,773 קטעים - אותו מספר שהופיע בדוחות הישנים. ההתאמה המדויקת במספר הקטעים היא כשלעצמה ההוכחה להרכב האוסף. האפסים הישנים חזרו להיות בני השוואה.

להשלים את האוסף, לעולם לא להחליף אותו. המקורות החסרים נשלפו מחדש והאוסף גדל ל-34,470 קטעים. כעת אנו מדווחים על שני המחירים עבור כל שינוי: על תת-הקבוצה ההיסטורית, לצורך השוואה לתיעוד הקיים, ועל האוסף המלא, כקו הבסיס הנוכחי. החלפת הראשון בשני הייתה מוחקת את היכולת לקרוא את ההיסטוריה שלנו.

קו הבסיס המשוחזר נעשה מחמיר יותר, לא מקל יותר. במקום הקבוצה האבודה של דוגמאות קנוניות שכיסתה כמה עשרות כללים, הרכבנו 493 דוגמאות המכסות 162 כללים, שנלקחו מתוך המקור שממנו בנויה מפת הכללים עצמה. קו הבסיס על הקבוצה החדשה תאם לזה הישן, עד למקרה האדום היחיד שהיה מוכר. הרחבת הכיסוי לא שברה את ההיסטוריה, וזו הראיה היחידה לכך שההרחבה נעשתה נכון.

חומר הגלם לא חייב לשבת במאגר הקוד. המקורות גדולים וניתן לשלוף אותם מחדש. מה שנשמר בבקרת הגרסאות הוא קובץ ההגדרות, סקריפט ההרכבה ומספרי טביעת האצבע. זה מספיק לכל אחד כדי לבנות מחדש בדיוק את אותו אוסף.

הכללים שנבעו מכך

  • כל מדידה מציינת תמיד את שם האוסף ואת גודלו.
  • לאוסף מוסיפים, לעולם לא מחליפים אותו: ההרכב הישן נשאר ניתן לשחזור, והרחבה מוסיפה נתון שני במקום לדרוס את הראשון.
  • מרכיב דטרמיניסטי, קובץ הגדרות וספירת טביעת אצבע הם הערכה המינימלית ליכולת שחזור. שמירת האוסף עצמו כקובץ היא רשות ברגע שהערכה שלמה.

מה עדיין פתוח

את צד הלומדים במערכת הבדיקה אי אפשר לשחזר בדרך הזו. טקסטים שكتבו לומדים אינם מועתקים לבקרת הגרסאות; מה שמשמש שם כאוסף הוא קבוצת הפניות למקומות באחסון, והפניות הן שבריריות יותר מטביעת אצבע. לא ניתן להבחין בין הפניה שזזה לבין הפניה שמעולם לא הייתה נכונה.

איך להפוך מדידות על כתיבה של לומדים לניתנות לשחזור כמו מדידות על פרוזה שיצאה לאור היא שאלה פתוחה, והיא זו שמגבילה כרגע את המידה שבה אנו סומכים על מספרי ה-recall שלנו.

כל המאמרים

תרגול בחינם לכל כלל

מאחורי כל כלל דקדוק באתר עומד כלי תרגול. הוא חינמי ולא מצריך הרשמה.

דיווח על תקלה

הדף שאתם נמצאים בו
/he/science/papers/measure-06-base.html he

הכי נוח לנו באנגלית, אבל כתבו בכל שפה שתרצו.

בדיווח נשלחים רק המילים שלכם, כתובת הדף והשפה. בלי צילום מסך, בלי יומנים, בלי חשבון. איננו יכולים להשיב על דיווח, ולכן אם דרושה תשובה - כתבו אל [email protected]