เอกสารวิชาการ
ชุดข้อมูลที่คุณใช้วัดผลคือส่วนหนึ่งของเครื่องมือ
คำว่า "ไม่มีการแจ้งเตือนผิดพลาดในงานเขียนทั่วไป" จะไร้ความหมายทันทีหากตอบไม่ได้ว่า "งานเขียนชิ้นไหน" ชุดข้อมูลที่นำมาใช้วัดผลถือเป็นส่วนหนึ่งของเครื่องมือวัดไม่ต่างจากโค้ดของระบบ เราเรียนรู้เรื่องนี้ด้วยวิธีที่คนส่วนใหญ่มักจะได้เรียนรู้ นั่นคือการทำชุดข้อมูลหายไปพร้อมกันถึงสองชุด
เกิดอะไรขึ้น
ในช่วงแรกของการทำงาน เราวัดผลกระทบของการแก้ไขระบบโดยเทียบกับชุดข้อความตัวอย่างจากงานเขียนทั่วไป และวัดค่าพื้นฐานของเกณฑ์คัดกรองโดยเทียบกับชุดประโยคตัวอย่างมาตรฐานของกฎแต่ละข้อ แต่เราไม่ได้บันทึกชุดข้อมูลทั้งสองนี้เก็บไว้เป็นไฟล์ สิ่งเดียวที่หลงเหลืออยู่คือตัวเลขในรายงาน
เมื่อมีการแก้ไขระบบครั้งใหม่ เราต้องนำผลลัพธ์ไปเทียบกับค่าศูนย์ในรายงานเก่า แต่ข้อมูลที่เป็นตัวหารของค่าศูนย์เหล่านั้นหายไปแล้ว เนื่องจากการนำไปเทียบกับชุดข้อมูลอื่นถือเป็นวิธีที่ใช้ไม่ได้ - ซึ่งเป็นประเด็นหลักของบทความที่สาม - ทางเลือกจึงเหลือเพียงการประกาศว่าตัวเลขเก่าเหล่านั้นนำมาเทียบไม่ได้อีกและยอมเสียประวัติการวัดผลไป หรือไม่ก็ต้องสร้างชุดข้อมูลเดิมขึ้นมาใหม่ให้ตรงตามเดิมทุกประการ
วิธีที่ได้ผล
สร้างใหม่ตามกระบวนการ ไม่ใช่การพยายามนึกย้อนหลัง การรวบรวมชุดข้อความตัวอย่างมีกระบวนการที่ตายตัว กล่าวคือ ไฟล์ตั้งค่าจะระบุแหล่งที่มา และสคริปต์จะตัดข้อความออกเป็นส่วนๆ ตามกฎที่กำหนดไว้ แต่แหล่งข้อมูลตามรายการเหล่านั้นไม่ได้อยู่ครบทั้งหมดอีกต่อไป สมมติฐานของเราคือ ชุดข้อมูลเก่าถูกดึงมาจากแหล่งข้อมูลเท่าที่มีอยู่ในขณะนั้น เมื่อลองรันสคริปต์รวบรวมข้อมูลจากส่วนย่อยดังกล่าว ก็ได้ข้อความตัวอย่างออกมา 7,773 ชิ้นพอดี - ตรงกับตัวเลขในรายงานเก่าทุกประการ จำนวนที่ตรงกันเป๊ะนี้คือข้อพิสูจน์ว่าองค์ประกอบของข้อมูลถูกต้อง ทำให้ค่าศูนย์ในรายงานเก่ากลับมาใช้เปรียบเทียบได้อีกครั้ง
เติมข้อมูลให้ครบ แต่อย่าเขียนทับชุดเดิม เราดึงแหล่งข้อมูลที่ขาดหายไปกลับมา ทำให้ชุดข้อมูลขยายใหญ่ขึ้นเป็น 34,470 ชิ้น ปัจจุบัน ทุกครั้งที่มีการแก้ไขระบบ เราจะรายงานผลกระทบทั้งสองส่วนควบคู่กัน คือผลจากชุดข้อมูลย่อยในอดีตเพื่อใช้เทียบกับบันทึกเก่า และผลจากชุดข้อมูลเต็มเพื่อใช้เป็นค่าพื้นฐานปัจจุบัน หากเรานำชุดที่สองมาแทนที่ชุดแรก เราจะไม่สามารถอ่านประวัติการวัดผลของตัวเองได้เลย
ค่าพื้นฐานที่สร้างขึ้นใหม่ถูกทำให้เข้มงวดขึ้น ไม่ใช่หย่อนลง แทนที่จะใช้ชุดตัวอย่างมาตรฐานเดิมที่หายไปซึ่งครอบคลุมกฎเพียงไม่กี่สิบข้อ เรารวบรวมตัวอย่างใหม่จำนวน 493 ชิ้นที่ครอบคลุมกฎ 162 ข้อ โดยดึงมาจากแหล่งข้อมูลเดียวกับที่ใช้สร้างแผนผังกฎ ค่าพื้นฐานที่ได้จากชุดข้อมูลใหม่นี้ตรงกับชุดเก่าทุกประการ แม้กระทั่งกรณีเดียวที่เรารู้ว่ายังตรวจไม่ผ่าน การขยายความครอบคลุมโดยไม่ทำให้ประวัติการวัดผลเสียไป คือหลักฐานเดียวที่ยืนยันว่าการขยายผลนั้นทำได้อย่างถูกต้อง
ข้อมูลดิบไม่จำเป็นต้องเก็บไว้ในคลังโค้ด แหล่งข้อมูลมีขนาดใหญ่และสามารถดึงมาใหม่เมื่อไรก็ได้ สิ่งที่เก็บไว้ในระบบควบคุมเวอร์ชันมีเพียงไฟล์ตั้งค่า สคริปต์สำหรับรวบรวมข้อมูล และตัวเลขจำนวนข้อมูลที่ใช้ยืนยันความถูกต้อง เพียงเท่านี้ก็เพียงพอที่ใครก็ตามจะนำไปใช้สร้างชุดข้อมูลเดิมขึ้นมาใหม่ได้
กฎเกณฑ์ที่ได้จากเหตุการณ์นี้
- การวัดผลทุกครั้งต้องระบุชื่อชุดข้อมูลและขนาดของชุดข้อมูลนั้นเสมอ
- ชุดข้อมูลมีแต่การเพิ่มเติม ไม่มีการแทนที่ องค์ประกอบเดิมจะต้องนำกลับมาทำซ้ำได้เสมอ และการขยายชุดข้อมูลคือการเพิ่มตัวเลขชุดที่สอง ไม่ใช่การเขียนทับตัวเลขชุดแรก
- สคริปต์รวบรวมข้อมูลที่ทำงานด้วยกฎตายตัว ไฟล์ตั้งค่า และตัวเลขจำนวนข้อมูลที่ใช้ยืนยันความถูกต้อง คือชุดเครื่องมือขั้นต่ำสำหรับการทำซ้ำ เมื่อมีชุดเครื่องมือนี้ครบถ้วน การเก็บชุดข้อมูลไว้เป็นไฟล์หรือไม่นั้นก็เป็นเพียงทางเลือก
โจทย์ที่ยังเปิดอยู่
ชุดทดสอบฝั่งงานเขียนของผู้เรียนไม่สามารถนำกลับมาสร้างซ้ำด้วยวิธีนี้ได้ งานเขียนของผู้เรียนไม่ได้ถูกคัดลอกเก็บไว้ในระบบควบคุมเวอร์ชัน สิ่งที่ทำหน้าที่เป็นชุดข้อมูลในส่วนนั้นคือชุดข้อมูลอ้างอิงที่ชี้ไปยังตำแหน่งต่างๆ ในพื้นที่จัดเก็บ และข้อมูลอ้างอิงเหล่านี้ก็เปราะบางกว่าตัวเลขยืนยันจำนวนมาก หากข้อมูลในตำแหน่งอ้างอิงถูกย้ายไป เราจะแยกไม่ออกเลยว่ามันถูกย้าย หรือข้อมูลอ้างอิงนั้นผิดมาตั้งแต่ต้น
การจะทำให้การวัดผลบนงานเขียนของผู้เรียนสามารถทำซ้ำได้แม่นยำเหมือนการวัดผลบนงานเขียนที่ตีพิมพ์แล้วนั้น ยังคงเป็นคำถามที่รอคำตอบ และเป็นข้อจำกัดหลักในปัจจุบันที่กำหนดว่าเราจะเชื่อถือตัวเลขความครอบคลุมของการตรวจจับข้อผิดพลาดของตัวเองได้มากน้อยเพียงใด
บทความทั้งหมด
แบบฝึกหัดฟรีสำหรับทุกหลักไวยากรณ์
ทุกหลักไวยากรณ์บนเว็บไซต์มีแบบฝึกหัดให้ใช้งาน ใช้งานได้ฟรีโดยไม่ต้องลงทะเบียน