เอกสารวิชาการ
ผู้ตัดสิน ยามเฝ้า และสิ่งที่เรายังวัดไม่ได้
ไม่ใช่ทุกอย่างที่จะวัดได้จากรูปประโยค เมื่อใดที่ต้องตัดสินความหมาย - เช่น งานเขียนชิ้นนี้ดีหรือไม่ โครงสร้างประโยคเหมาะสมไหม หรือสำนวนถูกต้องหรือเปล่า - เราจะใช้ระบบผู้ตัดสินอัตโนมัติ รอบๆ แท่นตัดสินนั้นมียามเฝ้าคอยตรวจตรา ทั้งเรื่องข้อมูลลับ ข้อตกลง และการคัดลอกถ้อยคำ ผู้ตัดสินและยามเฝ้าต่างก็เป็นเครื่องมือวัด และมันก็มีวิธีผิดพลาดในแบบของมันเอง
จุดที่เครื่องมือเหล่านี้ทำงานผิดพลาด
การปฏิเสธคำตอบกลายเป็นคำตัดสินเนื้อหา เมื่อระบบผู้ตัดสินไม่ยอมตอบ - ไม่ว่าจะเพราะระบบทำงานหนักเกินไป ติดตัวกรอง หรือหมดเวลาเชื่อมต่อ - ระบบที่ไม่ได้ตั้งค่ารับมือไว้เฉพาะจะบันทึกการไม่ตอบนั้นเป็นคะแนน ซึ่งมักจะเป็นคะแนนต่ำ ประโยคของผู้เรียนจึงได้รับคำตัดสินที่ไม่มีใครเคยประเมินจริงๆ วิธีแก้คือต้องแยกวัดสองส่วนออกจากกัน คือสัดส่วนของการปฏิเสธคำตอบ และการกระจายตัวของคะแนนจริง การปฏิเสธคำตอบเป็นเพียงข้อมูลทางสถิติ ไม่ใช่ความเห็นต่อเนื้อหา
การตั้งเวลาหมดอายุตามค่าเฉลี่ยจะเปลี่ยนงานที่ใช้เวลานานให้เป็นการปฏิเสธคำตอบ หากตั้งเวลารอโดยยึดตามเวลาตอบสนองเฉลี่ย ข้อมูลส่วนปลายที่ประมวลผลช้าจะถูกตัดเป็นการปฏิเสธคำตอบอย่างเป็นระบบ และหากไม่มีการแยกนับตามบทเรียนในข้อก่อนหน้า มันก็จะกลายเป็นคะแนนต่ำอย่างเป็นระบบไปในที่สุด
ยามเฝ้าอาจมีจุดบอดมาตั้งแต่โครงสร้าง ระบบยามที่ตรวจหาข้อความคัดลอกในงานของเราจะดึงเฉพาะข้อความที่อยู่ในเครื่องหมายคำพูดเท่านั้น หากข้อความนั้นอยู่ในวงเล็บโดยไม่มีเครื่องหมายคำพูด ระบบจะมองไม่เห็นเลย เราตรวจพบกรณีแบบนี้ด้วยตาเปล่าเพียงหนึ่งชั่วโมงก่อนที่จะบันทึกเข้าระบบ ตอนนี้เราได้ระบุจุดบอดนี้ไว้ในคู่มือของระบบยามแล้ว เพราะก่อนหน้าที่จะระบุไว้ สัญญาณไฟเขียวจากยามตัวนี้ได้สร้างความมั่นใจที่ผิดๆ ซึ่งเป็นสภาวะที่เลวร้ายที่สุดของเครื่องมือวัด
การวัดผลแบบเปิดมักเอนเอียงไปหาโจทย์ที่ง่าย หากปล่อยให้สิ่งที่ถูกวัดเลือกโจทย์ที่จะใช้ทดสอบตัวเองได้ กลุ่มตัวอย่างจะค่อยๆ เลื่อนไปหาส่วนที่ง่าย และอัตราความสำเร็จจะสูงขึ้นโดยที่คุณภาพไม่ได้ดีขึ้นเลย การวัดผลแบบเปิดจึงเป็นข้อบกพร่องในตัวมันเอง กลุ่มตัวอย่างจะต้องถูกกำหนดตายตัวโดยสิ่งอื่นที่ไม่ใช่ผู้ถูกทดสอบ
การตรวจแก้สำนวนอัตโนมัติไม่สามารถเชื่อถือได้ด้วยเสียงเดียว ผู้ตัดสินสำนวนเพียงตัวเดียวมักผิดพลาดอย่างไม่เป็นระบบ คำตัดสินของมันจึงไม่เพียงพอที่จะนำมาใช้แก้ข้อความ สิ่งที่ใช้ได้ผลคือความเห็นที่ตรงกันจากสองระบบที่เป็นอิสระต่อกัน จากคู่ระบบที่เราทดลองวัด สัดส่วนของการแจ้งเตือนที่ผิดพลาดลดลงถึงสิบเท่า เสียงเพียงเสียงเดียวทำได้แค่ปักธงเตือน แต่ห้ามแก้ไขข้อความเด็ดขาด
สิ่งที่ใช้ได้ผล
- ระบบที่ใช้ผู้ตัดสินจะต้องนับการปฏิเสธคำตอบแยกจากคำตัดสิน และสัดส่วนของการปฏิเสธคำตอบถือเป็นบรรทัดที่ต้องมีในรายงานเสมอ
- การแก้ไขข้อความตามระบบตรวจสำนวนอัตโนมัติต้องอาศัยความเห็นที่ตรงกันจากสองระบบ
- ระบบยามต้องมีบันทึกจุดบอดกำกับไว้เป็นลายลักษณ์อักษร ว่ามีสิ่งใดที่ยามตัวนี้มองไม่เห็นเนื่องจากโครงสร้างของมัน การอ่านสัญญาณไฟเขียวจะต้องอ่านควบคู่กับบันทึกนี้เสมอ
แผนงานที่เรายังไม่ได้ทำ
กลุ่มตัวอย่างที่ตรวจโดยคนโดยไม่รู้ผลล่วงหน้า เรายังไม่เคยวัดความสามารถในการตรวจจับ (recall) ของระบบเทียบกับงานเขียนที่ตรวจโดยคนที่ไม่ได้เห็นผลของระบบมาก่อน หากไม่ทำเช่นนี้ สิ่งที่เราเรียกว่าความสามารถในการตรวจจับ ก็จะเป็นเพียงการวัดในจุดที่เครื่องมือของเราหาเจอเอง ซึ่งเท่ากับเป็นการวัดว่าเครื่องมือของเราเห็นพ้องกับตัวเองแค่ไหน
การเทียบมาตรฐานผู้ตัดสินงานเขียน กับชุดข้อมูลอ้างอิงที่ให้คะแนนโดยคน เพื่อให้คำตัดสินของระบบวางอยู่บนมาตรวัดของมนุษย์ ไม่ใช่มาตรวัดของตัวมันเอง
การสังเคราะห์ข้อผิดพลาด สำหรับกฎเกณฑ์ที่ข้อมูลที่รวบรวมมาไม่มีกรณีตัวอย่างตามธรรมชาติ กรณีสังเคราะห์จะช่วยให้เราวัดความสามารถในการตรวจจับในจุดที่ข้อมูลธรรมชาติไม่มีให้เห็น แต่ก่อนอื่นต้องพิสูจน์ให้ได้ก่อนว่าข้อผิดพลาดสังเคราะห์นั้นใช้แทนข้อผิดพลาดตามธรรมชาติได้จริง และการพิสูจน์นั้นก็ต้องอาศัยเครื่องมือวัดเฉพาะของมันอีกชิ้นหนึ่ง
แท่นวัดผลไม่มีวันสร้างเสร็จสมบูรณ์ เครื่องมือใหม่ทุกชิ้นย่อมนำวิธีหลอกลวงแบบใหม่ติดตัวมาด้วย และความหวังเดียวที่เป็นไปได้จริงก็คือ ขอให้รายการคำลวงเหล่านี้เพิ่มขึ้นช้ากว่ารายการเครื่องมือวัดก็พอ
บทความทั้งหมด
แบบฝึกหัดฟรีสำหรับทุกหลักไวยากรณ์
ทุกหลักไวยากรณ์บนเว็บไซต์มีแบบฝึกหัดให้ใช้งาน ใช้งานได้ฟรีโดยไม่ต้องลงทะเบียน