เอกสารวิชาการ
ทำไมเราถึงวัดผลกฎไวยากรณ์ของตัวเอง
เว็บไซต์ของเรามีแผนผังกฎไวยากรณ์ภาษาอังกฤษ ตั้งแต่เรื่องการใช้คำนำหน้านาม (article) ในระดับ A1 ไปจนถึงการสลับตำแหน่งคำ (inversion) และประโยคเน้นความ (cleft sentence) ในระดับ C2 เบื้องหลังกฎแต่ละข้อจะมีระบบตรวจอัตโนมัติที่คอยจับข้อผิดพลาดที่ผู้เรียนมักจะทำจริงๆ ส่วนที่ยากไม่ใช่การเขียนชุดคำสั่งตรวจจับนี้ แต่คือการรู้ให้ได้ว่ามันทำงานได้ผลจริงหรือไม่
ความเงียบที่ตีความได้สองแง่
สมมติว่าชุดคำสั่งตรวจจับตัวหนึ่งไม่พบข้อผิดพลาดเลยตลอดหนึ่งเดือนเต็ม มีเหตุผลที่เป็นไปได้สองข้อ ซึ่งหากมองจากภายนอกแล้วจะดูเหมือนกันทุกประการ
ข้อแรกคือ ผู้เรียนไม่ได้ทำผิดในจุดนี้เลยในงานเขียนที่เราได้รับ กฎบางข้อนั้นพบได้ยาก โอกาสที่จะใช้ผิดแทบไม่เกิดขึ้นเลยในระดับชั้นที่สอนกฎข้อนั้น
ข้อที่สองคือ ชุดคำสั่งตรวจจับถูกเขียนขึ้นมาในลักษณะที่ไม่มีวันตรวจพบข้อผิดพลาดนั้นได้เลย ไม่ว่าผู้เรียนจะทำผิดซ้ำกี่ครั้งก็ตาม
ทั้งสองกรณีให้ผลลัพธ์เป็นตัวเลขเดียวกันคือ ศูนย์ เลขศูนย์ที่แปลได้ทั้ง "ไม่มีอะไรให้เจอ" หรือ "ไม่มีความสามารถจะหาเจอ" นั้นไม่ใช่การวัดผล แต่คือการขาดการวัดผล ข้อสรุปที่ผิดพลาดส่วนใหญ่เกี่ยวกับระบบของเราก็เริ่มต้นจากจุดนี้
กติกาที่เรานำมาใช้
ทุกคำถามที่ว่า "อะไรที่ทำให้กฎข้อนี้ไม่ทำงาน" จะมีผลลัพธ์ที่เป็นไปได้เสมออย่างน้อยสองทาง และเราจะไม่ยอมรับคำตอบที่ไม่มีการวัดผลมารองรับ
ในทางปฏิบัติ หมายความว่าสำหรับกฎทุกข้อที่เงียบไป จะต้องมีผลลัพธ์อย่างใดอย่างหนึ่งจากสองสิ่งนี้มายืนยัน อย่างแรกคือ ต้องชี้ให้เห็นจุดหนึ่งในงานเขียนของผู้เรียนที่มีข้อผิดพลาดนี้เกิดขึ้นจริง และระบบสามารถตรวจพบได้แล้วหลังจากได้รับการแก้ไข หรืออย่างที่สองคือ ต้องมีเหตุผลที่วัดผลได้มารองรับว่าทำไมถึงไม่มีข้อผิดพลาดนั้นให้ตรวจพบ โดยต้องมาพร้อมตัวเลขและตัวอย่างข้อมูลที่คนได้เข้าไปอ่านจริงๆ ทีละกรณี
หัวใจสำคัญอยู่ที่ครึ่งหลังของประโยคเมื่อครู่นี้ ลำพังตัวเลขอย่างเดียวมักทำให้คนหลงเชื่อได้ง่าย แต่ตัวเลขที่วางคู่กับประโยคตัวอย่างห้าประโยคที่คนได้อ่านดูจริงๆ จะทำให้เกิดความเข้าใจ มีหลายครั้งที่การอ่านตัวอย่างข้อมูลจริงทำให้เราต้องล้มเลิกตัวเลขที่กำลังจะนำไปรายงาน และในทุกกรณีเหล่านั้น ความผิดพลาดเกิดจากตัวเราเอง ไม่ใช่จากเครื่องจักร
สิ่งที่ทำแล้วได้ผล
การแยกส่วนพัฒนาออกจากระบบที่ใช้งานจริง ชุดคำสั่งตรวจจับที่อยู่ระหว่างการทดสอบจะถูกเก็บไว้ในที่ที่ระบบงานจริงไม่สามารถเข้าถึงได้ เราจึงสามารถวัดผล รื้อแก้ไข และวัดผลซ้ำได้โดยไม่กระทบต่อผู้ใช้งานเว็บไซต์ ชุดคำสั่งตรวจจับจะถูกนำไปใช้ในระบบจริงได้ก็ต่อเมื่อผ่านขั้นตอนที่แยกต่างหากซึ่งมีเกณฑ์คัดกรองเฉพาะตัว ดังที่อธิบายไว้ในบทความที่ห้าของชุดบทความนี้
เรื่องนี้ฟังดูเหมือนหลักปฏิบัติพื้นฐานทางวิศวกรรม ซึ่งก็เป็นเช่นนั้นจริงๆ เหตุผลที่เรื่องนี้สำคัญมากในบริบทของเรา เป็นเพราะเรามักจะอยากนำเครื่องมือวัดผลไปรันบนระบบที่ใช้งานจริง เนื่องจากข้อมูลทั้งหมดอยู่ที่นั่น แต่ราคาที่ต้องจ่ายให้กับความอยากนั้นคือ ทุกการทดลองจะกลายเป็นการปล่อยใช้งานจริงทันที และการยกเลิกสิ่งที่ปล่อยใช้งานไปแล้วก็มีต้นทุนสูงกว่าการยกเลิกการทดลองมาก
สิ่งที่ยังเป็นโจทย์เปิด
หากจะกล่าวถึงสถานะของเราอย่างตรงไปตรงมาก็คือ ตอนนี้ยังไม่มีกฎข้อไหนเลยที่เรารู้ตัวหารทั้งหมดอย่างแท้จริง นั่นคือเรายังไม่รู้ว่าในงานเขียนของผู้เรียนระดับนั้นๆ มีโอกาสที่จะเกิดข้อผิดพลาดเฉพาะจุดนั้นอยู่ทั้งหมดกี่ครั้ง ยังไม่เคยมีใครวัดค่าความครอบคลุมของการตรวจจับ (recall) เทียบกับกลุ่มตัวอย่างที่มีผู้ตรวจระบุข้อผิดพลาดไว้ล่วงหน้าแบบไม่เห็นระบบ (blind annotation) โดยที่ผู้ตรวจคนนั้นไม่เคยเห็นชุดคำสั่งตรวจจับของเรามาก่อน นี่คือหนี้ค้างชำระที่เรายอมรับตรงๆ แทนที่จะเป็นช่องโหว่ที่เราปกปิดไว้ และบทความที่สามกับเจ็ดในชุดนี้จะกลับมาพูดถึงเรื่องนี้อีกครั้ง
ส่วนที่เหลือของบทความชุดนี้คือการรวบรวมรายละเอียดต่างๆ ได้แก่ เครื่องมือวัดผลของเราเองหลอกเราได้อย่างไร การหาตัวหารที่เที่ยงตรงจริงๆ ต้องแลกมาด้วยอะไรบ้าง รูปประโยคที่ปรากฏให้เห็น (surface form) สามารถบอกและไม่สามารถบอกอะไรเราได้บ้าง และนิสัยการทำงานแบบไหนของเราที่พิสูจน์แล้วว่าควรรักษาไว้
บทความทั้งหมด
แบบฝึกหัดฟรีสำหรับทุกหลักไวยากรณ์
ทุกหลักไวยากรณ์บนเว็บไซต์มีแบบฝึกหัดให้ใช้งาน ใช้งานได้ฟรีโดยไม่ต้องลงทะเบียน