เอกสารวิชาการ

ระบุตัวเลขก่อนเริ่มวัดผล

บทความนี้พูดถึงส่วนหนึ่งในแนวปฏิบัติของเราที่ได้ผลจริง และเหตุผลว่าทำไมวิธีธรรมดานี้ถึงได้ผล ไม่ใช่วิธีอื่นที่ดูฉลาดกว่า

บันทึกตัวเลขไว้เป็นหลักฐานก่อน

ก่อนเริ่มการวัดผล เราจะจดไว้ก่อนว่าจะวัดอะไร ใช้เครื่องมือใด คาดหวังตัวเลขเท่าไหร่ และยอมรับความคลาดเคลื่อนได้แค่ไหน จากนั้นจึงค่อยเดินเครื่องมือ

นี่ไม่ใช่แค่พิธีกรรม การเขียนสิ่งที่คาดหวังไว้ล่วงหน้าคือสิ่งที่แยกการวัดผลที่แท้จริงออกจากการพยายามปรับตัวเลขให้เข้ากับผลลัพธ์ เพราะเมื่อรู้ตัวเลขผลลัพธ์แล้ว ทั้งคนและโมเดลภาษามักจะแอบขยายขอบเขตความคลาดเคลื่อนที่ยอมรับได้โดยไม่รู้ตัว เช่น "ได้ 6 ก็เกือบจะอยู่ในช่วง 2 ถึง 6 นั่นแหละ" วิธีนี้ทำให้เกิดผลตามมาสามข้อ ซึ่งทั้งสามข้อนี้ตั้งใจออกแบบมาให้คนทำรู้สึกไม่สบายใจ

ค่าที่อยู่ตรงขอบของความคลาดเคลื่อน ไม่ถือว่าเข้าเป้า หากคาดหวังไว้ที่ 2 ถึง 6 แล้วได้ผลลัพธ์เป็น 6 จะต้องรายงานแยกออกมาอีกบรรทัดว่าเป็นค่าที่อยู่ตรงขอบ ไม่ใช่เหมารวมว่า "อยู่ในเกณฑ์"

รายงานสิ่งที่พลาดเป้าก่อนเสมอ รายงานจะเริ่มต้นด้วยสิ่งที่ไม่ตรงตามคาด การทำเป็นอย่างอื่นจะเปลี่ยนรายงานให้กลายเป็นพื้นที่โฆษณาผลงานของคนเขียนไป

การคาดการณ์ว่าจะล้มเหลว ก็นับเป็นการคาดการณ์เช่นกัน เราเขียนไว้ก่อนรันระบบว่า "ถ้าตัดเงื่อนไขนี้ออก จะต้องไม่ผ่านด่านตรวจ" และด่านตรวจก็ปฏิเสธมันจริงๆ การคาดการณ์ความล้มเหลวได้ถูกต้องมีค่ามากกว่าการได้ผลลัพธ์เข้าเป้าเพราะโชคช่วย เพราะมันแปลว่าความเข้าใจที่เรามีต่อพฤติกรรมของระบบนั้นถูกต้องแล้ว

สิ่งที่ค้นพบและมีประโยชน์ที่สุดจากนิสัยนี้คือ ผลลัพธ์ที่พลาดเป้ากลับสร้างประโยชน์ได้มากกว่าผลลัพธ์ที่เข้าเป้า ในกรณีที่เล่าไว้ในบทความก่อนหน้า การคาดการณ์ที่ผิดพลาด - ที่คาดไว้ว่า "ส่วนนี้จะตรวจจับได้ 1 ถึง 5 กรณี" แต่กลับตรวจไม่พบเลย - คือสิ่งที่ช่วยชี้ตัวต้นเหตุที่แท้จริง ซึ่งไม่ใช่จุดที่เราวิเคราะห์ไว้ตั้งแต่แรก

สามด่านตรวจสำหรับทุกการเปลี่ยนแปลง

การปรับแก้ตัวตรวจเช็กจะไม่ผ่านการอนุมัติจากตัวเลขเพียงตัวเดียว แต่ต้องผ่านด่านตรวจสามด่าน

  • ตรวจจับข้อผิดพลาดเป้าหมายได้: ตัวตรวจเช็กต้องทำงานเมื่อเจอกลุ่มประโยคที่รู้กันอยู่แล้วว่าผิด
  • ไม่แจ้งเตือนเมื่อเจอข้อความที่ถูกต้อง: ต้องไม่ทำงานเมื่อเจอประโยคชุดเดิมในฉบับที่แก้ไขให้ถูกต้องแล้ว และต้องไม่ทำงานเมื่อเจอประโยคตัวอย่างมาตรฐานของกฎทุกข้อในแผนผัง ซึ่งมีอยู่หลายร้อยประโยค
  • ไม่แจ้งเตือนมั่วในงานเขียนทั่วไป: เราวัดผลเสียจากจำนวนการแจ้งเตือนที่ผิดพลาด (false alarms) ในคลังงานเขียนตีพิมพ์ขนาดใหญ่ที่กำหนดไว้ตายตัว และต้องระบุตัวเลขนี้ทุกครั้งที่มีการปรับแก้ ทั้งในคลังข้อมูลเดิมที่เคยใช้เพื่อการเปรียบเทียบ และในคลังข้อมูลฉบับเต็มชุดปัจจุบัน

ด่านที่สามคือด่านที่ทำให้ตัวตรวจเช็กที่เสนอเข้ามาส่วนใหญ่ต้องตกไป และเป็นด่านที่คนอยากตัดทิ้งมากที่สุด เพราะมันเป็นด่านเดียวที่ต่อให้พยายามมากขึ้นแค่ไหนก็ไม่ได้ช่วยให้ผ่านได้

สิ่งที่ยังเป็นโจทย์เปิดอยู่

วินัยทั้งหมดนี้ยังต้องพึ่งพาตัวคนที่ทำหน้าที่ทดสอบ ในทางเทคนิคแล้ว ยังไม่มีระบบที่ห้ามไม่ให้รันเครื่องมือหากยังไม่ระบุตัวเลขที่คาดหวัง มีเพียงกฎที่ตั้งไว้เท่านั้นที่ห้ามอยู่ เราอยากให้การปฏิเสธนี้ถูกฝังอยู่ในตัวเครื่องมือเลย คือถ้าไม่ระบุตัวเลข ก็วัดผลไม่ได้ การจะทำแบบนั้นได้ต้องมีรูปแบบการเขียนคำประกาศที่คอมพิวเตอร์อ่านเข้าใจ โดยไม่ทำให้การพูดคุยทำงานตามปกติกลายเป็นงานเอกสารที่ยุ่งยาก ซึ่งตอนนี้เรายังหาวิธีนั้นไม่เจอ

นอกจากนี้ยังมีความเสี่ยงเรื่องที่สองที่เงียบกว่า นิสัยการทำงานที่สร้างรายงานชวนให้อึดอัดใจนี้ จะคงอยู่ได้ก็ต่อเมื่อยังมีคนยอมทนกับความอึดอัดนั้น ผลลัพธ์สามข้อข้างต้นถูกเขียนระบุไว้ก็ด้วยเหตุผลนี้ เพราะกฎที่บันทึกไว้เป็นลายลักษณ์อักษรย่อมทนทานต่อสัปดาห์ที่แย่ๆ ได้ดีกว่าความตั้งใจดีเพียงอย่างเดียว

บทความทั้งหมด

แบบฝึกหัดฟรีสำหรับทุกหลักไวยากรณ์

ทุกหลักไวยากรณ์บนเว็บไซต์มีแบบฝึกหัดให้ใช้งาน ใช้งานได้ฟรีโดยไม่ต้องลงทะเบียน

รายงานปัญหา

หน้าที่คุณอยู่
/th/science/papers/measure-05-declarations.html th

ภาษาอังกฤษจะสะดวกที่สุดสำหรับเรา แต่คุณสามารถเขียนด้วยภาษาใดก็ได้ตามต้องการ

รายงานนี้จะส่งเฉพาะข้อความของคุณ ที่อยู่หน้าเว็บ และภาษาเท่านั้น ไม่มีภาพหน้าจอ ไม่มีบันทึกการทำงาน และไม่มีบัญชีผู้ใช้ เราไม่สามารถตอบกลับรายงานได้ ดังนั้นหากคุณต้องการคำตอบ โปรดเขียนอีเมลมาที่ [email protected]