เอกสารวิชาการ
ข้อบกพร่องมักจะอยู่ที่เครื่องมือวัด
บทเรียนที่ราคาแพงที่สุดในช่วงหลายเดือนที่ผ่านมาคือเรื่องที่ไม่น่าตื่นเต้นที่สุด เมื่อการวัดผลให้ตัวเลขที่แปลกประหลาด ความผิดพลาดมักจะอยู่ที่ตัวเครื่องมือวัดมากกว่าสิ่งที่ถูกวัด รายการต่อไปนี้คือบันทึกจากเหตุการณ์จริง ทุกกรณีทำให้เราเสียเวลาหลายชั่วโมงไปกับการหาจุดผิดในที่ที่ไม่ถูกต้อง
วิธีที่เครื่องมือของเราเองทำให้เราเข้าใจผิด
เครื่องมือทำซ้ำระบบงานเดิม สคริปต์ตรวจสอบที่ประกอบขึ้นจากชิ้นส่วนเดียวกับโค้ดที่มันกำลังตรวจ ไม่ได้ยืนยันความถูกต้อง แต่ยืนยันความเหมือนกัน มันจะมองไม่เห็นข้อผิดพลาดชนิดเดียวกันเป๊ะ วิธีแก้คือต้องวัดด้วยเส้นทางอื่น ใช้กลไกอื่น หรือใช้วิธีอ่านตรวจด้วยตา
เครื่องมืออ่านแค่รายการแรกที่เจอ สคริปต์ตัวหนึ่งดึงเฉพาะรายการแรกที่ตรงเงื่อนไขแล้วรายงานว่า "พบหนึ่งรายการ" ทั้งที่มีอยู่ห้า ค่าศูนย์หรือหนึ่งจากเครื่องมือแบบนี้ไม่มีความหมายเลย จนกว่าจะพิสูจน์ได้ว่าเครื่องมือนั้นอ่านข้อมูลไปจนสุดปลายทาง
ตัวดักจับมีจุดบอดมาตั้งแต่โครงสร้าง เครื่องมือตัวหนึ่งของเราตรวจหาข้อความที่หยิบยืมมาในไฟล์ แต่ดึงเฉพาะข้อความที่อยู่ในเครื่องหมายคำพูดเท่านั้น ข้อความที่ถูกยืมมาแต่ใส่ไว้ในวงเล็บจึงรอดสายตาไปได้ ไฟเขียวจากตัวดักจับพิสูจน์ได้แค่ว่าไม่มีปัญหาในกลุ่มที่มันมองเห็นเท่านั้น ไม่ได้รวมถึงสิ่งอื่นนอกเหนือจากนั้น
การค้นหาที่ไม่พบอะไรเลย ไม่ได้แปลว่าไม่มีปัญหา การไม่มีผลลัพธ์ออกมาแปลว่า "หาไม่เจอ" และคำว่า "หาไม่เจอ" ก็อาจเกิดจากการพิมพ์คำค้นหาผิดได้เช่นกัน เราจะยอมรับผลลัพธ์ที่เป็นศูนย์ก็ต่อเมื่อคำค้นหาเดียวกันนั้นสามารถหาสิ่งที่มีอยู่จริงจนเจอก่อนแล้ว
ไฟเขียวก่อนการตรวจจริงไม่ใช่ไฟเขียว การเขียนรายงานว่า "แก้ไขแล้ว" ก่อนที่เครื่องมือจะทำงานจบ เป็นแค่การบอกความตั้งใจ ไม่ใช่การบอกสถานะจริง เราจะรายงานเฉพาะสถานะจริงเท่านั้น
ขีดจำกัดของฝั่งเราถูกอ่านเป็นความบกพร่องของคนอื่น ขีดจำกัดการเรียกใช้งาน (rate limit) ของฝั่งเราเอง ปรากฏในการวัดผลครั้งหนึ่งว่าเป็นความล้มเหลวของบริการภายนอก ก่อนจะโทษสิ่งที่ถูกวัด ให้ตรวจดูก่อนว่าเครื่องมือวัดไปชนเพดานของตัวมันเองหรือไม่
วิธีที่ได้ผล
ดึงหน่วยวัดมาจากโค้ดโดยตรง เครื่องมือต้องใช้หน่วยวัดจากโค้ดที่กำลังถูกวัด ไม่ใช่ตั้งหน่วยใหม่ขึ้นมาเองเพื่อความสะดวก ตอนที่เราวัดว่าการตรวจสอบประโยคทำไปได้ไกลแค่ไหน ความพยายามตรวจแบบบางส่วนก็ถูกส่งให้กลไกเดียวกับที่ผลิตภัณฑ์ใช้งานจริง นั่นคือเหตุผลที่ตัวเลขผลลัพธ์เชื่อถือได้ เพราะเส้นทางที่ใช้คือเส้นทางจริงของผลิตภัณฑ์ ไม่ใช่แค่ภาพจำลอง
เปลี่ยนทีละอย่างต่อการวัดหนึ่งครั้ง ระหว่างการวัดสองครั้ง จะต้องมีสิ่งที่เปลี่ยนไปเพียงอย่างเดียวเท่านั้น เราใส่หมายเลขให้แต่ละรุ่น โดยแต่ละรุ่นจะต่างจากรุ่นก่อนหน้าด้วยการแก้ไขเพียงจุดเดียว และเราจะเก็บไว้เฉพาะตัวที่ชนะ ไม่อย่างนั้นจะไม่มีทางบอกได้เลยว่าการแก้ไขจุดไหนที่ให้ผลลัพธ์ที่ดี และจุดไหนที่สร้างต้นทุน
เมื่อพบว่าเครื่องมือผิด ต้องถอนตัวเลขทั้งหมดที่มันเคยวัด เมื่อพบว่าเครื่องมือวัดทำงานผิดพลาด ตัวเลขทุกตัวที่มันเคยผลิตออกมาจะต้องถูกยกเลิกอย่างเปิดเผย รวมถึงตัวเลขที่ดูดีและเข้าทางเราด้วย นี่ไม่ใช่การลงโทษตัวเอง แต่เป็นวิธีเดียวที่จะทำให้บันทึกข้อมูลยังคงเชื่อถือและใช้งานต่อไปได้
โจทย์ที่ยังเปิดอยู่
เรายังไม่มีขั้นตอนอัตโนมัติสำหรับตรวจสอบตัวเครื่องมือวัดเอง ขั้นตอนที่จะบังคับว่า "เครื่องมือนี้ต้องหาสิ่งที่มีอยู่จริงให้เจอก่อน เราถึงจะยอมเชื่อผลลัพธ์ที่เป็นศูนย์ของมัน" ตอนนี้ทุกอย่างยังขึ้นอยู่กับวินัยของคนที่รันชุดทดสอบ ซึ่งแปลว่ามันจะถูกข้ามไปในค่ำคืนที่เหนื่อยล้า การจะฝังขั้นตอนนี้ลงไปในทุกรอบของการรันโดยไม่ทำให้ต้นทุนของชุดทดสอบเพิ่มเป็นสองเท่า ยังคงเป็นคำถามที่รอคำตอบ
ข้อจำกัดที่เกี่ยวข้องกันอีกข้อซึ่งควรระบุไว้คือ เครื่องมือจะวัดสถานะจากจุดที่มันถูกเรียกใช้งานเสมอ ไม่ใช่สถานะที่คุณคิดไว้ในหัว การวัดผลจากไฟล์ที่กำลังแก้ไขอยู่ไม่ได้บอกอะไรเกี่ยวกับรุ่นที่เผยแพร่ไปแล้ว และผลลัพธ์ไฟเขียวที่ได้จากการตรวจกับข้อมูลเก่า ก็เป็นแค่การรายงานเรื่องของเมื่อวาน
บทความทั้งหมด
แบบฝึกหัดฟรีสำหรับทุกหลักไวยากรณ์
ทุกหลักไวยากรณ์บนเว็บไซต์มีแบบฝึกหัดให้ใช้งาน ใช้งานได้ฟรีโดยไม่ต้องลงทะเบียน