Makaleler
Ölçüm yaptığınız derlem, ölçüm aracının bir parçasıdır
"Sıradan düzyazıda yanlış alarm yok" ifadesi, "hangi düzyazı" sorusuna yanıt verilmedikçe hiçbir anlam taşımaz. Üzerinde ölçüm yapılan derlem de en az kod kadar ölçüm aracının bir parçasıdır. Bunu, bu tür şeylerin genelde öğrenildiği yoldan öğrendik: İki derlemi aynı anda kaybederek.
Ne oldu
Çalışmanın ilk aşamalarında, değişikliklerin maliyeti bir düzyazı pasajları derlemi üzerinden, kontrol noktalarımızın taban çizgisi ise kuralların standart örneklerinden oluşan bir küme üzerinden ölçülmüştü. İki derlem de dosya olarak saklanmamıştı. Geriye yalnızca raporlardaki sayılar kalmıştı.
Yeni değişikliklerin o eski sıfırlarla karşılaştırılması gerekiyordu ama eski sıfırların paydası ortada yoktu. Farklı bir derlemle karşılaştırma yapmak geçerli bir yöntem olmadığından - bu, üçüncü yazının konusudur - önümüzde iki seçenek vardı: Ya eski sayıların karşılaştırılamaz olduğunu kabul edip geçmiş verileri gözden çıkaracaktık ya da derlemleri birebir yeniden oluşturacaktık.
Ne işe yaradı
Hatırlamak değil, yeniden oluşturmak. Düzyazı derleminin bir araya getirilmesi deterministik bir süreçtir: Bir yapılandırma dosyası kaynakları listeler ve bir betik bunları sabit kurallara göre pasajlara böler. Listelenen kaynakların tamamı artık mevcut değildi. Hipotezimiz, eski derlemin o dönemde mevcut olan alt kümeden derlendiği yönündeydi. Birleştirme işlemini bu alt küme üzerinde çalıştırdığımızda tam olarak 7.773 pasaj elde ettik - eski raporlarda yer alan sayının birebir aynısı. Sayının tam olarak eşleşmesi, içeriğin aynı olduğunun kanıtıdır. Böylece eski sıfırlar yeniden karşılaştırılabilir hale geldi.
Derlemi tamamlayın, asla değiştirmeyin. Eksik kaynaklar getirildi ve derlem 34.470 pasaja ulaştı. Artık her değişiklik için iki maliyet birden raporlanıyor: Geçmiş kayıtlarla karşılaştırılabilirlik sağlamak adına tarihsel alt küme üzerindeki maliyet ve mevcut taban çizgisi olarak tam derlem üzerindeki maliyet. İlkini ikincisiyle değiştirmek, kendi geçmişimizi okuma olanağını ortadan kaldırırdı.
Yeniden oluşturulan taban çizgisi gevşetilmedi, daha sıkı hale getirildi. Birkaç düzine kuralı kapsayan kayıp standart örnekler kümesinin yerine, bizzat kural haritasının oluşturulduğu kaynaktan alınan ve 162 kuralı kapsayan 493 örnek bir araya getirdik. Yeni kümedeki taban çizgisi, bilinen tek bir hatalı durumuna kadar eskisiyle eşleşti. Kapsamı genişletmek geçmiş verilerle uyumu bozmadı; bu da genişletmenin doğru yapıldığının tek kanıtıdır.
Ham materyalin depoda tutulması gerekmez. Kaynaklar büyüktür ve yeniden indirilebilir. Sürüm kontrolünde tutulan şey yapılandırma dosyası, birleştirme betiği ve doğrulama sayılarıdır. Herhangi birinin aynı derlemi yeniden oluşturması için bunlar yeterlidir.
Bunun ortaya çıkardığı kurallar
- Her ölçümde, kullanılan derlemin adı ve büyüklüğü her seferinde belirtilir.
- Bir derleme ekleme yapılır ama derlem asla yenisiyle değiştirilmez: Eski içerik yeniden üretilebilir kalır ve yapılan bir genişletme, ilk sayının üzerine yazılmak yerine ikinci bir sayı olarak eklenir.
- Deterministik bir birleştirici, bir yapılandırma dosyası ve doğrulama sayısı, yeniden üretilebilirlik için gereken asgari donanımdır. Bu donanım tamamlandığında derlemin kendisini dosya olarak saklamak isteğe bağlıdır.
Hala açık olan sorular
Test ortamının öğrenci tarafı bu şekilde yeniden üretilemez. Öğrencilerin yazdığı metinler sürüm kontrolüne kopyalanmaz; orada derlem işlevi gören şey depolama alanındaki konumlara yapılan referanslar kümesidir ve referanslar bir doğrulama sayısından daha kırılgandır. Yeri değişmiş bir referans, baştan beri yanlış olan bir referanstan ayırt edilemez.
Öğrenci yazıları üzerindeki ölçümlerin, yayımlanmış düzyazılar üzerindeki ölçümler kadar yeniden üretilebilir hale nasıl getirileceği açık bir sorudur ve şu anda kendi duyarlılık (recall) sayılarımıza ne kadar güvenebileceğimizi sınırlayan şey de budur.
Tüm yazılar
Her kural için ücretsiz alıştırma
Sitedeki her dil bilgisi kuralının bir alıştırma aracı vardır. Ücretsizdir ve kayıt gerektirmez.