Makaleler
Ölçmeden önce sayıyı söyleyin
Bu yazı, çalışma biçimimizin işe yarayan kısmı ve neden daha zekice görünen bir kısmın değil de tam olarak bunun işe yaradığı hakkındadır.
Önce sayı kayda geçer
Bir ölçüm başlamadan önce neyin ölçüldüğünü, neyle ölçüldüğünü, hangi sayıyı beklediğimizi ve hata payının ne olduğunu yazarız. Araç ancak ondan sonra çalıştırılır.
Bu bir ritüel değildir. Beklentiyi önceden yazmak, gerçek bir ölçümü sonuç uydurma çabasından ayıran şeydir. Sayı bir kez ortaya çıktığında, insan - ve bir dil modeli - hata payını sessizce genişletir: "aslında altı, iki ila altı aralığına neredeyse uyuyor". Bundan üç sonuç doğar ve üçü de kasıtlı olarak rahatsız edicidir.
Hata payının sınırı tam isabet değildir. İki ila altı beklentisine karşılık gelen altı sonucu, "aralık içinde" diyerek geçiştirilmez; sınır değeri olarak ayrı bir satırda raporlanır.
Önce sapmalar raporlanır. Bir rapor, beklentiyle uyuşmayan sonuçlarla başlar. Aksi her durum, raporu onu yazan kişinin reklamına dönüştürür.
Öngörülen bir başarısızlık da bir tahmindir. "Bu koşulu kaldırmak kontrol noktasından geçemeyecek" ifadesi çalıştırmadan önce yazıldı ve kontrol noktası bunu gerçekten reddetti. Doğru tahmin edilen bir başarısızlık, şans eseri yakalanan bir isabetten daha değerlidir: sistemin davranışına dair kafamızdaki modelin doğru olduğu anlamına gelir.
Bu alışkanlıkla ilgili en yararlı bulgu, sapmaların isabetlerden daha verimli çıkmasıdır. Bir önceki yazıda anlatılan vakada, asıl sorumluyu ortaya çıkaran şey tutmayan bir tahmindi - "bu kısım bir ila beş vakayı tanıyacak" denmişti ama hiçbirini tanımadı - ve bulunan bu sorumlu, ilk teşhiste adı konulan şey değildi.
Her değişikliğin etrafında üç kontrol noktası
Bir denetim kuralındaki hiçbir değişiklik tek bir sayının gücüne dayanarak kabul edilmez. Üç kontrol noktası vardır.
- Kendi hatasını tanır: denetim, hatalı olduğu bilinen cümlelerde devreye girer.
- Doğru metinde sessiz kalır: aynı cümlelerin düzeltilmiş hallerinde ve haritadaki her kuralın yüzlerce temel örneğinin hiçbirinde uyarı vermez.
- Olağan düzyazıda sessiz kalır: maliyet, yayımlanmış yazılardan oluşan geniş ve sabit bir derlem üzerindeki yanlış alarmlarla ölçülür ve her değişiklik için hem karşılaştırılabilirlik adına geçmişte kullanılan derlem hem de mevcut tam derlem üzerinden ayrı ayrı belirtilir.
Aday denetim kurallarının çoğunu eleyen üçüncü kontrol noktasıdır; aynı zamanda göz ardı edilmesi en kolay olan da odur, çünkü sadece daha fazla çaba harcayarak geçilemeyecek tek aşama budur.
Hala açık olan konular
Bu disiplin, testi yürüten kişiye bağlıdır. Önceden bir beyan olmadan aracın çalıştırılmasını teknik olarak engelleyen hiçbir şey yoktur; bunu yalnızca kural engeller. Bu reddetme mekanizmasının bizzat aracın içine yerleşik olmasını isteriz: beyan edilen sayılar yoksa ölçüm de yok. Bunun için, işleyen bir diyaloğu kırtasiye işine dönüştürmeyecek, makine tarafından okunabilir bir beyan formatı gerekiyor ve bunu henüz bulamadık.
İkinci ve daha sessiz bir risk daha var. Rahatsız edici raporlar üreten bir alışkanlık, ancak birileri bu rahatsızlığı göze aldığı sürece devam eder. Yukarıdaki üç sonuç bu yüzden kağıda dökülmüştür: kağıt üzerindeki bir kural, kötü geçen bir haftaya iyi niyetten daha iyi dayanır.
Tüm yazılar
Her kural için ücretsiz alıştırma
Sitedeki her dil bilgisi kuralının bir alıştırma aracı vardır. Ücretsizdir ve kayıt gerektirmez.