Makaleler
Hakemler, nöbetçiler ve hala ölçemediklerimiz
Her şey bir ifadenin biçimine bakılarak ölçülemez. Bir metnin iyi olup olmadığı, bir yapının yerinde kullanılıp kullanılmadığı ya da üslubun uygunluğu gibi anlama dair bir yargı gerektiğinde devreye otomatik bir hakem sokuyoruz. Ölçüm tezgahının etrafında ise nöbetçiler duruyor: gizli bilgiler, sözleşmeler ve ödünç alınmış ifadeler için. Hakemler ve nöbetçiler de birer ölçüm aracıdır ve onların da kendilerine özgü yanılma biçimleri vardır.
Nerede yanıldılar
Bir yanıt reddi, içerik hakkında verilmiş bir karara dönüşür. Bir hakem yanıt vermeyi reddettiğinde - aşırı yüklenme, filtre veya zaman aşımı nedeniyle - özel bir önlem alınmamış iş akışı bu reddi genellikle düşük bir puan olarak kaydeder. Böylece öğrencinin cümlesi, aslında kimsenin vermediği bir yargıyı taşır. Çözüm, iki kapıyı ayrı ayrı ölçmektir: retlerin oranı ve gerçek puanların dağılımı. Yanıt reddi bir görüş değil, bir istatistik satırıdır.
Ortalamaya göre ayarlanan zaman aşımı, dağılımın kuyruğunu retlere dönüştürür. Bekleme süresini ortalama yanıt süresine göre ayarlarsanız, dağılımın yavaş kalan uç kısmı sistematik retlere, bunlar da - bir önceki ders uygulanmadıysa - sistematik düşük puanlara dönüşür.
Bir nöbetçi, yapısı gereği kör olabilir. Metinlerimizde ödünç alınmış ifadeleri kontrol eden nöbetçi yalnızca tırnak içindeki bölümleri çeker. Tırnak işareti olmadan, köşeli parantez içinde verilen bir parça onun için görünmezdir. Böyle bir durumu, sisteme kaydedilmesinden bir saat önce elle yakaladık. Bu kör nokta artık nöbetçinin kendi belgelerine işlendi; çünkü bu yapılana kadar nöbetçiden gelen yeşil ışık sahte bir güven yaratıyordu ki bu, bir ölçüm aracının düşebileceği en kötü durumdur.
Ucu açık bir ölçüm, kolay örneklere doğru kayar. Ölçülen şeye ne üzerinden ölçüleceğini seçme izni verilirse, örneklem sessizce kolay tarafa kayar ve kalitede hiçbir artış olmadığı halde başarı oranı yükselir. Ucu açık bir ölçüm başlı başına bir kusurdur: örneklem, ölçülen özneden başka biri tarafından sabitlenmelidir.
Otomatik üslup düzeltmesine tek başına güvenilemez. Tek bir üslup hakemi sistematik olmayan biçimde yanılır, bu yüzden bir metni değiştirmek için onun sözü yeterli değildir. İşe yarayan şey, iki bağımsız sesin uzlaşmasıdır; ölçtüğümüz ikililerde yanlış alarm oranı on kat düşmektedir. Tek bir ses yalnızca işaretleyebilir, asla düzeltme yapamaz.
Ne işe yaradı
- Hakem kullanan iş akışları, retleri kararlardan ayrı sayar ve ret oranı raporda zorunlu bir satırdır.
- Otomatik düzeltmeye dayalı değişiklikler için iki ayrı sesin uzlaşması gerekir.
- Nöbetçiler yazılı bir kör nokta notu taşır: bu nöbetçinin yapısı gereği göremediği şeyler. Yeşil ışık bu notla birlikte okunur.
Henüz uygulamadığımız program
Körleme işaretlenmiş bir örneklem. Kontrollerimizin duyarlılığı (recall), bu kontrolleri görmemiş bir kişi tarafından işaretlenmiş metinler üzerinden henüz ölçülmedi. Bu olmadan duyarlılık dediğimiz şey, kendi araçlarımızın bulduğu yerler üzerindeki duyarlılıktır; yani araçlarımızın kendi kendileriyle ne kadar uzlaştığının bir ölçüsüdür.
Yazı hakeminin kalibrasyonu. Kararlarının kendi ölçeği yerine insani bir ölçeğe oturması için, hakemin insanlar tarafından puanlanmış bir referans derlemle kalibre edilmesi.
Hata sentezi. Toplanan materyalde doğal örneklerin bulunmadığı kurallar için yapay hatalar üretilmesi. Yapay örnekler, doğal verinin sessiz kaldığı yerlerde duyarlılığı ölçmemizi sağlayabilir; ancak önce yapay bir hatanın doğal bir hatayı temsil edebildiğinin gösterilmesi gerekir ve bu kanıtlama da kendine ait ayrı bir ölçüm aracına ihtiyaç duyar.
Bir ölçüm tezgahı asla tamamlanmaz. Her yeni araç kendi yanıltma biçimlerini beraberinde getirir ve tek gerçek umut, yanılgılar kataloğunun araçlar kataloğundan daha yavaş büyümesidir.
Tüm yazılar
Her kural için ücretsiz alıştırma
Sitedeki her dil bilgisi kuralının bir alıştırma aracı vardır. Ücretsizdir ve kayıt gerektirmez.