أوراق بحثية
الحكام والحراس وما نعجز عن قياسه حتى الآن
لا يمكن قياس كل شيء من خلال شكل العبارة. فحين تدعو الحاجة إلى الحكم على المعنى - سواء أكان النص جيدا، أم كان التركيب اللغوي مناسبا، أم كان الأسلوب سليما - فإننا نلجأ إلى حكم آلي. وحول منصة القياس نفسها يقف حراس: لحماية الأسرار، ومراقبة العقود، ورصد الصياغات المقتبسة. لكن الحكام والحراس هم أيضا أدوات قياس، ولهم طرقهم الخاصة في الوقوع في الخطأ.
أين وقع الخطأ
تحول الامتناع عن الإجابة إلى حكم على المحتوى. عندما يمتنع الحكم الآلي عن الإجابة - بسبب ضغط العمل، أو مرشح حجب، أو انتهاء مهلة الاتصال - فإن مسار المعالجة الذي يفتقر إلى إعداد خاص يسجل هذا الامتناع بوصفه درجة تقييم، وغالبا ما تكون منخفضة. وعندئذ تحمل جملة الدارس حكما لم يصدره أحد قط. يكمن العلاج في قياس المسارين بشكل منفصل: نسبة حالات الامتناع، وتوزيع الدرجات الفعلية. فالامتناع عن الإجابة مجرد سطر في الإحصاءات، وليس رأيا تقييميا.
ضبط مهلة الانتظار على المتوسط يحول الحالات البطيئة إلى امتناع. إذا حددت مهلة الانتظار بناء على متوسط زمن الاستجابة، فإن الطرف البطيء من التوزيع يتحول تلقائيا إلى حالات امتناع متكررة، والتي تتحول بدورها - في غياب الدرس السابق - إلى درجات منخفضة على نحو ممنهج.
قد يكون الحارس أعمى بحكم تصميمه. الحارس المخصص لفحص نصوصنا بحثا عن صياغات مقتبسة لا يستخرج سوى المقاطع الموضوعة بين علامات تنصيص. أما المقطع الموضوع بين قوسين دون علامات تنصيص فيظل غير مرئي بالنسبة له. وقد اكتشفنا إحدى هذه الحالات يدويا قبل ساعة واحدة من اعتمادها في النظام. باتت هذه النقطة العمياء مدونة الآن في وثائق الحارس نفسه؛ لأنه قبل تدوينها، كان الضوء الأخضر الصادر عن هذا الحارس يولد ثقة زائفة، وهي أسوأ حالة يمكن أن تكون عليها أي أداة قياس.
المقياس المفتوح ينجرف نحو الحالات السهلة. إذا سمح للشيء الخاضع للقياس أن يختار ما يقاس عليه، فإن العينة تنزلق بهدوء نحو الطرف الأسهل، وترتفع نسبة النجاح دون أي تحسن فعلي في الجودة. إن المقياس المفتوح عيب في حد ذاته: فيجب تثبيت العينة من قبل طرف آخر غير الخاضع للاختبار.
لا يمكن الوثوق بالتدقيق الآلي للأسلوب وحده. يخطئ حكم الأسلوب المنفرد بطريقة غير منتظمة، ولذلك فإن كلمته وحدها لا تكفي لتعديل النص. ما ينجح فعلا هو اتفاق صوتين مستقلين؛ ففي الأزواج التي قسناها، انخفضت نسبة الإنذارات الكاذبة بمقدار رتبة عددية كاملة. يجوز للصوت المنفرد أن يضع علامة تنبيه، لكن لا يجوز له التعديل أبدا.
ما الذي نجح
- مسارات المعالجة التي تستخدم الحكام الآليين تحصي حالات الامتناع بمعزل عن الأحكام التقييمية، وتعد نسبة الامتناع سطرا إلزاميا في التقرير.
- التعديلات المبنية على التدقيق الآلي تتطلب اتفاق صوتين مستقلين.
- يرفق بكل حارس تنبيه مكتوب يوضح نقطته العمياء: أي ما يعجز هذا الحارس عن رؤيته بحكم تصميمه. ويقرأ الضوء الأخضر دائما جنبا إلى جنب مع هذا التنبيه.
البرنامج الذي لم ننجزه بعد
عينة مشروحة بشكل أعمى. لم نقس قط قدرة أدوات الفحص لدينا على الاستدعاء الشامل مقارنة بنصوص شرحها شخص لم يطلع مسبقا على تلك الفحوصات. وبدون ذلك، فإن ما نسميه استدعاء ليس سوى استدعاء للمواضع التي عثرت عليها أدواتنا نفسها، وهو ما يقيس في الواقع مدى اتفاق أدواتنا مع ذاتها.
معايرة حكم الكتابة الآلي مقارنة بمجموعة مرجعية قيمها بشر، بحيث تستند أحكامه إلى مقياس بشري لا إلى مقياسه الخاص.
توليد الأخطاء اصطناعيا للقواعد التي تخلو المواد المجموعة من أمثلة طبيعية لها. ستتيح لنا الحالات المصطنعة قياس الاستدعاء حيث تصمت الطبيعة، لكن يجب أولا إثبات أن الخطأ المصطنع ينوب فعلا عن الخطأ الطبيعي، وهذا الإثبات يحتاج بدوره إلى أداة قياس خاصة به.
إن منصة القياس لا تكتمل أبدا. فكل أداة جديدة تجلب معها طرقها الخاصة في التضليل، والأمل الحقيقي الوحيد هو أن ينمو سجل الأكاذيب ببطء أكبر من نمو سجل الأدوات.
جميع المقالات
تدريبات مجانية لكل قاعدة
ترفق كل قاعدة نحوية على الموقع بأداة تدريب خاصة بها. هذه التدريبات مجانية ولا تتطلب تسجيلا.