هل هذه هي نهاية المعيار الذهبي؟مرجع مباشر - تقليل خطأ نحوي

من الصعب ترتيب وتقييم أداء أنظمة تصحيح الأخطاء النحوية (GEC)، حيث يمكن إعادة كتابة جملة بطرق صحيحة عديدة. تم استخدام عدد من مقاييس GEC لتقييم أنظمة GEC المقترحة؛ ومع ذلك، يعتمد كل نظام إما مقارنة بنصوص مرجعية واحدة أو أكثر --- في ما يعرف باسم المعيار الذهبي للمقاييس المستندة إلى المرجعة --- أو مجموعة بيانات منفصلة تفوحية لضبط المرجع المرجعية. النظم القائمة المرجعية لها علاقة منخفضة مع الحكم البشري، لا يمكن التقاط جميع الطرق التي يمكن بها تصحيح الجملة، وتتطلب عمل كبيرا لتطوير مجموعة بيانات اختبار. نقترح نظام تقييم GEC المرجعي الذي يرتبط بشدة بالحكم البشري، يحل القضايا المتعلقة باستخدام مرجع، ولا يحتاج إلى مجموعة بيانات مشروح أخرى للضبط. يعتمد النظام المقترح فقط على الأدوات المتاحة بشكل شائع. بالإضافة إلى ذلك، لا تعمل مقاييس مرجعية متاحة حاليا بشكل صحيح عندما يتكرر جزء من الجملة بدلا من المقاييس المستندة إلى المراجع. في نظامنا المقترح، نتطلع إلى معالجة القضايا المتأصلة في المقاييس المرجعية والمقاييس القائمة على المراجع.

It is difficult to rank and evaluate the performance of grammatical error correction (GEC) systems, as a sentence can be rewritten in numerous correct ways. A number of GEC metrics have been used to evaluate proposed GEC systems; however, each system relies on either a comparison with one or more reference texts---in what is known as the gold standard for reference-based metrics---or a separate annotated dataset to fine-tune the reference-less metric. Reference-based systems have a low correlation with human judgement, cannot capture all the ways in which a sentence can be corrected, and require substantial work to develop a test dataset. We propose a reference-less GEC evaluation system that is strongly correlated with human judgement, solves the issues related to the use of a reference, and does not need another annotated dataset for fine-tuning. The proposed system relies solely on commonly available tools. Additionally, currently available reference-less metrics do not work properly when part of a sentence is repeated as opposed to reference-based metrics. In our proposed system, we look to address issues inherent in reference-less metrics and reference-based metrics.