شهد حقل NLP مؤخرا زيادة كبيرة في العمل المتعلق بتكاثر النتائج، وأكثر اعترافا بشكل عام بأهمية وجود تعريفات وممارسات مشتركة تتعلق بالتقييم. وقد تركز الكثير من العمل على الاستيلاء على الدرجات المترية حتى الآن، مع استنساخ نتائج التقييم البشرية التي تتلقى
اهتماما أقل بكثير. كجزء من برنامج بحثي مصمم لتطوير نظرية وممارسة تقييم استنساخ في NLP، نظمت المهمة المشتركة الأولى بشأن استنساخ التقييمات البشرية، وتوبيخ 2021. تصف هذه الورقة المهمة المشتركة بالتفصيل، تلخص النتائج من كل مجال من دراسات الاستنساخ قدمت، ويوفر المزيد من التحليل المقارن للنتائج. من بين تسع تسجيلات الفريق الأولية، تلقينا عروض من أربعة فرق. كشف التحليل التلوي لدراسات الاستنساخ الأربعة عن درجات متفاوتة من التكاثر، وسمحت باستنتاجات أولية مبدئية للغاية حول أنواع التقييم التي تميل إلى تحسين استنساخ أفضل.
تصف هذه الورقة مساهمتنا في المهمة المشتركة لإعادة تأييد Belz et al. (2021)، والذي يحقق في استنساخ التقييمات البشرية في سياق توليد اللغة الطبيعية. اخترنا توليد الورق من أوصاف الشركة باستخدام النماذج العميقة المفهوم إلى النص والنصوص العميقة: مجموعة الب
يانات التجميع والأنظمة "(Qader et al.، 2018) وتهدف إلى النسخ المتماثل، عن كثب إلى الأصل ممكن، التقييم البشري والمقارنة اللاحقة بين الأحكام الإنسانية ومقاييس التقييم التلقائي. هنا، نقوم أولا بتحديد مهمة جيل النص في ورقة قادر وآخرون. (2018). ثم، نحن نوثق كيف اقتربنا نسخينا من التقييم البشري للورقة. نناقش أيضا الصعوبات التي واجهناها والتي كانت المعلومات مفقودة. النسخ المتماثل لدينا له علاقة متوسطة إلى قوية (0.66 سبيرمان بشكل عام) مع النتائج الأصلية للقادير وآخرون. (2018)، ولكن بسبب المعلومات المفقودة حول مدى قادير وآخرون. (2018) مقارنة الأحكام الإنسانية بدرجات متري، امتنعنا عن إعادة إنتاج هذه المقارنة.
كان التقييم البشري على مستوى المستند للترجمة الآلية (MT) يثير اهتماما بالمجتمع.ومع ذلك، يعرف القليل عن قضايا استخدام منهجيات مستوى المستند لتقييم جودة MT.في هذه المقالة، نقارن نتائج اتفاقية Insent-Annotator (IAA)، والجهد لتقييم الجودة في منهجيات مختل
فة على مستوى المستندات، وقضية رسالة التسليم عند تقييم الأحكام خارج السياق.
