اكتشاف المراجع بعد التحرير وتأثيرها على التقييم البشري

توفر هذه الورقة نظرة عامة سريعة على الطرق الممكنة كيفية اكتشاف هذه الترجمات المرجعية بالفعل من خلال تحرير نظام MT بعد التحرير.يتم تقديم طريقتين استنادتين إلى المقاييس التلقائية: اختلاف بلو بين MT المشتبه به وبعض اختلاف MT جيد و Blue باستخدام مراجع إضافية.كشفت هاتين الطريقتين الشكوك بأن المرجع التشيكي WMT 2020 يعتمد على MT.تم تأكيد الشك في تحليل يدوي من خلال إيجاد دليل ملموس لإجراءات ما بعد التحرير في جمل معينة.أخيرا، يتم تقديم نموذجية من تغييرات ما بعد التحرير حيث يتم تصنيف الأخطاء أو التغييرات النموذجية التي يتم إجراؤها بواسطة محرر ما بعد المحرر أو الأخطاء المعتمدة من MT.

This paper provides a quick overview of possible methods how to detect that reference translations were actually created by post-editing an MT system. Two methods based on automatic metrics are presented: BLEU difference between the suspected MT and some other good MT and BLEU difference using additional references. These two methods revealed a suspicion that the WMT 2020 Czech reference is based on MT. The suspicion was confirmed in a manual analysis by finding concrete proofs of the post-editing procedure in particular sentences. Finally, a typology of post-editing changes is presented where typical errors or changes made by the post-editor or errors adopted from the MT are classified.