قياس المعنويات (SAM) لتقييم نقل المشاعر بواسطة أنظمة الترجمة الآلية

في ترجمة النص حيث تعتبر المشاعر الرسالة الرئيسية، يعطي المترجمون البشريون اهتماما خاصا للكلمات تحمل المعنويات. السبب هو أن ترجمة غير صحيحة لهذه الكلمات سوف تفوت الجانب الأساسي للنص المصدر، أي شعور المؤلف. في العالم عبر الإنترنت، تستخدم أنظمة MT على نطاق واسع لترجمة المحتوى الذي تم إنشاؤه بواسطة المستخدم (UGC) مثل المراجعات، وتغريدات، ووظائف وسائل التواصل الاجتماعي، حيث تكون الرسالة الرئيسية في كثير من الأحيان موقف المؤلف الإيجابي أو السلبي تجاه موضوع النص. من المهم في مثل هذه السيناريوهات لقياس بدقة إلى حد ما يمكن أن يكون نظام MT أداة مساعدة واقعية موثوقة في نقل الرسالة الصحيحة. تتناول هذه الورقة مشكلة أقل معترف بها في مجال تقييم الترجمة الآلية التي تهم إلى أي مدى يتفق المقاييس التلقائية مع مستوى الذهب من التقييم البشري للحصول على ترجمة صحيحة للمشاعر. نقوم بتقييم فعالية مقاييس الجودة التقليدية في اكتشاف عدم فهم الثقة، خاصة عندما يكون الخطأ الوحيد في إخراج MT. نقترح قياس المعنويات العددية "تقييس" المناسب لتقييم دقة الرسالة المترجمة تؤثر في نص UGC بواسطة نظام MT. سنظهر أن دمج هذا التدبير على دراية المعنويات يمكن أن يعزز بشكل كبير ارتباط بعض مقاييس الجودة المتاحة مع الحكم الإنساني لترجمة دقيقة للمشاعر.

In translating text where sentiment is the main message, human translators give particular attention to sentiment-carrying words. The reason is that an incorrect translation of such words would miss the fundamental aspect of the source text, i.e. the author's sentiment. In the online world, MT systems are extensively used to translate User-Generated Content (UGC) such as reviews, tweets, and social media posts, where the main message is often the author's positive or negative attitude towards the topic of the text. It is important in such scenarios to accurately measure how far an MT system can be a reliable real-life utility in transferring the correct affect message. This paper tackles an under-recognized problem in the field of machine translation evaluation which is judging to what extent automatic metrics concur with the gold standard of human evaluation for a correct translation of sentiment. We evaluate the efficacy of conventional quality metrics in spotting a mistranslation of sentiment, especially when it is the sole error in the MT output. We propose a numerical sentiment-closeness'' measure appropriate for assessing the accuracy of a translated affect message in UGC text by an MT system. We will show that incorporating this sentiment-aware measure can significantly enhance the correlation of some available quality metrics with the human judgement of an accurate translation of sentiment.