الخيال التوليد يرفع الترجمة الآلية

هناك دلالات شائعة مشتركة عبر النصوص والصور.بالنظر إلى الجملة في لغة مصدر، ما إذا كان يصور المشهد المرئي يساعد الترجمة في لغة مستهدفة؟تتطلب طرق ترجمة الآلات العصبية متعددة الوسائط المتعددة (MNMT) ثلاثة توائم من جملة ثنائية اللغة - صورة للتدريب وشرائط جملة المصدر - صورة للاستدلال.في هذه الورقة، نقترح عليلة، وهي طريقة ترجمة جاهزة عبر الخيال البصري.تخيل أولا تعلم توليد التمثيل المرئي من الجملة المصدر، ثم يستخدم كل من الجملة المصدر والتمثيل المتخيل "" لإنتاج ترجمة هادفة.على عكس الأساليب السابقة، فإنه يحتاج فقط إلى الجملة المصدر في وقت الاستدلال.توضح التجارب التي تخيل أن تخيل الفوائد من الخيال البصري وتتفوق بشكل كبير على خطوط خطوط الترجمة الآلية العصبية النصية فقط.يكشف المزيد من التحليل أن عملية الخيال في تخيل يساعد في ملء المعلومات المفقودة عند تنفيذ استراتيجية التدهور.

There are common semantics shared across text and images. Given a sentence in a source language, whether depicting the visual scene helps translation into a target language? Existing multimodal neural machine translation methods (MNMT) require triplets of bilingual sentence - image for training and tuples of source sentence - image for inference. In this paper, we propose ImagiT, a novel machine translation method via visual imagination. ImagiT first learns to generate visual representation from the source sentence, and then utilizes both source sentence and the imagined representation'' to produce a target translation. Unlike previous methods, it only needs the source sentence at the inference time. Experiments demonstrate that ImagiT benefits from visual imagination and significantly outperforms the text-only neural machine translation baselines. Further analysis reveals that the imagination process in ImagiT helps fill in missing information when performing the degradation strategy.