الخيال التوليد يرفع الترجمة الآلية

هناك دلالات شائعة مشتركة عبر النصوص والصور.بالنظر إلى الجملة في لغة مصدر، ما إذا كان يصور المشهد المرئي يساعد الترجمة في لغة مستهدفة؟تتطلب طرق ترجمة الآلات العصبية متعددة الوسائط المتعددة (MNMT) ثلاثة توائم من جملة ثنائية اللغة - صورة للتدريب وشرائط جملة المصدر - صورة للاستدلال.في هذه الورقة، نقترح عليلة، وهي طريقة ترجمة جاهزة عبر الخيال البصري.تخيل أولا تعلم توليد التمثيل المرئي من الجملة المصدر، ثم يستخدم كل من الجملة المصدر والتمثيل المتخيل "" لإنتاج ترجمة هادفة.على عكس الأساليب السابقة، فإنه يحتاج فقط إلى الجملة المصدر في وقت الاستدلال.توضح التجارب التي تخيل أن تخيل الفوائد من الخيال البصري وتتفوق بشكل كبير على خطوط خطوط الترجمة الآلية العصبية النصية فقط.يكشف المزيد من التحليل أن عملية الخيال في تخيل يساعد في ملء المعلومات المفقودة عند تنفيذ استراتيجية التدهور.