هناك دلالات شائعة مشتركة عبر النصوص والصور.بالنظر إلى الجملة في لغة مصدر، ما إذا كان يصور المشهد المرئي يساعد الترجمة في لغة مستهدفة؟تتطلب طرق ترجمة الآلات العصبية متعددة الوسائط المتعددة (MNMT) ثلاثة توائم من جملة ثنائية اللغة - صورة للتدريب وشرائط جملة المصدر - صورة للاستدلال.في هذه الورقة، نقترح عليلة، وهي طريقة ترجمة جاهزة عبر الخيال البصري.تخيل أولا تعلم توليد التمثيل المرئي من الجملة المصدر، ثم يستخدم كل من الجملة المصدر والتمثيل المتخيل "" لإنتاج ترجمة هادفة.على عكس الأساليب السابقة، فإنه يحتاج فقط إلى الجملة المصدر في وقت الاستدلال.توضح التجارب التي تخيل أن تخيل الفوائد من الخيال البصري وتتفوق بشكل كبير على خطوط خطوط الترجمة الآلية العصبية النصية فقط.يكشف المزيد من التحليل أن عملية الخيال في تخيل يساعد في ملء المعلومات المفقودة عند تنفيذ استراتيجية التدهور.
There are common semantics shared across text and images. Given a sentence in a source language, whether depicting the visual scene helps translation into a target language? Existing multimodal neural machine translation methods (MNMT) require triplets of bilingual sentence - image for training and tuples of source sentence - image for inference. In this paper, we propose ImagiT, a novel machine translation method via visual imagination. ImagiT first learns to generate visual representation from the source sentence, and then utilizes both source sentence and the imagined representation'' to produce a target translation. Unlike previous methods, it only needs the source sentence at the inference time. Experiments demonstrate that ImagiT benefits from visual imagination and significantly outperforms the text-only neural machine translation baselines. Further analysis reveals that the imagination process in ImagiT helps fill in missing information when performing the degradation strategy.
References used
https://aclanthology.org/
We propose a generative framework for simultaneous machine translation. Conventional approaches use a fixed number of source words to translate or learn dynamic policies for the number of source words by reinforcement learning. Here we formulate simu
Many NLP models operate over sequences of subword tokens produced by hand-crafted tokenization rules and heuristic subword induction algorithms. A simple universal alternative is to represent every computerized text as a sequence of bytes via UTF-8,
This work investigates neural machine translation (NMT) systems for translating English user reviews into Croatian and Serbian, two similar morphologically complex languages. Two types of reviews are used for testing the systems: IMDb movie reviews a
AbstractMachine translation (MT) technology has facilitated our daily tasks by providing accessible shortcuts for gathering, processing, and communicating information. However, it can suffer from biases that harm users and society at large. As a rela
The development of Translation Technologies, like Translation Memory and Machine Translation, has completely changed the translation industry and translator's workflow in the last decades. Nevertheless, TM and MT have been developed separately until