تقدم التطورات الحديثة في الترجمة الآلية العصبية غير المدعومة (IPNMT) من الفجوة بين أداء ترجمة الآلات الخاضعة للإشراف وغير المعروضة لأزواج اللغة ذات الصلة عن كثب. ومع ذلك، والوضع مختلف جدا على أزواج اللغة البعيدة. يؤدي نقص التداخل في المعجم وانخفاض التشابه النحوي، مثل اللغة الإنجليزية واللغات الهندية إلى ضعف جودة الترجمة في أنظمة IPS الحالية. في هذه الورقة، نعرض أن تهيئة طبقة التضمين من طرازات التضمين من طرازات بروتوكول الكثال الكثال الكربون البرمجية مع ادبات متبلة يؤدي إلى تحسينات نقاط بلو كبيرة على نماذج IPS الحالية حيث تتم تهيئة أوزان طبقة تضمينها بشكل عشوائي. مما يؤدي وتجميد الأوزان طبقة التضمين إلى تحسين مكاسب أفضل مقارنة بتحديث أوزان طبقة تضمينها أثناء التدريب. لقد جربنا باستخدام تسلسل ملثمين للتسلسل (الكتلة) وتدينك مناهج AUTONCONDER (DAE) لنهج البث لمدة ثلاث أزواج لغة بعيدة. تهيئة تضمين التضمين المتبادلة المقترحة تحسن نتيجة بلو ما يصل إلى عشر مرات فوق خط الأساس للإنجليزية-الهندية والإنجليزية-البنغالية والإنجليزية-الغوجاراتية. يوضح تحليلنا أن تهيئة طبقة التضمين مع رسم خرائط تضمين التضمين الساكنة ضرورية لتدريب نماذج بعثة الأمم المتحدة في غول الرصاص على أزواج اللغة البعيدة.
Recent advances in Unsupervised Neural Machine Translation (UNMT) has minimized the gap between supervised and unsupervised machine translation performance for closely related language-pairs. However and the situation is very different for distant language pairs. Lack of overlap in lexicon and low syntactic similarity such as between English and IndoAryan languages leads to poor translation quality in existing UNMT systems. In this paper and we show that initialising the embedding layer of UNMT models with cross-lingual embeddings leads to significant BLEU score improvements over existing UNMT models where the embedding layer weights are randomly initialized. Further and freezing the embedding layer weights leads to better gains compared to updating the embedding layer weights during training. We experimented using Masked Sequence to Sequence (MASS) and Denoising Autoencoder (DAE) UNMT approaches for three distant language pairs. The proposed cross-lingual embedding initialization yields BLEU score improvement of as much as ten times over the baseline for English-Hindi and English-Bengali and English-Gujarati. Our analysis shows that initialising embedding layer with static cross-lingual embedding mapping is essential for training of UNMT models for distant language-pairs.
References used
https://aclanthology.org/
Translation models for the specific domain of translating Covid data from English to Irish were developed for the LoResMT 2021 shared task. Domain adaptation techniques, using a Covid-adapted generic 55k corpus from the Directorate General of Transla
In this paper and we explore different techniques of overcoming the challenges of low-resource in Neural Machine Translation (NMT) and specifically focusing on the case of English-Marathi NMT. NMT systems require a large amount of parallel corpora to
How difficult is it for English-as-a-second language (ESL) learners to read noisy English texts? Do ESL learners need lexical normalization to read noisy English texts? These questions may also affect community formation on social networking sites wh
We are using a semi-automated test suite in order to provide a fine-grained linguistic evaluation for state-of-the-art machine translation systems. The evaluation includes 18 German to English and 18 English to German systems, submitted to the Transl
In this paper and we identify an interesting kind of error in the output of Unsupervised Neural Machine Translation (UNMT) systems like Undreamt1. We refer to this error type as Scrambled Translation problem. We observe that UNMT models which use wor