تعلم نموذج الترجمة متعددة اللغات ومتعدد اللغات يمثل تحديا لأن البيانات غير المتجانسة والمخطورة تجعل النموذج تتلاقص بشكل غير متسق على مختلف كوربورا في العالم الحقيقي. تتمثل هذه الممارسة الشائعة في ضبط حصة كل جثة في التدريب، بحيث يمكن أن تستفيد عملية التعلم الحالات المتوازنة والموارد المنخفضة من الموارد العالية. ومع ذلك، عادة ما تعتمد أساليب موازنة التلقائي عادة على الخصائص داخل ومشتركة بين البيانات، والتي عادة ما تكون غير مرغقة أو تتطلب من الشاورات البشرية. في هذا العمل، نقترح نهجا، مواد متعددة، أن ضبط استخدام بيانات التدريب بشكل حيوي استنادا إلى عدم اليقين في النموذج على مجموعة صغيرة من البيانات النظيفة الموثوقة للترجمة متعددة الكائنات. نحن تجارب مع فئتين من تدابير عدم اليقين في تعدد اللغات (16 لغة مع 4 إعدادات) وإعدادات متعددة النجانات (4 للمجال في المجال و 2 للخارج على الترجمة الإنجليزية-الألمانية) وإظهار نهجنا متعدد الاستخدامات بشكل كبير خطوط الأساس، بما في ذلك الاستراتيجيات الثابتة والديناميكية. نقوم بتحليل النقل عبر المجال وإظهار نقص الأساليب القائمة على الاستقرار والمشاكل.
Learning multilingual and multi-domain translation model is challenging as the heterogeneous and imbalanced data make the model converge inconsistently over different corpora in real world. One common practice is to adjust the share of each corpus in the training, so that the learning process is balanced and low-resource cases can benefit from the high resource ones. However, automatic balancing methods usually depend on the intra- and inter-dataset characteristics, which is usually agnostic or requires human priors. In this work, we propose an approach, MultiUAT, that dynamically adjusts the training data usage based on the model's uncertainty on a small set of trusted clean data for multi-corpus machine translation. We experiments with two classes of uncertainty measures on multilingual (16 languages with 4 settings) and multi-domain settings (4 for in-domain and 2 for out-of-domain on English-German translation) and demonstrate our approach MultiUAT substantially outperforms its baselines, including both static and dynamic strategies. We analyze the cross-domain transfer and show the deficiency of static and similarity based methods.
References used
https://aclanthology.org/
Low-resource Multilingual Neural Machine Translation (MNMT) is typically tasked with improving the translation performance on one or more language pairs with the aid of high-resource language pairs. In this paper and we propose two simple search base
Multilingual neural machine translation models typically handle one source language at a time. However, prior work has shown that translating from multiple source languages improves translation quality. Different from existing approaches on multi-sou
Neural machine translation based on bilingual text with limited training data suffers from lexical diversity, which lowers the rare word translation accuracy and reduces the generalizability of the translation system. In this work, we utilise the mul
Multilingual Neural Machine Translation (MNMT) trains a single NMT model that supports translation between multiple languages, rather than training separate models for different languages. Learning a single model can enhance the low-resource translat
Multilingual neural machine translation (MNMT) learns to translate multiple language pairs with a single model, potentially improving both the accuracy and the memory-efficiency of deployed models. However, the heavy data imbalance between languages