كيفية التكيف بشكل فعال طرازات الترجمة الآلية (NMT) وفقا للحالات الناشئة دون إعادة التدريب؟على الرغم من النجاح الكبير للترجمة الآلية العصبية، فإن تحديث النماذج المنتشرة عبر الإنترنت لا تزال تحديا.الأساليب غير المعلمة القائمة التي تسترجع الأمثلة المماثلة من قاعدة بيانات لتوجيه عملية الترجمة تعد واعدة ولكنها عرضة للإفراط في الأمثلة المستردة.ومع ذلك، فإن الأساليب غير المعلمة عرضة للإفراط في الأمثلة المستردة.في هذا العمل، نقترح تعلم الترجمة المنحزة بالنواة مع استعادة مثال (Kster)، وهي طريقة فعالة لتكييف نماذج الترجمة الآلية العصبية عبر الإنترنت.تظهر التجارب في مجال تكيف المجال ومجموعات بيانات الترجمة متعددة المجالات أنه حتى دون إعادة تدريب باهظة الثمن، فإن KTERS قادرة على تحقيق تحسن قدره 1.1 إلى 1.5 درجات بلو عبر أفضل طرق التكيف الموجودة عبر الإنترنت.يتم إصدار الرمز والنماذج المدربة في https://github.com/jiangqn/kster.
How to effectively adapt neural machine translation (NMT) models according to emerging cases without retraining? Despite the great success of neural machine translation, updating the deployed models online remains a challenge. Existing non-parametric approaches that retrieve similar examples from a database to guide the translation process are promising but are prone to overfit the retrieved examples. However, non-parametric methods are prone to overfit the retrieved examples. In this work, we propose to learn Kernel-Smoothed Translation with Example Retrieval (KSTER), an effective approach to adapt neural machine translation models online. Experiments on domain adaptation and multi-domain machine translation datasets show that even without expensive retraining, KSTER is able to achieve improvement of 1.1 to 1.5 BLEU scores over the best existing online adaptation methods. The code and trained models are released at https://github.com/jiangqn/KSTER.
References used
https://aclanthology.org/
Few-shot learning arises in important practical scenarios, such as when a natural language understanding system needs to learn new semantic labels for an emerging, resource-scarce domain. In this paper, we explore retrieval-based methods for intent c
We participated in all tracks of the WMT 2021 efficient machine translation task: single-core CPU, multi-core CPU, and GPU hardware with throughput and latency conditions. Our submissions combine several efficiency strategies: knowledge distillation,
We investigate transfer learning based on pre-trained neural machine translation models to translate between (low-resource) similar languages. This work is part of our contribution to the WMT 2021 Similar Languages Translation Shared Task where we su
Multilingual neural machine translation (MNMT) learns to translate multiple language pairs with a single model, potentially improving both the accuracy and the memory-efficiency of deployed models. However, the heavy data imbalance between languages
When building machine translation systems, one often needs to make the best out of heterogeneous sets of parallel data in training, and to robustly handle inputs from unexpected domains in testing. This multi-domain scenario has attracted a lot of re