نقل بيانات التدريب الترجمة المختلطة

الترجمة الآلية للمدخلات المزدوجة التي تم إنشاؤها بواسطة المستخدمين إلى اللغة الإنجليزية ذات أهمية حاسمة في التطبيقات مثل البحث على شبكة الإنترنت والإعلانات المستهدفة.نحن نتطلع إلى ندرة البيانات التدريبية الموازية لتدريب هذه النماذج عن طريق تصميم استراتيجية لتحويل مصادر البيانات المتوازية الموجزة غير المزججة الحالية إلى البيانات الموازية المختلطة.نقدم إجراء يستند إلى M-Bert إلى مكونه الأساسي الذي يمكن أن يكون نموذج وضع العلامات ثلاثية التسلسلات، والتي يمكن تدريبها على Corpus محدود مختلط رمزيا وحدها.نعرض زيادة بنسبة 5.8 نقطة في بلو على الجمل المختلطة شفرة الشفرة من خلال تدريب نموذج الترجمة باستخدام استراتيجية تكبير البيانات الخاصة بنا حول مهمة الترجمة من اللغة الهندية-الإنجليزية المختلطة.

Machine translation of user-generated code-mixed inputs to English is of crucial importance in applications like web search and targeted advertising. We address the scarcity of parallel training data for training such models by designing a strategy of converting existing non-code-mixed parallel data sources to code-mixed parallel data. We present an m-BERT based procedure whose core learnable component is a ternary sequence labeling model, that can be trained with a limited code-mixed corpus alone. We show a 5.8 point increase in BLEU on heavily code-mixed sentences by training a translation model using our data augmentation strategy on an Hindi-English code-mixed translation task.