PHOMT: مجموعة بيانات معيار عالية الجودة وعالية المستوى للترجمة الفيتنامية-الإنجليزية

نقدم مجموعة بيانات موازية فيتنامية عالية الجودة ومقدمة على نطاق واسع من أزواج الجملة بنسبة 3.02m، والتي تبلغ 2.9 مليون أزواج أكبر من كوربوس الترجمة الآلية الفيتنامية-الإنجليزية الفيتنامية - IWSLT15.نقوم بإجراء تجارب تقارن خطوط الأساس العصبية القوية ومحركات الترجمة الآلية المعروفة على مجموعة بياناتنا وتجد أنه في كل من التقييمات التلقائية والإنسانية: يتم الحصول على أفضل أداء من خلال ضبط التسلسل الدقيق للتسلسل المدرب مسبقاوبعدلدينا أفضل معارفنا، هذه هي أول دراسة الترجمة الفيتنامية على نطاق واسع النطاق.نأمل أن تكون مجموعة بياناتنا المتاحة للجمهور ودراستها نقطة انطلاق للبحث والتطبيقات في المستقبل على الترجمة الفيتنامية والترجمة الآلية الإنجليزية.نطلق سراح DataSet لدينا في: https://github.com/vinairesearch/phomt

We introduce a high-quality and large-scale Vietnamese-English parallel dataset of 3.02M sentence pairs, which is 2.9M pairs larger than the benchmark Vietnamese-English machine translation corpus IWSLT15. We conduct experiments comparing strong neural baselines and well-known automatic translation engines on our dataset and find that in both automatic and human evaluations: the best performance is obtained by fine-tuning the pre-trained sequence-to-sequence denoising auto-encoder mBART. To our best knowledge, this is the first large-scale Vietnamese-English machine translation study. We hope our publicly available dataset and study can serve as a starting point for future research and applications on Vietnamese-English machine translation. We release our dataset at: https://github.com/VinAIResearch/PhoMT