combalign: أداة للحصول على محاذاة كلمة عالية الجودة

القدرة على توليد محاذاة كلمة دقيقة مفيدة لمجموعة متنوعة من المهام.في حين أن محاذاة الكلمة الإحصائية يمكن أن تعمل بشكل جيد، خاصة عندما تكون بيانات التدريب الموازية وفيرة، فقد تبين مؤخرا نماذج تضمين متعددة اللغات نتائج جيدة في سيناريوهات غير مخالفة.نقيم طريقة فرقة لمحاذاة الكلمات على أربع أزواج لغوية وإظهار ذلك من خلال الجمع بين أدوات متعددة، والاستفادة من نهجها المختلفة، يمكن إجراء مكاسب كبيرة.هذا يحمل للإعدادات التي تتراوح من الموارد المنخفضة جدا إلى المورد العالي.علاوة على ذلك، نقدم اختبار محاذاة ذهبي جديد مجموعة أيسلندية وأداة جديدة سهلة الاستخدام لإنشاء محاذاة Word يدوية.

Being able to generate accurate word alignments is useful for a variety of tasks. While statistical word aligners can work well, especially when parallel training data are plentiful, multilingual embedding models have recently been shown to give good results in unsupervised scenarios. We evaluate an ensemble method for word alignment on four language pairs and demonstrate that by combining multiple tools, taking advantage of their different approaches, substantial gains can be made. This holds for settings ranging from very low-resource to high-resource. Furthermore, we introduce a new gold alignment test set for Icelandic and a new easy-to-use tool for creating manual word alignments.