تصف هذه الورقة نظام Noahnmt المقدم إلى المهمة المشتركة WMT 2021 الخاصة بترجمة آلية منخفضة للغاية للإشراف على الموارد.النظام هو نموذج محول قياسي مزود بتقنية نقلنا الحديثة.كما توظف التقنيات المستخدمة على نطاق واسع من المعروف أنها مفيدة للترجمة الآلية ا
لعصبية، بما في ذلك الترجمة الترجمة الإلكترونية التكرارية، والصلفة المختارة، والوقت.يقدم التقديم النهائي أعلى بلو لثلاثة اتجاهات ترجمة.
في هذه الورقة، نحن نصف مجموعتنا لمهمة مشاركة اللغة المشتركة للغة 2021. لقد بنينا 3 أنظمة في كل اتجاه لزوج لغة التاميل.تحدد هذه الورقة تجارب مع مخططات التوت المختلفة لتدريب النماذج الإحصائية.نبلغ أيضا عن تكوين الأنظمة والنتائج المقدمة التي ينتجها من قبلها.
شاركنا في جميع المسارات لمهمة الترجمة الآلية ل WMT 2021: وحدة المعالجة المركزية ذات CPU أحادية النواة، وحدة المعالجة المركزية متعددة النواة، وأجهزة GPU مع شروط الإنتاجية والكمولية.تجمع تقاريرنا العديد من استراتيجيات الكفاءة: تقطير المعرفة، وحدة فك تر
ميز وحدة بسيطة متكررة بسيطة (SSRU) مع طبقتين أو طبقتين، بقلين من المعجمين، وتنسيقات عدودية أصغر، وتقليم.بالنسبة لمسار وحدة المعالجة المركزية، استخدمنا طرازات 8 بت كمية.بالنسبة لمسار GPU، جربنا أعداد صحيحة FP16 و 8 بت في عشرات الموانئ.بعض عمليات التقديمات لدينا تحسين الحجم عبر سجل سجل 4 بت وحذف قائمة مختصرة معجمية.لقد مددنا تشذيم أكبر أجزاء من الشبكة، مع التركيز على تشذيب المكونات ومستوى الحظر الذي يحسن في الواقع السرعة على عكس تقليم المعامل الحكيم.
في هذا العمل، تم تطوير وتقييم وتقييم أنظمة الترجمة الآلية العصبيةين كجزء من BILIRECTIONAL TAMIL-TELUGU Transmation Language Translation Transke Subtask في WMT21. تم استخدام مجموعة أدوات OpenNMT-PY لإنشاء النماذج النماذج الخاصة بالأنظمة السريعة، والتي
تتابع النماذج التي تم تدريبها على مجموعات البيانات التدريبية التي تحتوي على Corpus الموازي وأخيرا تم تقييم النماذج على مجموعات بيانات Dev المقدمة كجزء من المهمة. تم تدريب كل من الأنظمة على محطة DGX مع 4 -V100 GPUs. أول نظام NMT في هذا العمل هو طراز ترميز تشفير من 6 طبقة محول، تدرب على 100000 خطوة تدريبية، مما يشبه تكوينه الجديد الذي يوفره OpenNMT-PY وهذا يستخدم لإنشاء نموذج للحصول على ترجمة ثنائية الاتجاه. يحتوي نظام NMT الثاني على نماذج ترجمة أحادية الاتجاه مع نفس التكوين كنظام أول كأول، مع إضافة ترميز زوج البايت البايت (BPE) لتخشيص الكلمات الفرعية من خلال طراز MultiBPEMB المدرب مسبقا. بناء على مقاييس تقييم DEV DataSet لكل من النظم، فإن النظام الأول I.E. لقد تم تقديم نموذج محول الفانيليا كنظام أساسي. نظرا لعدم وجود تحسينات في المقاييس أثناء تدريب النظام الثاني مع BPE، فقد تم تقديمه كأنظمة مضادة للتناقض.
تهدف الترجمة متعددة الوسائط (MMT) إلى تحسين أداء الترجمة من خلال دمج المعلومات المرئية. معظم الدراسات الاستفادة من المعلومات المرئية من خلال دمج ميزات الصورة العالمية كمدخل إضافي أو فك تشفير من خلال حضور المناطق المحلية ذات الصلة في الصورة. ومع ذلك،
فإن هذا النوع من استخدام المعلومات المرئية يجعل من الصعب معرفة كيفية تساعد طريقة المرئية ولماذا يعمل. مستوحاة من نتائج (الاقتباس) التي تعد الكيانات أكثر تفكيا في الصورة، نقترح نهجا للتعلم الصريح عبر مستوى الكيانات يهدف إلى زيادة تمثيل الكيان. على وجه التحديد، يتم تأطير النهج كهجوم لإعادة الإعمار الذي يعيد إدخال المدخلات النصية الأصلية من المدخلات متعددة الوسائط يتم استبدال الكيانات بالكيانات بالميزات المرئية. بعد ذلك، يتم استخدام إطار عمل متعدد المهام في الجمع بين مهمة الترجمة ومهمة إعادة الإعمار للاستفادة الكاملة من تعلم تمثيل الكيان عبر الوسائط. تثبت التجارب الواسعة أن نهجنا يمكن أن يحقق أداء قابلا للمقارنة أو أفضل من النماذج الحديثة. علاوة على ذلك، يوضح تحليلنا المتعمق كيفية تحسين المعلومات المرئية الترجمة.
تحتوي نماذج الترجمة الآلية على مفردات منفصلة واستخدام تقنيات تجزئة الكلمات الفرعية لتحقيق المفردات المفتوحة.يعتمد هذا النهج على تسلسل Unicode متسق وصحيح، ويجعل النماذج عرضة للتدهور من الأنواع المشتركة من الضوضاء والاختلاف.بدافع من متانة معالجة اللغات
البشرية، نقترح استخدام تمثيلات نصية بصرية، والذي يتم الاستغناء عن مجموعة محدودة من Adgeddings النصية لصالح المفردات المستمرة التي تم إنشاؤها عن طريق معالجة النص المنصوص عليه بصريا مع Windows Sliding Windows.نظهر أن النماذج باستخدام نهج تمثيلات النص المرئي أو مطابقة أداء النماذج النصية التقليدية على مجموعات البيانات الصغيرة والأكبر.الأهم من ذلك، الأهم من ذلك، توضح النماذج ذات المدينات البصرية متانة كبيرة لأنواع الضوضاء المتنوعة، وتحقيق على سبيل المثال، 25.9 بلو على شخصية مسموعة باللغة الألمانية - المهمة الإنجليزية حيث تتحلل نماذج الكلمات الفرعية إلى 1.9.
تحسنت أداء أنظمة NMT بشكل كبير في السنوات القليلة الماضية ولكن ترجمة الكلمات متعددة الإحساس لا تزال تشكل تحديا. نظرا لأن حواس الكلمات ليست ممثلة بشكل موحد في الشركة الموازية المستخدمة للتدريب، فهناك استخدام مفرط من المعنى الأكثر شيوعا في إخراج MT. في
هذا العمل، نقترح CMBT (الترجمة ذات الاحتياط بالسياقة)، وهو نهج لتحسين ترجمة كلمة متعددة الشعور بالاستفادة من تمثيل الكلمات السياقية المتبادلة المدربة مسبقا (CCWRS). بسبب حساسية السياق الخاصة بهم وبياناتها السابقة للتدريب الكبيرة، يمكن ل CCWRS الوصول بسهولة إلى حواس الكلمات المفقودة أو نادرة جدا في ولاية فورانيا المستخدمة لتدريب MT. على وجه التحديد، تطبق CMBT تحريض معجم ثنائي اللغة على CCWRS الجمل المستهدفة ذات المحور المنطقي من مجموعة بيانات أحادية الأحادية، ثم يترجم هذه الجمل لإنشاء كورب موازية زائفة كبيانات تدريبية إضافية لنظام MT. نحن نختبر جودة الترجمة من الكلمات الغامضة على جناح اختبار المخاط المخاطي، والتي تم بناؤها لاختبار فعالية حذف كلمة معنى الكلمة لأنظمة MT. نظهر أن نظامنا يتحسن على ترجمة حواس كلمة متعددة الترددات الصعبة والثانية.
نحن نحقق في التعلم التحويل بناء على نماذج الترجمة الآلية المدربة مسبقا للترجمة بين (الموارد المنخفضة) اللغات المشابهة.هذا العمل هو جزء من مساهمتنا في المهمة المشتركة لغات WMT 2021 بمثابة مهمة مشتركة حيث أرسلنا نماذج لأزواج اللغة المختلفة، بما في ذلك
الفرنسية-بامبارا والإسبانية الكاتالونية والإسبانية والبرتغالية في كلا الاتجاهين.نماذجنا للكاتالان الإسبانية (82.79 بلو) والبرتغالية-الإسبانية (87.11 بلو) المرتبة الأولى في تقييم المهام المشتركة الرسمية، ونحن الفريق الوحيد لتقديم نماذج لأزواج بامبارا الفرنسية.
تركز التقدم السريع في أنظمة الترجمة الآلية العصبية على مدى السنوات القليلة الماضية بشكل أساسي على تحسين جودة الترجمة، وكتركيز ثانوي، وتحسين متانة للاضطرات (على سبيل المثال الإملاء). في حين أن الأداء والقوة هي أهداف مهمة، من خلال التركيز على هذه، فإنن
ا نخاطر بتوقيف الخصائص المهمة الأخرى. في هذه الورقة، نلفت الانتباه إلى حقيقة أنه بالنسبة لبعض التطبيقات، فإن الإخلاص النص الأصلي (الإدخال) مهم للحفاظ عليه، حتى لو كان ذلك يعني إدخال أنماط لغة غير عادية في الترجمة (الإخراج). نقترح طريقة بسيطة رواية لتحديد ما إذا كان نظام NMT يعرض متزايدا أو إخلاصا، من خلال التركيز على حالة اضطراب ترتيب الكلمات. نستكشف مجموعة من الوظائف لإشراض ترتيب الكلمات من الجمل المصدر دون حذف أو حقن الرموز، وقياس آثارها على الجانب المستهدف. عبر العديد من الحالات التجريبية، نلاحظ ميلا قويا نحو متانة بدلا من الإخلاص. تتيح لنا هذه النتائج أن نفهم المفاضلة بشكل أفضل بين الإخلاص والمتانة في NMT، ويفتح إمكانية تطوير النظم التي يكون فيها المستخدمون لديهم المزيد من الحكم الذاتي والتحكم في اختيار العقار الأفضل من الأنسب لحالة استخدامها.
اكتسبت الترجمة الآلية المتزامنة الجر مؤخرا، بفضل تحسينات الجودة المهمة ومختام تطبيقات البث.تحتاج أنظمة الترجمة المتزامنة إلى إيجاد مفاضلة بين جودة الترجمة ووقت الاستجابة، وبالتالي تم اقتراح تدابير الكمون المتعددة.ومع ذلك، يتم تقدير تقييمات الكمون للت
رجمة الفورية على مستوى الجملة، ولا تأخذ في الاعتبار الطبيعة المتسلسلة لسيناريو البث.في الواقع، هذه تدابير الكمون على مستوى الجملة ليست مناسبة تماما للترجمة المستمرة، مما أدى إلى وجود أرقام غير متماسكة مع سياسة الترجمة المتزامنة للنظام التي يتم تقييمها.يقترح هذا العمل تكيف مستوى دفق من تدابير الكمون الحالية بناء على نهج إعادة تجزئة مطبق على ترجمة الناتج، والتي يتم تقييمها بنجاح على شروط البث لمهمة الإشارة IWSLT.
