توفر أنظمة ترجمة الآلات الحالية (MT) نتائج جيدة للغاية على مجموعة متنوعة متنوعة من أزواج اللغات ومجموعات البيانات. ومع ذلك، من المعروف أن إنتاج مخرجات ترجمة بطلاقة يمكن أن تحتوي على أخطاء ذات معنى مهم، وبالتالي تقويض موثوقيتها في الممارسة العملية. تق
دير الجودة (QE) هي مهمة تقييم أداء MT تلقائيا في وقت الاختبار. وبالتالي، من أجل أن تكون مفيدة، يجب أن تكون أنظمة QE قادرا على اكتشاف هذه الأخطاء. ومع ذلك، لم يتم بعد اختبار هذه القدرة في ممارسات التقييم الحالية، حيث يتم تقييم أنظمة QE فقط من حيث ارتباطها بالأحكام البشرية. في هذا العمل، نسرج هذه الفجوة من خلال اقتراح منهجية عامة لاختبار الخصم من QE ل MT. أولا، نظرا لأنه على الرغم من الارتباط العالي بالأحكام البشرية التي حققتها سوتا الأخيرة، لا تزال أنواع معينة من الأخطاء المعنية مشكلة في الكشف عن QE. ثانيا، نظهر أنه في المتوسط، فإن قدرة نموذج معين على التمييز بين الاضطرابات المعنية التي تحافظ مع المعنى وتغيير المعنى هي التنبؤ بأدائها العام، وبالتالي يحتمل أن يسمح بمقارنة أنظمة QE دون الاعتماد على تشريح الجودة اليدوية.
في هذه الورقة، نقدم المهمة المشتركة ESPR4NLP-2021 على تقدير الجودة القادم.بالنظر إلى زوج ترجمة من المصدر، فإن هذه المهمة المشتركة لا تتطلب فقط توفير درجة على مستوى الجملة تشير إلى الجودة الشاملة للترجمة، ولكن أيضا لشرح هذه النقاط عن طريق تحديد الكلما
ت التي تؤثر سلبا على جودة الترجمة.نقدم البيانات وإرشادات التوضيحية وإعداد تقييم المهمة المشتركة، وصف النظم الستة المشاركة وتحليل النتائج.إلى حد ما من معرفتنا، هذه هي المهمة المشتركة الأولى على مقاييس تقييم NLP القابلة للتفسير.تتوفر مجموعات البيانات والنتائج في https://github.com/eval4nlp/sharedtask2021.
تقدم هذه الورقة عملنا في مهمة تقدير الجودة WMT 2021 (QE).لقد شاركنا في جميع المهام الفرعية الثلاثة، بما في ذلك مهمة التقييم المباشر على مستوى الجملة، والكلمة ومهمة جهود جهود ما بعد التحرير للكلمة وحكم الجملة ومهمة الكشف عن الأخطاء الحرجة، في جميع أزو
اج اللغات.تستخدم أنظمتنا إطار النبة المقدرة، بشكل ملموس باستخدام XLM-Roberta مدربة مسبقا كقسم مؤشر ومجموعة من المهام أو التراجع كمقيم.بالنسبة لجميع المهام، نحسن أنظمتنا من خلال دمج الجملة بعد التعديل أو جملة ترجمة إضافية عالية الجودة في طريقة التعلم المتعدد أو ترميزها مع التنبؤ مباشرة.علاوة على ذلك، في وضع صفري بالرصاص، فإن استراتيجية تكبير البيانات الخاصة بنا تعتمد على تراجع مونت كارلو يجلب تحسنا كبيرا في مهمة DA Sub.والجدير بالذكر أن عروضنا تحقق نتائج ملحوظة على جميع المهام.
نقترح نظام رواية لاستخدام محول Levenshtein لأداء مهمة تقدير جودة مستوى Word.محول Levenshtein هو مناسب طبيعي لهذه المهمة: تم تدريبه على إجراء فك التشفير بطريقة تكرارية، يمكن لمحول Levenshtein أن يتعلم النشر بعد تحرير دون إشراف صريح.لزيادة تقليل عدم ال
تطابق بين مهمة الترجمة ومهمة QE على مستوى الكلمة، نقترح إجراء تعلم نقل من مرحلتين على كل من البيانات المعززة وبيانات ما بعد التحرير البشري.نقترح أيضا الاستدلال لبناء ملصقات مرجعية متوافقة مع Finetuning على مستوى الكلمات الفرعية والاستدلال.النتائج على مجموعة بيانات المهام المشتركة WMT 2020 تشاركت إلى أن طريقةنا المقترحة لها كفاءة بيانات فائقة تحت الإعداد المقيد للبيانات والأداء التنافسي تحت الإعداد غير المقيد.
نحصل على نتائج جديدة باستخدام آلات الترجمة المرجعية (RTMS) مع توقعات مختلطة للحصول على مزيج أفضل من التنبؤ بالخبراء.نتائج المتعلم لدينا سوبر تحسين النتائج وتوفير نموذج مزيج قوي.
تهدف تقدير الجودة (QE) من الترجمة الآلية (MT) إلى تقييم جودة الجمل التي ترجمتها الجهاز دون مراجع وهي مهمة في التطبيقات العملية ل MT.تتطلب Training Models QE بيانات موازية ضخمة بأشرفة توضيحية ذات جودة يدوية، وهي تستغرق وقتا طويلا ومكثفة العمالة للحصول
عليها.لمعالجة مسألة عدم وجود بيانات تدريب مشروح، تحاول الدراسات السابقة تطوير أساليب QE غير المدعومة.ومع ذلك، يمكن تطبيق عدد قليل جدا منهم على مهام QE على مستوى الجملة والطريق، وقد تعاني من الضوضاء في البيانات الاصطناعية.لتقليل الآثار السلبية للضوضاء، نقترح طريقة للإشراف ذاتي لكل من QE من كل من QE على مستوى الكلمة والطريق، والتي تنفذ تقدير الجودة من خلال استعادة الكلمات المستهدفة الملثمين.تظهر النتائج التجريبية أن أسلوبنا تتفوق على الطرق السابقة غير الخاضعة للرقابة في العديد من مهام QE في أزواج ومجال بلغات مختلفة.
توضح هذه الورقة أنظمة تقدير الجودة من Postech المقدمة إلى المهمة 2 من تقدير جودة WMT 2021 المهمة المشتركة: جهود ما بعد التحرير على مستوى الكلمة والجمل. نلاحظ أنه من الممكن تحسين استقرار أحدث نماذج تقدير الجودة التي لها تشفير واحد فقط استنادا إلى آلية
اهتمام الذات في معالجة كل من بيانات المدخلات في وقت واحد، تسلسل مصدر والترجمة الآلية، في هذه النماذج لقد أهملت الاستفادة من تمثيلات أحادية التدريب المدربة مسبقا، والتي يتم قبولها عموما كتمثيل موثوق لمختلف مهام معالجة اللغة الطبيعية. لذلك، يستخدم طرازنا ترميزا أحاديانا مدربا مسبقا ثم تبادل معلومات اثنين من التمثيلات المشفرة من خلال شبكات تفصيلية إضافية. وفقا للوحة المتصدرين الرسمية، تفوق أنظمتنا أن أنظمة خط الأساس من حيث معامل الارتباط في ماثيوز لترجمات جودة الكلمات "تقدير الجودة على مستوى الكلمات" ومن حيث معامل الارتباط في بيرسون لتقدير الجودة على مستوى الجملة بمقدار 0.4126 و 0.5497 على التوالي.
يعد تقدير الجودة (QE) مكونا هاما لسير عمل الترجمة الآلي لأنه يقيم جودة الإخراج المترجم دون الترجمات المرجعية الاستشارية.في هذه الورقة، نناقش التقديم لدينا إلى المهمة المشتركة WMT 2021 QE.إننا نشارك في المهمة الفرعية الفرعية على مستوى الجملة 2 المهام
التي تتحدى المشاركين للتنبؤ بدرجة HTER من أجل جهد التحرير على مستوى الجملة.نظامنا المقترح هو مجموعة من نماذج الانحدار من بيرت (mbert) متعددة اللغات، والتي يتم إنشاؤها بواسطة ضبط صقلها على إعدادات الإدخال المختلفة.يوضح أداء قابلا للمقارنة فيما يتعلق بترابط بيرسون، وتغلب على نظام الأساس في ماي / رموز لعدة أزواج اللغة.بالإضافة إلى ذلك، نقوم بتكييف نظامنا لإعداد اللقطة الصفرية من خلال استغلال أزواج اللغة ذات الصلة بالغة والترجمات المرجعية الزائفة.
الحجج عالية الجودة هي جزء أساسي من صنع القرار.توقع جودة الوسيطة تلقائيا هي مهمة معقدة حصلت مؤخرا على الكثير من الاهتمام في تعدين الحجة.ومع ذلك، فإن جهود التوضيحية لهذه المهمة مرتفعة بشكل استثنائي.لذلك، نختبر أساليب التعلم النشطة القائمة على عدم اليقي
ن (AL) على مجموعتين بيانات قوامها الشائعة لتقدير ما إذا كان يمكن تمكين التعلم الكفء للعينة.يدل تقييمنا التجريبي الواسع أن وظائف الاستحواذ القائمة على عدم اليقين لا يمكن أن تتجاوز الدقة التي تم التوصل إليها مع الاستحواذ العشوائي على مجموعات البيانات هذه.
حققت نماذج اللغة المرجعة متعددة اللغات متعددة اللغات مؤخرا أداءا ملحوظا عن الصفر، حيث يتم تقسيم النموذج فقط في لغة مصدر واحدة وتقييمها مباشرة على اللغات المستهدفة.في هذا العمل، نقترح إطارا للتعليم الذاتي الذي يستخدم البيانات غير المستهدفة من اللغات ا
لمستهدفة، بالإضافة إلى تقدير عدم اليقين في هذه العملية لتحديد ملصقات فضية عالية الجودة.يتم تكييف وثلاثة أوجه عدم اليقين الثلاثة وتحليلها خصيصا للتحويل اللغوي الصليب: لغة عدم اليقين المتنوعة من اللغة (LEU / LOU)، عدم اليقين الواضح (EVI).نقوم بتقييم إطار عملنا مع عدم اليقين على مهمتين متوقعتين بما في ذلك التعرف على الكيانات المسماة (NER) والاستدلال اللغوي الطبيعي (NLI) (NLI) (NLI) (NLI) تغطي 40 لغة في المجموع، والتي تتفوق على خطوط الأساس بشكل كبير بمقدار 10 F1 من دقة NLI.
