نبلغ عن نتائج المهمة المشتركة WMT 2021 بشأن تقدير الجودة، حيث يتحدى التحدي هو التنبؤ بجودة إخراج أنظمة الترجمة الآلية العصبية على مستوى الكلمة ومستويات الجملة.ركزت هذه الطبعة على إضافات رواية رئيسيتين: (1) التنبؤ باللغات غير المرئية، أي إعدادات صفرية
، و (2) التنبؤ بالأحكام ذات الأخطاء الكارثية.بالإضافة إلى ذلك، تم إصدار بيانات جديدة لعدة من اللغات، وخاصة البيانات التي تم تحريرها بعد التحرير.قدمت الفرق المشاركة من 19 مؤسسة تماما 1263 أنظمة لمتغيرات المهام المختلفة وأزواج اللغة.
توفر أنظمة ترجمة الآلات الحالية (MT) نتائج جيدة للغاية على مجموعة متنوعة متنوعة من أزواج اللغات ومجموعات البيانات. ومع ذلك، من المعروف أن إنتاج مخرجات ترجمة بطلاقة يمكن أن تحتوي على أخطاء ذات معنى مهم، وبالتالي تقويض موثوقيتها في الممارسة العملية. تق
دير الجودة (QE) هي مهمة تقييم أداء MT تلقائيا في وقت الاختبار. وبالتالي، من أجل أن تكون مفيدة، يجب أن تكون أنظمة QE قادرا على اكتشاف هذه الأخطاء. ومع ذلك، لم يتم بعد اختبار هذه القدرة في ممارسات التقييم الحالية، حيث يتم تقييم أنظمة QE فقط من حيث ارتباطها بالأحكام البشرية. في هذا العمل، نسرج هذه الفجوة من خلال اقتراح منهجية عامة لاختبار الخصم من QE ل MT. أولا، نظرا لأنه على الرغم من الارتباط العالي بالأحكام البشرية التي حققتها سوتا الأخيرة، لا تزال أنواع معينة من الأخطاء المعنية مشكلة في الكشف عن QE. ثانيا، نظهر أنه في المتوسط، فإن قدرة نموذج معين على التمييز بين الاضطرابات المعنية التي تحافظ مع المعنى وتغيير المعنى هي التنبؤ بأدائها العام، وبالتالي يحتمل أن يسمح بمقارنة أنظمة QE دون الاعتماد على تشريح الجودة اليدوية.
تركز التقدم السريع في أنظمة الترجمة الآلية العصبية على مدى السنوات القليلة الماضية بشكل أساسي على تحسين جودة الترجمة، وكتركيز ثانوي، وتحسين متانة للاضطرات (على سبيل المثال الإملاء). في حين أن الأداء والقوة هي أهداف مهمة، من خلال التركيز على هذه، فإنن
ا نخاطر بتوقيف الخصائص المهمة الأخرى. في هذه الورقة، نلفت الانتباه إلى حقيقة أنه بالنسبة لبعض التطبيقات، فإن الإخلاص النص الأصلي (الإدخال) مهم للحفاظ عليه، حتى لو كان ذلك يعني إدخال أنماط لغة غير عادية في الترجمة (الإخراج). نقترح طريقة بسيطة رواية لتحديد ما إذا كان نظام NMT يعرض متزايدا أو إخلاصا، من خلال التركيز على حالة اضطراب ترتيب الكلمات. نستكشف مجموعة من الوظائف لإشراض ترتيب الكلمات من الجمل المصدر دون حذف أو حقن الرموز، وقياس آثارها على الجانب المستهدف. عبر العديد من الحالات التجريبية، نلاحظ ميلا قويا نحو متانة بدلا من الإخلاص. تتيح لنا هذه النتائج أن نفهم المفاضلة بشكل أفضل بين الإخلاص والمتانة في NMT، ويفتح إمكانية تطوير النظم التي يكون فيها المستخدمون لديهم المزيد من الحكم الذاتي والتحكم في اختيار العقار الأفضل من الأنسب لحالة استخدامها.
في هذه الورقة، نقدم المهمة المشتركة ESPR4NLP-2021 على تقدير الجودة القادم.بالنظر إلى زوج ترجمة من المصدر، فإن هذه المهمة المشتركة لا تتطلب فقط توفير درجة على مستوى الجملة تشير إلى الجودة الشاملة للترجمة، ولكن أيضا لشرح هذه النقاط عن طريق تحديد الكلما
ت التي تؤثر سلبا على جودة الترجمة.نقدم البيانات وإرشادات التوضيحية وإعداد تقييم المهمة المشتركة، وصف النظم الستة المشاركة وتحليل النتائج.إلى حد ما من معرفتنا، هذه هي المهمة المشتركة الأولى على مقاييس تقييم NLP القابلة للتفسير.تتوفر مجموعات البيانات والنتائج في https://github.com/eval4nlp/sharedtask2021.
تدابير التشابه هي أداة حيوية لفهم كيف تمثل النماذج اللغوية ولغة العملية. تم استخدام تدابير التشابه التمثيلية القياسية مثل تشابه التموين وجيب التغليح ومسافة Euclidean بنجاح في نماذج تضمين كلمة ثابتة لفهم كيفية الكتلة الكلمات في الفضاء الدلالي. في الآو
نة الأخيرة، تم تطبيق هذه التدابير على المدينات من النماذج السياقية مثل بيرت و GPT-2. في هذا العمل، ندعو إلى السؤال عن المعلوماتية لهذه التدابير لنماذج اللغة السياقية. نجد أن عددا صغيرا من الأبعاد المارقة، في كثير من الأحيان 1-3، يهيمن على هذه التدابير. علاوة على ذلك، نجد عدم تطابق مذهل بين الأبعاد التي تهيمن على تدابير التشابه والذين مهمون سلوك النموذج. نظهر أن تقنيات PostProcessing البسيطة مثل التقييس قادرة على تصحيح الأبعاد المارقة وكشف عن الجودة التمثيلية الكامنة. نقول أن المحاسبة للأبعاد المارقة أمر ضروري لأي تحليل مقرها في التشابه لنماذج اللغة السياقية.
تقدم هذه الورقة عملنا في مهمة تقدير الجودة WMT 2021 (QE).لقد شاركنا في جميع المهام الفرعية الثلاثة، بما في ذلك مهمة التقييم المباشر على مستوى الجملة، والكلمة ومهمة جهود جهود ما بعد التحرير للكلمة وحكم الجملة ومهمة الكشف عن الأخطاء الحرجة، في جميع أزو
اج اللغات.تستخدم أنظمتنا إطار النبة المقدرة، بشكل ملموس باستخدام XLM-Roberta مدربة مسبقا كقسم مؤشر ومجموعة من المهام أو التراجع كمقيم.بالنسبة لجميع المهام، نحسن أنظمتنا من خلال دمج الجملة بعد التعديل أو جملة ترجمة إضافية عالية الجودة في طريقة التعلم المتعدد أو ترميزها مع التنبؤ مباشرة.علاوة على ذلك، في وضع صفري بالرصاص، فإن استراتيجية تكبير البيانات الخاصة بنا تعتمد على تراجع مونت كارلو يجلب تحسنا كبيرا في مهمة DA Sub.والجدير بالذكر أن عروضنا تحقق نتائج ملحوظة على جميع المهام.
نقترح نظام رواية لاستخدام محول Levenshtein لأداء مهمة تقدير جودة مستوى Word.محول Levenshtein هو مناسب طبيعي لهذه المهمة: تم تدريبه على إجراء فك التشفير بطريقة تكرارية، يمكن لمحول Levenshtein أن يتعلم النشر بعد تحرير دون إشراف صريح.لزيادة تقليل عدم ال
تطابق بين مهمة الترجمة ومهمة QE على مستوى الكلمة، نقترح إجراء تعلم نقل من مرحلتين على كل من البيانات المعززة وبيانات ما بعد التحرير البشري.نقترح أيضا الاستدلال لبناء ملصقات مرجعية متوافقة مع Finetuning على مستوى الكلمات الفرعية والاستدلال.النتائج على مجموعة بيانات المهام المشتركة WMT 2020 تشاركت إلى أن طريقةنا المقترحة لها كفاءة بيانات فائقة تحت الإعداد المقيد للبيانات والأداء التنافسي تحت الإعداد غير المقيد.
نحصل على نتائج جديدة باستخدام آلات الترجمة المرجعية (RTMS) مع توقعات مختلطة للحصول على مزيج أفضل من التنبؤ بالخبراء.نتائج المتعلم لدينا سوبر تحسين النتائج وتوفير نموذج مزيج قوي.
غالبا ما يتطلب تحسين تجربة المستخدم لنظام الحوار جهدا مكثفا مطورا مكثفا لقراءة سجلات المحادثة، وتشغيل التحليلات الإحصائية، والأهمية النسبية لأوجه القصور النسبية.تقدم هذه الورقة نهجا جديدا للتحليل الآلي لسجلات المحادثة التي تتعلم العلاقة بين تفاعلات ن
ظام المستخدم وجودة الحوار الشاملة.على عكس العمل السابق على التنبؤ بجودة الكلام على مستوى الكلام، يتعلم نهجنا تأثير كل تفاعل من تصنيف المستخدمين العام دون إشراف على مستوى الكلام، مما يسمح باستنتاجات النماذج الناتجة عن الاستمتاع على أساس الأدلة التجريبية وتكلفة منخفضة.يحدد نموذجنا التفاعلات التي لها علاقة قوية بجودة الحوار الشاملة في إعداد chatbot.تشير التجارب إلى أن التحليل الآلي من طرازنا يوافق على أحكام الخبراء، مما يجعل هذا العمل الأول من يوضح أن هذا التعلم الإشرافه ضعيف في التنبؤ بجودة الكلام هو قابلة للتحقيق بشدة.
تهدف تقدير الجودة (QE) من الترجمة الآلية (MT) إلى تقييم جودة الجمل التي ترجمتها الجهاز دون مراجع وهي مهمة في التطبيقات العملية ل MT.تتطلب Training Models QE بيانات موازية ضخمة بأشرفة توضيحية ذات جودة يدوية، وهي تستغرق وقتا طويلا ومكثفة العمالة للحصول
عليها.لمعالجة مسألة عدم وجود بيانات تدريب مشروح، تحاول الدراسات السابقة تطوير أساليب QE غير المدعومة.ومع ذلك، يمكن تطبيق عدد قليل جدا منهم على مهام QE على مستوى الجملة والطريق، وقد تعاني من الضوضاء في البيانات الاصطناعية.لتقليل الآثار السلبية للضوضاء، نقترح طريقة للإشراف ذاتي لكل من QE من كل من QE على مستوى الكلمة والطريق، والتي تنفذ تقدير الجودة من خلال استعادة الكلمات المستهدفة الملثمين.تظهر النتائج التجريبية أن أسلوبنا تتفوق على الطرق السابقة غير الخاضعة للرقابة في العديد من مهام QE في أزواج ومجال بلغات مختلفة.
