توفر أنظمة ترجمة الآلات الحالية (MT) نتائج جيدة للغاية على مجموعة متنوعة متنوعة من أزواج اللغات ومجموعات البيانات. ومع ذلك، من المعروف أن إنتاج مخرجات ترجمة بطلاقة يمكن أن تحتوي على أخطاء ذات معنى مهم، وبالتالي تقويض موثوقيتها في الممارسة العملية. تق
دير الجودة (QE) هي مهمة تقييم أداء MT تلقائيا في وقت الاختبار. وبالتالي، من أجل أن تكون مفيدة، يجب أن تكون أنظمة QE قادرا على اكتشاف هذه الأخطاء. ومع ذلك، لم يتم بعد اختبار هذه القدرة في ممارسات التقييم الحالية، حيث يتم تقييم أنظمة QE فقط من حيث ارتباطها بالأحكام البشرية. في هذا العمل، نسرج هذه الفجوة من خلال اقتراح منهجية عامة لاختبار الخصم من QE ل MT. أولا، نظرا لأنه على الرغم من الارتباط العالي بالأحكام البشرية التي حققتها سوتا الأخيرة، لا تزال أنواع معينة من الأخطاء المعنية مشكلة في الكشف عن QE. ثانيا، نظهر أنه في المتوسط، فإن قدرة نموذج معين على التمييز بين الاضطرابات المعنية التي تحافظ مع المعنى وتغيير المعنى هي التنبؤ بأدائها العام، وبالتالي يحتمل أن يسمح بمقارنة أنظمة QE دون الاعتماد على تشريح الجودة اليدوية.
تحديات مهمة كفاءة ترجمة الآلات التي تحديات المشاركين لجعل أنظمتهم أسرع وأصغر مع الحد الأدنى من التأثير على جودة الترجمة.ما مقدار الجودة للتضحية بالكفاءة يعتمد على التطبيق، لذلك تم تشجيع المشاركين على تقديم عروض متعددة تغطي مساحة المقاضيات.في المجموع،
كان هناك 53 طلب من 4 فرق.كان هناك GPU، وحدة المعالجة المركزية واحدة النواة، ومقطوعات الأجهزة وحدة المعالجة المركزية متعددة النواة وكذلك الإنتاجية المركبة أو ظروف الكمون الجملة واحدة.أظهرت التقديمات مئات الملايين من الكلمات يمكن ترجمتها مقابل الدولار، متوسط الكمون هو 5--17 مللي ثانية، ونماذج تناسبها 7.5-150 ميغابايت.
