تم تقييم الترجمة الآلية (MT) حاليا بأحد طريقتين: بطريقة أحادية الأجل، بالمقارنة مع إخراج النظام إلى ترجمات مرجعية بشرية واحدة أو أكثر، أو في أزياء تقاطعات مدربة، من خلال بناء نموذج إشرافي للتنبؤ بعشرات الجودة من البيانات ذات العلامات على الإنسان. في هذه الورقة، نقترح بديل أكثر فعالية من حيث التكلفة، ومع ذلك أدائين جيدا من حيث التكلفة، والاعتماد على كلمة متعددة المحاكمات متعددة اللغات وتمثيلات الجملة، ونحن نقارن مباشرة المصدر مع الجملة ترجمت الآلة، وبالتالي تجنب الحاجة إلى كل من الترجمات المرجعية والمسمى بيانات التدريب. يعتمد المقياس على النهج القائم على أحدث الولاية - وهي مسافة BertScore و Word Mover - من خلال دمج فكرة التشابه الدلالي الحكم. من خلال القيام بذلك، فإنه يحقق ارتباطا أفضل مع درجات بشرية على مجموعات بيانات مختلفة. نظظ أنه يتفوق على هذه المقاييس وغيرها من المقاييس الأخرى في إعداد أحادي الأحادي القياسي (الترجمة المرجعية MT)، كما هو الحال في إعداد ثنائي اللغة المصدر - MT، حيث تنفذ على قدم المساواة مع نهج المربع الزجاجي لتقدير الجودة التي تعتمد على نموذج MT معلومة.