النهج الحالي لجمع الأحكام البشرية لجودة الترجمة الآلية لمهمة الترجمة الأخبار في WMT - تصنيف القطاع مع سياق المستند - هو الأحدث في سلسلة من التغييرات في بروتوكول التعليق البشري WMT.نظرا لأن البروتوكولات التوضيحية هذه تغيرت مع مرور الوقت، فقد انجرفت بعيدا عن بعض الافتراضات الإحصائية الأولية التي تدعمها، مع عواقب تسمون صحة تصنيفات نظام المهام الأخبار WMT إلى سؤال.في المحاكاة بناء على البيانات الحقيقية، نوضح أن التصنيفات يمكن أن تتأثر بوجود القيم المتطرفة (أنظمة عالية الجودة أو منخفضة الجودة)، مما أدى إلى تصنيفات ونظام مختلفة.ونحن ندرس أيضا أسئلة تكوين مهمة التوضيحية وكيف قد تؤثر سهولة ترجم أو صعوبة ترجمة المستندات المختلفة في تصنيفات النظام.نحن نقدم مناقشة طرق لتحليل هذه القضايا عند النظر في التغييرات المستقبلية في بروتوكولات التعليق التوضيحي.