مراجعات المنتج ومسوحات الرضا البحث عن ملاحظات العملاء في شكل المقاييس المرتبة. في هذه الإعدادات، فإن مقاييس التقييم المستخدمة على نطاق واسع بما في ذلك F1 والدقة تتجاهل المرتبة في الردود (على سبيل المثال، على الأرجح "من المحتمل أن تكون على الأرجح"). ف
ي هذه الورقة، نفترض أن ترتيب قيم الفصل مهم لتقييم المصنفين على المتغيرات المستهدفة الترتيبية ويجب عدم الانتهاء. لاختبار هذه الفرضية، قارنا تصنيف التصنيف متعدد الفئة (MC) والانحدار الترتيبي (أو) من خلال تطبيق أو و MC إلى المهام القياسية التي تنطوي على متغيرات مستهدفة ترتيبية باستخدام نفس الهندسة المعمارية الأساسية الأساسية. تظهر النتائج التجريبية أنه في حين أن MC تفوق أو لبعض مجموعات البيانات في الدقة و F1، أو أفضل بكثير من MC لتقليل الخطأ بين التنبؤ والهدف لجميع المعايير، كما هو موضح بواسطة مقاييس حساسة للخطأ، E.G. خطأ متوسط التربيع (MSE) وارتباط سبيرمان. تحفز النتائج الخاصة بنا الحاجة إلى إنشاء مقاييس متسقة حساسة للخطأ لتقييم المعايير مع المتغيرات المستهدفة الترتيبية، ونأمل أن تحفز الاهتمام باستكشاف الخسائر البديلة للمشاكل الترتيبية.
جيل النص هو مجال نشط للغاية في البحث في المجتمع اللغوي الحسابي.يعد تقييم النص الذي تم إنشاؤه مهمة صعبة وتم اقتراح نظريات ومقاييس متعددة على مر السنين.لسوء الحظ، يتم إدراج توليد النص والتقييم نسبيا نسبيا بسبب ندرة الموارد عالية الجودة في اللغات المختل
طة من التعليمات البرمجية حيث يتم خلط الكلمات والعبارات من لغات متعددة في كلام واحد للنص والكلام.لمعالجة هذا التحدي، نقدم كوربا (المفصلي) لغرض لغة مختلطة شائعة على نطاق واسع هينجليشيلي (مزيج من اللغات الهندية والإنجليزية).يحتوي المفصلات على جمل هنشية التي تم إنشاؤها من قبل البشر بالإضافة إلى خوارزميتين تعتمد على القواعد يتوافق مع الجمل الهندية والإنجليزية الموازية.بالإضافة إلى ذلك، نوضح فعالية مقاييس التقييم المستخدمة على نطاق واسع على البيانات المختلطة من التعليمات البرمجية.ستسهل مجموعة بيانات المفصلات التقدم المحرز في مجال أبحاث توليد اللغة الطبيعية في اللغات المختلطة التعليمات البرمجية.
