في مهام NLP ذات المستوى البشري، مثل التنبؤ بالصحة العقلية أو الشخصية أو التركيبة السكانية، غالبا ما يكون عدد الملاحظات أصغر من أحجام الحالة الخفية 768+ في كل طبقة داخل نماذج اللغة الحديثة القائمة على المحولات، مما يحد من القدرة على النفوذ بشكل فعال م
حولات. هنا، نحن نقدم دراسة منهجية حول دور أساليب خفض البعد (تحليل المكونات الرئيسية وتقنيات العظام أو الترميز التلقائي متعدد الطبقات) بالإضافة إلى أبعاد مضاعفات تضمين وأحجام العينات كدالة للأداء التنبؤي. نجد أولا أن النماذج الكبيرة التي تؤديها بشكل جيد مع كمية محدودة من البيانات تشكل صعوبة كبيرة يمكن التغلب عليها مع نظام الحد من البعد المدرب مسبقا. يحقق روبرتا باستمرار الأداء الأعلى في المهام على المستوى البشري، مع إعطاء PCA فائدة على أساليب الخلل الأخرى في التعامل بشكل أفضل للمستخدمين الذين يكتبون نصوص أطول. أخيرا، نلاحظ أن غالبية المهام تحقق نتائج مماثلة لأفضل أداء مع 1/12 فقط من أبعاد التضمين.
في هذه الورقة، ندرس أهمية السياق في التنبؤ بالجدارة من الجمل في المقالات العلمية.نحن صياغة هذه المشكلة كملمس تسلسل تسلسل باستخدام نموذج Bilstm هرمي.نحن نساهم في مجموعة بيانات قياسية جديدة تحتوي على أكثر من مليوني جمل وملمياتها المقابلة.نحافظ على ترتي
ب الجملة في هذه البيانات وأداء انقسامات قطار / اختبار على مستوى المستند، والتي تتيح الأهم من دمج المعلومات السياقية في عملية النمذجة.نحن نقيم النهج المقترح على ثلاثة مجموعات من مجموعات البيانات القياسية.تؤدي نتائجنا إلى تحديد فوائد استخدام السياق ومشروع السياق للجدارة.وأخيرا، من خلال تحليل الأخطاء، نحن نقدم رؤى في الحالات التي يلعب فيها السياق دورا أساسيا في التنبؤ بالجدر على الاقتباس.
