شهدت السنوات الأخيرة ازدهارا من أعمال جيل المفاتيح العصبي (KPG)، بما في ذلك إصدار العديد من البيانات واسعة النطاق ومجموعة من النماذج الجديدة لمعالجةها.زاد أداء النموذج على مهام KPG بشكل كبير مع أبحاث التعلم العميق المتطور.ومع ذلك، يفتقر إلى مقارنة شا
ملة بين مختلف التصاميم النموذجية، والتحقيق الشامل على العوامل ذات الصلة التي قد تؤثر على أداء تعميم نظام KPG.في هذه الدراسة التجريبية، نهدف إلى ملء هذه الفجوة من خلال توفير نتائج تجريبية واسعة وتحليل العوامل الأكثر أهمية التي تؤثر على تعميم نماذج KPG.نأمل أن تساعد هذه الدراسة في توضيح بعض الشكوك المحيطة بمهمة KPG وتسهيل البحث في المستقبل حول هذا الموضوع.
تستخدم أساليب الرالف على نطاق واسع لتفسير تنبؤات الشبكة العصبية، ولكن غالبا ما تعارض أساليب أنواع مختلفة من الأساليب المختلفة حتى في تفسيرات نفس التنبؤ الذي أدلى به نفس النموذج. في هذه الحالات، كيف يمكننا تحديد متى تكون هذه التفسيرات جديرة بالثقة بما
يكفي لاستخدامها في التحليلات؟ لمعالجة هذا السؤال، نقوم بإجراء تقييم شامل وكمي لأساليب الرالف في فئة أساسية من نماذج NLP: نماذج اللغة العصبية. نقيم جودة تفسيرات التنبؤ من وجهات نظر اثنين يمثل كل منها خاصية مرغوبة لهذه التفسيرات: المعقولية والإخلاص. يتم إجراء تقييمنا على أربع مجموعات بيانات مختلفة تم بناؤها من الشرح البشري الحالي للاتفاقات النحوية واللالسة، على مستوى الحكم على مستوى الحكم والوثائق. من خلال تقييمنا، حددنا طرق مختلفة من الطرق التي يمكن أن تسفر عن تفسيرات ذات جودة منخفضة. نوصي بأن ينشر العمل المستقبلي لنشر هذه الأساليب إلى نماذج اللغة العصبية صحة تفسيراتها بعناية قبل رسم رؤى.
