في حين أن حل مشاكل كلمة الرياضيات تلقائيا تلقى اهتماما كبيرا في مجتمع NLP، فقد عالجت القليل من الأعمال مشاكل كلمة الاحتمالية على وجه التحديد.في هذه الورقة، نحن نوظف وتحليل النماذج العصبية المختلفة للإجابة على مشاكل هذه الكلمة.في نهج من خطوتين، يتم تع
يين نص المشكلة أولا إلى تمثيل رسمي في لغة إعلانية باستخدام نموذج تسلسل إلى تسلسل، ثم يتم تنفيذ التمثيل الناتج باستخدام نظام برمجة احتمالية لتوفير الإجابة.يشتمل طرازنا الأفضل الأداء على تمثيلات الكلمات العامة في مجال العمل العام الذي تم تصويره باستخدام التعلم عبر مجموعة بيانات داخل المجال الأخرى.ونحن نطبق أيضا النماذج الطرفية إلى هذه المهمة، والتي تبرز أهمية النهج من خطوتين في الحصول على حلول صحيحة لمشاكل الاحتمال.
آلة قراءة الآلة (MRC)، والتي تتطلب آلة للإجابة على الأسئلة التي تعطى المستندات ذات الصلة، هي طريقة مهمة لاختبار قدرة الآلات على فهم اللغة البشرية.تعد MRC متعددة الخيارات واحدة من أكثر المهام التي تمت دراستها في MRC نظرا لراحة التقييم ومرونة تنسيق الإ
جابة.تهدف تفسير ما بعد الهوك إلى شرح نموذج مدرب ويكشف عن كيفية وصول النموذج إلى التنبؤ.واحدة من أهم أشكال التفسير هي أن نسأل قرارات النموذج إلى ميزات المدخلات.بناء على طرق الترجمة الفورية لما بعد الهوك، نقوم بتقييم دعاسة الفقرات في MRC متعددة الخيارات وتحسين النموذج من خلال معاقبة السموم غير المنطقية.يمكن لطريقتنا تحسين أداء النموذج دون أي معلومات خارجية وتغيير هيكل النموذج.علاوة على ذلك، فإننا نحلل أيضا كيف ولماذا تعمل طريقة التدريب الذاتي.
