فهم عندما لا يوفر مقتطف النص معلومات سعية بعد هي جزء أساسي من اللغة الطبيعية Utnderstanding. العمل الحديث (Squad 2.0؛ Rajpurkar et al.، 2018) حاولت إحراز بعض التقدم في هذا الاتجاه من خلال إثراء بيانات الفريق الخاصة بمهمة ضمان الجودة الاستخراجية مع أس
ئلة لا يمكن إجراؤها. ومع ذلك، كما نعرض، فإن أداء النظام الأعلى المدرب على الفريق 2.0 قطرات إلى حد كبير سيناريوهات خارج المجال، مما يحد من استخدامه في المواقف العملية. من أجل دراسة هذا، نقوم ببناء كوربوس خارج المجال، مع التركيز على الأسئلة البسيطة القائمة على الأحداث والتمييز بين نوعين من الأسئلة الموجودة: أسئلة تنافسية، حيث يتضمن السياق كيان من نفس النوع مثل الإجابة المتوقعة، و أسئلة أبسط وغير تنافسية حيث لا يوجد أي كيان من نفس النوع في السياق. نجد أن النماذج المستندة إلى Squad 2.0 تفشل حتى في حالة الأسئلة الأكثر بساطة. ثم نحلل أوجه التشابه والاختلافات بين ظاهرة IDK في ضمان الجودة الاستخراجية ومهمة الاعتراف بالاتصالات النصية (RTE؛ Dagan et al.، 2013) والتحقيق في المدى الذي يمكن استخدامه الأخير لتحسين الأداء.
آلة القراءة، هي إطار القراءة، إطار تحليل يأخذ نصا مؤيدا للنص الخام وإجراء ستة مهام NLP القياسية: Tokenization، وضع العلامات على نقاط البيع، التحليل المورفولوجي، الليمات، تحليل التبعية وتجزئة الجملة.تم تصميمه عند التحليل القائم على الانتقال، ويسمح بتن
فيذ عدد كبير من تكوينات التحليل، من بينها واحدة تدريجية تماما.يتم تقديم ثلاث دراسات حالة لتسليط الضوء على براعة الإطار.أول واحد يستكشف ما إذا كان المحلل التدريجي قادر على مراعاة التبعيات من أعلى إلى أسفل (أي تأثير القرارات ذات المستوى العالي على المستوى المنخفض)، فإن الثانية تقارن عروض بنية تدريجية وخط الأنابيب والكميات الثالثةتأثير السياق الصحيح على التنبؤات التي أدلى بها محلل تدريجي.
إن فهم كيفية ترميز الهيكل اللغوي في التضمين السياق يمكن أن يساعد في تفسير أدائه المثير للإعجاب عبر NLP.عادة ما تدعو النهج الحالية لتحقيقها عادة إلى تدريب الطبقات وتستخدم الدقة والمعلومات المتبادلة أو التعقيد كوكيل لخير التمثيل.في هذا العمل، نجادل بأن
القيام بذلك يمكن أن يكون غير موثوق به لأن تمثيلات مختلفة قد تحتاج إلى طبقات مختلفة.نقوم بتطوير إرشادي، DirectProbe، يدرس مباشرة هندسة التمثيل من خلال البناء عند فكرة مساحة الإصدار لمهمة.تبين التجارب التي لديها العديد من المهام اللغوية والموظفة السياقية أنه، حتى بدون منصوص قياسات التدريب، يمكن أن يضيء DirectProbe الأنوار حول كيفية تمثيل مساحة التضمين ملصقات وتوقع أيضا أداء المصنف للتمثيل أيضا.
