في حين أن الشبكات العصبية موجودة في كل مكان من المحللين الدلالي الحديث، فقد تبين أن معظم النماذج القياسية تعاني من خسائر أداء مثيرة عند مواجهة بيانات تكوين خارج التوزيع (OOD).في الآونة الأخيرة، تم اقتراح العديد من الطرق لتحسين التعميم التركيبي في التحليل الدلالي.في هذا العمل، نركز بدلا من ذلك على مشكلة الكشف عن أمثلة تكوين OOD مع المحللين الدلالي العصبي، والتي لم يتم التحقيق فيها من قبل.نحن نحقق في العديد من الطرق القوية ولكنها بسيطة للكشف عن ood بناء على عدم اليقين التنبؤية.توضح النتائج التجريبية أن هذه التقنيات تؤدي بشكل جيد في الفحص القياسي ومجموعات بيانات CFQ.علاوة على ذلك، نوضح أنه يمكن تحسين اكتشاف OOD باستخدام مجموعة غير متجانسة.
While neural networks are ubiquitous in state-of-the-art semantic parsers, it has been shown that most standard models suffer from dramatic performance losses when faced with compositionally out-of-distribution (OOD) data. Recently several methods have been proposed to improve compositional generalization in semantic parsing. In this work we instead focus on the problem of detecting compositionally OOD examples with neural semantic parsers, which, to the best of our knowledge, has not been investigated before. We investigate several strong yet simple methods for OOD detection based on predictive uncertainty. The experimental results demonstrate that these techniques perform well on the standard SCAN and CFQ datasets. Moreover, we show that OOD detection can be further improved by using a heterogeneous ensemble.
المراجع المستخدمة
https://aclanthology.org/
يحقق المحولات مسبقا أداء ملحوظا عند التدريب وبيانات الاختبار من نفس التوزيع. ومع ذلك، في سيناريوهات العالم الحقيقي، غالبا ما يواجه النموذج حالات خارج التوزيع (OOD) التي يمكن أن تسبب مشاكل شديدة التحول الدلالي في وقت الاستدلال. لذلك، في الممارسة العمل
لقد تم الاعتراف بأهمية بناء المحللين الدلاليين الذين يمكن تطبيقهم على مجالات جديدة وإنشاء برامج غير مرئية في التدريب لفترة طويلة، وقد تم الاعتراف لفترة طويلة، وتصبح مجموعات البيانات اختبار الأداء خارج النطاق متاحة بشكل متزايد. ومع ذلك، فقد تم تخصيص ا
تهدف التحليل الدلالي إلى ترجمة كلام اللغة الطبيعية (NL) على البرامج القابلة للتفسير بالآلة، والتي يمكن تنفيذها مقابل بيئة عالمية حقيقية. منذ فترة طويلة تم الاعتراف بالشروح باهظة الثمن لأزواج برنامج الكلام كعقوبة رئيسية لنشر النماذج العصبية المعاصرة ل
في التطبيقات العملية للجدل الدلالي، نريد في كثير من الأحيان تغيير سلوك المحلل بسرعة، مثل تمكينه من التعامل مع الاستعلامات في مجال جديد، أو تغيير تنبؤاتها على بعض الاستفسارات المستهدفة. على الرغم من أنه يمكننا إدخال أمثلة تدريبية جديدة تظهر السلوك الم
بعد أن يواجه نموذج التسلسل العصبي رمزية غير متوقعة، هل يمكن التنبؤ بسلوكه؟ نظهر أن نماذج Language RNN وحول المحولات تعرض تعميم مهيكلا متسقا في سياقات خارج التوزيع. نبدأ بإدخال نماذجين مثالية من التعميم في التنبؤ التالي بالكلمة التالية: نموذج سياق معج