التعلم من عمليات إعدام التحليل الدلالي

تهدف التحليل الدلالي إلى ترجمة كلام اللغة الطبيعية (NL) على البرامج القابلة للتفسير بالآلة، والتي يمكن تنفيذها مقابل بيئة عالمية حقيقية. منذ فترة طويلة تم الاعتراف بالشروح باهظة الثمن لأزواج برنامج الكلام كعقوبة رئيسية لنشر النماذج العصبية المعاصرة لتطبيقات الحياة الحقيقية. في هذا العمل، نركز على مهمة التعلم شبه الإشراف حيث يتوفر كمية محدودة من البيانات المشروحة مع العديد من الكلمات غير المستقرة غير المسبقة. بناء على الملاحظة التي يجب أن تكون البرامج التي تتوافق مع الكلام NL قابلة للتنفيذ دائما، نقترح تشجيع المحلل المحلل لتوليد برامج قابلة للتنفيذ للكلمات غير المسبقة. نظرا لمسافة البحث الكبير للبرامج القابلة للتنفيذ، والأساليب التقليدية التي تستخدم شعاع البحث عن التقريب، مثل التدريب الذاتي والتدريب الهامشي الأعلى، لا تؤدي كذلك. بدلا من ذلك، نقترح مجموعة من أهداف التدريب الجديدة المستمدة من خلال الاقتراب من مشكلة التعلم من عمليات الإعدام من منظور التنظيم الخلفي. أهدافنا الجديدة تفوق الطرق التقليدية في الليلة الماضية والجيوقي، سد الفجوة بين التعليم شبه الإشرافه والإشراف.

Semantic parsing aims at translating natural language (NL) utterances onto machine-interpretable programs, which can be executed against a real-world environment. The expensive annotation of utterance-program pairs has long been acknowledged as a major bottleneck for the deployment of contemporary neural models to real-life applications. In this work, we focus on the task of semi-supervised learning where a limited amount of annotated data is available together with many unlabeled NL utterances. Based on the observation that programs which correspond to NL utterances should always be executable, we propose to encourage a parser to generate executable programs for unlabeled utterances. Due to the large search space of executable programs, conventional methods that use beam-search for approximation, such as self-training and top-k marginal likelihood training, do not perform as well. Instead, we propose a set of new training objectives that are derived by approaching the problem of learning from executions from the posterior regularization perspective. Our new objectives outperform conventional methods on Overnight and GeoQuery, bridging the gap between semi-supervised and supervised learning.