بناء جملة النمذجة بشكل صريح في نماذج اللغة مع تحليل تدريجي و Oracle الديناميكي

بناء الجملة أساسي في تفكيرنا حول اللغة.الفشل في التقاط هيكل لغة الإدخال قد يؤدي إلى مشاكل تعميم وتعامل معهم.في العمل الحالي، نقترح نموذجا جديدا للغة في مجال بناء الجملة: ذاكرة ترتيب سنوية (SOM).نماذج النموذج صراحة الهيكل مع محلل تدريجي وتحافظ على إعداد الاحتمالات الشرطي لطراز اللغة القياسية (من اليسار إلى اليمين).لتدريب المحلل التدريجي وتجنب تحيز التعرض، نقترح أيضا أوراكل ديناميكية جديدة، بحيث يكون SOM أكثر قوة لقرارات تحليل خاطئة.تظهر التجارب أن SOM يمكن أن يحقق نتائج قوية في نمذجة اللغة، والتحليل الإضافي، واختبارات التعميم النحوي أثناء استخدام معلمات أقل من النماذج الأخرى.

Syntax is fundamental to our thinking about language. Failing to capture the structure of input language could lead to generalization problems and over-parametrization. In the present work, we propose a new syntax-aware language model: Syntactic Ordered Memory (SOM). The model explicitly models the structure with an incremental parser and maintains the conditional probability setting of a standard language model (left-to-right). To train the incremental parser and avoid exposure bias, we also propose a novel dynamic oracle, so that SOM is more robust to wrong parsing decisions. Experiments show that SOM can achieve strong results in language modeling, incremental parsing, and syntactic generalization tests while using fewer parameters than other models.