التعميم التركيبي لتحليل الدلالي العصبي عبر الاهتمام بالإشراف على مستوى

نحن نصف خسارة اهتمام مدفوع المستوى الذي يحسن التعميم التركيبي في المحللين الدلاليين.يعتمد نهجنا على الخسائر القائمة التي تشجع على خرائط الاهتمام في نماذج التسلسل العصبي إلى التسلسل لتقليد إخراج خوارزميات محاذاة الكلمة الكلاسيكية.حيث استخدم العمل السابق محاذاة على مستوى الكلمات، ونحن نركز على يمتد؛اقتراض الأفكار من الترجمة الآلية القائمة على العبارة، نحن محاذاة السكتة الدلالية في تبييل الدلالي إلى امتداد جمل المدخلات، وتشجيع آليات الاهتمام العصبي لتقليد هذه المحاذاة.تعمل هذه الطريقة على تحسين أداء المحولات، RNNs، والكفران الهيكلية على ثلاثة معايير للتعميم التركيبي.

We describe a span-level supervised attention loss that improves compositional generalization in semantic parsers. Our approach builds on existing losses that encourage attention maps in neural sequence-to-sequence models to imitate the output of classical word alignment algorithms. Where past work has used word-level alignments, we focus on spans; borrowing ideas from phrase-based machine translation, we align subtrees in semantic parses to spans of input sentences, and encourage neural attention mechanisms to mimic these alignments. This method improves the performance of transformers, RNNs, and structured decoders on three benchmarks of compositional generalization.