ترميز موحد للهياكل في أنظمة مرحلة انتقالية

عادة ما تحتوي أنظمة الانتقال على العديد من الهياكل الديناميكية (على سبيل المثال، المداخن، المخازن المؤقتة).يجب أن يرميز النموذج المثالي في الانتقال هذه الهياكل تماما وكفاءة.تعمل الأعمال السابقة على الاعتماد على قوالب أو هياكل الشبكة العصبية إما تشفير معلومات بنية جزئية أو تعاني من كفاءة الحساب.في هذه الورقة، نقترح تمثيل تشفير جديد يستند إلى الانتباه إلى جميع الهياكل في نظام انتقالي.على وجه التحديد، نقوم بفصل وجهتين على العناصر الموجودة في الهياكل، وهي طريقة عرض هيكل ثابتة وعرض تعتمد على الهيكل.بمساعدة شبكة الاهتمام الصديقة بالتوازي، نحن قادرون على تشفير الدول الانتقالية مع O (1) تعقيد إضافي (فيما يتعلق باستخراج الميزة الأساسية).تظهر التجارب على PTB و UD أن طريقةنا المقترحة تعمل بشكل كبير على تحسين سرعة الاختبار وتحقق أفضل نموذج يستند إلى الانتقال، ومقارنة مع الطرق الحديثة.

Transition systems usually contain various dynamic structures (e.g., stacks, buffers). An ideal transition-based model should encode these structures completely and efficiently. Previous works relying on templates or neural network structures either only encode partial structure information or suffer from computation efficiency. In this paper, we propose a novel attention-based encoder unifying representation of all structures in a transition system. Specifically, we separate two views of items on structures, namely structure-invariant view and structure-dependent view. With the help of parallel-friendly attention network, we are able to encoding transition states with O(1) additional complexity (with respect to basic feature extractors). Experiments on the PTB and UD show that our proposed method significantly improves the test speed and achieves the best transition-based model, and is comparable to state-of-the-art methods.