قدمت نماذج تسلسل إلى تسلسل نتائج رائعة في مهام تكوين الكلمات مثل الانعطاف المورفولوجي، وغالبا ما تعلم نموذج التفاصيل المورفهولوجية الدقيقة مع بيانات تدريب محدودة. على الرغم من الأداء، فإن عتامة النماذج العصبية تجعل من الصعب تحديد ما إذا كانت التعميمات المعقدة تعلمت، أو ما إذا كان هناك نوع من تحفيظ منفصل عن ظهر قلب كل عملية مورفوفونية يحدث. للتحقيق في ما إذا كانت بدائل معقدة تم حفظها ببساطة أو ما إذا كان هناك مستوى من التعميم عبر التغييرات الصوتية ذات الصلة في نموذج تسلسل إلى تسلسل، فإننا نقوم بإجراء العديد من التجارب على التدرج السيكوني الفنلندي --- مجموعة معقدة من التغييرات الصوتية التي تنطلق في بعض الكلمات من خلال بعض اللواحق. نجد أن نماذجنا في كثير من الأحيان --- على الرغم من أنها ليست دائما --- تشفير 17 عملية مختلفة التدرج الساكن في حفنة من الأبعاد في RNN. نظهر أيضا أنه من خلال تحجيم التنشيط في هذه الأبعاد، يمكننا السيطرة على ما إذا كان التدرج السيكوني يحدث واتجاه التدريج.
Sequence-to-sequence models have delivered impressive results in word formation tasks such as morphological inflection, often learning to model subtle morphophonological details with limited training data. Despite the performance, the opacity of neural models makes it difficult to determine whether complex generalizations are learned, or whether a kind of separate rote memorization of each morphophonological process takes place. To investigate whether complex alternations are simply memorized or whether there is some level of generalization across related sound changes in a sequence-to-sequence model, we perform several experiments on Finnish consonant gradation---a complex set of sound changes triggered in some words by certain suffixes. We find that our models often---though not always---encode 17 different consonant gradation processes in a handful of dimensions in the RNN. We also show that by scaling the activations in these dimensions we can control whether consonant gradation occurs and the direction of the gradation.
المراجع المستخدمة
https://aclanthology.org/
تقدم هذه الورقة المهمة المشتركة Semeval-2021 4: قراءة الفهم من معنى مجردة (Recam). تم تصميم هذه المهمة المشتركة للمساعدة في تقييم قدرة الآلات في تمثيل وفهم مفهوم مجردة. يتعين على النظام المقابل، من المتوقع أن يختار نظام المشاركة، الإجابة الصحيحة من خ
يمكن أن يساعد التحقق من المطالبات العلمية الباحثون على العثور بسهولة على الأوراق العلمية المستهدفة مع أدلة الجملة من كوربوس كبيرة للمطالبة المعينة.تقترح بعض الأعمال الموجودة نماذج خطوط الأنابيب على المهام الثلاث من استرجاع مجردة، اختيار الأساس المنطق
تبادل مهام التحليل الدلالي الغني، مثل تمثيل المعنى التجريدي (AMR)، أهداف مماثلة مع استخراج المعلومات (أي) تحويل نصوص اللغة الطبيعية إلى تمثيلات دلالية منظم.للاستفادة من مثل هذه التشابه، نقترح إطارا رواية موجه AMR لاستخراج المعلومات المشترك لاكتشاف ال
اقترح مجتمع البحث تعديلات غزيرة على بنية المحولات منذ تقديمها منذ أكثر من ثلاث سنوات، قلة قليلة نسبيا والتي شهدت اعتماد واسع النطاق.في هذه الورقة، نقوم بتقييم العديد من هذه التعديلات بشكل شامل في بيئة تجريبية مشتركة تغطي معظم الاستخدامات المشتركة للم
تصف هذه الورقة النظام الفائز ل SubTask 2 والنظام الموضح الثاني لبرنامج التعرية الفرعية 1 في مهمة Semeval 2021 4: قراءة القراءة من معنى مجردة.نقترح استخدام جهاز تمييز Electra المصدر الذي يزعجني اختيار أفضل كلمة مجردة من خمسة مرشحين.يتم إدخال آلية الاه