قدمت نماذج تسلسل إلى تسلسل نتائج رائعة في مهام تكوين الكلمات مثل الانعطاف المورفولوجي، وغالبا ما تعلم نموذج التفاصيل المورفهولوجية الدقيقة مع بيانات تدريب محدودة. على الرغم من الأداء، فإن عتامة النماذج العصبية تجعل من الصعب تحديد ما إذا كانت التعميما
ت المعقدة تعلمت، أو ما إذا كان هناك نوع من تحفيظ منفصل عن ظهر قلب كل عملية مورفوفونية يحدث. للتحقيق في ما إذا كانت بدائل معقدة تم حفظها ببساطة أو ما إذا كان هناك مستوى من التعميم عبر التغييرات الصوتية ذات الصلة في نموذج تسلسل إلى تسلسل، فإننا نقوم بإجراء العديد من التجارب على التدرج السيكوني الفنلندي --- مجموعة معقدة من التغييرات الصوتية التي تنطلق في بعض الكلمات من خلال بعض اللواحق. نجد أن نماذجنا في كثير من الأحيان --- على الرغم من أنها ليست دائما --- تشفير 17 عملية مختلفة التدرج الساكن في حفنة من الأبعاد في RNN. نظهر أيضا أنه من خلال تحجيم التنشيط في هذه الأبعاد، يمكننا السيطرة على ما إذا كان التدرج السيكوني يحدث واتجاه التدريج.
