إيلاء اهتمام متعدد الأطراف مجردة، وهي مجموعة من العديد من آليات الاهتمام التي تحضر بشكل مستقل إلى أجزاء مختلفة من المدخلات، هي العنصر الرئيسي في المحول.ومع ذلك، فقد أظهر العمل الحديث أن نسبة كبيرة من الرؤوس في آلية الاهتمام المتعددة الرأس المحولات يم
كن أن تكون بأمان بأمان دون إيذاء أداء النموذج بشكل كبير؛هذه التشذيب تؤدي إلى النماذج الأصغر بشكل ملحوظ وأسرع في الممارسة العملية.يقدم عملنا تقنية تشذيب رأس جديد نكون مصطلحنا تشذيب فرعي قابل للتطبيق.NTITIONIAL، تتعلم طريقة لدينا المتغيرات ذات الأهمية لكل رأس، ثم يفرض عقبة صلبة محددة من قبل المستخدم على عدد الرؤوس غير المشددة.يتم تعلم المتغيرات الأهمية من خلال نزول التدرج الاستوكاستكي.إجراء تجارب على الاستدلال اللغوي والترجمة الآلية؛نظهر أن تشذيب التقليم الفرعي المميز يؤدي بشكل أساسي أو أفضل من الأعمال السابقة مع توفير سيطرة دقيقة على مستوى Sparsity.1
