يتم تطبيق آلية الاهتمام متعددة الأطباق متعددة الأطباق على نطاق واسع في نماذج اللغة العصبية الحديثة. وقد لوحظ انتباه التكرار بين رؤوس الاهتمام لكن لم يتم دراسته بعمق في الأدب. باستخدام نموذج BERT-BASE كمثال، توفر هذه الورقة دراسة شاملة حول التكرار الا
هتمام المفيدة لتفسير النموذج والضغط النموذجي. نحن نحلل التكرار الاهتمام مع خمسة WS وكيف. (ماذا) نحدد وتركيز الدراسة على مصفوفات التكرار الناتجة عن نموذج Bert-Base Base المدرب مسبقا ومضبوطة من أجل مجموعات بيانات الغراء. (كيف نستخدم كل من وظائف المسافات المستندة إلى كل من الوظائف المستندة إلى العملة على الإطلاق لقياس التكرار. (حيث) لوحظ أنماط التكرار واضحة ومماثلة (بنية نظام المجموعة) بين رؤساء الاهتمام. (متى) أنماط التكرار متشابهة في كل من مراحل التدريب المسبق والضبط بشكل جيد. (من) نكتشف أن أنماط التكرار هي المهام الملحد. أنماط التكرار مماثلة موجودة حتى للتسلسلات الرمزية التي تم إنشاؤها عشوائيا. (لماذا ") نحن أيضا تقييم التأثيرات في نسب التسرب قبل التدريب على التكرار الاهتمام. استنادا إلى أنماط تكرار الاهتمام المستقل بالمرحلة المستقلة ومهمة التكرار، نقترح طريقة تشذيب صفرية غير مريحة كدراسة حالة. تجارب حول مهام الغراء التي تعمل بالضبط تحقق من فعاليتها. تحليلات شاملة حول التكرار الاهتمام جعل الفهم النموذجي ونموذج صفر لقطة تشذيب الواعدة.
