على الاهتمام التكرار: دراسة شاملة

يتم تطبيق آلية الاهتمام متعددة الأطباق متعددة الأطباق على نطاق واسع في نماذج اللغة العصبية الحديثة. وقد لوحظ انتباه التكرار بين رؤوس الاهتمام لكن لم يتم دراسته بعمق في الأدب. باستخدام نموذج BERT-BASE كمثال، توفر هذه الورقة دراسة شاملة حول التكرار الاهتمام المفيدة لتفسير النموذج والضغط النموذجي. نحن نحلل التكرار الاهتمام مع خمسة WS وكيف. (ماذا) نحدد وتركيز الدراسة على مصفوفات التكرار الناتجة عن نموذج Bert-Base Base المدرب مسبقا ومضبوطة من أجل مجموعات بيانات الغراء. (كيف نستخدم كل من وظائف المسافات المستندة إلى كل من الوظائف المستندة إلى العملة على الإطلاق لقياس التكرار. (حيث) لوحظ أنماط التكرار واضحة ومماثلة (بنية نظام المجموعة) بين رؤساء الاهتمام. (متى) أنماط التكرار متشابهة في كل من مراحل التدريب المسبق والضبط بشكل جيد. (من) نكتشف أن أنماط التكرار هي المهام الملحد. أنماط التكرار مماثلة موجودة حتى للتسلسلات الرمزية التي تم إنشاؤها عشوائيا. (لماذا ") نحن أيضا تقييم التأثيرات في نسب التسرب قبل التدريب على التكرار الاهتمام. استنادا إلى أنماط تكرار الاهتمام المستقل بالمرحلة المستقلة ومهمة التكرار، نقترح طريقة تشذيب صفرية غير مريحة كدراسة حالة. تجارب حول مهام الغراء التي تعمل بالضبط تحقق من فعاليتها. تحليلات شاملة حول التكرار الاهتمام جعل الفهم النموذجي ونموذج صفر لقطة تشذيب الواعدة.

Multi-layer multi-head self-attention mechanism is widely applied in modern neural language models. Attention redundancy has been observed among attention heads but has not been deeply studied in the literature. Using BERT-base model as an example, this paper provides a comprehensive study on attention redundancy which is helpful for model interpretation and model compression. We analyze the attention redundancy with Five-Ws and How. (What) We define and focus the study on redundancy matrices generated from pre-trained and fine-tuned BERT-base model for GLUE datasets. (How) We use both token-based and sentence-based distance functions to measure the redundancy. (Where) Clear and similar redundancy patterns (cluster structure) are observed among attention heads. (When) Redundancy patterns are similar in both pre-training and fine-tuning phases. (Who) We discover that redundancy patterns are task-agnostic. Similar redundancy patterns even exist for randomly generated token sequences. (Why'') We also evaluate influences of the pre-training dropout ratios on attention redundancy. Based on the phase-independent and task-agnostic attention redundancy patterns, we propose a simple zero-shot pruning method as a case study. Experiments on fine-tuning GLUE tasks verify its effectiveness. The comprehensive analyses on attention redundancy make model understanding and zero-shot model pruning promising.