أقل هو أكثر: تكيف المجال مع تذكرة اليانصيب لفهم القراءة

في هذه الورقة، نقترح نموذجا بسيطا للتكيف عن نطاق القليل من الرصاص لفهم القراءة. نحدد أولا هيكل الشبكة الفرعية اليانصيب ضمن نموذج مجال المصدر المستندة إلى المحولات عبر تشذيب درجة تدريجية. ثم، نحن فقط نغتنم الشبكة الفرعية اليانصيب، جزء صغير من المعلمات بأكملها، على بيانات المجال المستهدحة المشروح للتكيف. للحصول على المزيد من البرامج الفرعية القابلة للتكيف، نقدم إسناد ذوي الاهتمام الذاتي لوزن المعلمات، بما يتجاوز ببساطة تقليم أصغر معلمات الحجم، والذي يمكن أن ينظر إليه على أنه يجمع بين تشذيب الهيكل المنظم وتشذيم درجة غذائية بهدوء. تظهر النتائج التجريبية أن أسلوبنا تتفوق على التكيف النموذج الكامل للتوحيد على أربعة مجالات من خمسة مجالات عندما يكون فقط كمية صغيرة من البيانات المشروحة المتاحة للتكيف. علاوة على ذلك، فإن إدخال إيلاء الإهمال الذاتي الاحتياطيات معلمات أكثر لرؤوس الانتباه مهم في الشبكة الفرعية اليانصيب ويحسن أداء نموذج المجال الهدف. تكشف التحليلات الإضافية الخاصة بنا أنه، إلى جانب استغلال عدد أقل من المعلمات، فإن اختيار الشبكة الفرعية أمر بالغ الأهمية للفعالية.

In this paper, we propose a simple few-shot domain adaptation paradigm for reading comprehension. We first identify the lottery subnetwork structure within the Transformer-based source domain model via gradual magnitude pruning. Then, we only fine-tune the lottery subnetwork, a small fraction of the whole parameters, on the annotated target domain data for adaptation. To obtain more adaptable subnetworks, we introduce self-attention attribution to weigh parameters, beyond simply pruning the smallest magnitude parameters, which can be seen as combining structured pruning and unstructured magnitude pruning softly. Experimental results show that our method outperforms the full model fine-tuning adaptation on four out of five domains when only a small amount of annotated data available for adaptation. Moreover, introducing self-attention attribution reserves more parameters for important attention heads in the lottery subnetwork and improves the target domain model performance. Our further analyses reveal that, besides exploiting fewer parameters, the choice of subnetworks is critical to the effectiveness.