في هذه الورقة، نقترح نموذجا بسيطا للتكيف عن نطاق القليل من الرصاص لفهم القراءة. نحدد أولا هيكل الشبكة الفرعية اليانصيب ضمن نموذج مجال المصدر المستندة إلى المحولات عبر تشذيب درجة تدريجية. ثم، نحن فقط نغتنم الشبكة الفرعية اليانصيب، جزء صغير من المعلمات
بأكملها، على بيانات المجال المستهدحة المشروح للتكيف. للحصول على المزيد من البرامج الفرعية القابلة للتكيف، نقدم إسناد ذوي الاهتمام الذاتي لوزن المعلمات، بما يتجاوز ببساطة تقليم أصغر معلمات الحجم، والذي يمكن أن ينظر إليه على أنه يجمع بين تشذيب الهيكل المنظم وتشذيم درجة غذائية بهدوء. تظهر النتائج التجريبية أن أسلوبنا تتفوق على التكيف النموذج الكامل للتوحيد على أربعة مجالات من خمسة مجالات عندما يكون فقط كمية صغيرة من البيانات المشروحة المتاحة للتكيف. علاوة على ذلك، فإن إدخال إيلاء الإهمال الذاتي الاحتياطيات معلمات أكثر لرؤوس الانتباه مهم في الشبكة الفرعية اليانصيب ويحسن أداء نموذج المجال الهدف. تكشف التحليلات الإضافية الخاصة بنا أنه، إلى جانب استغلال عدد أقل من المعلمات، فإن اختيار الشبكة الفرعية أمر بالغ الأهمية للفعالية.
تحقق هذه الورقة في فعالية التدريب المسبق لتصنيف قلة الطابع القليلة.في حين أن النماذج الحالية عادة ما تكون هناك مزيد من النماذج اللغوية السابقة لما قبل التدريب مثل Bert على كمية شاسعة من Corpus غير المسبق، فإننا نجد أنها فعالة للغاية وكفاءة ببساطة Bri
te Tune Bert مع مجموعة صغيرة من الكلام المسمى من مجموعات البيانات العامة.على وجه التحديد، تقوم Brtt Tuning Berting ذات الصقل مع ما يقرب من 1000 من البيانات المسمى نموذجا مدربا مسبقا - Intentbert، والذي يمكن أن يتجاوز بسهولة أداء النماذج المدربة مسبقا الحالية للحصول على تصنيف قلة الطابع على النطاقات الجديدة مع دلائل مختلفة للغاية.تؤكد فعالية Intentbert المرتفعة من جدوى وعملية الكشف عن القلة القليلة، وتقترح قدرة تعميمها العالية عبر المجالات المختلفة أن مهام تصنيف النوايا قد تشارك هيكل أساسي مماثل، والتي يمكن تعلمها بكفاءة من مجموعة صغيرة من البيانات المسمى.يمكن العثور على شفرة المصدر في https://github.com/hdzhang-code/intentbert.
