تعلم نماذج اللغة العصبية غير المعلمة (NLMS) التوزيعات التنبؤية للنص باستخدام مصدر بيانات خارجي، والذي يسمح لهم بالتعلم من خلال حفظ مخطط Datapooints التدريبي بشكل صريح.في حين أن هذه النماذج فعالة، فإن هذه النماذج غالبا ما تتطلب استرجاع من مؤشرات بيانا
ت كبيرة في وقت الاختبار، مما يزيد بشكل كبير من تسليم الاستدلال، وبالتالي يحد من نشر NLMS غير المعلم في التطبيقات العملية.في هذه الورقة، نأخذ نموذج لغة Geature K-Neave المقترح مؤخرا كمثال، استكشاف الطرق لتحسين كفاءتها على طول الأبعاد المختلفة.تبين التجارب في معيار Wikitext-103 القياسي ومجموعات بيانات التكيف عن المجال أن أساليبنا قادرة على تحقيق ما يصل إلى سرعة 6X في سرعة الاستدلال مع الاحتفاظ بأداء مماثل.قد يوفر التحليل التجريبي الذي نقدمه مبادئ توجيهية للبحث في المستقبل يسعى إلى تطوير أو نشر أكثر كفاءة غير رسمية غير رسمية.
على الرغم من نجاحاتها الأخيرة في معالجة العديد من مهام NLP، لا تؤدي نماذج اللغة المدربة مسبقا على نطاق واسع وكذلك في إعدادات قليلة، حيث تتوفر حفنة من الأمثلة التدريبية فقط. لمعالجة هذا القصور، نقترح الطبقات، والتي تعني التدريب الذاتي مع تكبير المهمة،
وهو نهج يبني على أفكارين رئيسيين للرافعة الفعالة من البيانات غير المسبقة. أولا، تستخدم Strata تكبير المهمة، وهي تقنية جديدة توليف كمية كبيرة من البيانات الخاصة بضبط المهمة المساعدة من النصوص المستهدفة من النصوص المستهدفة. ثانيا، تقوم الطبقات بإجراء تدريبات ذاتية من خلال زيادة ضبط النموذج القوي القوي الذي تم إنشاؤه بواسطة تكبير المهمة على توزيع واسع للبيانات المسمى الزائفة. توضح تجاربنا أن الطبقات يمكن أن تحسن بشكل كبير كفاءة عينة في 12 معيارا قليلة بالرصاص. بشكل ملحوظ، على DataSet SST-2 المعنويات، Strata، مع 8 أمثلة تدريبية فقط لكل فصل، تحقق نتائج قابلة للمقارنة للضبط بشكل جيد مع أمثلة تدريبية 67K. تكشف تحليلاتنا أن تكبير المهمة والتدريب الذاتي متكاملين وفعالا بشكل مستقل.
