Gensf: التكيف المتزامن للنماذج المدربة مسبقا من التوليد وملء الفتحات


الملخص بالعربية

في مجال التعلم، من الضروري تحقيق محاذاة قوية بين نموذج مدرب مسبقا ومهمة مهام في المصب. فعلت العمل المسبق هذا من خلال اقتراح أهداف التدريب المحددة مسبقا بمهام المهام، مما يضح أن قابلية التوسع الكامنة للنموذج التعلم في مجال النقل. بدلا من ذلك، نحقق محاذاة قوية من خلال تعديل النموذج المدرب مسبقا في وقت واحد وصياغة مهمة المصب، وهي أكثر كفاءة وتحافظ على قابلية تحويل التعلم. نقوم بتقديم GENSF (ملء فتحة الإنتاجية)، والتي تتمتع بنموذج مربع حوار مفتوح مدرب مسبقا مسبقا لملء الفتحة. Gensf (1) تتكيف مع النموذج المدرب مسبقا من خلال دمج التحيزات الاستقرائي حول المهمة و (2) تتكيف المهمة المصب من خلال إعادة صياغة فتحة ملء لتحسين الاستفادة من إمكانيات النموذج المدربة مسبقا. يحقق Gensf نتائج حديثة على مجموعة بيانات ملء الفتحة مع مكاسب قوية في إعدادات قليلة بالرصاص وأعدادات طلقة صفرية. نحن نحقق تحسن درجة 9 F1 في ملء فتحة صفرية بالرصاص. هذا يسلط الضوء على قيمة المحاذاة القوية بين النموذج المدرب مسبقا ومهمة المصب.

المراجع المستخدمة

https://aclanthology.org/

تحميل البحث