Gensf: التكيف المتزامن للنماذج المدربة مسبقا من التوليد وملء الفتحات

في مجال التعلم، من الضروري تحقيق محاذاة قوية بين نموذج مدرب مسبقا ومهمة مهام في المصب. فعلت العمل المسبق هذا من خلال اقتراح أهداف التدريب المحددة مسبقا بمهام المهام، مما يضح أن قابلية التوسع الكامنة للنموذج التعلم في مجال النقل. بدلا من ذلك، نحقق محاذاة قوية من خلال تعديل النموذج المدرب مسبقا في وقت واحد وصياغة مهمة المصب، وهي أكثر كفاءة وتحافظ على قابلية تحويل التعلم. نقوم بتقديم GENSF (ملء فتحة الإنتاجية)، والتي تتمتع بنموذج مربع حوار مفتوح مدرب مسبقا مسبقا لملء الفتحة. Gensf (1) تتكيف مع النموذج المدرب مسبقا من خلال دمج التحيزات الاستقرائي حول المهمة و (2) تتكيف المهمة المصب من خلال إعادة صياغة فتحة ملء لتحسين الاستفادة من إمكانيات النموذج المدربة مسبقا. يحقق Gensf نتائج حديثة على مجموعة بيانات ملء الفتحة مع مكاسب قوية في إعدادات قليلة بالرصاص وأعدادات طلقة صفرية. نحن نحقق تحسن درجة 9 F1 في ملء فتحة صفرية بالرصاص. هذا يسلط الضوء على قيمة المحاذاة القوية بين النموذج المدرب مسبقا ومهمة المصب.

In transfer learning, it is imperative to achieve strong alignment between a pre-trained model and a downstream task. Prior work has done this by proposing task-specific pre-training objectives, which sacrifices the inherent scalability of the transfer learning paradigm. We instead achieve strong alignment by simultaneously modifying both the pre-trained model and the formulation of the downstream task, which is more efficient and preserves the scalability of transfer learning. We present GenSF (Generative Slot Filling), which leverages a generative pre-trained open-domain dialog model for slot filling. GenSF (1) adapts the pre-trained model by incorporating inductive biases about the task and (2) adapts the downstream task by reformulating slot filling to better leverage the pre-trained model's capabilities. GenSF achieves state-of-the-art results on two slot filling datasets with strong gains in few-shot and zero-shot settings. We achieve a 9 F1 score improvement in zero-shot slot filling. This highlights the value of strong alignment between the pre-trained model and the downstream task.