Different Strokes for Different Folks: Investigating Appropriate Further Pre-training Approaches for Diverse Dialogue Tasks

تحميل النماذج المدربة مسبقا على الكائنات الكبيرة على نطاق واسع في المجال العام وتوضعها على مهام محددة من المصب هي تدريجيا نموذجا في معالجة اللغة الطبيعية. يمكن أن تثبت التحقيقات السابقة أن إدخال مراحل ما قبل التدريب الإضافي بين مراحل ما قبل التدريب والضبط بشكل جيد لتكييف النموذج على البيانات الخاصة بالمجال الخاصة بالمجال يمكن أن يؤدي إلى إثبات تأثيرات إيجابية. ومع ذلك، فإن معظم هذه أعمال التدريب المسبق الإضافية هذه فقط استمر في تشغيل المهمة التقليدية السابقة للتدريب، على سبيل المثال، نموذج اللغة الملثم، والتي يمكن اعتبارها كتكيف مجال إلى سد فجوة توزيع البيانات. بعد مراعاة المهام المتنوعة المصب، نقترح أن المهام المختلفة قد تحتاج أيضا إلى مرحلة أخرى قبل التدريب مع مهام التدريب المناسبة لسد فجوة صياغة المهمة. للتحقيق في ذلك، نقوم بدراسة لتحسين مهام تسليم الحوار الموجهة نحو المهام المتعددة من خلال تصميم المهام المختلفة في مرحلة ما قبل التدريب المسبق. توضح التجربة أن المهام المختلفة المصب تفضل مزيد من المهام التدريبية المسبقة المختلفة، والتي لها علاقة جوهرية وأكبر مهام التدريب المسبق بشكل كبير تحسين المهام المستهدفة بشكل كبير بدلا من ذلك. يشير تحقيقنا إلى أنه من الأهمية والفعالية الكبرى لتصميم مهام التدريب المسبق المناسبة نمذجة معلومات محددة تفيد بمهام المصب. بالإضافة إلى ذلك، نقدم استنتاجات تجريبية بناءة متعددة لتعزيز الحوارات الموجهة نحو المهام.

Loading models pre-trained on the large-scale corpus in the general domain and fine-tuning them on specific downstream tasks is gradually becoming a paradigm in Natural Language Processing. Previous investigations prove that introducing a further pre-training phase between pre-training and fine-tuning phases to adapt the model on the domain-specific unlabeled data can bring positive effects. However, most of these further pre-training works just keep running the conventional pre-training task, e.g., masked language model, which can be regarded as the domain adaptation to bridge the data distribution gap. After observing diverse downstream tasks, we suggest that different tasks may also need a further pre-training phase with appropriate training tasks to bridge the task formulation gap. To investigate this, we carry out a study for improving multiple task-oriented dialogue downstream tasks through designing various tasks at the further pre-training phase. The experiment shows that different downstream tasks prefer different further pre-training tasks, which have intrinsic correlation and most further pre-training tasks significantly improve certain target tasks rather than all. Our investigation indicates that it is of great importance and effectiveness to design appropriate further pre-training tasks modeling specific information that benefit downstream tasks. Besides, we present multiple constructive empirical conclusions for enhancing task-oriented dialogues.