ConvFiT: Conversational Fine-Tuning of Pretrained Language Models

تثبت نماذج اللغة القائمة على المحولات (LMS) على مجموعات نصية كبيرة تخزين ثروة من المعرفة الدلالية. ومع ذلك، 1) أنها ليست فعالة كوسميز الجملة عند استخدامها خارج الرف، و 2) وبالتالي لا تتأخر عادة وراء إعادة احتجازها بشكل تقريبي (E.G.، عبر اختيار الاستجابة) حول مهام المحادثة مثل الكشف عن النوايا (ID). في هذا العمل، نقترح نقايد، وهو إجراء بسيط وفعالين من مرحلتين يقومون بتحويل أي ما قبل الاحتراق إلى تشفير محادثة عالمية (بعد المرحلة الأولى - Convfit-Conffit-ING) وتشمير الجملة التخصصية للمهام (بعد المرحلة 2). نوضح أن 1) محاكاة محادثة بالكامل غير مطلوبة، وأن LMS يمكن تحويل LMS بسرعة إلى ترميزات محادثة فعالة بكميات أصغر بكثير من البيانات غير المخلفات؛ 2) يمكن أن تكون LMS محددة ضبطها بشكل جيد في تشفير الجملة المتخصصة في المهام، وتحسينها للحصول على الدلالات الفاخرة من مهمة معينة. وبالتالي، تسمح تشفير الجملة المتخصصة بمعرف المعرف باعتباره مهمة تشابه دلالية بسيطة تقوم على استرجاع الجيران القابل للتفسير. نحن نقوم بالتحقق من صحة متانة وإمدادات الإطار النقدي مع مثل هذا الاستدلال القائم على التشابه على مجموعات تقييم الهوية القياسية: يحقق LMS Convfit-ed أداء معرف أحدث في المجال، مع مكاسب معينة في الأكثر تحديا، قليلة STUPS -SHOT.

Transformer-based language models (LMs) pretrained on large text collections are proven to store a wealth of semantic knowledge. However, 1) they are not effective as sentence encoders when used off-the-shelf, and 2) thus typically lag behind conversationally pretrained (e.g., via response selection) encoders on conversational tasks such as intent detection (ID). In this work, we propose ConvFiT, a simple and efficient two-stage procedure which turns any pretrained LM into a universal conversational encoder (after Stage 1 ConvFiT-ing) and task-specialised sentence encoder (after Stage 2). We demonstrate that 1) full-blown conversational pretraining is not required, and that LMs can be quickly transformed into effective conversational encoders with much smaller amounts of unannotated data; 2) pretrained LMs can be fine-tuned into task-specialised sentence encoders, optimised for the fine-grained semantics of a particular task. Consequently, such specialised sentence encoders allow for treating ID as a simple semantic similarity task based on interpretable nearest neighbours retrieval. We validate the robustness and versatility of the ConvFiT framework with such similarity-based inference on the standard ID evaluation sets: ConvFiT-ed LMs achieve state-of-the-art ID performance across the board, with particular gains in the most challenging, few-shot setups.