ConvFit: ضبط طرازات اللغة الدماغية المحادثة


الملخص بالعربية

تثبت نماذج اللغة القائمة على المحولات (LMS) على مجموعات نصية كبيرة تخزين ثروة من المعرفة الدلالية. ومع ذلك، 1) أنها ليست فعالة كوسميز الجملة عند استخدامها خارج الرف، و 2) وبالتالي لا تتأخر عادة وراء إعادة احتجازها بشكل تقريبي (E.G.، عبر اختيار الاستجابة) حول مهام المحادثة مثل الكشف عن النوايا (ID). في هذا العمل، نقترح نقايد، وهو إجراء بسيط وفعالين من مرحلتين يقومون بتحويل أي ما قبل الاحتراق إلى تشفير محادثة عالمية (بعد المرحلة الأولى - Convfit-Conffit-ING) وتشمير الجملة التخصصية للمهام (بعد المرحلة 2). نوضح أن 1) محاكاة محادثة بالكامل غير مطلوبة، وأن LMS يمكن تحويل LMS بسرعة إلى ترميزات محادثة فعالة بكميات أصغر بكثير من البيانات غير المخلفات؛ 2) يمكن أن تكون LMS محددة ضبطها بشكل جيد في تشفير الجملة المتخصصة في المهام، وتحسينها للحصول على الدلالات الفاخرة من مهمة معينة. وبالتالي، تسمح تشفير الجملة المتخصصة بمعرف المعرف باعتباره مهمة تشابه دلالية بسيطة تقوم على استرجاع الجيران القابل للتفسير. نحن نقوم بالتحقق من صحة متانة وإمدادات الإطار النقدي مع مثل هذا الاستدلال القائم على التشابه على مجموعات تقييم الهوية القياسية: يحقق LMS Convfit-ed أداء معرف أحدث في المجال، مع مكاسب معينة في الأكثر تحديا، قليلة STUPS -SHOT.

المراجع المستخدمة

https://aclanthology.org/

تحميل البحث