ترغب بنشر مسار تعليمي؟ اضغط هنا

نهج تعليم متعدد المهام بسيط وفعال لتوليد الحوار مشروط

A Simple and Efficient Multi-Task Learning Approach for Conditioned Dialogue Generation

447   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

توليد الحوار المكيف يعاني من ندرة الردود المسمى.في هذا العمل، استغلالنا بيانات نصية غير حوار مرتبطة بالشرط، والتي هي أسهل بكثير لجمعها.نقترح نهج تعليمي متعدد المهام للاستفادة من كل من الحوار والبيانات النصية المسمى.تقوم المهام الثلاثة بتحسين نفس مهمة توليد الحوار المحول مدببت مسبقا على بيانات الحوار المسمى، ومهمة ترميز اللغة مشروطة ومهمة توليد اللغة مشروطة على البيانات النصية المسمى.تظهر النتائج التجريبية أن نهجنا يتفوق على النماذج الحديثة من خلال الاستفادة من النصوص المسمى، كما أنه يحصل أيضا على تحسين أكبر في الأداء مقارنة بالطرق السابقة لاستفادة البيانات النصية.



المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

بالنسبة لجهاز كمبيوتر يتفاعل بشكل طبيعي مع إنسان، يجب أن يكون يشبه الإنسان.في هذه الورقة، نقترح نموذج توليد الاستجابة العصبي مع التعلم متعدد المهام للجيل والتصنيف، مع التركيز على العاطفة.يتم تدريب نموذجنا على أساس بارت (لويس وآخرون.، 2020)، وهو نموذج ترميز ترميز محول مدرب مسبقا، لتوليد الردود والاعتراف بالمشاعر في وقت واحد.علاوة على ذلك، فنحن نثق خسائر المهام للتحكم في تحديث المعلمات.تظهر التقييمات التلقائية والتقييمات الدليلية للجماعة الجماعية أن النموذج المقترح يجعل الردود التي تم إنشاؤها أكثر وعيا بنفسك.
في توليد استجابة الحوار مفتوح المجال، يمكن أن يستمر سياق الحوار مع ردود متنوعة، وينبغي أن تتخذ طرازات الحوار علاقات واحدة إلى كثيرة.في هذا العمل، نقوم أولا بتحليل الهدف التدريبي لنماذج الحوار من وجهة نظر اختلاف Kullback-Leibler (KLD) وإظهار أن الفجوة بين توزيع الاحتمالات العالمي الحقيقي وتوزيع احتمالية البيانات المرجعية الفردية يمنع النموذج من تعلم الواحدإلى العديد من العلاقات بكفاءة.ثم نستكشف النهج للتدريب متعدد الإشارة في جوانبين.البيانات الحكيمة، ونحن نولد إشارات زائفة متنوعة من نموذج قوي مسبقا لبناء بيانات متعددة المرجعين توفر تقريب أفضل لتوزيع العالم الحقيقي.نموذج الحكمة، نقترح تجهيز نماذج مختلفة مع تعبيري قبل التعبير، اسمه Linear Gaussian النموذج (LGM).تظهر النتائج التجريبية للتقييم الآلي والتقييم البشري أن الطرق تسفر عن تحسينات كبيرة على أساس الأساس.
نماذج المحولات هي التقليب equivariant.لتزويد الطلب واكتب معلومات الرموز المميزة والإدخال، عادة ما تتم إضافتها إلى المدخلات.تعمل الأعمال الأخيرة الاختلافات المقترحة من الترميزات الموضعية مع ترميزات الموضع النسبي تحقيق أداء أفضل.يوضح تحليلنا أن المكسب يأتي في الواقع من نقل المعلومات الموضعية إلى طبقة الاهتمام من المدخلات.بدافع من ذلك، نقدم اهتماما ممتما مطردا للمحولات (النظام الغذائي)، وهي آلية بسيطة ولكنها فعالة لتشفير معلومات الموقف والقطاع في نماذج المحولات.تتمتع الطريقة المقترحة بتدريب ووقت الاستدلال بشكل أسرع، مع تحقيق أداء تنافسي في معايير الغراء وإكستريم و WMT.نحن نعتبر أكثر تعميم طريقتنا للمحولات الطويلة المدى وإظهار مكاسب الأداء.
تلعب الحساب دورا رئيسيا في فهم اللغة الطبيعية.ومع ذلك، فإن نهج NLP الحالية، وليس فقط نهج Word2VEC التقليدي أو نماذج اللغة المستندة إلى المحولات السياقية، تفشل في تعلم الحساب.ونتيجة لذلك، فإن أداء هذه النماذج محدود عند تطبيقه على التطبيقات المكثفة في المجالات السريرية والمالية.في هذا العمل، نقترح نهج تضمين عدد بسيط بناء على الرسم البياني للمعرفة.نحن نبني رسم بياني للمعرفة يتكون من كيانات الأرقام وعلاقات الحجم.يتم بعد ذلك تطبيق طريقة تضمين الرسم البياني للمعرفة للحصول على ناقلات الرقم.نهجنا سهل التنفيذ، وتجربة نتائج التجربة على مختلف مهام NLP ذات الصلة بالكمال إظهار فعالية وكفاءة طريقتنا.
هناك مصلحة ناشئة في تطبيق نماذج معالجة اللغة الطبيعية لمهام معالجة التعليمات البرمجية المصدر.أحد المشاكل الرئيسية في تطبيق التعلم العميق لهندسة البرمجيات هو أن الكود المصدري غالبا ما يحتوي على الكثير من المعرفات النادرة، مما يؤدي إلى مفردات ضخمة.نقتر ح طريقة بسيطة، ولكنها فعالة، بناء على معرفة الهوية المعرفية، للتعامل مع المعرفات خارج المفردات (OOV).يمكن التعامل مع طريقتنا كخطوة مسبقة مسبقا، وبالتالي، تسمح بتنفيذ سهولة.نظرا لأن طريقة إخفاء مصطلحات OOV المقترحة تحسن بشكل كبير من أداء المحول في مهام معالجة التعليمات البرمجية: إكمال التعليمات البرمجية وإصلاح الأخطاء.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا