ترغب بنشر مسار تعليمي؟ اضغط هنا

أخذ العينات المضاربة في السيارات الآلية المتنوعة لتوليد استجابة الحوار

Speculative Sampling in Variational Autoencoders for Dialogue Response Generation

562   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

تمت دراسة AcoNecoders Varitional كهدوء واعد لنموذج تعيينات واحدة إلى العديد من السياق للاستجابة في توليد استجابة الدردشة.ومع ذلك، غالبا ما تفشل في تعلم التعيينات المناسبة.أحد أسباب هذا الفشل هو التناقض بين الاستجابة وأخذ عينات متغير كامنة من توزيع تقريبي في التدريب.أخذ عينات من غير لائق للمتغيرات الكامنة عليق النماذج من بناء مساحة كامنة بتعديل.نتيجة لذلك، تتوقف النماذج عن التعامل مع عدم اليقين في المحادثات.لحل ذلك، نقترح أخذ العينات المضاربة للمتغيرات الكامنة.تختار طريقتنا الأكثر احتمالا من متغيرات كامنة العينات بشكل زمني لربط المتغير مع استجابة معينة.نحن نؤكد فعالية طريقتنا في توليد الاستجابة مع بيانات حوار هائلة مصنوعة من مشاركات تويتر.



المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

في توليد استجابة الحوار مفتوح المجال، يمكن أن يستمر سياق الحوار مع ردود متنوعة، وينبغي أن تتخذ طرازات الحوار علاقات واحدة إلى كثيرة.في هذا العمل، نقوم أولا بتحليل الهدف التدريبي لنماذج الحوار من وجهة نظر اختلاف Kullback-Leibler (KLD) وإظهار أن الفجوة بين توزيع الاحتمالات العالمي الحقيقي وتوزيع احتمالية البيانات المرجعية الفردية يمنع النموذج من تعلم الواحدإلى العديد من العلاقات بكفاءة.ثم نستكشف النهج للتدريب متعدد الإشارة في جوانبين.البيانات الحكيمة، ونحن نولد إشارات زائفة متنوعة من نموذج قوي مسبقا لبناء بيانات متعددة المرجعين توفر تقريب أفضل لتوزيع العالم الحقيقي.نموذج الحكمة، نقترح تجهيز نماذج مختلفة مع تعبيري قبل التعبير، اسمه Linear Gaussian النموذج (LGM).تظهر النتائج التجريبية للتقييم الآلي والتقييم البشري أن الطرق تسفر عن تحسينات كبيرة على أساس الأساس.
أصبحت السيارات التلقائية النصية النصية (VAES) سيئة السمعة بالنسبة للانهيار الخلفي، وهي ظاهرة حيث يتعلم وحدة فك ترميز النموذج أن تجاهل الإشارات من التشفير.نظرا لأنه من المعروف أن الانهيار الخلفي يتم تفاقمه من خلال أجهزة فك ترميز التعبير، فقد شهدت المح ولات اعتمادا محدودا كمكون مكونات في VAES النصية.الدراسات القائمة التي تضم المحولات في مبيعات النصوص (لي وآخرون، 2020؛ فانغ وآخرون.، 2021) تخفيف الانهيار الخلفي باستخدام محاولات ضخمة، وهي تقنية غير متوفرة لمعظم مجتمع البحث دون موارد حوسبة واسعة النطاق.نقدم خطة تدريبية بسيطة من مرحلتين لتحويل محول تسلسل إلى تسلسل إلى VIE مع Finetuning فقط.النموذج اللغوي الناتج هو تنافسية مع VAES المستندة إلى المحولات بشكل كبير في بعض المقاييس الداخلية مع الوقوع على الآخرين.لتسهيل التدريب، استكشفنا بشكل شامل تأثير تقنيات تخفيف الطيام الخلفي المشترك في الأدب.نطلق سرد كودنا للاستكشاف.
لقد كانت معروفة منذ فترة طويلة أن Sparsity هي تحيز حثي فعال لتعلم التمثيل الفعال للبيانات في المتجهات ذات الأبعاد الثابتة، وقد تم استكشافها في العديد من مجالات التعلم التمثيل. من اهتمام خاص بهذا العمل هو التحقيق في Sparsity ضمن إطار VAE الذي تم استكش افه كثيرا في مجال الصورة، ولكنه كان يفتقر إلى مستوى الاستكشاف الأساسي في NLP. بالإضافة إلى ذلك، يتخلف NLP أيضا من حيث تعلم تمثيلات متفرق لوحدات نصية كبيرة على سبيل المثال، الجمل. نحن نستخدم VAES التي تحفز التمثيلات الكامنة المتفرقة لوحدات نصية كبيرة لمعالجة أوجه القصور المذكورة أعلاه. أولا، ننتقل في هذا الاتجاه من خلال قياس نجاح الحالة غير المعردة للدولة (SOTA) وغيرها من خطوط الأساس السريع في VAE للنص واقتراح نموذج VIE هرمي متفرق لمعالجة مشكلة الاستقرار في سوتا. بعد ذلك، ننظر إلى آثار Sparsity على تصنيف النص عبر 3 مجموعات من مجموعات البيانات، وتسليط الضوء على ارتباط بين أداء التمثيلات الكامنة المتفرعة حول مهام المصب وقدرته على تشفير المعلومات المتعلقة بالمهام.
يستخدم البشر منطق المنطقي (CSR) ضمنيا لإنتاج ردود طبيعية ومتماسكة في المحادثات. تهدف إلى إغلاق الفجوة بين نماذج جيل الاستجابة الحالية (RG) قدرات الاتصالات البشرية، نريد أن نفهم لماذا تستجيب نماذج RG أثناء قيامهم بتحقيق فهم نموذج RG للمنطق المنطقي الذ ي يثير الاستجابات المناسبة. نحن نقوم بإضفاء الطابع الرسمي على المشكلة عن طريق تأطير العمولة كمتغير كامن في مهمة RG واستخدام توضيحات للاستجابات كأشكال نصية من العمليات النصية. نجمع 6K تفسيرات مشروحة تبرر الردود من أربعة مجموعات من مجموعات بيانات الحوار ونسأل البشر للتحقق منها واقتراح اثنين من إعدادات التحقيق لتقييم قدرات CSR نماذج RG. تظهر النتائج التحقيق أن النماذج تفشل في التقاط العلاقات المنطقية بين تفسيرات والردود المنطقية والضبط بشكل جيد على البيانات داخل المجال والأحجام النموذجية المتزايدة لا تؤدي إلى فهم المسؤولية الاجتماعية للشركات ل RG. نأمل أن تقوم دراستنا بحفز المزيد من الأبحاث في جعل نماذج RG محاكاة عملية التفكير البشرية في السعي لتحقيق اتصال ناعم للإنسان العربي.
بالنسبة لجهاز كمبيوتر يتفاعل بشكل طبيعي مع إنسان، يجب أن يكون يشبه الإنسان.في هذه الورقة، نقترح نموذج توليد الاستجابة العصبي مع التعلم متعدد المهام للجيل والتصنيف، مع التركيز على العاطفة.يتم تدريب نموذجنا على أساس بارت (لويس وآخرون.، 2020)، وهو نموذج ترميز ترميز محول مدرب مسبقا، لتوليد الردود والاعتراف بالمشاعر في وقت واحد.علاوة على ذلك، فنحن نثق خسائر المهام للتحكم في تحديث المعلمات.تظهر التقييمات التلقائية والتقييمات الدليلية للجماعة الجماعية أن النموذج المقترح يجعل الردود التي تم إنشاؤها أكثر وعيا بنفسك.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا