ترغب بنشر مسار تعليمي؟ اضغط هنا

COLV: نموذج متغير كامن التعاون لتوليد الحوار المحدد المعرفة

CoLV: A Collaborative Latent Variable Model for Knowledge-Grounded Dialogue Generation

410   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

حقق توليد الحوار المدرج في المعرفة أدائا واعدا بمشاركة مصادر المعرفة الخارجية. عادة ما تؤدي الأساليب النموذجية نحو هذه المهمة مهام فرعية مستقلة نسبيا، أي اختيار المعرفة وتوليد الاستجابة على علم المعرفة. في هذه الورقة، من أجل تحسين تنوع كل من مجموعة مختارة المعرفة وتوليد الاستجابة على علم المعرفة، نقترح نموذجا متعاونا للمتغير الكامن (COLV) لدمج هذين الجانبين في وقت واحد في المساحات الكامنة المنفصلة والتعاونية، وذلك لالتقاط الأصيت الارتباط بين اختيار المعرفة وتوليد الاستجابة. أثناء الجيل، يرسم نموذجنا المقترح مرشح المعرفة أولا من المساحة الكامنة المكيفة في سياق الحوار، ثم عينات استجابة من مساحة كامنة تعاونية أخرى مشروطة بكل من السياق والمعرفة المختارة. تظهر النتائج التجريبية على مجموعات بيانات الحوار المستخدمة على نطاق واسع على نطاق واسع أن طرازنا يفوق على الأساليب السابقة على كل من اختيار المعرفة وتوليد الاستجابة.



المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

البحث في أنظمة الحوار مفتوح المجال التي تسمح بمواضيع مجانية صعبة في مجال معالجة اللغات الطبيعية (NLP). تم تحسين أداء نظام الحوار مؤخرا من خلال الطريقة التي تستخدم المعرفة المتعلقة بالحوار؛ ومع ذلك، فإن أنظمة الحوار غير الإنجليزية تعاني من إعادة إنتاج أداء أنظمة الحوار باللغة الإنجليزية لأن تأمين المعرفة بنفس اللغة مع نظام الحوار صعب نسبيا. من خلال تجارب مع نظام حوار كوري، تثبت هذه الورقة أن أداء نظام الحوار غير الإنجليزي يمكن تحسينه عن طريق استخدام المعرفة الإنجليزية، وتسليط الضوء على النظام يستخدم المعرفة عبر اللغات. بالنسبة للتجارب، نحن 1) شيدنا نسخة كورية من معالج DataSet Wikipedia، 2) بنيت Korean-English T5 (KE-T5)، وهي نموذج لغة مدرب مسبقا مع كوريا والإنجليزية، و 3) طورت المعرفة وضع نموذج الحوار الكوري على أساس KE-T5. لاحظنا تحسين الأداء في نموذج الحوار الكوري مفتوح المجال حتى تم تقديم المعرفة الإنجليزية فقط. أظهرت النتائج التجريبية أن المعرفة المتأصلة في نماذج اللغة عبر اللغات يمكن أن تكون مفيدة لتوليد الاستجابات في أنظمة الحوار المفتوحة.
أظهرت نماذج المحادثة العصبية إمكانات كبيرة تجاه توليد ردود بطلاقة وإمعلومات عن طريق إدخال معرفة خلفية خارجية. ومع ذلك، فمن الشائع بناء هذه الحوارات المدرجة في المعرفة، وعادة ما تؤدي النماذج الحالية بشكل سيء عند النقل إلى مجالات جديدة مع عينات تدريب م حدودة. لذلك، فإن بناء نظام حوار مدرج في المعرفة بموجب إعداد الموارد المنخفضة هو قضية حاسمة لا تزال. في هذه الورقة، نقترح إطارا لتعليم تعليمي رواية ثلاث مراحل يستند إلى التعلم الإشرافه ضعيف يفيد من الحوارات على نطاق واسع وقاعدة المعرفة غير المنظمة. للتعاون بشكل أفضل مع هذا الإطار، نضع متغير من المحولات مع فك فك التشفير التي تسهل التعلم المنطلق لتوليد الاستجابة وإدماج المعرفة. تشير نتائج التقييم إلى معيارين إلى أن نهجنا يمكن أن يتفوق على أساليب حديثة أخرى مع بيانات تدريب أقل، وحتى في سيناريو الموارد الصفرية، فإن نهجنا لا يزال ينفذ جيدا.
لقد أثبتت التعلم المناهج الدراسية، وهي استراتيجية تدريب الآلة التي تغذي حالات التدريب على النموذج من سهولة الصعب، لتسهيل مهمة توليد الحوار. وفي الوقت نفسه، يمكن أن تسفر عن طريقة تقطير المعرفة، منهجية تحويل المعرفة بين المعلمين وشبكات الطلاب دفعة كبير ة من الأداء لنماذج الطلاب. وبالتالي، في هذه الورقة، نقدم مجموعة من التعلم من المناهج الدراسية وتقطير المعرفة لنماذج جيل الحوار الفعالة، حيث يمكن أن يساعد تعلم المناهج الدراسية في تقطير المعارف من جوانب البيانات والنموذج. للبدء، من جانب البيانات، نقوم بتجميع حالات التدريب وفقا لتعقيدها، والتي تحسبها أنواع مختلفة من الميزات مثل طول الجملة والتماسك بين أزواج الحوار. علاوة على ذلك، فإننا نوظف استراتيجية تدريبية عدائية لتحديد تعقيد الحالات من مستوى النموذج. الحدس هو أنه، إذا كان بإمكان التمييز أن يخبر الاستجابة الناتجة عن المعلم أو الطالب، فسيكون الأمر من الصعب على الحالة أن نموذج الطالب لم يتكيف حتى الآن. أخيرا، نستخدم التعلم الذاتي، وهو امتداد لتعلم المناهج الدراسية لتعيين الأوزان لتقطير. في الختام، نقوم بترتيب منهج هرمي يستند إلى الجوانب المذكورة أعلاه لنموذج الطالب بموجب الإرشاد من نموذج المعلم. توضح النتائج التجريبية أن أساليبنا تحقق تحسينات مقارنة مع خطوط الأساس التنافسية.
في توليد استجابة الحوار مفتوح المجال، يمكن أن يستمر سياق الحوار مع ردود متنوعة، وينبغي أن تتخذ طرازات الحوار علاقات واحدة إلى كثيرة.في هذا العمل، نقوم أولا بتحليل الهدف التدريبي لنماذج الحوار من وجهة نظر اختلاف Kullback-Leibler (KLD) وإظهار أن الفجوة بين توزيع الاحتمالات العالمي الحقيقي وتوزيع احتمالية البيانات المرجعية الفردية يمنع النموذج من تعلم الواحدإلى العديد من العلاقات بكفاءة.ثم نستكشف النهج للتدريب متعدد الإشارة في جوانبين.البيانات الحكيمة، ونحن نولد إشارات زائفة متنوعة من نموذج قوي مسبقا لبناء بيانات متعددة المرجعين توفر تقريب أفضل لتوزيع العالم الحقيقي.نموذج الحكمة، نقترح تجهيز نماذج مختلفة مع تعبيري قبل التعبير، اسمه Linear Gaussian النموذج (LGM).تظهر النتائج التجريبية للتقييم الآلي والتقييم البشري أن الطرق تسفر عن تحسينات كبيرة على أساس الأساس.
على الرغم من أن تحيز التعرض قد درس على نطاق واسع في بعض مهام NLP، إلا أنه يواجه تحدياته الفريدة في توليد استجابة الحوار، وسيناريو الجيل الممثل الأول إلى مختلف. في الحوار الإنساني الحقيقي، هناك العديد من الردود المناسبة لنفس السياق، ليس فقط مع تعبيرات مختلفة، ولكن أيضا مع مواضيع مختلفة. لذلك، بسبب الفجوة الأكبر بكثير بين العديد من ردود الحقيقة الأرضية والاستجابة الاصطناعية التي تم إنشاؤها، فإن تحيز التعرض أكثر تحديا في مهمة توليد الحوار. ما هو أكثر من ذلك، حيث يشجع MLE النموذج على تعلم الكلمات الشائعة فقط بين ردود الحقيقة المختلفة ، ولكن يتجاهل الأجزاء المثيرة والمحددة، قد يؤدي التحيز التعريض إلى أن يؤدي المزيد إلى مشكلة توليد الاستجابة المشتركة، مثل لا أعرف "وهاها؟" في هذه الورقة، نقترح آلية تحول التكيف الرواية، والتي تتعلم العبور تلقائيا بين التعلم الأساسي للحقيقة وتولد التعلم فيما يتعلق بدرجة مطابقة على مستوى الكلمة، مثل تشابه جيب التمام. تظهر النتائج التجريبية على كل من مجموعة بيانات STC الصينية ومجموعة بيانات Reddit الإنجليزية، أن طريقتنا التكيفية تحقق تحسنا كبيرا من حيث التقييم القائم على المتري والتقييم البشري، مقارنة بنهج تحيز التعرض للدولة القصيرة. يظهر تحليل إضافي حول مهمة NMT أيضا أن طرازنا يمكن أن يحقق تحسنا كبيرا.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا