ترغب بنشر مسار تعليمي؟ اضغط هنا

فكر قبل أن تتحدث: تعلم توليد معرفة ضمنية لجيل الاستجابة عن طريق الحديث الذاتي

Think Before You Speak: Learning to Generate Implicit Knowledge for Response Generation by Self-Talk

231   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

يقدم البشر ردود مناسبة لا يستند فقط إلى كلام الحوار السابق ولكن أيضا على المعرفة الخلفية الضمنية مثل الحس السليم. على الرغم من أن نماذج توليد الاستجابة العصبية تنتج ردود تشبه الإنسان، إلا أنها في الغالب من طرفا ولا تولد أسباب وسيطة بين تاريخ الحوار والردود. يهدف هذا العمل إلى الدراسة إذا وكيف يمكننا تدريب نموذج RG الذي يتحدث عن نفسه لتوليد معرفة ضمنية قبل تقديم ردود. نحن نحقق مزيد من التحقيق في هذه النماذج عندما تولد معرفة خلفية ضمنية وعندما لا يكون ذلك ضروريا. تظهر النتائج التجريبية مقارنة بالنماذج التي تولد الردود مباشرة بالنظر إلى تاريخ الحوار، وتنتج نماذج الحديث الذاتي استجابات أفضل بجودة وفقا للتقييم البشري على الحكم النحوي والتماسك والعمل. والنماذج التي يتم تدريبها على تحديد متى يتحدث التحدث الذاتي إلى تحسين جودة الاستجابة. تبين تحليل المعرفة الضمنية الناتجة أن الطرز تستخدم معظمها المعرفة بشكل مناسب في الردود.



المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

تقييم جودة الردود الناتجة عن أنظمة محادثة المجال المفتوحة هي مهمة صعبة. هذا جزئيا لأنه يمكن أن يكون هناك العديد من الردود المناسبة لتاريخ حوار معين. غالبا ما تفشل المقاييس المرجعية التي تعتمد على مقارنات إلى مجموعة من الاستجابات الصحيحة المعروفة في ح ساب هذا التنوع، وبالتالي ربط سيئة مع الحكم البشري. لمعالجة هذه المشكلة، قام الباحثون بالتحقيق في إمكانية تقييم جودة الاستجابة دون استخدام مجموعة من الردود الصحيحة المعروفة. أظهر روبر أنه يمكن إجراء نموذج تقييم الاستجابة التلقائي باستخدام التعلم غير المزعوم لمهمة التنبؤ بالكلام التالي (NUP). بالنسبة للتعلم غير المقترح لهذا النموذج، نقترح طريقة التلاعب بالاستجابة الذهبية لإنشاء استجابة سلبية جديدة تم تصميمها لتكون غير مناسب في السياق مع الحفاظ على التشابه العالي مع الاستجابة الذهبية الأصلية. نجد، من تجاربنا في مجموعات البيانات الإنجليزية، التي تستخدم العينات السلبية التي تم إنشاؤها بواسطة طريقتنا إلى جانب العينات السلبية العشوائية يمكن أن تزيد من ارتباط النموذج بالتقييمات البشرية. عملية توليد هذه العينات السلبية مؤتمتة ولا تعتمد على شرح الإنسان.
يمكن تصنيف الأجهزة المحمولة، التي تلخص تماما المواضيع الرفيعة المستوى التي تمت مناقشتها في وثيقة، في عبارة البصرة الحالية التي تظهر صراحة في النص المصدر والفتحية الغائبة التي لا تتطابق مع أي لاحق متجاور ولكنه مرتبط للغاية بالمصدر. معظم نهج توليد مفات يح المفاتيح الموجودة تولد بمتزامنة خط أساتيجية موجودة وتغيب دون تمييز هذه الفئتين بشكل صريح. في هذه الورقة، يقترح اقتراح نهج محدد (SGG) في التعامل مع توليد الجماهير الموجود والمجابطة الحاضر بشكل منفصل مع آليات مختلفة. على وجه التحديد، SGG هي شبكة عصبية هرمية تتألف من محدد مقرا لها في طبقة منخفضة تتركز على جيل المفتاح الحالي، ومولد موجه في الاختيار في طبقة عالية مخصصة للتغيب عن جيل تسخير الغيام، ووحشية في المنتصف معلومات من محدد للمولد. النتائج التجريبية على أربعة معايير توليد مفاتيح المفاتيح توضح فعالية طرازنا، والتي تتفوق بشكل كبير على خطوط الأساس القوية لكلا الجداول الرائعة الحالية والمغادرة. علاوة على ذلك، فإننا نقدم SGG إلى مهمة توليد العنوان تشير إلى إمكانية قدرتها على مهام توليد اللغة الطبيعية.
يعد توليد الاستجابة الشخصية ضروريا لمزيد من المحادثات التي يشبها الإنسان. ومع ذلك، وكيفية نموذج معلومات تخصيص المستخدم مع عدم وجود أوصاف شخص مستخدم صريح أو التركيبة السكانية لا يزال قيد التحقيق فيها. لمعالجة مشكلة بيانات Sparsity للبيانات والعدد الها ئل من المستخدمين، نستخدم عامل تخصيص Tensor لنموذج معلومات تخصيص المستخدمين مع تاريخ النشر. على وجه التحديد، نقدم تضمين الاستجابة الشخصية لجميع أزواج المستخدمين على المستخدمين وتشكيلها في موتر ثلاثي الحجم، متحللة من تحلل tucker. يتم تغذية تضمين الاستجابة الشخصية إما لمعرفة وحدة فك ترميز نموذج SEQ2SEQ القائمة على LSTM أو نموذج لغة محول للمساعدة في توليد المزيد من الردود الشخصية. لتقييم مدى تخصيص الاستجابات التي تم إنشاؤها، فإننا نقترح مزيدا من المرتبة المائية المستندة إلى الترتيب الواحد لكل من الزيارات @ k والتي تقيس أكثر من المرجح أن تأتي الردود التي تم إنشاؤها من المستخدمين المقابلين. تظهر النتائج على مجموعة بيانات المحادثة على نطاق واسع أن النماذج التي تعتمد على عامل توزيع العمال المقترح لدينا تولد استجابات أكثر تخصيصا وأكثر جودة مقارنة مع خطوط الأساس.
بدافع من جيل السؤال المقترح في أنظمة توصية أخبار المحادلات، نقترح نموذجا لتوليد أزواج الإجابات السؤال (أزواج ضمان الجودة) مع أسئلة ذاتية التركيز ذاتي ومقيد الطول، إجابات تلخص المادة.نبدأ بجمع مجموعة بيانات جديدة من المقالات الإخبارية مع أسئلة كعناوين واقترانها مع ملخصات طول متفاوتة.يتم استخدام هذه البيانات هذه البيانات لتعلم ملخصات إنتاج نموذج توليد QA للزوج كجابات توازن الرصيد بالإيجاز مع الاكتفاء بالاشتراك مع أسئلتها المقابلة.ثم نعزز عملية توليد زوج ضمان الجودة مع وظيفة مكافأة مختلفة لتخفيف تحيز التعرض، وهي مشكلة شائعة في توليد اللغة الطبيعية.يظهر كل من المقاييس التلقائية والتقييم البشري هذه أزواج ضمان الجودة بنجاح التقاط القابس المركزي للمقالات وتحقيق دقة عالية للإجابة.
نقترح معالجة مهام توليد البيانات إلى النص عن طريق الربط مباشرة من جانب شرائح النص من الأزواج المستهدفة من الجيران.على عكس العمل الحديث الذي تقوم بالشروط على الجيران المسترجع ولكن يولد رمزا نصي نصي، من اليسار إلى اليمين، نتعلم السياسة التي تتعامل مباش رة على شرائح النص الجار، عن طريق إدخال أو استبدالها بأجيال مبنية جزئيا.تتطلب التقنيات القياسية للتدريب مثل هذه السياسة عن اشتقاق أوراكل لكل جيل، ونثبت أن العثور على أقصر مثل هذا الاشتقاق يمكن تخفيضها إلى التحليل تحت قواعد محددة معينة خالية من السياق.نجد أن السياسات المستفادة بهذه الطريقة تؤدي على قدم المساواة مع خطوط أساس قوية من حيث التقييم التلقائي والبشري، ولكن السماح لمزيد من الجيل القابل للتفسير والتحكم.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا