ترغب بنشر مسار تعليمي؟ اضغط هنا

محول قواعد المعرفة مع محول نظم الحوار الموجه نحو المهام المنتهي

Contextualize Knowledge Bases with Transformer for End-to-end Task-Oriented Dialogue Systems

401   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

إن دمج قواعد المعرفة (KB) في أنظمة الحوار الموجهة نحو المهام الواحد أمرا صعبا، لأنها تتطلب تمثيل كيان KB بشكل صحيح، وهو مرتبط بسياق KB وحالات الحوار. تمثل الأعمال الحالية الكيان مع إدراك جزء من سياق KB فقط، والذي يمكن أن يؤدي إلى تمثيل أقل فعالية بسبب فقدان المعلومات، ويلفح سلبا من أجل تناسبي KB وتوليد الاستجابة. لمعالجة هذه المشكلة، نستكشف من السياق بالكامل عن تمثيل الكيان من خلال إدراك جميع الكيانات والحوار ذات الصلة ديناميكيا. لتحقيق ذلك، نقترح، نقترح إطار محول محول في الذاكرة المعززة بالذاكرة (المذنب)، والتي تعامل KB كسلسلة وتزايد قناع ذاكرة جديدة لفرض الكيان على التركيز فقط على كياناتها ذات الصلة وحوار التاريخ، مع تجنب الهاء من الكيانات غير ذات الصلة. من خلال تجارب واسعة، نوضح أن إطار المنزول لدينا يمكن أن يحقق أداء فائقا على حالة الآداب.



المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

اكتسبت النماذج الإدارية لأنظمة الحوار اهتماما كبيرا بسبب النجاح الأخير من RNN والنماذج القائمة على المحولات في مهام مثل الإجابة على الأسئلة والتلخيص. على الرغم من أن مهمة استجابة الحوار ينظر إليها عموما على أنها تسلسل للتسلسل (SEQ2SEQ) المشكلة، فقد و جدت الباحثون في الماضي أنه يمثل تحديا لتدريب أنظمة الحوار باستخدام نماذج SEQ2SEQ القياسية. لذلك، لمساعدة النموذج على تعلم نطق حقيقي وميزات مستوى المحادثة، Sordoni et al. (2015B)، serban et al. (2016) بنية RNN الهرمية المقترحة، التي تم اعتمادها لاحقا من قبل العديد من أنظمة الحوار RNN الأخرى. مع النماذج القائمة على المحولات التي تسيطر على مشاكل SEQ2SeQ مؤخرا، فإن السؤال الطبيعي الذي يجب طرحه هو قابلية مفهوم التسلسل الهرمي في أنظمة الحوار المحول. في هذه الورقة، نقترح إطارا عمليا لترميز المحولات الهرمية وإظهار كيف يمكن تحويل محول قياسي إلى أي ترميز هرمي، بما في ذلك Hred و Hibert مثل النماذج، باستخدام أقنعة اهتمام مصممة خصيصا والترميزات الموضعية. نوضح أن الترميز الهرمي يساعد في تحقيق فهم لغوي أفضل في اللغة الطبيعية للسياق في النماذج القائمة على المحولات لأنظمة الحوار الموجهة نحو المهام من خلال مجموعة واسعة من التجارب.
جعلت نموذج الاستفادة من النماذج اللغوية الكبيرة المدربة مسبقا تقدما ملحوظا على معايير نظم الحوار الموجهة نحو المهام (TOD).في هذه الورقة، نجمع بين هذه النموذج مع إطار تعليمي متعدد المهام لنمذجة TOD نهاية إلى الطرفية من خلال اعتماد التنبؤ SPAN كامرأة م ساعدة.في الإعداد المحرز، يحقق نموذجنا نتائج أحدث نتائج جديدة مع درجات مشتركة من 108.3 و 107.5 على MultiWoz 2.0 و MultiWoz 2.1، على التوالي.علاوة على ذلك، نوضح أن التعلم متعدد المهام يحسن ليس فقط أداء النموذج ولكن قدرة تعميمه من خلال تجارب تكيف المجال في إعداد القليل من اللقطة.الرمز متاح في github.com/bepoetree/mttod.
شهدت السنوات الأخيرة نجاحا رائعا في نظام الحوار الموجه نحو المهام في نهاية إلى نهج، خاصة عند دمج معلومات المعرفة الخارجية. ومع ذلك، لا تزال جودة الاستجابة المتولدة في معظم النماذج القائمة محدودة، ويرجع ذلك أساسا إلى عدم وجود التفكير الدقيق في المعرفة الحتمية (WRT الرموز المفاهيمية)، مما يجعل من الصعب التقاط التحولات المفهوم وتحديد نية المستخدم الحقيقية في الصليب -task سيناريوهات. لمعالجة هذه المشكلات، نقترح آلية نية جديدة لتحسين معرفة الكيان الحتمي بشكل أفضل. استنادا إلى مثل هذه الآلية، فإننا نقترح أيضا شبكة منطق النية (IR-NET)، والتي تتألف من التفكير المشترك والمتعدد، للحصول على تمثيلات نية من الرموز المفاهيمية التي يمكن استخدامها لالتقاط التحولات المفهوم المتضمنة في المهمة المحادثات المتداولة، بحيث لتحديد نية المستخدم بفعالية وتوليد ردود أكثر دقة. تحقق النتائج التجريبية من فعالية IR-NET، والتي توضح أنها تحقق الأداء الحديثة في مجموعات حوار ملثى متعدد المجالات.
يسمح التعلم المستمر في أنظمة الحوار الموجهة نحو المهام للنظام بإضافة مجالات ووظائف جديدة للعمل الإضافي بعد النشر، دون تكبد التكلفة العالية لإعادة النظر في النظام بأكمله في كل مرة. في هذه الورقة، نقترح أول معيار تعلم مستمر على الإطلاق لأنظمة الحوار ال موجهة نحو المهام مع أن يتم تعلم 37 نطما بشكل مستمر في إعدادات التعلم المعدلة والنهاية. بالإضافة إلى ذلك، نقوم بتنفيذ ومقارنة خطوط أساسيات التعلم المستمرة المتعددة، ونقترحنا طريقة معمارية بسيطة ولكنها فعالة تعتمد على المحولات المتبقية. نشير أيضا إلى أن الأداء العلوي للتعلم المستمر يجب أن يكون يعادل التعلم المتعدد المهام عند توفر البيانات من جميع المجال في وقت واحد. توضح تجاربنا أن الطريقة المعمارية المقترحة وإجراءات استراتيجية تستند إلى إعادة التشغيل بسيطة تؤدي بشكل أفضل، من خلال هامش كبير، مقارنة بتقنيات التعلم المستمرة الأخرى، وأسوأ قليلا قليلا من العلوي المتعدد التعلم العلوي أثناء كونه 20x بشكل أسرع في تعلم النطاقات الجديدة. نحن نبلغ أيضا العديد من المفاضلات من حيث استخدام المعلمة وحجم الذاكرة ووقت التدريب، وهي مهمة في تصميم نظام حوار موجه نحو المهام. يتم إصدار المعيار المقترح لتعزيز المزيد من البحث في هذا الاتجاه.
يتطلب تحسين سياسة الحوار عبر التعلم التعزيز عددا كبيرا من التفاعلات التدريبية، مما يجعل التعلم مع المستخدمين الحقيقيين الوقت المستهلكة ومكلفة. لذلك يعتمد العديد من الإعدادات على محاكاة المستخدم بدلا من البشر. لدى محاكاة المستخدم هذه مشاكلهم الخاصة. ف ي حين أن محاكاة المستخدمين المشفرة باليد، فقد ثبت أن محاكاة المستخدمين الذين يعتمدون على القواعد كافية في المجالات الصغيرة والبسيطة، لأن عدد القواعد المعقدة بسرعة أصلي. لا تزال محاكاة المستخدم التي يحركها بيانات البيانات، من ناحية أخرى، تعتمد على المجال. هذا يعني أن التكيف مع كل مجال جديد يتطلب إعادة تصميم وإعادة التدريب. في هذا العمل، نقترح محاكاة للمستخدم المستقل المستقل للمجال (TUS). لا يتم ربط هيكل TUS مجال معين، وتمكين تعميم المجال وتعلم سلوك المستخدم عبر المجال من البيانات. نحن نقارن TUS مع أحدث التقيمات التلقائية وكذلك الإنسان. يمكن أن يتنافس TUS مع محاكاة المستخدمين المستند إلى القواعد على المجالات المحددة مسبقا ويمكن أن يعممون إلى المجالات غير المرئية في أزياء صفرية.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا