ترغب بنشر مسار تعليمي؟ اضغط هنا

تتبع حالة الحوار صفرية عبر نقل المهام عبر

Zero-Shot Dialogue State Tracking via Cross-Task Transfer

273   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

يتيح لنا إلينا التعلم عن تحويل طلقة الصفر لتتبع الدولة للحوار (DST) التعامل مع مجموعة متنوعة من مجالات الحوار الموجهة نحو المهام دون حساب جمع البيانات داخل المجال. في هذا العمل، نقترح نقل المعرفة عبر المهام من السؤال العام إجابة Corporing (QA) من أجل مهمة DST الصفرية. على وجه التحديد، نقترح TransforeQA، نموذج QA المولد القابل للتحويل يجمع بسلاسة بين QA الاستخراجية وجهاز QA متعدد الخيارات عبر إطار محول نص إلى نص، وتتبع كل من الفتحات الفئوية والفخات غير القشرية في DST. بالإضافة إلى ذلك، نقدم طريقتين فعاليتين لبناء أسئلة غير مرغوب فيها، أي أخذ عينات السؤال السلبية واقتطار السياق، مما تمكن نموذجنا للتعامل مع فتحات أي قيمة في إعداد DST الصفر. تشير التجارب الواسعة إلى أن نهجنا تحسن بشكل كبير من تسديدة صفرية القائمة وعدد قليل من النتائج على MultiWoz. علاوة على ذلك، مقارنة مع الأساس المدربين تدريبا كاملا في مجموعة بيانات الحوار الموجهة للمخطط، فإن نهجنا يظهر قدرة أفضل تعميم في المجالات غير المرئية.



المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

تشفير لغة متعددة اللغات المدربة مسبقا، مثل Bert متعدد اللغات و XLM-R، إظهار إمكانات كبيرة للتحويل الصفر - عبر اللغات. ومع ذلك، فإن هذه اللوائح متعددة اللغات لا تحيي بالتحديد الكلمات والعبارات عبر اللغات. على وجه الخصوص، يتطلب محاذاة التعلم في مساحة ا لتضمين متعددة اللغات عادة على مستوى الجملة أو المستوى الموازي على مستوى Word، وهي مكلفة يتم الحصول عليها لغات الموارد المنخفضة. بديل هو جعل التشفير متعددة اللغات أكثر قوة؛ عند ضبط التشفير باستخدام المهمة المصدرة للمهمة، نربط التشفير لتتسامح مع الضوضاء في المساحات التضمين السياقية بحيث لا تتماشى تمثيلات اللغات المختلفة بشكل جيد، لا يزال بإمكان النموذج تحقيق أداء جيد على الصفر بالرصاص عبر اللغات نقل. في هذا العمل، نقترح استراتيجية تعليمية لتدريب النماذج القوية عن طريق رسم الروابط بين الأمثلة الخصومة وحالات فشل النقل الصفرية عبر اللغات. نعتمد اثنين من أساليب التدريب القوية المستخدمة على نطاق واسع، والتدريب الخصوم والتنعيم العشوائي، لتدريب النموذج القوي المرغوب فيه. توضح النتائج التجريبية أن التدريب القوي يحسن نقل صفرية عبر اللغات على مهام تصنيف النص. التحسن هو أكثر أهمية في إعداد النقل المتبادل المعمم، حيث ينتمي زوج جمل المدخلات إلى لغتين مختلفة.
تهدف هذه الورقة إلى تقديم نظرة عامة شاملة للتطورات الأخيرة في تتبع حكمة الحوار (DST) لأنظمة المحادثات الموجهة نحو المهام.نقدم المهمة، وخاصة البيانات الرئيسية التي تم استغلالها وكذلك مقاييس تقييمها، ونحن نحلل العديد من النهج المقترحة.نحن نميز بين نماذ ج DST غير الثابتة، والتي تتنبأ بمجموعة ثابتة من دول الحوار، ونماذج الأطباق الديناميكية، والتي يمكن أن تتنبؤ حوار الحوار حتى عندما تتغير عملية الأونولوجيا.ونناقش أيضا قدرة النموذج على تتبع النطاقات الفردية أو المتعددة والقياس إلى مجالات جديدة، سواء من حيث نقل المعرفة والتعلم الصفر.نحن نغطي فترة من عام 2013 إلى 2020، مما يدل على زيادة كبيرة في أساليب مجال متعددة، ومعظمها باستخدام نماذج اللغة المدربة مسبقا.
يركز العمل السابق بشكل رئيسي على تحسين التحويل عبر اللغات لمهام NLU مع ترميز مسبب متعدد اللغات (MPE)، أو تحسين الأداء على الترجمة الآلية الخاضعة للإشراف مع بيرت. ومع ذلك، فقد تم استكشافه أنه ما إذا كان يمكن أن يساعد MPE في تسهيل عملية النقل عبر اللغا ت لنموذج NMT. في هذه الورقة، نركز على مهمة نقل صفرية عبر اللغات في NMT. في هذه المهمة، يتم تدريب نموذج NMT مع مجموعة بيانات متوازية من زوج لغة واحدة فقط و MPE MPE على الرف، ثم يتم اختباره مباشرة على أزواج لغة الطلقة الصفرية. نقترح Sixt، نموذج بسيط ولكنه فعال لهذه المهمة. يستمتع Sixt بتطوير MPE بجدول تدريبي من مرحلتين ويحصل على مزيد من التحسن في موضع ترميز مفكيك ومكتشف محسن على القدرات. باستخدام هذه الطريقة، يتفوق Sixt بشكل كبير بشكل كبير على MBART، وهو نموذج فك تشفير التركيب متعدد اللغات مسبقا مصممة بشكل صريح ل NMT، مع تحسين متوسط ​​7.1 بلو على مجموعات اختبار صفرية عبر الإنترنت عبر 14 لغة مصدر. علاوة على ذلك، مع وجود بيانات تدريبية وتدريبية أقل بكثير من البيانات، يحقق نموذجنا أداء أفضل في 15 مجموعة اختبار من أي إلى الإنجليزية من Criss و M2M-100، خطين قويين متعدد اللغات NMT.
تم تطبيق نماذج التسلسل إلى التسلسل على مجموعة واسعة من مهام NLP، ولكن كيفية استخدامها بشكل صحيح لتتبع حالة الحوار بشكل منهجي. في هذه الورقة، ندرس هذه المشكلة من وجهات نظر أهداف ما قبل التدريب وكذلك تنسيقات تمثيلات السياق. نوضح أن اختيار الهدف ما قبل التدريب يجعل فرقا كبيرا لجودة تتبع الدولة. على وجه الخصوص، نجد أن التنبؤ الأمان المقنع هو أكثر فعالية من نمذجة اللغة التراجع التلقائي. نستكشف أيضا استخدام Pegasus، وهو هدف ما قبل التدريب المستندة إلى التنبؤ بتلخيص النص، لنموذج تتبع الدولة. وجدنا أن التدريب المسبق لمهمة التلخيص البعيدة على ما يبدو يعمل بشكل جيد بشكل جيد لتتبع حالة الحوار. بالإضافة إلى ذلك، وجدنا أنه في حين أن تمثيل سياق الدولة المتكرر يعمل أيضا بشكل جيد بشكل معقول، فقد يكون للنموذج صعوبة في التعافي من الأخطاء السابقة. أجرينا تجارب في مجموعات بيانات MultiWoz 2.1-2.4 و Woz 2.0 و DSTC2 مع ملاحظات متسقة.
تتبع مجردة تتبع حوار الحوار لتحسين تفسير أهداف المستخدم وتغذية التعلم السياسي المصب هو عنق الزجاجة في إدارة الحوار.كانت الممارسة الشائعة تعاملها كمشكلة تصنيف محتوى الحوار في مجموعة من أزواج القيمة ذات القيمة المحددة مسبقا، أو توليد قيم لفات مختلفة با لنظر إلى سجل الحوار.كلاهما لديه قيود على النظر في التبعيات التي تحدث على الحوارات، وتفتقر إلى قدرات التفكير.تقترح هذه الورقة تتبع حوار الحوار تدريجيا مع المنطق حول الحوار يتحول بمساعدة البيانات الخلفية.توضح النتائج التجريبية أن أسلوبنا تتفوق على الأساليب الحديثة من حيث الدقة المعتقدات المشتركة ل MultiWoz 2.1، ومجموعة بيانات حوار بشرية على نطاق واسع عبر مجالات متعددة.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا