ترغب بنشر مسار تعليمي؟ اضغط هنا

نحو الصفر وعدد قليل من الرصاص التي تسعى المعرفة تحول في أنظمة الحوار الموجهة إلى المهام

Towards Zero and Few-shot Knowledge-seeking Turn Detection in Task-orientated Dialogue Systems

319   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

يقتصر معظم العمل المسبق على أنظمة الحوار الموجهة نحو المهام على دعم واجهات برمجة التطبيقات في المجال.ومع ذلك، قد يكون لدى المستخدمين طلبات خارج نطاق واجهات برمجة التطبيقات هذه.يركز هذا العمل على تحديد طلبات المستخدمين هذه.تعتمد الطرق الحالية لهذه المهمة بشكل أساسي على النماذج المدربة مسبقا بشكل صحيح على البيانات المشروحة الكبيرة.نقترح طريقة رواية، ريد، بناء على تقدير التعلم والكثافة التكيفية.يمكن تطبيق Rede على حالات الطابع الصفرية، ويتدرك بسرعة كاشف عالية الأداء مع بعض الطلقات فقط عن طريق تحديث أقل من المعلمات 3K.نوضح أداء Rede التنافسي في بيانات DSTC9 ومجموعة اختبار مجمعة حديثا.



المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

نظرا لأن تكلفة وضع العلامات للوحدات المختلفة في أنظمة الحوار الموجهة نحو المهام (TOD) باهظ الثمن، فإن التحدي الرئيسي هو تدريب وحدات مختلفة بأقل قدر من البيانات المسمى. أظهرت نماذج اللغة المدربة مسبقا مؤخرا، نتائج واعدة واعدة لعدد قليل من التعلم في TO D. في هذه الورقة، نرتند نهجا للتدريب الذاتي للاستفادة من بيانات الحوار غير المسبق الوفيرة لزيادة تحسين النماذج المدربة للدولة المدربة مسبقا في سيناريوهات تعليمية قليلة لأنظمة TOD. على وجه التحديد، نقترح نهجا للتدريب الذاتي أن تستلم البيانات الأكثر ثقة أكثر ثقة لتدريب نموذج طالب أقوى. علاوة على ذلك، يقترح تقنية تكبير نص جديد (GradaG) تدريب الطالب بشكل أفضل عن طريق استبدال الرموز غير الحاسمة باستخدام نموذج لغة ملثم. نقوم بإجراء تجارب مكثفة وتحليلات موجودة على أربع مهام المصب في TOD، بما في ذلك تصنيف النوايا وتتبع ولاية الحوار وتنبؤ قانون الحوار واختيار الاستجابة. توضح النتائج التجريبية أن نهج التدريب الذاتي المقترح باستمرار يحسن باستمرار النماذج المدربة مسبقا من أحدث (بيرت، TOD-BERT-BERT) عند توفر عدد صغير فقط من البيانات المسمى.
تعلم أنظمة الحوار الموجهة نحو المهمة الحديثة نموذجا من الحوارات المشروح، وتحول هذه الحوارات بدورها يتم جمعها وتفاحها بحيث تكون متسقة مع معرفة مجال معينة. ومع ذلك، في السيناريوهات الحقيقية، تخضع معارف المجال للتغييرات المتكررة، وقد تصبح حوارات التدريب الأولي قد تصبح عفا عليها الزمن، مما يؤدي إلى انخفاض كبير في الأداء النموذجي. في هذه الورقة، نحقق في العلاقة بين الحوارات التدريبية ومعرفة المجال، واقتراح تكيف مجال الحوار، وهي منهجية تهدف إلى تكييف حوارات التدريب الأولي للتغييرات تدخلت في معرفة المجال. نحن نركز على تغييرات قيمة الفتحة (على سبيل المثال، عندما تتوفر قيم فتحة جديدة لوصف كيانات المجال) وتحديد إعداد تجريبي لتتكيف مع نطاق الحوار. أولا، نوضح أن النماذج الحالية للحالة لتتبع حالة الحوار لا تزال قوية تقريبا للتغيرات ذات قيمة الفتحة لمعرفة المجال. بعد ذلك، نقارن استراتيجيات مختلفة التكيف عن نطاق التكيف، مما يدل على أن التقنيات البسيطة فعالة لتقليل الفجوة بين حوارات التدريب ومعرفة المجال.
في أنظمة الحوار الموجهة نحو الأهداف، يقدم المستخدمون المعلومات من خلال قيم الفتحة لتحقيق أهداف محددة. عمليا، يمكن أن تكون بعض مجموعات قيم الفتحة غير صالحة وفقا للمعرفة الخارجية. على سبيل المثال، مزيج من بيتزا الجبن "(عنصر القائمة) وملفات تعريف الارتب اط OREO" (تتصدر) من كلام الإدخال يمكن أن أطلب بيتزا جبنة مع ملفات تعريف الارتباط Oreo على القمة؟ "تعويضات مثل هذه المجموعات غير الصالحة وفقا للقائمة من مطعم العمل. تسمح أنظمة الحوار التقليدية بإعدام قواعد التحقق من الصحة كخطوة بعد المعالجة بعد أن تم ملء الفتحات التي يمكن أن تؤدي إلى تراكم الخطأ. في هذه الورقة، نقوم بإضفاء الطابع الرسمي على قيود فتحة مدفوعة بالمعرفة وتقديم مهمة جديدة من اكتشاف انتهاك القيد مصحوبة ببيانات معايير. ثم نقترح طرق لإدماج المعرفة الخارجية في الكشف عن انتهاك الانتهاك في النظام والنموذج كمركز تصنيف نهاية إلى نهج ومقارنته لنهج خط أنابيب القواعد التقليدي. تجرب التجارب على مجاليين من مجموعة بيانات متعددة الأوجه من تحديات الكشف عن انتهاك القيود وتضع المرحلة للعمل في المستقبل والتحسينات.
يسمح التعلم المستمر في أنظمة الحوار الموجهة نحو المهام للنظام بإضافة مجالات ووظائف جديدة للعمل الإضافي بعد النشر، دون تكبد التكلفة العالية لإعادة النظر في النظام بأكمله في كل مرة. في هذه الورقة، نقترح أول معيار تعلم مستمر على الإطلاق لأنظمة الحوار ال موجهة نحو المهام مع أن يتم تعلم 37 نطما بشكل مستمر في إعدادات التعلم المعدلة والنهاية. بالإضافة إلى ذلك، نقوم بتنفيذ ومقارنة خطوط أساسيات التعلم المستمرة المتعددة، ونقترحنا طريقة معمارية بسيطة ولكنها فعالة تعتمد على المحولات المتبقية. نشير أيضا إلى أن الأداء العلوي للتعلم المستمر يجب أن يكون يعادل التعلم المتعدد المهام عند توفر البيانات من جميع المجال في وقت واحد. توضح تجاربنا أن الطريقة المعمارية المقترحة وإجراءات استراتيجية تستند إلى إعادة التشغيل بسيطة تؤدي بشكل أفضل، من خلال هامش كبير، مقارنة بتقنيات التعلم المستمرة الأخرى، وأسوأ قليلا قليلا من العلوي المتعدد التعلم العلوي أثناء كونه 20x بشكل أسرع في تعلم النطاقات الجديدة. نحن نبلغ أيضا العديد من المفاضلات من حيث استخدام المعلمة وحجم الذاكرة ووقت التدريب، وهي مهمة في تصميم نظام حوار موجه نحو المهام. يتم إصدار المعيار المقترح لتعزيز المزيد من البحث في هذا الاتجاه.
يتطلب تحسين سياسة الحوار عبر التعلم التعزيز عددا كبيرا من التفاعلات التدريبية، مما يجعل التعلم مع المستخدمين الحقيقيين الوقت المستهلكة ومكلفة. لذلك يعتمد العديد من الإعدادات على محاكاة المستخدم بدلا من البشر. لدى محاكاة المستخدم هذه مشاكلهم الخاصة. ف ي حين أن محاكاة المستخدمين المشفرة باليد، فقد ثبت أن محاكاة المستخدمين الذين يعتمدون على القواعد كافية في المجالات الصغيرة والبسيطة، لأن عدد القواعد المعقدة بسرعة أصلي. لا تزال محاكاة المستخدم التي يحركها بيانات البيانات، من ناحية أخرى، تعتمد على المجال. هذا يعني أن التكيف مع كل مجال جديد يتطلب إعادة تصميم وإعادة التدريب. في هذا العمل، نقترح محاكاة للمستخدم المستقل المستقل للمجال (TUS). لا يتم ربط هيكل TUS مجال معين، وتمكين تعميم المجال وتعلم سلوك المستخدم عبر المجال من البيانات. نحن نقارن TUS مع أحدث التقيمات التلقائية وكذلك الإنسان. يمكن أن يتنافس TUS مع محاكاة المستخدمين المستند إلى القواعد على المجالات المحددة مسبقا ويمكن أن يعممون إلى المجالات غير المرئية في أزياء صفرية.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا