ترغب بنشر مسار تعليمي؟ اضغط هنا

تتبع حالة الحوار مع نموذج اللغة باستخدام مطالبة مخطط مدفوعة

Dialogue State Tracking with a Language Model using Schema-Driven Prompting

305   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

غالبا ما تستخدم أنظمة المحادثة الموجهة نحو المهام تتبع حالة الحوار لتمثيل نوايا المستخدم، والتي تنطوي على ملء قيم فتحات محددة مسبقا.تم اقتراح العديد من النهج، وغالبا ما تستخدم الهندسة المعنية بمهام المهام مع مصنفات ذات الأغراض الخاصة.في الآونة الأخيرة، تم الحصول على نتائج جيدة باستخدام هياكل عامة أكثر بناء على نماذج اللغة المحددة مسبقا.هنا، نقدم اختلافا جديدا لنهج نمذجة اللغة التي تستخدم مطالبة مخطط مدفوعة بتوفير ترميز التاريخ على علم المهام المستخدمة لكل من الفتحات الفئوية وغير القشرية.ونحن كذلك تحسين الأداء من خلال زيادة المطالبة بأوصاف المخطط، وهو مصدر حدوث طبيعي للمعرفة داخل المجال.لدينا نظام التوليد البحت يحقق الأداء الحديثة في MultiWoz 2.2 وتحقق أداء تنافسي على اثنين من المعايير الأخرى: MultiWoz 2.1 و M2M.ستكون البيانات والرمز متاحة في https://github.com/chiahsuan156/dst-as-prompting.



المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

تتبع مجردة تتبع حوار الحوار لتحسين تفسير أهداف المستخدم وتغذية التعلم السياسي المصب هو عنق الزجاجة في إدارة الحوار.كانت الممارسة الشائعة تعاملها كمشكلة تصنيف محتوى الحوار في مجموعة من أزواج القيمة ذات القيمة المحددة مسبقا، أو توليد قيم لفات مختلفة با لنظر إلى سجل الحوار.كلاهما لديه قيود على النظر في التبعيات التي تحدث على الحوارات، وتفتقر إلى قدرات التفكير.تقترح هذه الورقة تتبع حوار الحوار تدريجيا مع المنطق حول الحوار يتحول بمساعدة البيانات الخلفية.توضح النتائج التجريبية أن أسلوبنا تتفوق على الأساليب الحديثة من حيث الدقة المعتقدات المشتركة ل MultiWoz 2.1، ومجموعة بيانات حوار بشرية على نطاق واسع عبر مجالات متعددة.
يستخدم تمثيل الحالة المستندة إلى الإطار على نطاق واسع في أنظمة الحوار الحديثة الموجهة نحو المهام لنمو نوايا المستخدم وقيم الفتحة.ومع ذلك، فإن التصميم الثابت لعلم أطباق المجال يجعل من الصعب تمديد الخدمات الجديدة واجهات برمجة التطبيقات.العمل الأخير الم قترح استخدام أوصاف اللغة الطبيعية لتحديد طبولوجيا المجال بدلا من أسماء العلامات لكل نية أو فتحة، مما يوفر مجموعة ديناميكية من المخطط.في هذه الورقة، نقوم بإجراء دراسات مقارنة متعمقة لفهم استخدام وصف اللغة الطبيعية للمخطط في تتبع ولاية الحوار.تغطي مناقشتنا أساسا ثلاثة جوانب: بنية التشفير، وتأثير التدريب التكميلي، وأساليب وصف المخطط الفعال.نقدم مجموعة من أوصاف بمناسبة مقاعد البدلاء المصممة حديثا والكشف عن متانة النموذج على كل من أنماط الوصف المتجانس وغير المتجانسة في التدريب والتقييم.
تم تطبيق نماذج التسلسل إلى التسلسل على مجموعة واسعة من مهام NLP، ولكن كيفية استخدامها بشكل صحيح لتتبع حالة الحوار بشكل منهجي. في هذه الورقة، ندرس هذه المشكلة من وجهات نظر أهداف ما قبل التدريب وكذلك تنسيقات تمثيلات السياق. نوضح أن اختيار الهدف ما قبل التدريب يجعل فرقا كبيرا لجودة تتبع الدولة. على وجه الخصوص، نجد أن التنبؤ الأمان المقنع هو أكثر فعالية من نمذجة اللغة التراجع التلقائي. نستكشف أيضا استخدام Pegasus، وهو هدف ما قبل التدريب المستندة إلى التنبؤ بتلخيص النص، لنموذج تتبع الدولة. وجدنا أن التدريب المسبق لمهمة التلخيص البعيدة على ما يبدو يعمل بشكل جيد بشكل جيد لتتبع حالة الحوار. بالإضافة إلى ذلك، وجدنا أنه في حين أن تمثيل سياق الدولة المتكرر يعمل أيضا بشكل جيد بشكل معقول، فقد يكون للنموذج صعوبة في التعافي من الأخطاء السابقة. أجرينا تجارب في مجموعات بيانات MultiWoz 2.1-2.4 و Woz 2.0 و DSTC2 مع ملاحظات متسقة.
في الآونة الأخيرة، تم توسيع تركيز تتبع حالة الحوار من مجال واحد إلى مجالات متعددة.تتميز المهمة بالفتحات المشتركة بين المجالات.نظرا لأن السيناريو يحصل على مزيد من المعقدة، تصبح مشكلة خارج المفردات أيضا شارما.النماذج الحالية ليست مرضية لحل تحديات تكامل الأطباق بين المجالات ومشاكل خارج المفردات.لمعالجة المشكلة، نستكشف الدلالية الهرمية من علم الأطباق ويعزز العلاقة بين الفتحات ذات الاهتمام الهرمي الملثم.في مرحلة فك قيمة الدولة، نحل المشكلة خارج المفردات من خلال الجمع بين طريقة التوليد وطريقة الاستخراج معا.نقيم أداء نموذجنا على مجموعة بيانات تمثيلية، MultiWoz باللغة الإنجليزية والكنيسة في الصينية.تظهر النتائج أن طرازنا يجرض مكسب أداء كبير على طراز تتبع الدولة الحديثة الحالية وهو أكثر قوة لمشكلة خارج المفردات مقارنة بالطرق الأخرى.
يتيح لنا إلينا التعلم عن تحويل طلقة الصفر لتتبع الدولة للحوار (DST) التعامل مع مجموعة متنوعة من مجالات الحوار الموجهة نحو المهام دون حساب جمع البيانات داخل المجال. في هذا العمل، نقترح نقل المعرفة عبر المهام من السؤال العام إجابة Corporing (QA) من أجل مهمة DST الصفرية. على وجه التحديد، نقترح TransforeQA، نموذج QA المولد القابل للتحويل يجمع بسلاسة بين QA الاستخراجية وجهاز QA متعدد الخيارات عبر إطار محول نص إلى نص، وتتبع كل من الفتحات الفئوية والفخات غير القشرية في DST. بالإضافة إلى ذلك، نقدم طريقتين فعاليتين لبناء أسئلة غير مرغوب فيها، أي أخذ عينات السؤال السلبية واقتطار السياق، مما تمكن نموذجنا للتعامل مع فتحات أي قيمة في إعداد DST الصفر. تشير التجارب الواسعة إلى أن نهجنا تحسن بشكل كبير من تسديدة صفرية القائمة وعدد قليل من النتائج على MultiWoz. علاوة على ذلك، مقارنة مع الأساس المدربين تدريبا كاملا في مجموعة بيانات الحوار الموجهة للمخطط، فإن نهجنا يظهر قدرة أفضل تعميم في المجالات غير المرئية.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا