يتيح لنا إلينا التعلم عن تحويل طلقة الصفر لتتبع الدولة للحوار (DST) التعامل مع مجموعة متنوعة من مجالات الحوار الموجهة نحو المهام دون حساب جمع البيانات داخل المجال. في هذا العمل، نقترح نقل المعرفة عبر المهام من السؤال العام إجابة Corporing (QA) من أجل مهمة DST الصفرية. على وجه التحديد، نقترح TransforeQA، نموذج QA المولد القابل للتحويل يجمع بسلاسة بين QA الاستخراجية وجهاز QA متعدد الخيارات عبر إطار محول نص إلى نص، وتتبع كل من الفتحات الفئوية والفخات غير القشرية في DST. بالإضافة إلى ذلك، نقدم طريقتين فعاليتين لبناء أسئلة غير مرغوب فيها، أي أخذ عينات السؤال السلبية واقتطار السياق، مما تمكن نموذجنا للتعامل مع فتحات أي قيمة في إعداد DST الصفر. تشير التجارب الواسعة إلى أن نهجنا تحسن بشكل كبير من تسديدة صفرية القائمة وعدد قليل من النتائج على MultiWoz. علاوة على ذلك، مقارنة مع الأساس المدربين تدريبا كاملا في مجموعة بيانات الحوار الموجهة للمخطط، فإن نهجنا يظهر قدرة أفضل تعميم في المجالات غير المرئية.
Zero-shot transfer learning for dialogue state tracking (DST) enables us to handle a variety of task-oriented dialogue domains without the expense of collecting in-domain data. In this work, we propose to transfer the cross-task knowledge from general question answering (QA) corpora for the zero-shot DST task. Specifically, we propose TransferQA, a transferable generative QA model that seamlessly combines extractive QA and multi-choice QA via a text-to-text transformer framework, and tracks both categorical slots and non-categorical slots in DST. In addition, we introduce two effective ways to construct unanswerable questions, namely, negative question sampling and context truncation, which enable our model to handle none value slots in the zero-shot DST setting. The extensive experiments show that our approaches substantially improve the existing zero-shot and few-shot results on MultiWoz. Moreover, compared to the fully trained baseline on the Schema-Guided Dialogue dataset, our approach shows better generalization ability in unseen domains.
References used
https://aclanthology.org/
Pre-trained multilingual language encoders, such as multilingual BERT and XLM-R, show great potential for zero-shot cross-lingual transfer. However, these multilingual encoders do not precisely align words and phrases across languages. Especially, le
This paper aims at providing a comprehensive overview of recent developments in dialogue state tracking (DST) for task-oriented conversational systems. We introduce the task, the main datasets that have been exploited as well as their evaluation metr
Previous work mainly focuses on improving cross-lingual transfer for NLU tasks with a multilingual pretrained encoder (MPE), or improving the performance on supervised machine translation with BERT. However, it is under-explored that whether the MPE
Sequence-to-sequence models have been applied to a wide variety of NLP tasks, but how to properly use them for dialogue state tracking has not been systematically investigated. In this paper, we study this problem from the perspectives of pre-trainin
Abstract Tracking dialogue states to better interpret user goals and feed downstream policy learning is a bottleneck in dialogue management. Common practice has been to treat it as a problem of classifying dialogue content into a set of pre-defined s