محول هرمي لنظم الحوار موجهة نحو المهام

اكتسبت النماذج الإدارية لأنظمة الحوار اهتماما كبيرا بسبب النجاح الأخير من RNN والنماذج القائمة على المحولات في مهام مثل الإجابة على الأسئلة والتلخيص. على الرغم من أن مهمة استجابة الحوار ينظر إليها عموما على أنها تسلسل للتسلسل (SEQ2SEQ) المشكلة، فقد وجدت الباحثون في الماضي أنه يمثل تحديا لتدريب أنظمة الحوار باستخدام نماذج SEQ2SEQ القياسية. لذلك، لمساعدة النموذج على تعلم نطق حقيقي وميزات مستوى المحادثة، Sordoni et al. (2015B)، serban et al. (2016) بنية RNN الهرمية المقترحة، التي تم اعتمادها لاحقا من قبل العديد من أنظمة الحوار RNN الأخرى. مع النماذج القائمة على المحولات التي تسيطر على مشاكل SEQ2SeQ مؤخرا، فإن السؤال الطبيعي الذي يجب طرحه هو قابلية مفهوم التسلسل الهرمي في أنظمة الحوار المحول. في هذه الورقة، نقترح إطارا عمليا لترميز المحولات الهرمية وإظهار كيف يمكن تحويل محول قياسي إلى أي ترميز هرمي، بما في ذلك Hred و Hibert مثل النماذج، باستخدام أقنعة اهتمام مصممة خصيصا والترميزات الموضعية. نوضح أن الترميز الهرمي يساعد في تحقيق فهم لغوي أفضل في اللغة الطبيعية للسياق في النماذج القائمة على المحولات لأنظمة الحوار الموجهة نحو المهام من خلال مجموعة واسعة من التجارب.

Generative models for dialog systems have gained much interest because of the recent success of RNN and Transformer based models in tasks like question answering and summarization. Although the task of dialog response generation is generally seen as a sequence to sequence (Seq2Seq) problem, researchers in the past have found it challenging to train dialog systems using the standard Seq2Seq models. Therefore, to help the model learn meaningful utterance and conversation level features, Sordoni et al. (2015b), Serban et al. (2016) proposed Hierarchical RNN architecture, which was later adopted by several other RNN based dialog systems. With the transformer-based models dominating the seq2seq problems lately, the natural question to ask is the applicability of the notion of hierarchy in transformer-based dialog systems. In this paper, we propose a generalized framework for Hierarchical Transformer Encoders and show how a standard transformer can be morphed into any hierarchical encoder, including HRED and HIBERT like models, by using specially designed attention masks and positional encodings. We demonstrate that Hierarchical Encoding helps achieve better natural language understanding of the contexts in transformer-based models for task-oriented dialog systems through a wide range of experiments.