يلخص الحوار يساعد القراء على التقاط المعلومات البارزة من محادثات طويلة في الاجتماعات والمقابلات والمسلسلات التلفزيونية. ومع ذلك، فإن حوالات العالم الحقيقي تشكل تحديا كبيرا لنماذج التلخيص الحالية، حيث يتجاوز طول الحوار عادة حدود المدخلات التي تفرضها النماذج المدربة مسبقا القائمة على المحولات، والطبيعة التفاعلية للحوالات هي المعلومات ذات الصلة أكثر تعتمد على السياق وقدر موزعة من المقالات الإخبارية. في هذا العمل، نقوم بإجراء دراسة شاملة حول تلخيص الحوار الطويل من خلال التحقيق في ثلاث استراتيجيات للتعامل مع مشكلة الإدخال المطول وتحديد موقع المعلومات ذات الصلة: (1) نماذج المحولات الموسعة مثل Longformer، (2) استرداد نماذج خط أنابيب العديد من طرق استرجاع الحوار النطق، و (3) نماذج ترميز الحوار الهرمي مثل HMNet. نتائجنا التجريبية على ثلاث مجموعات بيانات حوار طويلة (QMSUM، MediaSum، Searscreen) تبين أن نماذج خط أنابيب الاسترداد - بعد ذلك، تسفر عن أفضل أداء. نوضح أيضا أنه يمكن تحسين جودة الملخص مع نموذج استرجاع أقوى وأحيث محاكاة بيانات الملخصات الخارجية المناسبة.
Dialogue summarization helps readers capture salient information from long conversations in meetings, interviews, and TV series. However, real-world dialogues pose a great challenge to current summarization models, as the dialogue length typically exceeds the input limits imposed by recent transformer-based pre-trained models, and the interactive nature of dialogues makes relevant information more context-dependent and sparsely distributed than news articles. In this work, we perform a comprehensive study on long dialogue summarization by investigating three strategies to deal with the lengthy input problem and locate relevant information: (1) extended transformer models such as Longformer, (2) retrieve-then-summarize pipeline models with several dialogue utterance retrieval methods, and (3) hierarchical dialogue encoding models such as HMNet. Our experimental results on three long dialogue datasets (QMSum, MediaSum, SummScreen) show that the retrieve-then-summarize pipeline models yield the best performance. We also demonstrate that the summary quality can be further improved with a stronger retrieval model and pretraining on proper external summarization datasets.
References used
https://aclanthology.org/
Entity Linking (EL) systems have achieved impressive results on standard benchmarks mainly thanks to the contextualized representations provided by recent pretrained language models. However, such systems still require massive amounts of data -- mill
In the last few years, several methods have been proposed to build meta-embeddings. The general aim was to obtain new representations integrating complementary knowledge from different source pre-trained embeddings thereby improving their overall qua
The introduction of pre-trained transformer-based contextualized word embeddings has led to considerable improvements in the accuracy of graph-based parsers for frameworks such as Universal Dependencies (UD). However, previous works differ in various
The ability to generate clarification questions i.e., questions that identify useful missing information in a given context, is important in reducing ambiguity. Humans use previous experience with similar contexts to form a global view and compare it
Summarizing conversations via neural approaches has been gaining research traction lately, yet it is still challenging to obtain practical solutions. Examples of such challenges include unstructured information exchange in dialogues, informal interac