تعتبر تضمين الجملة من الحوارات من الحوارات اهتماما متزايدا بسبب انخفاض تكلفة التصفيف والقدرة على التكيف. تستخدم الأساليب التقليدية شبكة سيامي على هذه المهمة، والتي تحصل على تضيير الجملة من خلال نمذجة الأهمية الدلالية للاستجابة للسياق من خلال تطبيق شبكة تغذية إلى الأمام أعلى من تشفير الجملة. ومع ذلك، نظرا لأن التشابه الدلالي النصي يقاس عادة من خلال مقاييس المسافات عن بعد عناصر (E.G. Cosping و L2 المسافة)، فإن هذه العمارة هذه تعطي فجوة كبيرة بين التدريب والتقييم. في هذه الورقة، نقترح DialoGuecse، نهج التعلم المتعرج النقي من الحوار معالج هذه المشكلة. يقدم Dialoguecse أولا آلية تضمين (MGE) الموجهة إلى مطابقة جديدة (MGE)، والتي تولد تضمين مدرك للسياق لكل تضمين استجابة مرشحة (أي التضمين الخالي من السياق) وفقا لتوجيه مصفوفات مطابقة السياق متعددة الدورات. ثم أزوج كل تضمين كل مدرسي في السياق مع تضمينها الخالي من السياق المقابل وأخيرا يقلل من الخسارة المتعاقبة عبر جميع أزواج. نحن نقيم نموذجنا على ثلاث مجموعات بيانات حوار متعددة الدوران: Microsoft Diroge Corpus، The Jing Dong Corpus، وجهاز حوار التجارة الإلكترونية Corpus. تظهر نتائج التقييم أن نهجنا تتفوق بشكل كبير على خطوط البيانات الثلاثة في جميع مجموعات البيانات الثلاثة من حيث الخريطة وتدابير الارتباط الرأي، مما يدل على فعاليته. تشير المزيد من التجارب الكمي إلى أن نهجنا يحقق أداء أفضل عند الاستفادة من سياق الحوار أكثر ويظل قويا عند توفير بيانات تدريب أقل.
Learning sentence embeddings from dialogues has drawn increasing attention due to its low annotation cost and high domain adaptability. Conventional approaches employ the siamese-network for this task, which obtains the sentence embeddings through modeling the context-response semantic relevance by applying a feed-forward network on top of the sentence encoders. However, as the semantic textual similarity is commonly measured through the element-wise distance metrics (e.g. cosine and L2 distance), such architecture yields a large gap between training and evaluating. In this paper, we propose DialogueCSE, a dialogue-based contrastive learning approach to tackle this issue. DialogueCSE first introduces a novel matching-guided embedding (MGE) mechanism, which generates a context-aware embedding for each candidate response embedding (i.e. the context-free embedding) according to the guidance of the multi-turn context-response matching matrices. Then it pairs each context-aware embedding with its corresponding context-free embedding and finally minimizes the contrastive loss across all pairs. We evaluate our model on three multi-turn dialogue datasets: the Microsoft Dialogue Corpus, the Jing Dong Dialogue Corpus, and the E-commerce Dialogue Corpus. Evaluation results show that our approach significantly outperforms the baselines across all three datasets in terms of MAP and Spearman's correlation measures, demonstrating its effectiveness. Further quantitative experiments show that our approach achieves better performance when leveraging more dialogue context and remains robust when less training data is provided.
References used
https://aclanthology.org/
Self-supervised learning has recently attracted considerable attention in the NLP community for its ability to learn discriminative features using a contrastive objective. This paper investigates whether contrastive learning can be extended to Transf
Large-scale auto-regressive models have achieved great success in dialogue response generation, with the help of Transformer layers. However, these models do not learn a representative latent space of the sentence distribution, making it hard to cont
Exemplar-Guided Paraphrase Generation (EGPG) aims to generate a target sentence which conforms to the style of the given exemplar while encapsulating the content information of the source sentence. In this paper, we propose a new method with the goal
Incorporating external knowledge sources effectively in conversations is a longstanding problem in open-domain dialogue research. The existing literature on open-domain knowledge selection is limited and makes certain brittle assumptions on knowledge
Context-aware neural machine translation (NMT) incorporates contextual information of surrounding texts, that can improve the translation quality of document-level machine translation. Many existing works on context-aware NMT have focused on developi