Dual-Encoders هي آلية واعدة لاسترجاع الإجابة في أنظمة الإجابة على الأسئلة (QA). حاليا معظم التشفير المزدوج التقليدية تعلم التمثيل الدلالي للأسئلة والأجوبة فقط من خلال نقاط مطابقة. اقترح الباحثون تقديم ميزات تفاعلات ضمان الجودة في وظيفة التهديف ولكن بتكلفة منخفضة الكفاءة في مرحلة الاستدلال. للحفاظ على الترميز المستقل للأسئلة والأجوبة أثناء مرحلة الاستدلال، يتم تقديم التشفير التلقائي التلقائي بشكل أكبر لإعادة بناء الإجابات (الأسئلة) من Asceddings من السؤال (الإجابة) بمثابة مهمة مساعدة لتعزيز تفاعل QA في مرحلة التدريب في مرحلة التدريب في مرحلة التدريب في مرحلة التدريب في مرحلة التدريب. ومع ذلك، فإن احتياجات جيل النص واسترجاع الإجابة مختلفة، مما يؤدي إلى صلابة في التدريب. في هذا العمل، نقترح إطارا لتعزيز نموذج المشفرين المزدوجين مع الإجابة على السؤال وآلية محاذاة هندسية جديدة (GAM) لمواءمة الهندسة من المدينات من الترميز المزدوج مع ذلك من التشفير عبر التشفير. تظهر النتائج التجريبية الواسعة أن إطارنا يحسن بشكل كبير من طراز الترميز المزدوج وتفوق على الطريقة التي تظهر على مجموعة بيانات استرجاع الإجابة المتعددة.
Dual-Encoders is a promising mechanism for answer retrieval in question answering (QA) systems. Currently most conventional Dual-Encoders learn the semantic representations of questions and answers merely through matching score. Researchers proposed to introduce the QA interaction features in scoring function but at the cost of low efficiency in inference stage. To keep independent encoding of questions and answers during inference stage, variational auto-encoder is further introduced to reconstruct answers (questions) from question (answer) embeddings as an auxiliary task to enhance QA interaction in representation learning in training stage. However, the needs of text generation and answer retrieval are different, which leads to hardness in training. In this work, we propose a framework to enhance the Dual-Encoders model with question answer cross-embeddings and a novel Geometry Alignment Mechanism (GAM) to align the geometry of embeddings from Dual-Encoders with that from Cross-Encoders. Extensive experimental results show that our framework significantly improves Dual-Encoders model and outperforms the state-of-the-art method on multiple answer retrieval datasets.
References used
https://aclanthology.org/
In education, quiz questions have become an important tool for assessing the knowledge of students. Yet, manually preparing such questions is a tedious task, and thus automatic question generation has been proposed as a possible alternative. So far,
Although showing promising values to downstream applications, generating question and answer together is under-explored. In this paper, we introduce a novel task that targets question-answer pair generation from visual images. It requires not only ge
The evaluation of question answering models compares ground-truth annotations with model predictions. However, as of today, this comparison is mostly lexical-based and therefore misses out on answers that have no lexical overlap but are still semanti
Despite excellent performance on tasks such as question answering, Transformer-based architectures remain sensitive to syntactic and contextual ambiguities. Question Paraphrasing (QP) offers a promising solution as a means to augment existing dataset
We study multi-answer retrieval, an under-explored problem that requires retrieving passages to cover multiple distinct answers for a given question. This task requires joint modeling of retrieved passages, as models should not repeatedly retrieve pa