في سياق استرجاع المرفق العصبي، ندرس ثلاث تقنيات واعدة: توليد البيانات الاصطناعية، أخذ العينات السلبية، والانصهار. نحن نحقق بشكل منهجي كيف تسهم هذه التقنيات في أداء نظام الاسترجاع وكيف تكمل بعضها البعض. نقترح إطارا متعدد المراحل يتكون من التدريب المسبق مع البيانات الاصطناعية، والضبط بشكل جيد مع البيانات المسمى، والأماينة السلبية في كلتا المرحلتين. نقوم بدراسة ست استراتيجيات أخذ العينات السلبية وتطبيقها على مرحلة ضبط الدقيقة، وكخادمة جديرة بالملاحظة، إلى البيانات الاصطناعية التي نستخدمها للتدريب المسبق. أيضا، نستكشف أساليب الانصهار التي تجمع بين السلبيات من استراتيجيات مختلفة. نقيم نظامنا باستخدام مهام استرجاع مرور اثنين للنطاق المفتوح واستخدام MS MARCO. تظهر تجاربنا أن زيادة التباين السلبي في كلتا المراحل فعالة لتحسين دقة استرجاع المرور، والأهم من ذلك، كما أنها تظهر أن توليد البيانات الاصطناعية والأماينة السلبية لها فوائد مضافة. علاوة على ذلك، فإن استخدام الانصهار من الأنواع المختلفة يسمح لنا بالوصول إلى الأداء الذي يحدد مستوى جديد من بين الفنادق في قسمين من المهام التي تقييمناها.
In the context of neural passage retrieval, we study three promising techniques: synthetic data generation, negative sampling, and fusion. We systematically investigate how these techniques contribute to the performance of the retrieval system and how they complement each other. We propose a multi-stage framework comprising of pre-training with synthetic data, fine-tuning with labeled data, and negative sampling at both stages. We study six negative sampling strategies and apply them to the fine-tuning stage and, as a noteworthy novelty, to the synthetic data that we use for pre-training. Also, we explore fusion methods that combine negatives from different strategies. We evaluate our system using two passage retrieval tasks for open-domain QA and using MS MARCO. Our experiments show that augmenting the negative contrast in both stages is effective to improve passage retrieval accuracy and, importantly, they also show that synthetic data generation and negative sampling have additive benefits. Moreover, using the fusion of different kinds allows us to reach performance that establishes a new state-of-the-art level in two of the tasks we evaluated.
References used
https://aclanthology.org/
In open-domain question answering, dense passage retrieval has become a new paradigm to retrieve relevant passages for finding answers. Typically, the dual-encoder architecture is adopted to learn dense representations of questions and passages for s
We study multi-answer retrieval, an under-explored problem that requires retrieving passages to cover multiple distinct answers for a given question. This task requires joint modeling of retrieved passages, as models should not repeatedly retrieve pa
Passage retrieval and ranking is a key task in open-domain question answering and information retrieval. Current effective approaches mostly rely on pre-trained deep language model-based retrievers and rankers. These methods have been shown to effect
In various natural language processing tasks, passage retrieval and passage re-ranking are two key procedures in finding and ranking relevant information. Since both the two procedures contribute to the final performance, it is important to jointly o
Pre-trained Transformer language models (LM) have become go-to text representation encoders. Prior research fine-tunes deep LMs to encode text sequences such as sentences and passages into single dense vector representations for efficient text compar