كورت: تصنيفات تكميلية من المحولات

العديد من الأساليب الأخيرة تجاه استرجاع المعلومات العصبية تخفف من تكاليفها الحاسوبية باستخدام خط أنابيب الترتيب متعدد المراحل.في المرحلة الأولى، يتم استرجاع عدد من المرشحين المحتملين ذوي الصلة باستخدام نموذج استرجاع فعال مثل BM25.على الرغم من أن BM25 قد أثبت أداء لائق كمرفاة في المرحلة الأولى، فإنه يميل إلى تفويت الممرات ذات الصلة.في هذا السياق، نقترح كورت، وهو نموذج بسيط في المرحلة الأولى من المرحلة الأولى يرفع تمثيلات سياقية من نماذج اللغة المسبقة مسبقا مثل بيرت لاستكمال وظائف الترتيب القائمة على الأجل مع عدم التسبب في عدم وجود تأخير كبير في وقت الاستعلام.باستخدام DataSet MS Marco، نظهر أن Cort يزيد بشكل كبير من استدعاء المرشح من خلال استكمال BM25 مع المرشحين المفقودين.وبالتالي، نجد أن إعادة الراهنات اللاحقة تحقيق نتائج فائقة مع أقل مرشحين.نوضح كذلك أن استرجاع المرور باستخدام CORT يمكن تحقيقه مع انخفاض الآمون المنخفض بشكل مدهش.

Many recent approaches towards neural information retrieval mitigate their computational costs by using a multi-stage ranking pipeline. In the first stage, a number of potentially relevant candidates are retrieved using an efficient retrieval model such as BM25. Although BM25 has proven decent performance as a first-stage ranker, it tends to miss relevant passages. In this context we propose CoRT, a simple neural first-stage ranking model that leverages contextual representations from pretrained language models such as BERT to complement term-based ranking functions while causing no significant delay at query time. Using the MS MARCO dataset, we show that CoRT significantly increases the candidate recall by complementing BM25 with missing candidates. Consequently, we find subsequent re-rankers achieve superior results with less candidates. We further demonstrate that passage retrieval using CoRT can be realized with surprisingly low latencies.