نموذج استرجاع منظم في سيامي في بيرت

نظرا لتطوير التعلم العميق، حققت مهام معالجة اللغة الطبيعية تقدم كبيرا من خلال الاستفادة من تمثيل التشفير الثنائي الاتجاه من المحولات (بيرت). الهدف من استرجاع المعلومات هو البحث في أكثر النتائج ذات الصلة لاستعلام المستخدم من مجموعة كبيرة من المستندات. على الرغم من أن نماذج استرجاع مقرها بيرت أظهرت نتائج ممتازة في العديد من الدراسات، إلا أن هذه النماذج تعاني عادة من الحاجة إلى كميات كبيرة من الحسابات و / أو مسافات تخزين إضافية. في ضوء العيوب، يتم اقتراح نموذج استرجاع منظم في سيامي في بيرت (Bess) في هذه الورقة. لا يرث BESS فقط مزايا نماذج اللغة المدربة مسبقا، ولكن يمكن أيضا إنشاء معلومات إضافية لتعويض الاستعلام الأصلي تلقائيا. علاوة على ذلك، يتم تقديم استراتيجية تعليم التعزيز لجعل النموذج أكثر قوة. وفقا لذلك، نقيم BESS على ثلاثة كوربورا عامة المتاحة، وتتضح النتائج التجريبية كفاءة نموذج الاسترجاع المقترح.

Due to the development of deep learning, the natural language processing tasks have made great progresses by leveraging the bidirectional encoder representations from Transformers (BERT). The goal of information retrieval is to search the most relevant results for the user's query from a large set of documents. Although BERT-based retrieval models have shown excellent results in many studies, these models usually suffer from the need for large amounts of computations and/or additional storage spaces. In view of the flaws, a BERT-based Siamese-structured retrieval model (BESS) is proposed in this paper. BESS not only inherits the merits of pre-trained language models, but also can generate extra information to compensate the original query automatically. Besides, the reinforcement learning strategy is introduced to make the model more robust. Accordingly, we evaluate BESS on three public-available corpora, and the experimental results demonstrate the efficiency of the proposed retrieval model.