نظرا لتطوير التعلم العميق، حققت مهام معالجة اللغة الطبيعية تقدم كبيرا من خلال الاستفادة من تمثيل التشفير الثنائي الاتجاه من المحولات (بيرت). الهدف من استرجاع المعلومات هو البحث في أكثر النتائج ذات الصلة لاستعلام المستخدم من مجموعة كبيرة من المستندات.
على الرغم من أن نماذج استرجاع مقرها بيرت أظهرت نتائج ممتازة في العديد من الدراسات، إلا أن هذه النماذج تعاني عادة من الحاجة إلى كميات كبيرة من الحسابات و / أو مسافات تخزين إضافية. في ضوء العيوب، يتم اقتراح نموذج استرجاع منظم في سيامي في بيرت (Bess) في هذه الورقة. لا يرث BESS فقط مزايا نماذج اللغة المدربة مسبقا، ولكن يمكن أيضا إنشاء معلومات إضافية لتعويض الاستعلام الأصلي تلقائيا. علاوة على ذلك، يتم تقديم استراتيجية تعليم التعزيز لجعل النموذج أكثر قوة. وفقا لذلك، نقيم BESS على ثلاثة كوربورا عامة المتاحة، وتتضح النتائج التجريبية كفاءة نموذج الاسترجاع المقترح.
في الآونة الأخيرة، تم تحقيق أداء مثير للإعجاب على مختلف مهام فهم اللغة الطبيعية من خلال دمج بناء الجملة والمعلومات الدلالية في النماذج المدربة مسبقا، مثل بيرت وروبرتا.ومع ذلك، يعتمد هذا النهج على ضبط النماذج الدقيقة الخاصة بالمشكلات، وعلى نطاق واسع،
تظهر نماذج BERT-يشبئون الأداء، وهي غير فعالة، عند تطبيقها على مهام مقارنة التشابه غير المدعومة.تم اقتراح الحكم - بيرت (SBERT) كطريقة تضمين عقوبة عامة للأغراض العامة، مناسبة لكل من مقارنة التشابه والمهام المصب.في هذا العمل، نظهر أنه من خلال دمج المعلومات الهيكلية في SBERT، فإن النموذج الناتج يتفوق على SBERTT وتميز الجملة العامة السابقة على مجموعات بيانات التشابه الدلالي غير المنصوص عليها ومهام تصنيف النقل.
