تعزيز تصنيف الوثائق مع التدريب على المهام-التكيفية وآلية الاسترداد الرمز الممزز

في هذه الورقة، نقترح نموذجا جديدا تصنيفا جديدا، مما يحسن مهمة استرجاع المستندات (DR) من خلال عملية تدريبية على تكيفه المهام وآلية استرداد رمزية مجزأة (Strm). في التدريب التكيفي المهمة، نقوم أولا بتدريب Dr-Bert Transly-editive، ثم جعل ضبط الطورين الدقيقين. في ضبط الطور الأول، يتعلم النموذج أنماط مطابقة المستندات للاستعلام فيما يتعلق بأنواع الاستعلام المختلفة بطريقة مدفوعة. بعد ذلك، في ضبط الطور الثاني، يتعلم النموذج ميزات الترتيب على مستوى المستند وتصنيف المستندات فيما يتعلق باستعلام معين بطريقة مدرجة. تتيح هذا الزائد Plus Plus Tunning النموذج لتقليل الأخطاء في تصنيف المستند عن طريق دمج الإشراف المحدد في الترتيب. في هذه الأثناء، يستخدم النموذج المستمد من الأضواء بشكل رائع أيضا للحد من الضوضاء في البيانات التدريبية للضبط بشكل جيد. من ناحية أخرى، نقدم Strm والتي يمكنها حساب تمثيل كلمة OOV والسياق بشكل أكثر دقة في النماذج القائمة على بيرت. كاستراتيجية فعالة في Dr-Bert، يحسن Strem Perfromance مطابقة كلمات OOV بين الاستعلام وثيقة. والجدير بالذكر أن نموذج الدكتور برت يحتفظ في المراكز الثلاثة الأولى على المتصدرين MS MARCO منذ 20 مايو 2020.