سريع وفعال ومشرف ذاتي: تحويل نماذج لغة ملثمين إلى تشفير المعجمات والعامة العالمية

أشار العمل السابق إلى أن النماذج اللغوية المحددة مسبقا (MLMS) غير فعالة مثل تشفير المعجمات المعجمية والجملة العالمية خارج الرف، أي دون مزيد من ضبط الدقيقة بشكل جيد على NLI أو تشابه الجملة أو إعادة الصياغة المهام باستخدام بيانات المهام المشروحة وبعد في هذا العمل، نوضح أنه من الممكن تحويل MLMS إلى تشفير معجمية وقضية فعالة حتى دون أي بيانات إضافية، والاعتماد ببساطة على الإشراف الذاتي. نقترح تقنية تعليمية بسيطة للغاية وسريعة وفعالة وفعالة، وتسمى برت مرآة، والتي تحول MLMS (على سبيل المثال، بيرت وروبرتا) إلى مثل هذه اللوائح في 20-30 ثانية مع عدم وجود إمكانية الوصول إلى المعرفة الخارجية الإضافية. تعتمد Mirror-Bert على أزواج سلسلة متطابقة وعزز قليلا كأمثلة إيجابية (I.E.، مرادف)، وتهدف إلى زيادة تشابهها أثناء ضبط الهوية ". نبلغ عن مكاسب ضخمة أكثر من MLMS Off-Relf مع Mirror-Bert كل من المستوى المعجمي والمهام على مستوى الجملة، عبر المجالات المختلفة ولغات مختلفة. وخاصة، في مشابه الجملة (STS) ومهام إستقبال الإجابة عن السؤال (QNLI)، فإن نموذجنا المرآة الإشراف على نفسه يطابق أداء نماذج Bertence-Bert من العمل السابق الذي يعتمد على بيانات المهام المشروح. أخيرا، نقوم بتحويل أعمق في الأعمال الداخلية لل MLMS، واقترح بعض الأدلة على سبب قيام هذا النهج بسيطة بسيطة بالمرآبة الرصيد بإعادة ترميز اللوائح المعجمية والعامة العامة الفعالة.

Previous work has indicated that pretrained Masked Language Models (MLMs) are not effective as universal lexical and sentence encoders off-the-shelf, i.e., without further task-specific fine-tuning on NLI, sentence similarity, or paraphrasing tasks using annotated task data. In this work, we demonstrate that it is possible to turn MLMs into effective lexical and sentence encoders even without any additional data, relying simply on self-supervision. We propose an extremely simple, fast, and effective contrastive learning technique, termed Mirror-BERT, which converts MLMs (e.g., BERT and RoBERTa) into such encoders in 20-30 seconds with no access to additional external knowledge. Mirror-BERT relies on identical and slightly modified string pairs as positive (i.e., synonymous) fine-tuning examples, and aims to maximise their similarity during identity fine-tuning''. We report huge gains over off-the-shelf MLMs with Mirror-BERT both in lexical-level and in sentence-level tasks, across different domains and different languages. Notably, in sentence similarity (STS) and question-answer entailment (QNLI) tasks, our self-supervised Mirror-BERT model even matches the performance of the Sentence-BERT models from prior work which rely on annotated task data. Finally, we delve deeper into the inner workings of MLMs, and suggest some evidence on why this simple Mirror-BERT fine-tuning approach can yield effective universal lexical and sentence encoders.