توليد مجموعات البيانات مع نماذج اللغة المحددة مسبقا

للحصول على تضمين الجملة ذات الجودة العالية من نماذج اللغة المحددة مسبقا (PLMS)، يجب أن تكون تؤدي إما بزيادة أهداف محالمنة إضافية أو Finetuned على مجموعة كبيرة من أزواج النص المسمى.في حين أن النهج الأخير يتفوق عادة على السابق، إلا أنه يتطلب جهد إنساني كبير لتوليد مجموعات بيانات مناسبة من الحجم الكافي.في هذه الورقة، نظير على هذه الورقة، نظرا لأن PLMS يمكن أن يتم الاستفادة منها للحصول على مدينات جملة عالية الجودة دون الحاجة إلى البيانات المسمى أو التصميم أو التعديلات على الهدف المحدد: نحن نستخدم القدرات الاستهادة للمقطوعات الكبيرة والأداء عالية الأداء لتوليد مجموعات بيانات كاملةأزواج النص المسمى من نقطة الصفر، والتي نستخدمها بعد ذلك للحصول على نماذج أصغر بكثير وأكثر كفاءة.يتفوق نهجنا غير المعدل بالكامل بشكل كامل

To obtain high-quality sentence embeddings from pretrained language models (PLMs), they must either be augmented with additional pretraining objectives or finetuned on a large set of labeled text pairs. While the latter approach typically outperforms the former, it requires great human effort to generate suitable datasets of sufficient size. In this paper, we show how PLMs can be leveraged to obtain high-quality sentence embeddings without the need for labeled data, finetuning or modifications to the pretraining objective: We utilize the generative abilities of large and high-performing PLMs to generate entire datasets of labeled text pairs from scratch, which we then use for finetuning much smaller and more efficient models. Our fully unsupervised approach outperforms strong baselines on several semantic textual similarity datasets.