للحصول على تضمين الجملة ذات الجودة العالية من نماذج اللغة المحددة مسبقا (PLMS)، يجب أن تكون تؤدي إما بزيادة أهداف محالمنة إضافية أو Finetuned على مجموعة كبيرة من أزواج النص المسمى.في حين أن النهج الأخير يتفوق عادة على السابق، إلا أنه يتطلب جهد إنساني كبير لتوليد مجموعات بيانات مناسبة من الحجم الكافي.في هذه الورقة، نظير على هذه الورقة، نظرا لأن PLMS يمكن أن يتم الاستفادة منها للحصول على مدينات جملة عالية الجودة دون الحاجة إلى البيانات المسمى أو التصميم أو التعديلات على الهدف المحدد: نحن نستخدم القدرات الاستهادة للمقطوعات الكبيرة والأداء عالية الأداء لتوليد مجموعات بيانات كاملةأزواج النص المسمى من نقطة الصفر، والتي نستخدمها بعد ذلك للحصول على نماذج أصغر بكثير وأكثر كفاءة.يتفوق نهجنا غير المعدل بالكامل بشكل كامل