تحسين النص التلقائي مع التنبؤ العبارة التالية

أدت نماذج اللغة مثل GPT-2 بشكل جيد على إنشاء جمل سليمة نصنية لمهام إكمال تلقائي للنصوص.ومع ذلك، غالبا ما تتطلب هذه النماذج جهدا تدريبيا كبيرا للتكيف مع مجالات الكتابة المحددة (على سبيل المثال، الطبية).في هذه الورقة، نقترح استراتيجية تدريبية متوسطة لتعزيز أداء نماذج اللغة المدربة مسبقا في مهمة إكمال تلقائي النص وتكييفها بشكل مستقل إلى مجالات محددة.تضم استراتيجيتنا هدفا جديدا للتدريب على الإشراف على الذات يسمى التنبؤ بالعبارة التالية (NPP)، والذي يشجع نموذج اللغة لإكمال الاستعلام الجزئي مع العبارات المخصبة وتحسين أداء الانتهاء التلقائي للنموذج في النهاية.أظهرت التجارب الأولية أن نهجنا قادر على تفوق خطوط الأساس في الإنجاز التلقائي للنطاقات البريدية والكتابة الأكاديمية.