تحسين النص التلقائي مع التنبؤ العبارة التالية

أدت نماذج اللغة مثل GPT-2 بشكل جيد على إنشاء جمل سليمة نصنية لمهام إكمال تلقائي للنصوص.ومع ذلك، غالبا ما تتطلب هذه النماذج جهدا تدريبيا كبيرا للتكيف مع مجالات الكتابة المحددة (على سبيل المثال، الطبية).في هذه الورقة، نقترح استراتيجية تدريبية متوسطة لتعزيز أداء نماذج اللغة المدربة مسبقا في مهمة إكمال تلقائي النص وتكييفها بشكل مستقل إلى مجالات محددة.تضم استراتيجيتنا هدفا جديدا للتدريب على الإشراف على الذات يسمى التنبؤ بالعبارة التالية (NPP)، والذي يشجع نموذج اللغة لإكمال الاستعلام الجزئي مع العبارات المخصبة وتحسين أداء الانتهاء التلقائي للنموذج في النهاية.أظهرت التجارب الأولية أن نهجنا قادر على تفوق خطوط الأساس في الإنجاز التلقائي للنطاقات البريدية والكتابة الأكاديمية.

Language models such as GPT-2 have performed well on constructing syntactically sound sentences for text auto-completion tasks. However, such models often require considerable training effort to adapt to specific writing domains (e.g., medical). In this paper, we propose an intermediate training strategy to enhance pre-trained language models' performance in the text auto-completion task and fastly adapt them to specific domains. Our strategy includes a novel self-supervised training objective called Next Phrase Prediction (NPP), which encourages a language model to complete the partial query with enriched phrases and eventually improve the model's text auto-completion performance. Preliminary experiments have shown that our approach is able to outperform the baselines in auto-completion for email and academic-writing domains.