جيل تدريجي من النص الطويل مع نماذج اللغة المحددة مسبقا

تحظى طرازات اللغة واسعة النطاق (LMS) في كورسورا هائلة من النص، مثل GPT-2، هي مولدات نصية مفتوحة قوية. ومع ذلك، نظرا لأن الفحص المنهجي الخاص بنا يكشف، فمن لا يزال يمثل تحديا لهذه النماذج لتوليد ممرات طويلة طويلة متماسكة من النص (على سبيل المثال، 1000 رمز)، خاصة عند ضبط النماذج بشكل جيد إلى المجال المستهدف على كائن صغير. تندرج أساليب التخطيط السابقة عند إيلاء إيناء نص طويل في المجالات المختلفة. للتغلب على القيود، نقترح طريقة بسيطة ولكنها فعالة لتوليد النص بطريقة تقدمية، مستوحاة من خلال توليد الصور من أدنى مستوى إلى دقة عالية. تقوم طريقةنا أولا بإنتاج الكلمات الرئيسية للمحتوى الخاص بالمجال ومن ثم تقوم بتطريصها تدريجيا في مقاطع كاملة في مراحل متعددة. يسمح التصميم البسيط لنهجنا الاستفادة من LMS المحدد في كل مرحلة وتكييف فعال مع أي مجال مستهدف معين فقط مجموعة صغيرة من الأمثلة. نقوم بإجراء دراسة تجريبية شاملة مع مجموعة واسعة من مقاييس التقييم، وإظهار أن نهجنا يحسن بشكل كبير على LMS الكبيرة التي تم ضبطها بشكل كبير وأساليب التخطيط والمنشدة المختلفة من حيث الجودة وكفاءة العينات. يتحقق التقييم البشري أيضا أن أجيال النماذج لدينا أكثر متماسكة.