تحظى طرازات اللغة واسعة النطاق (LMS) في كورسورا هائلة من النص، مثل GPT-2، هي مولدات نصية مفتوحة قوية. ومع ذلك، نظرا لأن الفحص المنهجي الخاص بنا يكشف، فمن لا يزال يمثل تحديا لهذه النماذج لتوليد ممرات طويلة طويلة متماسكة من النص (على سبيل المثال، 1000 رمز)، خاصة عند ضبط النماذج بشكل جيد إلى المجال المستهدف على كائن صغير. تندرج أساليب التخطيط السابقة عند إيلاء إيناء نص طويل في المجالات المختلفة. للتغلب على القيود، نقترح طريقة بسيطة ولكنها فعالة لتوليد النص بطريقة تقدمية، مستوحاة من خلال توليد الصور من أدنى مستوى إلى دقة عالية. تقوم طريقةنا أولا بإنتاج الكلمات الرئيسية للمحتوى الخاص بالمجال ومن ثم تقوم بتطريصها تدريجيا في مقاطع كاملة في مراحل متعددة. يسمح التصميم البسيط لنهجنا الاستفادة من LMS المحدد في كل مرحلة وتكييف فعال مع أي مجال مستهدف معين فقط مجموعة صغيرة من الأمثلة. نقوم بإجراء دراسة تجريبية شاملة مع مجموعة واسعة من مقاييس التقييم، وإظهار أن نهجنا يحسن بشكل كبير على LMS الكبيرة التي تم ضبطها بشكل كبير وأساليب التخطيط والمنشدة المختلفة من حيث الجودة وكفاءة العينات. يتحقق التقييم البشري أيضا أن أجيال النماذج لدينا أكثر متماسكة.
Large-scale language models (LMs) pretrained on massive corpora of text, such as GPT-2, are powerful open-domain text generators. However, as our systematic examination reveals, it is still challenging for such models to generate coherent long passages of text (e.g., 1000 tokens), especially when the models are fine-tuned to the target domain on a small corpus. Previous planning-then-generation methods also fall short of producing such long text in various domains. To overcome the limitations, we propose a simple but effective method of generating text in a progressive manner, inspired by generating images from low to high resolution. Our method first produces domain-specific content keywords and then progressively refines them into complete passages in multiple stages. The simple design allows our approach to take advantage of pretrained LMs at each stage and effectively adapt to any target domain given only a small set of examples. We conduct a comprehensive empirical study with a broad set of evaluation metrics, and show that our approach significantly improves upon the fine-tuned large LMs and various planning-then-generation methods in terms of quality and sample efficiency. Human evaluation also validates that our model generations are more coherent.
References used
https://aclanthology.org/
Automatic construction of relevant Knowledge Bases (KBs) from text, and generation of semantically meaningful text from KBs are both long-standing goals in Machine Learning. In this paper, we present ReGen, a bidirectional generation of text and grap
To obtain high-quality sentence embeddings from pretrained language models (PLMs), they must either be augmented with additional pretraining objectives or finetuned on a large set of labeled text pairs. While the latter approach typically outperforms
Paraphrase generation has benefited extensively from recent progress in the designing of training objectives and model architectures. However, previous explorations have largely focused on supervised methods, which require a large amount of labeled d
Taxonomies are symbolic representations of hierarchical relationships between terms or entities. While taxonomies are useful in broad applications, manually updating or maintaining them is labor-intensive and difficult to scale in practice. Conventio
Large language models benefit from training with a large amount of unlabeled text, which gives them increasingly fluent and diverse generation capabilities. However, using these models for text generation that takes into account target attributes, su