جيل الشعر المطهر على الطراز المنتهي: ما الذي يتطلبه الأمر للتعلم من أمثلة وحدها؟

في هذا العمل، نقوم بتصميم نموذج نهاية إلى نهاية لتوليد الشعر على أساس نماذج لغة الشبكة العصبية المتكررة مشروطة (RNN) تهدف إلى تعلم الميزات الأسلوبية (طول القصيدة والشعور والتقاليد والتقييم) من الأمثلة وحدها.نعرض أن هذا النموذج يتعلم بنجاح معنى "الطول والشعور، حيث يمكننا التحكم في ذلك لتوليد أطول أو أقصر بالإضافة إلى قصائد أكثر إيجابية أو أكثر سلبية.ومع ذلك، فإن النموذج لا يفهم الظواهر الصوتية مثل الجناس والقفا، ولكن بدلا من ذلك يغمر الإشارات الإحصائية ذات المستوى المنخفض.الأسباب المحتملة تشمل حجم بيانات التدريب، وتردد منخفض نسبيا وصعوبة هذه الظواهر الصربية وكذلك التحيزات النموذجية.نظهر أن نماذج GPT-2 الأخيرة لديها أيضا مشاكل في تعلم ظواهر soblexical مثل القافية من الأمثلة وحدها.

In this work, we design an end-to-end model for poetry generation based on conditioned recurrent neural network (RNN) language models whose goal is to learn stylistic features (poem length, sentiment, alliteration, and rhyming) from examples alone. We show this model successfully learns the meaning' of length and sentiment, as we can control it to generate longer or shorter as well as more positive or more negative poems. However, the model does not grasp sound phenomena like alliteration and rhyming, but instead exploits low-level statistical cues. Possible reasons include the size of the training data, the relatively low frequency and difficulty of these sublexical phenomena as well as model biases. We show that more recent GPT-2 models also have problems learning sublexical phenomena such as rhyming from examples alone.