جيل الفقرة المسموح بها

توليد الفقرات من المحتويات المتنوعة مهمة في العديد من التطبيقات.تنتج نماذج الجيل الموجودة محتويات مماثلة من السياقات المتجانسة بسبب ترتيب الجملة الثابتة إلى اليمين.تتبنى فكرتنا أوامر الجملة لتحسين تنوع المحتوى من الفقرة متعددة الجملة.نقترح برجعة إطار رواية يتمثل هدفها في تعظيم توزيعات الفقرة المتنقلة المتوقعة بزيادة توزيعات الفقرة المتوقعة فيما يتعلق بجميع أوامر الجملة الممكنة.يستخدم Permgen تضمينه الموضعي الهرمي وتصميم إجراءات جديدة للتدريب، وفك التشفير في الجيل المسموح به بالسجن.تجارب على ثلاث معايير توليد الفقرة إظهار برخصة تولد مخرجات أكثر تنوعا بجودة أعلى من النماذج الحالية.

Generating paragraphs of diverse contents is important in many applications. Existing generation models produce similar contents from homogenized contexts due to the fixed left-to-right sentence order. Our idea is permuting the sentence orders to improve the content diversity of multi-sentence paragraph. We propose a novel framework PermGen whose objective is to maximize the expected log-likelihood of output paragraph distributions with respect to all possible sentence orders. PermGen uses hierarchical positional embedding and designs new procedures for training, and decoding in the sentence-permuted generation. Experiments on three paragraph generation benchmarks demonstrate PermGen generates more diverse outputs with a higher quality than existing models.