حضور وحفظ وتوليد: نحو جيل مخلص إلى النص إلى النص في بعض الطلقات

الجيل القليل من طاولة النصوص إلى النص هو مهمة تأليف الجمل الطلالية والمخمة لنقل محتوى الجدول باستخدام بيانات محدودة. على الرغم من الجهود التي بذلت العديد من الجهود نحو توليد جمل بطلاقة مثيرة للإعجاب من خلال ضبط طرازات لغة قوية مدربة مسبقا، لا يزال بإصلاح المحتوى الذي تم إنشاؤه يحتاج إلى تحسين. تحقيقا لهذه الغاية، تقترح هذه الورقة نهجا جديدا يحضر، وحفظ وتوليد (يسمى AMG)، مستوحاة من عملية توليد النص للبشر. على وجه الخصوص. (2) يحفظ ديناميكيا حالات مخصصات فتحة الجدول؛ و (3) يولد جمل مخلصة وفقا لحالات سياق وتخصيص الذاكرة. تشير التجارب الشاملة إلى التقييم البشري على ثلاثة مجالات (أي البشر، الأغاني، والكتب) من مجموعة بيانات الويكي أن نموذجنا يمكن أن يولد نصوص مؤهلة أعلى عند مقارنتها مع العديد من خطوط الأساس الحديثة، في كل من الطلاقة والإخلاص.

Few-shot table-to-text generation is a task of composing fluent and faithful sentences to convey table content using limited data. Despite many efforts having been made towards generating impressive fluent sentences by fine-tuning powerful pre-trained language models, the faithfulness of generated content still needs to be improved. To this end, this paper proposes a novel approach Attend, Memorize and Generate (called AMG), inspired by the text generation process of humans. In particular, AMG (1) attends over the multi-granularity of context using a novel strategy based on table slot level and traditional token-by-token level attention to exploit both the table structure and natural linguistic information; (2) dynamically memorizes the table slot allocation states; and (3) generates faithful sentences according to both the context and memory allocation states. Comprehensive experiments with human evaluation on three domains (i.e., humans, songs, and books) of the Wiki dataset show that our model can generate higher qualified texts when compared with several state-of-the-art baselines, in both fluency and faithfulness.