الاهتمام هو في الواقع كل ما تحتاجه: فك التشفير الدلوي توجيه الانتباه ل Data-to-text nlg

منذ أن تم اعتماد النماذج العصبية في توليد لغة البيانات إلى النص، فقد تم اعتمادها دائما على المكونات الخارجية لتحسين دقتها الدلالية، لأن النماذج عادة لا تظهر القدرة على توليد نص يذكر بشكل موثوق كل المعلومات المقدمة فيالمدخل.في هذه الورقة، نقترح طريقة فك التشفير الجديدة التي تستخرج معلومات تفسيرها من نماذج ترميز تشفير التشفير، وتستخدمها لاستنتاج السمات التي يتم ذكرها في النص الذي تم إنشاؤه، والذي يستخدم لاحقا لإنقاش فرضيات شعاع.باستخدام طريقة فك التشفير هذه مع T5 و Bart، نعرض على ثلاثة مجموعات بيانات قدرتها على تقليل الأخطاء الدلالية بشكل كبير في المخرجات التي تم إنشاؤها، مع الحفاظ على جودة حديثة من بين الفن.

Ever since neural models were adopted in data-to-text language generation, they have invariably been reliant on extrinsic components to improve their semantic accuracy, because the models normally do not exhibit the ability to generate text that reliably mentions all of the information provided in the input. In this paper, we propose a novel decoding method that extracts interpretable information from encoder-decoder models' cross-attention, and uses it to infer which attributes are mentioned in the generated text, which is subsequently used to rescore beam hypotheses. Using this decoding method with T5 and BART, we show on three datasets its ability to dramatically reduce semantic errors in the generated outputs, while maintaining their state-of-the-art quality.