اقتران النمذجة السياق مع صفر الضمير يتعافى لتوليد اللغة الطبيعية على مستوى المستند

من المعروف أن مهام توليد اللغة الطبيعية (NLG) على اللغات المؤيدة للإسقاط تعاني من مشاكل ضمير Zero (ZP)، وتظل المشكلات تحديا بسبب ندرة NLG Corpora المشروح من ZP.في هذه الحالة، نقترح نهجا للغاية على مرحلتين على مرحلتين للغاية على نمذجة السياق الزوجي مع استعادة ZP لتخفيف مشكلة ZP في مهام NLG.وخاصة، نحن نؤيد عملية الاسترداد في أزياء تحت إشراف المهمة حيث يتم تعلم إمكانية استعادة تمثيل ZP أثناء عملية تعلم المهام NLG، وبالتالي فإن طريقتنا لا تتطلب مشروحة NLG Corpora مع ZPS.بالنسبة لتعزيز النظام، نتعلم بوت عدوى لضبط مخرجاتنا النموذجية لتخفيف انتشار الخطأ الناجم عن نظام ZPS المسترد.تظهر التجارب في ثلاثة مهام NLG على مستوى الوثيقة، أي الترجمة الآلية، الإجابة على الأسئلة، والتلخيص، أن نهجنا يمكن أن يحسن الأداء إلى حد كبير، وتحسين الترجمة الضميرة مثيرة للإعجاب للغاية.

Natural language generation (NLG) tasks on pro-drop languages are known to suffer from zero pronoun (ZP) problems, and the problems remain challenging due to the scarcity of ZP-annotated NLG corpora. In this case, we propose a highly adaptive two-stage approach to couple context modeling with ZP recovering to mitigate the ZP problem in NLG tasks. Notably, we frame the recovery process in a task-supervised fashion where the ZP representation recovering capability is learned during the NLG task learning process, thus our method does not require NLG corpora annotated with ZPs. For system enhancement, we learn an adversarial bot to adjust our model outputs to alleviate the error propagation caused by mis-recovered ZPs. Experiments on three document-level NLG tasks, i.e., machine translation, question answering, and summarization, show that our approach can improve the performance to a great extent, and the improvement on pronoun translation is very impressive.