تحسين الإخلاص في تلخيص مبادرة مع توليد ومرشح التباين

على الرغم من التقدم الكبير في تلخيص الجماع العصبي، أظهرت الدراسات الحديثة أن النماذج الحالية عرضة لإنشاء ملخصات غير مخلصة للسياق الأصلي. لمعالجة المشكلة، نقوم بدراسة توليد واختيار مرشح النقيض كتقنية نطاقات ما بعد المعالجة النموذجية لتصحيح الهلوسة الخارجية (I.E. المعلومات غير موجودة في نص المصدر) في ملخصات غير مخلصة. نتعلم نموذج تصحيح تمييزي عن طريق توليد ملخصات مرشحة بديلة حيث يتم استبدال الكيانات والكميات المسماة في الملخص الذي تم إنشاؤه بأشياء مع أنواع دلالية متوافقة من المستند المصدر. ثم يتم استخدام هذا النموذج لتحديد أفضل مرشح كملخص الناتج النهائي. تبين تجاربنا وتحليلنا عبر عدد من أنظمة التلخيص العصبية أن طريقةنا المقترحة فعالة في تحديد وتصحيح الهلوسة الخارجية. نقوم بتحليل ظاهرة الهلوسة النموذجية لأنواع مختلفة من أنظمة التلخيص العصبية، ونأمل أن تقدم رؤى للعمل في المستقبل على الاتجاه.

Despite significant progress in neural abstractive summarization, recent studies have shown that the current models are prone to generating summaries that are unfaithful to the original context. To address the issue, we study contrast candidate generation and selection as a model-agnostic post-processing technique to correct the extrinsic hallucinations (i.e. information not present in the source text) in unfaithful summaries. We learn a discriminative correction model by generating alternative candidate summaries where named entities and quantities in the generated summary are replaced with ones with compatible semantic types from the source document. This model is then used to select the best candidate as the final output summary. Our experiments and analysis across a number of neural summarization systems show that our proposed method is effective in identifying and correcting extrinsic hallucinations. We analyze the typical hallucination phenomenon by different types of neural summarization systems, in hope to provide insights for future work on the direction.