تقييم التناسقات الواقعية المحبوسة

تتضارنات واقعية موجودة في إخراج نماذج تلخيص مبادرة مع المستندات الأصلية تم تقديمها بشكل متكرر. يتطلب تقييم تناسق الحقائق إمكانية التفكير في العثور على أدلة خفية لتحديد ما إذا كان ملخص النموذج الذي تم إنشاؤه يتوافق مع المستند الأصلي. تقترح هذه الورقة إطار تقييم حقائق من الفصحتين على مرحلتين على مرحلتين نماذج تلخيص (Sumfc). بالنظر إلى وثيقة الجملة الموجزة، في المرحلة الأولى، حدد Sumfc الجمل الأكثر صلة بالجمل الأكثر صلة مع الجملة الموجزة من المستند. في المرحلة الثانية، ينفذ النموذج منطق اتساق محمظ بشكل جيد على مستوى الجملة، ثم يعزى جميع درجات الاتساق لجميع الجمل للحصول على نتيجة التقييم النهائي. نحصل على أزواج البيانات التدريبية عن طريق تخليق البيانات واعتماد فقدان مقاوم للتناقض لأزواج البيانات لمساعدة النموذج على تحديد العظة خفية. تظهر نتائج التجربة أن Sumfc قد أحدث تحسنا كبيرا على الأساليب السابقة للدولة السابقة. تشير تجاربنا أيضا إلى أن Sumfc يميز الاختلافات المفصلة بشكل أفضل.

Factual inconsistencies existed in the output of abstractive summarization models with original documents are frequently presented. Fact consistency assessment requires the reasoning capability to find subtle clues to identify whether a model-generated summary is consistent with the original document. This paper proposes a fine-grained two-stage Fact Consistency assessment framework for Summarization models (SumFC). Given a document and a summary sentence, in the first stage, SumFC selects the top-K most relevant sentences with the summary sentence from the document. In the second stage, the model performs fine-grained consistency reasoning at the sentence level, and then aggregates all sentences' consistency scores to obtain the final assessment result. We get the training data pairs by data synthesis and adopt contrastive loss of data pairs to help the model identify subtle cues. Experiment results show that SumFC has made a significant improvement over the previous state-of-the-art methods. Our experiments also indicate that SumFC distinguishes detailed differences better.