تتضارنات واقعية موجودة في إخراج نماذج تلخيص مبادرة مع المستندات الأصلية تم تقديمها بشكل متكرر. يتطلب تقييم تناسق الحقائق إمكانية التفكير في العثور على أدلة خفية لتحديد ما إذا كان ملخص النموذج الذي تم إنشاؤه يتوافق مع المستند الأصلي. تقترح هذه الورقة إطار تقييم حقائق من الفصحتين على مرحلتين على مرحلتين نماذج تلخيص (Sumfc). بالنظر إلى وثيقة الجملة الموجزة، في المرحلة الأولى، حدد Sumfc الجمل الأكثر صلة بالجمل الأكثر صلة مع الجملة الموجزة من المستند. في المرحلة الثانية، ينفذ النموذج منطق اتساق محمظ بشكل جيد على مستوى الجملة، ثم يعزى جميع درجات الاتساق لجميع الجمل للحصول على نتيجة التقييم النهائي. نحصل على أزواج البيانات التدريبية عن طريق تخليق البيانات واعتماد فقدان مقاوم للتناقض لأزواج البيانات لمساعدة النموذج على تحديد العظة خفية. تظهر نتائج التجربة أن Sumfc قد أحدث تحسنا كبيرا على الأساليب السابقة للدولة السابقة. تشير تجاربنا أيضا إلى أن Sumfc يميز الاختلافات المفصلة بشكل أفضل.
Factual inconsistencies existed in the output of abstractive summarization models with original documents are frequently presented. Fact consistency assessment requires the reasoning capability to find subtle clues to identify whether a model-generated summary is consistent with the original document. This paper proposes a fine-grained two-stage Fact Consistency assessment framework for Summarization models (SumFC). Given a document and a summary sentence, in the first stage, SumFC selects the top-K most relevant sentences with the summary sentence from the document. In the second stage, the model performs fine-grained consistency reasoning at the sentence level, and then aggregates all sentences' consistency scores to obtain the final assessment result. We get the training data pairs by data synthesis and adopt contrastive loss of data pairs to help the model identify subtle cues. Experiment results show that SumFC has made a significant improvement over the previous state-of-the-art methods. Our experiments also indicate that SumFC distinguishes detailed differences better.
References used
https://aclanthology.org/
Neural abstractive summarization systems have gained significant progress in recent years. However, abstractive summarization often produce inconsisitent statements or false facts. How to automatically generate highly abstract yet factually correct s
Automatic abstractive summaries are found to often distort or fabricate facts in the article. This inconsistency between summary and original text has seriously impacted its applicability. We propose a fact-aware summarization model FASum to extract
The factual knowledge acquired during pre-training and stored in the parameters of Language Models (LMs) can be useful in downstream tasks (e.g., question answering or textual inference). However, some facts can be incorrectly induced or become obsol
The paper describes a system for automatic summarization in English language of online news data that come from different non-English languages. The system is designed to be used in production environment for media monitoring. Automatic summarization
While abstractive summarization in certain languages, like English, has already reached fairly good results due to the availability of trend-setting resources, like the CNN/Daily Mail dataset, and considerable progress in generative neural models, pr