FID-ex: تحسين نماذج التسلسل إلى التسلسل لتوليد الأساس المنطقي الاستخراج

تكتسب توضيحات اللغة الطبيعية (NL) من التنبؤات النموذجية شعبية كوسيلة لفهم القرارات والتحقق منها من قبل النماذج المدربة مسبقا كبيرة من الصندوق الأسود، للمهام مثل الإجابة على الأسئلة (QA) والتحقق من الحقائق. مؤخرا، أثبتت التسلسل المدرب مسبقا إلى نماذج التسلسل (SEQ2SEQ) أن تكون فعالة للغاية في اتخاذ التنبؤ المشترك، بالإضافة إلى توليد تفسيرات NL. ومع ذلك، هذه النماذج لديها العديد من أوجه القصور؛ يمكنهم تصنيع توضيحات حتى بالنسبة للتنبؤات غير الصحيحة، فمن الصعب التكيف مع مستندات الإدخال الطويلة، وتتدرب تدريبها كمية كبيرة من البيانات المسمى. في هذه الورقة، نطور FID-EX، والتي تعالج هذه العيوب لنماذج SEQ2SeQ بقلم: 1) إدخال علامات جملة للقضاء على تلفيق التفسير من خلال تشجيع الجيل الاستخراجي، 2) باستخدام بنية الانصهار في وحدة فك التشفير للتعامل مع سياقات الإدخال الطويلة، و 3) توسيط الصغار على ضبط مجموعات بيانات QA المجال المفتوحة المهيكلة لتحسين أداء القليل من الطلقات. تحسن FID-السابقين بشكل كبير على العمل السابق من حيث مقاييس التفسير ودقة المهام على خمس مهام من المعيار لشرح الممحاة في كل من إعدادات الإشراف بالكامل وعدد القليلة.

Natural language (NL) explanations of model predictions are gaining popularity as a means to understand and verify decisions made by large black-box pre-trained models, for tasks such as Question Answering (QA) and Fact Verification. Recently, pre-trained sequence to sequence (seq2seq) models have proven to be very effective in jointly making predictions, as well as generating NL explanations. However, these models have many shortcomings; they can fabricate explanations even for incorrect predictions, they are difficult to adapt to long input documents, and their training requires a large amount of labeled data. In this paper, we develop FiD-Ex, which addresses these shortcomings for seq2seq models by: 1) introducing sentence markers to eliminate explanation fabrication by encouraging extractive generation, 2) using the fusion-in-decoder architecture to handle long input contexts, and 3) intermediate fine-tuning on re-structured open domain QA datasets to improve few-shot performance. FiD-Ex significantly improves over prior work in terms of explanation metrics and task accuracy on five tasks from the ERASER explainability benchmark in both fully supervised and few-shot settings.