ترغب بنشر مسار تعليمي؟ اضغط هنا

CLIFF: التعلم المتعاقل لتحسين الإخلاص والوصيل في تلخيص مبادرة

CLIFF: Contrastive Learning for Improving Faithfulness and Factuality in Abstractive Summarization

346   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

نحن ندرس توليد ملخصات مبادرة مخلصة ومتسقة فعليا مع المقالات المعينة. يتم تقديم صياغة تعليمية متناقضة جديدة، والتي ترفف كل من الملخصات المرجعية، كبيانات تدريب إيجابية، وإنشائها تلقائيا ملخصات خاطئة، كبيانات تدريب سلبية، لتدريب أنظمة التلخيص التي تكون أفضل في التمييز بينهما. ونحن كذلك تصميم أربعة أنواع من الاستراتيجيات لإنشاء عينات سلبية، لتشبه الأخطاء التي تحدث عادة من قبل نماذج من أحدث نماذج، بارت وبيغاسوس، الموجودة في التعليقات التوضيحية البشرية الجديدة من الأخطاء الموجزة. تجارب على Xsum و CNN / Daily Mail تشير إلى أن إطار التعلم المتعاقل لدينا قوي عبر مجموعات البيانات والنماذج. ينتج باستمرار ملخصات واقعية أكثر من المقارنات القوية مع تصحيح الأخطاء بعد وإعادة التشغيل القائمة على الاستقبال، والتدريب غير المباشر، وفقا لتقييم الواقعية القائم على الجودة. صدى القضاة البشرية الملاحظة وتجد أن ملخصاتنا النموذجية تصحح المزيد من الأخطاء.



المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

على الرغم من التقدم الكبير في تلخيص الجماع العصبي، أظهرت الدراسات الحديثة أن النماذج الحالية عرضة لإنشاء ملخصات غير مخلصة للسياق الأصلي. لمعالجة المشكلة، نقوم بدراسة توليد واختيار مرشح النقيض كتقنية نطاقات ما بعد المعالجة النموذجية لتصحيح الهلوسة الخ ارجية (I.E. المعلومات غير موجودة في نص المصدر) في ملخصات غير مخلصة. نتعلم نموذج تصحيح تمييزي عن طريق توليد ملخصات مرشحة بديلة حيث يتم استبدال الكيانات والكميات المسماة في الملخص الذي تم إنشاؤه بأشياء مع أنواع دلالية متوافقة من المستند المصدر. ثم يتم استخدام هذا النموذج لتحديد أفضل مرشح كملخص الناتج النهائي. تبين تجاربنا وتحليلنا عبر عدد من أنظمة التلخيص العصبية أن طريقةنا المقترحة فعالة في تحديد وتصحيح الهلوسة الخارجية. نقوم بتحليل ظاهرة الهلوسة النموذجية لأنواع مختلفة من أنظمة التلخيص العصبية، ونأمل أن تقدم رؤى للعمل في المستقبل على الاتجاه.
على عكس النص المنظم جيدا، مثل التقارير الإخبارية ومقالات الموسوعة، غالبا ما يأتي محتوى الحوار من محاورين أو أكثر، وتبادل المعلومات مع بعضها البعض. في مثل هذا السيناريو، يمكن أن يختلف موضوع المحادثة عند التقدم والمعلومات الأساسية لموضوع معين في كثير م ن الأحيان متناثرة عبر مختلف الكلام من المتكلمين المختلفة، مما يطرح التحديات التي تلخص التخلص من الحوارات بشكل مجردة. لالتقاط معلومات الموضوع المختلفة للمحادثة والحقائق البارزة على الموضوعات التي تم الاستيلاء عليها، يقترح هذا العمل أهدافا للتعلم المتعاواة على علم الموضوع، وهي اكتشاف الاتساق وأهداف الجيل الموجزة الفرعية، والتي من المتوقع أن تقوم بها ضمنيا في تغيير موضوع وتغيير الموضوع تحديات تثير المعلومات لمهمة تلخيص الحوار. يتم تأطير الأهداف المقنعة المقترحة بمثابة مهام مساعدة لمهمة تلخيص الحوار الأساسي، المتحدة عبر استراتيجية تحديث معلمة بديلة. توضح تجارب واسعة النطاق على مجموعات البيانات القياسية أن الطريقة البسيطة المقترحة تتفوق بشكل كبير على خطوط الأساس القوية وتحقق أداء جديد من بين الفني. الرمز والنماذج المدربة متاحة للجمهور عبر.
نماذج التلخيص الحديثة تولد بطلاقة للغاية ولكن في كثير من الأحيان مخرجات غير موثوق بها في كثير من الأحيان.هذه الدافع الطفرة من المقاييس التي تحاول قياس واقعية الملخصات التي تم إنشاؤها تلقائيا.نظرا لعدم وجود معايير مشتركة، لا يمكن مقارنة هذه المقاييس.ع لاوة على ذلك، فإن كل هذه الطرق تعالج الواقعية كمفهوم ثنائي وفشل في توفير رؤى أعمق على أنواع التناقضات التي أدلى بها أنظمة مختلفة.لمعالجة هذه القيود، نرتند نماذج من الأخطاء الواقعية واستخدامها لجمع التعليقات التوضيحية الإنسانية من الملخصات التي تم إنشاؤها من أنظمة التلخيص الحديثة عن البيانات الخاصة ب CNN / DM و XSUM.من خلال هذه التعليقات التوضيحية، نحدد نسبة الفئات المختلفة للأخطاء الواقعية ومقاييس التقويمات القياسية، والتي تبين ارتباطها بالحكم البشري بالإضافة إلى نقاط القوة والضعف المحددة.
تستكشف هذه الورقة تأثير استخدام التعلم المتعدد التواجد لتلخيص الجماع في سياق كورسا التدريب الصغيرة.على وجه الخصوص، نحن ندمج أربع مهام مختلفة (تلخيص استخراجي، ونمذجة اللغة، والكشف عن المفهوم، والكشف عن الصياغة على حد سواء بشكل فردي ومزيج، بهدف تعزيز ا لمهمة المستهدفة المتمثلة في تلخيص الجماع عبر التعلم المتعدد.نظرا لأنه بالنسبة للعديد من مجموعات المهام، فإن نموذج مدرب في إعداد متعدد الأيتاكف يتفوق على نموذج مدرب فقط في تلخيص الجماع، مع عدم تقديم بيانات تلخيص إضافية.بالإضافة إلى ذلك، نقوم بعمل بحث شامل والعثور على أن بعض المهام (E.G. الكشف عن الصياغة) تستفيد باستمرار تلخيص الجماعي، ليس فقط عند الجمع مع المهام الأخرى ولكن أيضا عند استخدام بهيئات مختلفة وتدريب كورسا.
دفع نجاح ترميزات ثنائية الاتجاه باستخدام نماذج لغة ملثم، مثل بيرت، في العديد من مهام معالجة اللغة الطبيعية، بباحثي المحاولة لإدماج هذه النماذج المدربة مسبقا في أنظمة الترجمة الآلية العصبية (NMT). ومع ذلك، فإن الأساليب المقترحة لإدماج النماذج المدربة مسبقا هي غير تافهة وتركز بشكل أساسي على بيرتف، والتي تفتقر إلى مقارنة التأثير الذي قد يكون له النماذج الأخرى المدربة مسبقا على أداء الترجمة. في هذه الورقة، نوضح ببساطة باستخدام الناتج (Attentralized Advedings) من طراز لغة تدرب مسبقا مخصص ومناسب (Bibert) مناسبة (Bibert) حيث أن إدخال ترميز NMT يحقق أداء ترجمة حديثة من بين الفن. علاوة على ذلك، نقترح أيضا نهج اختيار طبقة مؤشر استوكاستك ومفهوم نموذج الترجمة المزدوج الاتجاه لضمان الاستخدام الكافي للمشروعات السياقية. في حالة عدم استخدام الترجمة الخلفية، تحقق أفضل النماذج لدينا درجات بلو من 30.45 ل ill → DE و 38.61 ل De → EN على DataSet IWSLT'14، و 31.26 ل EN → DE و 34.94 ل De → EN على WMT 14 DataSet، مما يتجاوز جميع الأرقام المنشورة.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا