ترغب بنشر مسار تعليمي؟ اضغط هنا

Hetformer: محول غير متجانس مع انتباه متناثر لتلخيص الاستخراج طويل النص

HETFORMER: Heterogeneous Transformer with Sparse Attention for Long-Text Extractive Summarization

345   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

لالتقاط بنية الرسم البياني الدلالي من النص الخام، يتم بناء معظم طرق التلخيص الموجودة على GNNS مع نموذج مدرب مسبقا.ومع ذلك، فإن هذه الأساليب تعاني من إجراءات مرهقة وحسابات غير فعالة وثائق نصية طويلة.لتخفيف هذه المشكلات، تقترح هذه الورقة HETFORMER، وهو نموذج مدرب مسبقا من المحولات مع انتباه متفرج متعدد الحبيبات لتلخيص الاستخراجي لفترة طويلة.على وجه التحديد، نقوم بالنماذج أنواع مختلفة من العقد الدلالية في النص الخام كشركة بيانية غير متجانسة محتملة وتعلم العلاقات المخللة بشكل مباشر (حواف) بين العقد بواسطة المحول.تظهر تجارب واسعة النطاق على كل من مهام تلخيص مستندات واحدة ومتعددة المستندات أن HETFORMER تحقق أداء حديثة في Rouge F1 أثناء استخدام ذاكرة أقل ومعلمات أقل.



المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

على الرغم من التطورات الأخيرة في تطبيق نماذج اللغة المدربة مسبقا لتوليد نصوص عالية الجودة، فإن توليد مقاطع طويلة تحافظ على تماسك طويل المدى أمر صعب للغاية لهذه النماذج.في هذه الورقة، نقترح Discodvt، وهو محول متغيرات منفصلة على درايته لمعالجة مشكلة عد م الاتساق.يتعلم Discodvt تسلسل متغير منفصل يلخص الهيكل العالمي للنص، ثم ينطبق عليه لتوجيه عملية التوليد في كل خطوة فك التشفير.لزيادة تضمين المعلومات التي تدرك الخطاب في التمثيلات الكامنة المنفصلة، نقدم هدف إضافي لنموذج علاقات الخطاب داخل النص.نقوم بإجراء تجارب واسعة على مجموعة من مجموعات بيانات من القصة المفتوحة وإثبات أن الرموز الكامنة تعلم مراسلات ذات معنى لهياكل الخطاب التي توجه النموذج لتوليد النصوص الطويلة مع التماسك طويل المدى أفضل.
تهدف تلخيص النص الاستخراجي إلى استخراج الأحكام الأكثر تمثيلا من وثيقة معينة كملخص لها. لاستخراج ملخص جيد من وثيقة نصية طويلة، يلعب تضمين الجملة دورا مهما. تتمتع الدراسات الحديثة باختصار شبكات عصبية لالتقاط العلاقة بين العلاقة بين الأمريكيين (مثل الرس م البياني للخطوط) داخل الوثائق لتعلم تضمين الجملة السياقية. ومع ذلك، فإن تلك النهج لا تنظر في أنواع متعددة من العلاقات بين العلاقات بين العلاقات بين العلاقات بين العلاقات العامة (على سبيل المثال، علاقات التدوين الدلالي والاتصال الطبيعي)، ولا علاقات نموذجية نموذجية (E.G، التشابه الدلالي والعلاقة الأساسية بين الكلمات). لمعالجة هذه المشكلات، نقترح شبكة تفصيلية رواية متعددة الأجزاء (متعددة الجنسيات) إلى نموذج أنواع مختلفة من العلاقات بين الجمل والكلمات. استنادا إلى Multi-GCN، نقترح طراز موجز جراب متعدد الأطراف (متعدد الأجراس) لتلخيص نص استخراج. أخيرا، نقوم بتقييم النماذج المقترحة على مجموعة بيانات CNN / DailyMaMail القياسية لإظهار فعالية طريقتنا.
تعاني نماذج تلخيص مقرها العصبي من الحد الأقصى للتوافق في تشفير النص.يجب اقتطاع المستندات الطويلة قبل إرسالها إلى النموذج، مما يؤدي إلى فقدان هائل للمحتويات الملخص ذات الصلة.لمعالجة هذه المشكلة، نقترح شبكة المحدد المنزلق بالذاكرة الديناميكية لعلمة الا ستخراجية للمستندات الطويلة النموذجية، والتي توظف نافذة انزلاقية لاستخراج قطاع الجمل الموجز حسب القطاع.علاوة على ذلك، نعتمد آلية الذاكرة للحفاظ على معلومات التاريخ وتحديثها بشكل حيوي، مما يسمح للتدفق الدلالي عبر نوافذ مختلفة.النتائج التجريبية على مجموعة بيانات واسعة النطاق تتكون من أوراق علمية تثبت أن طرازنا تتفوق بشكل كبير على النماذج السابقة للحالة السابقة.علاوة على ذلك، نقوم بإجراء تحقيقات نوعية وكمية حول كيفية عملنا النموذجي وأين يأتي مكسب الأداء.
إلى جانب رزق BiAffine، تم تكييف المحولات بفعالية مع تحويل الرسائل النصية وحققت أداء حالة من الفن على تحليل عمرو.ومع ذلك، فإن العديد من الأعمال السابقة تعتمد على فك تشفير BiAffine لأي منهما أو كلا من القوس والملصقات على الرغم من أن معظم الميزات المستخ دمة من قبل وحدة فك الترميز قد تتعلم من قبل المحول بالفعل.تقدم هذه الورقة نهجا جديدا لتحليل عمرو من خلال الجمع بين البيانات غير المتجانسة (الرموز والمفاهيم والملصقات) كإدخال واحد إلى محول لتعلم الانتباه، واستخدام مصفوفات الاهتمام فقط من المحول للتنبؤ بجميع العناصر في الرسوم البيانية AMR (المفاهيم، الأقواس،تسميات).على الرغم من أن نماذجنا تستخدم معلمات أقل بكثير من محلل الرسم البياني للحالة السابقة، فإنها تظهر دقة مماثلة أو أفضل على عمرو 2.0 و 3.0.
تهدف التلخيص التلقائي إلى استخراج معلومات مهمة من كميات كبيرة من البيانات النصية من أجل إنشاء إصدار أقصر من النصوص الأصلية مع الحفاظ على معلوماتها. تعتمد تدريب نماذج تلخيص الاستخراجية التقليدية بشكل كبير على الملصقات المهندسة البشرية مثل التعليقات ال توضيحية على مستوى الجملة للجدارة القصيرة. ومع ذلك، في العديد من حالات الاستخدام، فإن هذه الملصقات المهندسة البشرية غير موجودة وتشريح يدويا الآلاف من المستندات لغرض نماذج التدريب قد لا تكون ممكنة. من ناحية أخرى، غالبا ما تكون إشارات غير مباشرة للتلخيص متاحة، مثل إجراءات الوكيل لحوارات خدمة العملاء، العناوين الرئيسية للمقالات الإخبارية، التشخيص للسجلات الصحية الإلكترونية، إلخ. في هذه الورقة، نقوم بتطوير إطار عام يولد تلخيصا استخراجا نتيجة ثانوية من مهام التعلم الإشراف للإشارات غير المباشرة عبر مساعدة آلية الاهتمام. نختبر نماذجنا على حوارات خدمة العملاء ونتائج التجريبية أظهرت أن نماذجنا يمكن أن تختار بشكل موثوق الجمل والكلمات الإعلامية للتلخيص التلقائي.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا