ترغب بنشر مسار تعليمي؟ اضغط هنا

النظر في هيكل الأشجار المتداخلة في الجملة التلخيص الاستخراجي مع المحول المدرب مسبقا

Considering Nested Tree Structure in Sentence Extractive Summarization with Pre-trained Transformer

192   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

تلخيص استخراج الجملة تقصر وثيقة عن طريق اختيار الجمل للحصول على ملخص مع الحفاظ على محتوياتها المهمة.ومع ذلك، فإن إنشاء ملخص متماسك وغني مفيد صلب باستخدام ترميز مدرب مسبقا مدربا مسبقا لأنه لا يتم تدريبه صراحة على تمثيل معلومات الجمل في وثيقة.نقترح نموذج تلخيص الاستخراج المستخرج في الأشجار المتداخلة على روبرتا (Neroberta)، حيث تتكون هياكل الأشجار المتداخلة من أشجار النحوية والخطاب في وثيقة معينة.النتائج التجريبية على Dataset CNN / DailyMail أظهرت أن Neroberta تتفوق النماذج الأساسية في Rouge.كما أظهرت نتائج التقييم البشري أن Neroberta تحقق نتائج أفضل بكثير من خطوط الأساس من حيث الاتساق وتصل إلى درجات قابلة للمقارنة إلى النماذج التي من بين الفنون.



المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

حققت نماذج اللغة المدربة مسبقا نجاحا كبيرا على مجموعة واسعة من مهام NLP. ومع ذلك، فإن التمثيلات السياقية من النماذج المدربة مسبقا تحتوي على معلومات دلالية ومتنامية متشابكة، وبالتالي لا يمكن استخدامها مباشرة لاستخلاص مدينات جملة دلالية مفيدة لبعض المه ام. تقدم أزواج إعادة صياغة طريقة فعالة لتعلم التمييز بين الدلالات وبناء الجملة، حيث أنهم يشاركون بشكل طبيعي دلالات وغالبا ما يختلف في بناء جملة. في هذا العمل، نقدم Parabart، وهي جملة دلالية تضمين نموذج يتعلم تكديح دلالات ودليل بناء الجملة في مذكرات الجملة التي تم الحصول عليها بواسطة نماذج اللغة المدربة مسبقا. يتم تدريب PARABART على إجراء إعادة صياغة موجهة إلى بناء الجملة، استنادا إلى جملة مصدر تشترك في الدلالات مع إعادة صياغة الهدف، وشجرة تحليل تحدد بناء الجملة المستهدف. وبهذه الطريقة، يتعلم بارابارت تعليم التمثيل الدلالي والمنظمات النحوية من مدخلاتها مع تشفير منفصلة. تبين التجارب باللغة الإنجليزية أن بارابارت تتفوق على الأحكام التي تضم نماذج تضمينها على مهام التشابه الدلالي غير المعدل. بالإضافة إلى ذلك، نظير على أن نهجنا يمكن أن يؤدي إلى إزالة المعلومات النحوية بشكل فعال من تضمين الجملة الدلالية، مما يؤدي إلى متانة أفضل ضد الاختلاف النحوي على المهام الدلالية المصب.
الملخص نقدم المحول الكمي (كيو تي)، نظام غير مؤظفي لتلخيص الرأي الاستخراجي.يستلهم كيو تي عن طريق السيارات الآلية المتناقلة الكمية، والتي نعدها لتلخيص الشعبية.يستخدم تفسير تجميع الفضاء الكمي وقواريل استخراج جديدة لاكتشاف الآراء الشعبية بين مئات من المر اجعات، وهي خطوة كبيرة نحو تلخيص الرأي للنطاق العملي.بالإضافة إلى ذلك، تتيح كيو تي تلخيص قابل للتحكم دون مزيد من التدريب، من خلال الاستفادة من خصائص المساحة الكمي لاستخراج الملخصات الخاصة بالجانب.كما نجعل مساحة متاحة للجمهور، معيار تقييم واسع النطاق لرموز الرأي، يشتمل على ملخصات عامة وجوقية خاصة ب 50 فندقا.توضح التجارب وعد نهجنا، والتي تتم التحقق من صحتها عن طريق الدراسات الإنسانية حيث أظهر القضاة تفضيل واضح لطريقنا على خطوط الأساس التنافسية.
تصف هذه الورقة تقديمها لمهمة LongsUMM في SDP 2021. نقترح طريقة لإدماج مظاهرة الجملة التي تنتجها نماذج لغة عميقة في تقنيات تلخيص الاستخراج بناء على مركزية الرسم البياني بطريقة غير منشأة. الطريقة المقترحة بسيطة، سريعة، يمكن أن تلخيص أينوع من وثيقة أي ح جم ويمكن أن تلبي أي قيود طول الملخصات المنتجة.توفر الطريقة أداء تنافسي أساليب أكثر تطورا أكثر تطورا ويمكن أن تكون بمثابة وكيل لتقنيات تلخيص الجماع
حقق نماذج اللغة المدربة مسبقا بشكل جيد (LMS) نجاحا هائلا في العديد من مهام معالجة اللغة الطبيعية (NLP)، لكنها لا تزال تتطلب بيانات مفرطة الحجم في مرحلة ضبط الدقيقة. ندرس مشكلة LMS المدبرة مسبقا باستخدام إشراف ضعيف فقط، دون أي بيانات معدنية. هذه المشك لة تحديا لأن قدرة LMS عالية تجعلها عرضة للاحتفاظ بالملصقات الصاخبة الناتجة عن إشراف ضعيف. لمعالجة هذه المشكلة، نحن نطور إطارا للتدريب الذاتي للتناقض، جيب التمام، لتمكين LMS الرصيف مع إشراف ضعيف. تدعمه التنظيم البسيط والنعيد القائم على الثقة، فإن إطار عملائنا يحسن تدريجيا من تركيب النموذج مع قمع انتشار الأخطاء بشكل فعال. تشير التجارب على التسلسل، الرمز المميز، ومهام تصنيف زوج الزوج الحكم إلى أن نموذجنا يتفوق على أقوى خط أساس عن طريق الهوامش الكبيرة وتحقق أداء تنافسي مع أساليب ضبط صاخبة بالكامل. تنفيذنا متاح على https://github.com/yueyu1030/cosine.
أصبحت التمثيل التعلم للنص عبر الاحتمالات نموذج لغة على كوربوس كبيرة أصبح نقطة انطلاق قياسية لبناء أنظمة NLP. يقف هذا النهج على النقيض من السيارات الآلية، كما تم تدريبه على النص الخام، ولكن بهدف التعلم لترميز كل إدخال كجاغر يتيح إعادة الإعمار الكامل. AutoNCoders جذابة بسبب هيكل الفضاء الكامن وخصائصها التوليدية. لذلك نستكشف بناء AutoNCoder على مستوى الجملة من نموذج لغة محول محول مسبقا. نحن نقوم بتكييف هدف نمذجة اللغة الملثمين كإنتاجية، وتمديد واحد، في حين أن تدرب فقط عنق الزجاجات الجملة ومكتشف محول بطبقة واحدة. نوضح أن تمثيلات الجملة التي اكتشفها طرازنا تحقق جودة أفضل من الأساليب السابقة التي استخراج تمثيلات من المحولات المسبدة مسبقا على مهام تشابه النص، ونقل النمط (مثال على الجيل الخاضع للرقابة)، ومهام تصنيف الجملة واحدة في معيار الغراء، أثناء استخدام عدد أقل من النماذج المحددة مسبقا.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا