ترغب بنشر مسار تعليمي؟ اضغط هنا

انتباه Skim: تعلم التركيز عبر تخطيط المستند

Skim-Attention: Learning to Focus via Document Layout

165   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

أثبتت تقنيات ما قبل التدريب المسبقة بالمحولات من النص والتخطيط فعالا في عدد من مهام تفهم المستند.على الرغم من هذا النجاح، تعاني نماذج التدريب المسبق متعددة الوسائط من تكاليف حساب حسابية عالية جدا.بدافع من استراتيجيات القراءة البشرية، تقدم هذه الورقة انتباه الجميل، وهي آلية اهتمام جديدة تستفيد من هيكل الوثيقة وتخطيطها.يحضر Skim-Animaly فقط من الموقف الثاني الأبعاد للكلمات في وثيقة.تظهر تجاربنا أن اهتمام Skim-lective يحصل على حيرة أقل من الأعمال السابقة، في حين أن تكون أكثر فعالية بشكل فعال.يمكن دمج إيلاء اهتمام Skim مع محولات طويلة المدى لعمل المستندات الطويلة بكفاءة.نوضح أيضا كيف يمكن استخدام Skim-lecture خارج الرف كقنعة لأي نموذج لغوي مدرب مسبقا، مما يتيح تحسين أدائها أثناء تقييد الانتباه.أخيرا، نظهر ظهور تمثيل هيكل وثيقة في اهتمام Skim.



المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

يتم إنشاء ملايين علامة التجزئة على وسائل التواصل الاجتماعي كل يوم لإرشاد الرسائل المتعلقة بموضوعات مماثلة. لمساعدة الناس على العثور على الموضوعات التي يرغبون في مناقشتها، تقوم هذه الورقة بتفضيل تفضيلات Hashtaginging للمستخدم عبر التنبؤ بمدى المرجح أن ينشرها مع علامة التجزئة. يتم افتراض أنه يرتبط اهتمامات المرء في علامة التجزئة بما قالها قبل (سجل المستخدم) ووظائف المشاركات الحالية التي تقدم علامة التجزئة (سياقات Hashtag). هذه العوامل متزوجة في المساحة الدلالية العميقة التي بنيت برت مدرب مسبقا ونموذج موضوع عصبي عبر التعلم المتعدد. وبهذه الطريقة، يمكن تخصيص اهتمامات المستخدم المستفادة من الماضي لتتناسب مع علامة التصنيف المستقبلية التي تتجاوز قدرة الأساليب الموجودة على افتراض أن دلالات البحث في هاشتاج دون تغيير. علاوة على ذلك، نقترح انتباه موضوع شخصي مخصص رواية لالتقاط محتويات بارزة لتخصيص سياقات HASHTAG. تشير التجارب على مجموعة بيانات Twitter واسعة النطاق إلى أن نموذجنا يتفوق بشكل كبير على نهج توصية الحديث عن الفن دون استغلال موضوعات كامنة.
أظهرت التقدم المحرز الأخير في نماذج اللغة المستندة إلى المحولات الاحترام نجاحا كبيرا في تعلم التمثيل السياقي للنص.ومع ذلك، نظرا لتعقيد الاهتمام من الدرجة الثانية، يمكن لمعظم نماذج المحولات مسبقا التعامل مع النص القصير نسبيا.لا يزال يمثل تحديا عندما ي تعلق الأمر بنمذة مستندات طويلة جدا.في هذا العمل، نقترح استخدام شبكة انتباه الرسوم البيانية أعلى نموذج المحولات مسبقا متوفرة لتعلم تضمين الوثائق.تتيح لنا شبكة انتباه الرسم البياني هذه الاستفادة من الهيكل الدلالي الرفيع المستوى للوثيقة.بالإضافة إلى ذلك، استنادا إلى نموذج وثيقة الرسم البياني لدينا، نقوم بتصميم استراتيجية تعليمية بسيطة بسيطة للتعبير عن نماذجنا بمقدار كبير من الكائنات الكبيرة.تجريبيا، نوضح فعالية نهجنا في تصنيف الوثائق ومهام استرجاع المستندات.
العروض التقديمية مهمة للتواصل في جميع مجالات حياتنا، ومع ذلك فإن إنشاء الطوابق الشريحة غالبا ما تكون مملة وتستهلك الوقت.كان هناك بحث محدود يهدف إلى أتمتة عملية توليد المستندات إلى الشرائح وجميع مواجهة التحدي الحرج: لا توجد مجموعة بيانات متاحة للجمهور للتدريب والمعايير.في هذا العمل، فإننا نساهم أولا في مجموعة بيانات جديدة، Sciduet، تتكون من أزواج من الأوراق وحوابق الشرائح المقابلة من مؤتمرات NLP و ML الأخيرة (E.G.، ACL).ثانيا، نقدم D2S، وهو نظام جديد يتناول مهمة المستندات إلى الشرائح مع نهج من خطوتين: 1) استخدم عناوين الشريحة لاسترداد النص والأرقام والجشطة ذات الصلة والجاذبية؛2) لخص السياق المسترجع في نقاط رصاصة مع الإجابة على سؤال طويل الشكل.يشير تقييمنا إلى أن ضميز ضمنيا طويل النموذج يتفوق على خطوط الأساس الملخص لحدي الفن على كل من مقاييس الحمر التلقائي والتقييم البشري النوعي.
استخراج العلاقات على مستوى المستند يهدف إلى تحديد العلاقات بين الكيانات في وثيقة كاملة. اعتمدت الجهود السابقة لالتقاط التبعيات البعيدة المدى اعتمادا كبيرا على تمثيلات قوية ضمنيا تعلمت من خلال (الرسم البياني) الشبكات العصبية، مما يجعل النموذج أقل شفاف ية. لمعالجة هذا التحدي، في هذه الورقة، نقترح Logire، نموذج احتمالي رواية لاستخراج العلاقة على مستوى المستند من خلال قواعد المنطق التعلم. يعامل Logire القواعد المنطقية مثل المتغيرات الكامنة وتتكون من وحدات اثنين: مولد القاعدة واستخراج العلاقة. إن مولد القاعدة هو توليد قواعد المنطق التي يحتمل أن تسهم في التنبؤات النهائية، ونضول النازع العلاقة تنبؤات نهائية بناء على قواعد المنطق التي تم إنشاؤها. يمكن تحسين هاتين الوحداتتين بكفاءة مع خوارزمية التوقعات (EM). من خلال إدخال القواعد المنطقية في الشبكات العصبية، يمكن ل Rogire أن تلتقط الصريح التبعيات طويلة المدى وكذلك الاستمتاع بتفسير أفضل. تظهر النتائج التجريبية أن تتفوق بشكل كبير على العديد من خطوط الأساس القوية من حيث الأداء العلاقة والاتساق المنطقي. يتوفر الكود الخاص بنا في https://github.com/rudongyu/logire.
غالبا ما يتطلب فهم الروايات بالكامل من الأحداث في سياق المستندات بأكملها ونمذجة علاقات الحدث.ومع ذلك، فإن استخراج الأحداث على مستوى المستند هو مهمة صعبة لأنها تتطلب استخراج الحدث والكيان الأساسية، والتقاط الحجج التي تمتد عبر جمل مختلفة.تعمل الأعمال ا لموجودة على استخراج الأحداث عادة على استخراج الأحداث من جمل واحدة، والتي تفشل في التقاط العلاقات بين الحدث تذكر على نطاق المستند، وكذلك حجج الحدث التي تظهر في جملة مختلفة عن مشغل الحدث.في هذه الورقة، نقترح نماذج طراز نهاية إلى نهاية شبكات القيمة العميقة (DVN)، خوارزمية التنبؤ منظم، لالتقاط التبعيات عبر الأحداث بكفاءة لاستخراج الأحداث على مستوى المستند.تظهر النتائج التجريبية أن نهجنا يحقق أداء قابلا للمقارنة مع النماذج القائمة على CRF على ACE05، بينما تتمتع بكفاءة حسابية أعلى بكثير.

الأسئلة المقترحة

التعليقات (0)
no comments...
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا