آلة القراءة الفهم هي مهمة صعبة خاصة للاستعلام عن المستندات ذات السياقات العميقة والترابطية.أظهرت الطرق المستندة إلى المحولات عروضا متقدمة في هذه المهمة؛ومع ذلك، فإن معظمهم لا يزال يعاملون المستندات كمتسلسلة مسطحة من الرموز.يقترح هذا العمل طريقة جديدة قائمة على المحولات التي تقرأ مستند كشرائح شجرة.يحتوي على وحديتين لتحديد المزيد من مقاطع النص ذات الصلة وأفضل إجابة سبان على التوالي، والتي لا يتم تدريبها بشكل مشترك فقط ولكن أيضا تشاور بشكل مشترك في وقت الاستدلال.تظهر نتائج تقييمنا أن أسلوبنا المقترح تتفوق على العديد من النهج الأساسية التنافسية على مجموعة بيانات من مجالات متنوعة.
Machine reading comprehension is a challenging task especially for querying documents with deep and interconnected contexts. Transformer-based methods have shown advanced performances on this task; however, most of them still treat documents as a flat sequence of tokens. This work proposes a new Transformer-based method that reads a document as tree slices. It contains two modules for identifying more relevant text passage and the best answer span respectively, which are not only jointly trained but also jointly consulted at inference time. Our evaluation results show that our proposed method outperforms several competitive baseline approaches on two datasets from varied domains.
المراجع المستخدمة
https://aclanthology.org/
لقد أثبتت تدريب الخصم (AT) كطريقة تنظيمي فعاليتها على المهام المختلفة.على الرغم من وجود تطبيقات ناجحة في بعض مهام NLP، إلا أن الخصائص المميزة لمهام NLP لم يتم استغلالها.في هذه الورقة، نهدف إلى تطبيق مهام فهم القراءة (MRC).علاوة على ذلك، فإننا نتكيف م
في مهام التحقق من القراءة في الجهاز، يجب على النموذج استخراج إجابة من السياق المتاح بالنظر إلى سؤال ومقطع.في الآونة الأخيرة، حققت نماذج اللغة المدربة مسبقا للمحولات أداء حديثة في العديد من مهام معالجة اللغة الطبيعية.ومع ذلك، فمن غير الواضح ما إذا كان
حققت النماذج المدربة مسبقا للمحولات، مثل بيرت، نتائج رائعة بشأن فهم القراءة في الآلة. ومع ذلك، نظرا لقيود طول الترميز (E.G.، 512 Tokenspece)، عادة ما يتم تقسيم وثيقة طويلة إلى قطع متعددة يتم قراءتها بشكل مستقل. ينتج عن أن حقل القراءة يقتصر على القطع
آلة قراءة الآلة (MRC) هي واحدة من أكثر المهام تحديا في مجال معالجة اللغة الطبيعية. تم تحقيق نتائج أحدث حديثة ل MRC بنماذج اللغة المدربة مسبقا، مثل بيرت وتعديلاتها. على الرغم من ارتفاع الأداء لهذه النماذج، إلا أنهم لا يزالون يعانون من عدم القدرة على ا
مع الانفراج الأخير لتكنولوجيات التعلم العميق، اجتذبت البحث عن الفهم في قراءة الآلة (MRC) اهتماما كبيرا ووجدت تطبيقاتها متعددة الاستخدامات في العديد من حالات الاستخدام. MRC هي مهمة مهمة لمعالجة اللغة الطبيعية (NLP) تهدف إلى تقييم قدرة الجهاز لفهم تعبي