تتطلب قراءة آلات المحادثة (CMR) آلات تواصل مع البشر من خلال التفاعلات متعددة الدورات بين دولتي الحوار البارز في عمليات صنع القرار وعمليات توليد الأسئلة.في إعدادات CMR المفتوحة، كسيناريو أكثر واقعية، ستكون المعرفة الخلفية المستردة صاخبة، مما يؤدي إلى
تحديات شديدة في نقل المعلومات.الدراسات الموجودة تدرب عادة أنظمة مستقلة أو خطوط الأنابيب للمشاركة.ومع ذلك، فإن هذه الطرق تافهة باستخدام قرارات تسمية ثابتة لتنشيط جيل السؤال، مما يعيق أداء النموذج في النهاية.في هذا العمل، نقترح استراتيجية فعالة للجزر من خلال تعويض دول الحوار في وحدة فك ترميز واحدة فقط وصنع قرار الجسر وتوليد الأسئلة لتوفير إشارة لولاية حوار أكثر ثراء.تظهر التجارب على DataSet أو Sharc فعالية طريقتنا، والتي تحقق نتائج جديدة من أحدث النتائج.
تتمثل المحور الخاص بتحليل المعنويات المستندة إلى جانب الجانب (ABAMA) على إزاحة شروط الجانب مع شروط الرأي المقابلة، والتي قد تستمد تنبؤات المعنويات أسهل. في هذه الورقة، نحقق في مهمة ABSA الموحدة من منظور فهم القراءة بالآلة (MRC) من خلال مراعاة أن الجا
نب وشروط الرأي يمكن أن يكون بمثابة الاستعلام والإجابة في MRC Interchangeably. نقترح نماذج جديدة تسمى دور يقرأ آلة القراءة (RF-MRC) لحلها. في قلبها، تعتبر النتائج المتوقعة إما استخراج الأوجه (أكلت) أو مصطلحات الرأي (OTE) الاستعلامات، على التوالي، وتعتبر الرأي المتطابق أو شروط الجانب إجابات. يمكن انقلاب الاستفسارات والإجابات للكشف المتعدد القفز. أخيرا، يتم توقع كل زوج من جانب الرأي المتطابق مع مصنف المعنويات. RF-MRC يمكن أن يحل مهمة ABSA دون أي شرح بيانات إضافي أو تحويل. تجارب على ثلاثة معايير مستعملة على نطاق واسع ومجموعة بيانات صعبة توضح تفوق الإطار المقترح.
حققت النماذج المدربة مسبقا للمحولات، مثل بيرت، نتائج رائعة بشأن فهم القراءة في الآلة. ومع ذلك، نظرا لقيود طول الترميز (E.G.، 512 Tokenspece)، عادة ما يتم تقسيم وثيقة طويلة إلى قطع متعددة يتم قراءتها بشكل مستقل. ينتج عن أن حقل القراءة يقتصر على القطع
الفردية دون تعاون المعلومات لفهم قراءة آلات المستندات الطويلة. لمعالجة هذه المشكلة، نقترح ROR، وهي طريقة للقراءة للقراءة، والتي تقوم بتوسيع حقل القراءة من قطعة إلى المستند. على وجه التحديد، يتضمن ROR قارئ قطعة وقارئ مستند. السابق يتوقع أولا مجموعة من الإجابات الإقليمية لكل قطعة، والتي يتم ضغطها بعد ذلك في إصدارا كبيرا مكثفا من المستند الأصلي، مما يضمن ترميزه مرة واحدة. يتنبأ الأخير كذلك بالإجابات العالمية من هذه الوثيقة المكثفة. في النهاية، يتم استخدام استراتيجية التصويت إلى إجمالي الإجابات الإقليمية والعالمية للتنبؤ النهائي. تثبت تجارب واسعة على معيارين Quac و Triviaqa فعالية ROR للحصول على قراءة المستندات الطويلة. والجدير بالذكر أن ROR يحتل المرتبة الأولى على المتصدرين Quac (https://quac.ai/) في وقت التقديم (17 مايو، 2021).
آلة قراءة الآلة (MRC)، والتي تتطلب آلة للإجابة على الأسئلة التي تعطى المستندات ذات الصلة، هي طريقة مهمة لاختبار قدرة الآلات على فهم اللغة البشرية.تعد MRC متعددة الخيارات واحدة من أكثر المهام التي تمت دراستها في MRC نظرا لراحة التقييم ومرونة تنسيق الإ
جابة.تهدف تفسير ما بعد الهوك إلى شرح نموذج مدرب ويكشف عن كيفية وصول النموذج إلى التنبؤ.واحدة من أهم أشكال التفسير هي أن نسأل قرارات النموذج إلى ميزات المدخلات.بناء على طرق الترجمة الفورية لما بعد الهوك، نقوم بتقييم دعاسة الفقرات في MRC متعددة الخيارات وتحسين النموذج من خلال معاقبة السموم غير المنطقية.يمكن لطريقتنا تحسين أداء النموذج دون أي معلومات خارجية وتغيير هيكل النموذج.علاوة على ذلك، فإننا نحلل أيضا كيف ولماذا تعمل طريقة التدريب الذاتي.
آلة قراءة الآلة (MRC) هي واحدة من أكثر المهام تحديا في مجال معالجة اللغة الطبيعية. تم تحقيق نتائج أحدث حديثة ل MRC بنماذج اللغة المدربة مسبقا، مثل بيرت وتعديلاتها. على الرغم من ارتفاع الأداء لهذه النماذج، إلا أنهم لا يزالون يعانون من عدم القدرة على ا
سترداد الإجابات الصحيحة من الممرات التفصيلية الطويلة. في هذا العمل، نقدم مخططا جديدا لإدماج هيكل الخطاب للنص في شبكة انتباهي، وبالتالي إثراء التضمين الذي تم الحصول عليه من ترميز بيرت القياسي مع المعرفة اللغوية الإضافية. نحقق أيضا في تأثير أنواع مختلفة من المعلومات اللغوية عن قدرة النموذج على الإجابة على الأسئلة المعقدة التي تتطلب فهم عميق للنص بأكمله. أظهرت التجارب التي تم إجراؤها على مرجع الفريق وأكثر تعقيدا عن مجموعات بيانات الأجابة أن المعزز اللغوي يعزز أداء نموذج بيرت القياسي بشكل كبير.
لقد أثبتت تدريب الخصم (AT) كطريقة تنظيمي فعاليتها على المهام المختلفة.على الرغم من وجود تطبيقات ناجحة في بعض مهام NLP، إلا أن الخصائص المميزة لمهام NLP لم يتم استغلالها.في هذه الورقة، نهدف إلى تطبيق مهام فهم القراءة (MRC).علاوة على ذلك، فإننا نتكيف م
ع مهام MRC من خلال اقتراح طريقة تدريبية عديدة جديدة تسمى PQAT التي تتعلق بمصفوفة التضمين بدلا من ناقلات Word.للتمييز بين أدوار الممرات والأسئلة، يستخدم PQAT مصفوفات إضافية P / Q Directding إضافية لجمع الاضطرابات العالمية للكلمات من الممرات والأسئلة بشكل منفصل.نحن نختبر الطريقة على مجموعة واسعة من مهام MRC، بما في ذلك RC الاستخراجية المستندة إلى RC واستخراج RC متعددة الخيارات.تظهر النتائج أن التدريب الخصم فعال عالميا، ويحسن PQAT الأداء.
في مهام التحقق من القراءة في الجهاز، يجب على النموذج استخراج إجابة من السياق المتاح بالنظر إلى سؤال ومقطع.في الآونة الأخيرة، حققت نماذج اللغة المدربة مسبقا للمحولات أداء حديثة في العديد من مهام معالجة اللغة الطبيعية.ومع ذلك، فمن غير الواضح ما إذا كان
هذا الأداء يعكس فهم اللغة الحقيقية.في هذه الورقة، نقترح أمثلة خصومة لتحقيق نموذج لغة عربية مدربة مسبقا (أرابيرت)، مما يؤدي إلى انخفاض كبير في الأداء على أربع مجموعات من مجموعات بيانات آلية قراءة آليا.نقدم تحليلا حكيما للدول الخفية للمحول لتقديم رؤى حول كيفية استكمال أسباب أرابيرت إجابة.تشير التجارب إلى أن أرابت يعتمد على الإشارات السطحية ومطابقة الكلمات الرئيسية بدلا من فهم النص.علاوة على ذلك، يوضح تصور الدولة المخفية أن أخطاء التنبؤ يمكن التعرف عليها من تمثيلات ناقلات في الطبقات السابقة.
