غالبا ما تكون نماذج اللغة المدربة مسبقا مسبقا (PLMS) باهظة الثمن بشكل أساسي في الاستدلال، مما يجعلها غير عملية في مختلف تطبيقات العالم الحقيقي المحدودة. لمعالجة هذه المشكلة، نقترح مقاربة تخفيض رمزية ديناميكية لتسريع استنتاج PLMS، والتي تسمى Tr-Bert،
والتي يمكن أن تتكيف مرونة عدد الطبقة من كل رمزي في الاستدلال لتجنب الحساب الزائد. خصيصا، تقوم Tr-Bert بتصوير عملية تخفيض الرمز المميز كأداة اختيار رمز تخطيط متعدد الخطوات وتعلم تلقائيا استراتيجية الاختيار عبر التعلم التعزيز. تظهر النتائج التجريبية على العديد من مهام NLP المصب أن Tr-Bert قادرة على تسريع بيرتف بمقدار 2-5 مرات لإرضاء متطلبات الأداء المختلفة. علاوة على ذلك، يمكن ل TR-Bert تحقيق أداء أفضل مع حساب أقل في مجموعة من المهام النصية الطويلة لأن تكييف رقم الطبقة على مستوى الرمز المميز يسرع بشكل كبير عملية انتباه الذات في plms. يمكن الحصول على شفرة المصدر وتفاصيل التجربة لهذه الورقة من https://github.com/thunlp/tr-bert.
تم استخدام شبكة الرسم العصبي الرسمية مؤخرا كأداة واعدة في مهمة الإجابة على السؤال المتعدد القفزات. ومع ذلك، فإن التحديثات غير الضرورية والإنشاءات الحافة البسيطة تمنع استخراج سبان إجابة دقيقة بطريقة أكثر مباشرة وتفسيرها. في هذه الورقة، نقترح نموذجا جد
يدا من الرسم البياني للسباق الأول (BFR-Graph)، والذي يقدم رسالة جديدة تمرير طريقة تتوافق بشكل أفضل مع عملية التفكير. في Bfr-Graph، يجب أن تبدأ رسالة المنطق من العقدة والسؤال إلى الجمل التالية عقدة هوب من القفزة حتى يتم تمرير جميع الحواف، والتي يمكن أن تمنع كل عقدة بشكل فعال من التعويض الزائد أو تحديث عدة مرات غير ضرورية وبعد لإدخال المزيد من الدلالات، نحدد أيضا الرسم البياني للمنطق كشركة بيانية مرجحة مع النظر في عدد كيانات الحدوث والمسافة بين الجمل. ثم نقدم طريقة أكثر مباشرة وتفسيرا لتجميع الدرجات من مستويات مختلفة من الحبيبات القائمة على GNN. على المتصدرين Hotpotqa، يحقق BFR-Graph المقترح على التنبؤ الحديث في الإجابة على التنبؤ.
