غالبا ما تكون نماذج اللغة المدربة مسبقا مسبقا (PLMS) باهظة الثمن بشكل أساسي في الاستدلال، مما يجعلها غير عملية في مختلف تطبيقات العالم الحقيقي المحدودة. لمعالجة هذه المشكلة، نقترح مقاربة تخفيض رمزية ديناميكية لتسريع استنتاج PLMS، والتي تسمى Tr-Bert،
والتي يمكن أن تتكيف مرونة عدد الطبقة من كل رمزي في الاستدلال لتجنب الحساب الزائد. خصيصا، تقوم Tr-Bert بتصوير عملية تخفيض الرمز المميز كأداة اختيار رمز تخطيط متعدد الخطوات وتعلم تلقائيا استراتيجية الاختيار عبر التعلم التعزيز. تظهر النتائج التجريبية على العديد من مهام NLP المصب أن Tr-Bert قادرة على تسريع بيرتف بمقدار 2-5 مرات لإرضاء متطلبات الأداء المختلفة. علاوة على ذلك، يمكن ل TR-Bert تحقيق أداء أفضل مع حساب أقل في مجموعة من المهام النصية الطويلة لأن تكييف رقم الطبقة على مستوى الرمز المميز يسرع بشكل كبير عملية انتباه الذات في plms. يمكن الحصول على شفرة المصدر وتفاصيل التجربة لهذه الورقة من https://github.com/thunlp/tr-bert.
