حقق محول ومتغيراتها نجاحا كبيرا في معالجة اللغة الطبيعية.نظرا لأن طرازات المحولات ضخمة الحجم، فإن خدمة هذه النماذج هي تحديا للتطبيقات الصناعية الحقيقية.في هذه الورقة، نقترح، مكتبة الاستدلال عالية الكفاءة للنماذج في عائلة المحولات.يتضمن سلسلة من تقنيا
ت تحسين GPU لكلا من تبسيط حساب طبقات المحولات وتقليل بيانات الذاكرة.يدعم النماذج المدربة باستخدام Pytorch و Tensorflow.النتائج التجريبية على معايير الترجمة الآلية القياسية تظهر أنها تحقق تصل إلى 14x تسريع مقارنة مع Tensorflow وتسريع 1.4x مقارنة مع تنفيذ CUDA المتزامن.سيتم إصدار الرمز علنا بعد المراجعة.
