lightseq: مكتبة الاستدلال عالية الأداء للمحولات

حقق محول ومتغيراتها نجاحا كبيرا في معالجة اللغة الطبيعية.نظرا لأن طرازات المحولات ضخمة الحجم، فإن خدمة هذه النماذج هي تحديا للتطبيقات الصناعية الحقيقية.في هذه الورقة، نقترح، مكتبة الاستدلال عالية الكفاءة للنماذج في عائلة المحولات.يتضمن سلسلة من تقنيات تحسين GPU لكلا من تبسيط حساب طبقات المحولات وتقليل بيانات الذاكرة.يدعم النماذج المدربة باستخدام Pytorch و Tensorflow.النتائج التجريبية على معايير الترجمة الآلية القياسية تظهر أنها تحقق تصل إلى 14x تسريع مقارنة مع Tensorflow وتسريع 1.4x مقارنة مع تنفيذ CUDA المتزامن.سيتم إصدار الرمز علنا بعد المراجعة.

Transformer and its variants have achieved great success in natural language processing. Since Transformer models are huge in size, serving these models is a challenge for real industrial applications. In this paper, we propose , a highly efficient inference library for models in the Transformer family. includes a series of GPU optimization techniques to both streamline the computation of Transformer layers and reduce memory footprint. supports models trained using PyTorch and Tensorflow. Experimental results on standard machine translation benchmarks show that achieves up to 14x speedup compared with TensorFlow and 1.4x speedup compared with , a concurrent CUDA implementation. The code will be released publicly after the review.