TENTRANS مجموعة أدوات الاستدلال عالية الأداء لمهمة كفاءة WMT2021

تصف الورقة توضيحات TENTRANS إلى المهمة المشتركة ل WMT 2021 المشتركة.نستكشف تدريب مجموعة متنوعة من نماذج محولات الصغار الأصغر باستخدام إعداد المعلمين - طالب.يتم تدريب نموذجنا من خلال منصة تدريب متعددة اللغات المتطورة ذاتية اللغات ذاتية اللغويةونحن نطلق أيضا مجموعة أدوات الاستدلال عالية الأداء مفتوح المصدر لنماذج المحولات والمكتب في C ++ بالكامل.يتم بناء جميع التحسينات الإضافية على رأس محرك الاستدلال بما في ذلك التخزين المؤقت للانتباه، نواة الانصهار، والتوقف المبكر، والعديد من التحسينات الأخرى.في عمليات التقديمات الخاصة بنا، يمكن أن يترجم الأسرع النظام الأسرع أكثر من 22000 رموز في الثانية مع TESLA P4 واحدة مع الحفاظ على 38.36 بلو على EN-DE NEWSTEST2019.تتوفر نماذجنا المدربة ومزيد من التفاصيل في أمثلة المنافسة التي تخدمها Tentrans.

The paper describes the TenTrans's submissions to the WMT 2021 Efficiency Shared Task. We explore training a variety of smaller compact transformer models using the teacher-student setup. Our model is trained by our self-developed open-source multilingual training platform TenTrans-Py. We also release an open-source high-performance inference toolkit for transformer models and the code is written in C++ completely. All additional optimizations are built on top of the inference engine including attention caching, kernel fusion, early-stop, and several other optimizations. In our submissions, the fastest system can translate more than 22,000 tokens per second with a single Tesla P4 while maintaining 38.36 BLEU on En-De newstest2019. Our trained models and more details are available in TenTrans-Decoding competition examples.