ترجمة آلة فعالة مع تشذيب النموذج والكمي

شاركنا في جميع المسارات لمهمة الترجمة الآلية ل WMT 2021: وحدة المعالجة المركزية ذات CPU أحادية النواة، وحدة المعالجة المركزية متعددة النواة، وأجهزة GPU مع شروط الإنتاجية والكمولية.تجمع تقاريرنا العديد من استراتيجيات الكفاءة: تقطير المعرفة، وحدة فك ترميز وحدة بسيطة متكررة بسيطة (SSRU) مع طبقتين أو طبقتين، بقلين من المعجمين، وتنسيقات عدودية أصغر، وتقليم.بالنسبة لمسار وحدة المعالجة المركزية، استخدمنا طرازات 8 بت كمية.بالنسبة لمسار GPU، جربنا أعداد صحيحة FP16 و 8 بت في عشرات الموانئ.بعض عمليات التقديمات لدينا تحسين الحجم عبر سجل سجل 4 بت وحذف قائمة مختصرة معجمية.لقد مددنا تشذيم أكبر أجزاء من الشبكة، مع التركيز على تشذيب المكونات ومستوى الحظر الذي يحسن في الواقع السرعة على عكس تقليم المعامل الحكيم.

We participated in all tracks of the WMT 2021 efficient machine translation task: single-core CPU, multi-core CPU, and GPU hardware with throughput and latency conditions. Our submissions combine several efficiency strategies: knowledge distillation, a simpler simple recurrent unit (SSRU) decoder with one or two layers, lexical shortlists, smaller numerical formats, and pruning. For the CPU track, we used quantized 8-bit models. For the GPU track, we experimented with FP16 and 8-bit integers in tensorcores. Some of our submissions optimize for size via 4-bit log quantization and omitting a lexical shortlist. We have extended pruning to more parts of the network, emphasizing component- and block-level pruning that actually improves speed unlike coefficient-wise pruning.