MT5: محول نص إلى نص إلى نص متعدد اللغات

إن محول نقل النص إلى النص الأخير "'(T5) عند الاستفادة من تنسيق نصي إلى نص موحد ومقياس لتحقيق النتائج الحديثة على مجموعة واسعة من مهام NLP باللغة الإنجليزية.في هذه الورقة، نقدم MT5، وهو متغير متعدد اللغات من T5 الذي تم تدريبه مسبقا على مجموعة بيانات جديدة تستند إلى الزواحف تغطي 101 لغات.نحن تفصل على التصميم والتدريب المعدل ل MT5 وإظهار أدائه من أحدث المعايير متعددة اللغات.وصف أيضا تقنية بسيطة لمنع الترجمة العرضية "في إعداد الطلقة الصفرية، حيث يختار طراز عام (جزئيا) تنبؤه بلغة خاطئة.جميع الكود ونقاط التفتيش النموذجية المستخدمة في هذا العمل متاحة للجمهور.

The recent Text-to-Text Transfer Transformer'' (T5) leveraged a unified text-to-text format and scale to attain state-of-the-art results on a wide variety of English-language NLP tasks. In this paper, we introduce mT5, a multilingual variant of T5 that was pre-trained on a new Common Crawl-based dataset covering 101 languages. We detail the design and modified training of mT5 and demonstrate its state-of-the-art performance on many multilingual benchmarks. We also describe a simple technique to prevent accidental translation'' in the zero-shot setting, where a generative model chooses to (partially) translate its prediction into the wrong language. All of the code and model checkpoints used in this work are publicly available.