هل تحويل تعديلات المحولات عبر التطبيقات والتطبيقات؟

اقترح مجتمع البحث تعديلات غزيرة على بنية المحولات منذ تقديمها منذ أكثر من ثلاث سنوات، قلة قليلة نسبيا والتي شهدت اعتماد واسع النطاق.في هذه الورقة، نقوم بتقييم العديد من هذه التعديلات بشكل شامل في بيئة تجريبية مشتركة تغطي معظم الاستخدامات المشتركة للمحول في معالجة اللغة الطبيعية.من المستغرب، نجد أن معظم التعديلات لا تحسن بشكل مفيد الأداء.علاوة على ذلك، تم تطوير معظم المتغيرات المحولات التي وجدناها مفيدة في نفس الكود التي استخدمناها أو أنها تغييرات طفيفة نسبيا.نحن نقم التخمين أن تحسينات الأداء قد تعتمد بشدة على تفاصيل التنفيذ وتقديم بعض التوصيات في المقابل لتحسين عمومية النتائج التجريبية.

The research community has proposed copious modifications to the Transformer architecture since it was introduced over three years ago, relatively few of which have seen widespread adoption. In this paper, we comprehensively evaluate many of these modifications in a shared experimental setting that covers most of the common uses of the Transformer in natural language processing. Surprisingly, we find that most modifications do not meaningfully improve performance. Furthermore, most of the Transformer variants we found beneficial were either developed in the same codebase that we used or are relatively minor changes. We conjecture that performance improvements may strongly depend on implementation details and correspondingly make some recommendations for improving the generality of experimental results.