طريقة خروج مبكرة في المستقبل العالمية في المستقبل لتسريع استنتاج النماذج المدربة مسبقا مسبقا

تهدف آلية الخروج المبكر إلى تسريع سرعة الاستدلال من نماذج اللغة المدربة مسبقا على نطاق واسع. الفكرة الأساسية هي الخروج مبكرا دون المرور من خلال كل طبقات الاستدلال في مرحلة الاستدلال. لإجراء تنبؤات دقيقة لمهام المصب، ينبغي النظر في المعلومات اللغوية الهرمية المدمجة في جميع الطبقات بشكل مشترك. ومع ذلك، فقد تقتصر الكثير من الأبحاث الآن على استخدام التمثيلات المحلية لطبقة الخروج. هذا العلاج يفقد حتما معلومات عن الطبقات السابقة غير المستخدمة وكذلك الميزات الرفيعة المستوى المضمنة في الطبقات المستقبلية، مما يؤدي إلى الأداء دون الأمثل. لمعالجة هذه المشكلة، نقترح طريقة مستقبلية جديدة جديدة لإجراء تنبؤات شاملة من منظور عالمي. نأخذ أولا في الاعتبار جميع المعلومات اللغوية المضمنة في الطبقات السابقة، ثم اتخذ خطوة أخرى لإشراك المعلومات المستقبلية التي لا يمكن الوصول إليها في الأصل للتنبؤات. توضح تجارب واسعة أن أسلوبنا تتفوق على أساليب الخروج المبكر السابقة من هامش كبير، مما يؤدي إلى أداء أفضل وقوي.

Early exit mechanism aims to accelerate the inference speed of large-scale pre-trained language models. The essential idea is to exit early without passing through all the inference layers at the inference stage. To make accurate predictions for downstream tasks, the hierarchical linguistic information embedded in all layers should be jointly considered. However, much of the research up to now has been limited to use local representations of the exit layer. Such treatment inevitably loses information of the unused past layers as well as the high-level features embedded in future layers, leading to sub-optimal performance. To address this issue, we propose a novel Past-Future method to make comprehensive predictions from a global perspective. We first take into consideration all the linguistic information embedded in the past layers and then take a further step to engage the future information which is originally inaccessible for predictions. Extensive experiments demonstrate that our method outperforms previous early exit methods by a large margin, yielding better and robust performance.