أدى اعتماد النماذج القائمة على المحولات في معالجة اللغة الطبيعية (NLP) إلى نجاح كبير باستخدام عدد ضخم من المعلمات. ومع ذلك، نظرا لقيود النشر في أجهزة الحافة، كان هناك اهتمام متزايد في ضغط هذه النماذج لتحسين وقت استئنافهم وبصمة الذاكرة. تعرض هذه الورقة هدف خسارة رواية لضغط Token Ageddings في النماذج القائمة على المحولات من خلال الاستفادة من بنية AutoNCoder. وبشكل أكثر تحديدا، نؤكد على أهمية اتجاه المدينات المضغوطة فيما يتعلق بالمظلات الأصلية غير المضغوطة. الطريقة المقترحة هي المهام الملحد ولا يتطلب نمذجة لغة أخرى قبل التدريب. يتفوق طريقنا بشكل كبير على نهج مصفوفة مصفوفة SVD شائعة الاستخدام من حيث حيرة نموذج اللغة الأولي. علاوة على ذلك، نقوم بتقييم نهجنا المقترح بشأن مجموعة بيانات Squad V1.1 والعديد من مهام المصب من معيار الغراء، حيث نتفوق أيضا على الأساس في معظم السيناريوهات. كودنا هو الجمهور.
The adoption of Transformer-based models in natural language processing (NLP) has led to great success using a massive number of parameters. However, due to deployment constraints in edge devices, there has been a rising interest in the compression of these models to improve their inference time and memory footprint. This paper presents a novel loss objective to compress token embeddings in the Transformer-based models by leveraging an AutoEncoder architecture. More specifically, we emphasize the importance of the direction of compressed embeddings with respect to original uncompressed embeddings. The proposed method is task-agnostic and does not require further language modeling pre-training. Our method significantly outperforms the commonly used SVD-based matrix-factorization approach in terms of initial language model Perplexity. Moreover, we evaluate our proposed approach over SQuAD v1.1 dataset and several downstream tasks from the GLUE benchmark, where we also outperform the baseline in most scenarios. Our code is public.
References used
https://aclanthology.org/
We study the power of cross-attention in the Transformer architecture within the context of transfer learning for machine translation, and extend the findings of studies into cross-attention when training from scratch. We conduct a series of experime
In this paper, we describe our system used for SemEval 2021 Task 7: HaHackathon: Detecting and Rating Humor and Offense. We used a simple fine-tuning approach using different Pre-trained Language Models (PLMs) to evaluate their performance for humor
This paper presents our system for the Quantity span identification, Unit of measurement identification and Value modifier classification subtasks of the MeasEval 2021 task. The purpose of the Quantity span identification task was to locate spans of
Various temporal knowledge graph (KG) completion models have been proposed in the recent literature. The models usually contain two parts, a temporal embedding layer and a score function derived from existing static KG modeling approaches. Since the
Word embedding is essential for neural network models for various natural language processing tasks. Since the word embedding usually has a considerable size, in order to deploy a neural network model having it on edge devices, it should be effective