أدى اعتماد النماذج القائمة على المحولات في معالجة اللغة الطبيعية (NLP) إلى نجاح كبير باستخدام عدد ضخم من المعلمات. ومع ذلك، نظرا لقيود النشر في أجهزة الحافة، كان هناك اهتمام متزايد في ضغط هذه النماذج لتحسين وقت استئنافهم وبصمة الذاكرة. تعرض هذه الورق
ة هدف خسارة رواية لضغط Token Ageddings في النماذج القائمة على المحولات من خلال الاستفادة من بنية AutoNCoder. وبشكل أكثر تحديدا، نؤكد على أهمية اتجاه المدينات المضغوطة فيما يتعلق بالمظلات الأصلية غير المضغوطة. الطريقة المقترحة هي المهام الملحد ولا يتطلب نمذجة لغة أخرى قبل التدريب. يتفوق طريقنا بشكل كبير على نهج مصفوفة مصفوفة SVD شائعة الاستخدام من حيث حيرة نموذج اللغة الأولي. علاوة على ذلك، نقوم بتقييم نهجنا المقترح بشأن مجموعة بيانات Squad V1.1 والعديد من مهام المصب من معيار الغراء، حيث نتفوق أيضا على الأساس في معظم السيناريوهات. كودنا هو الجمهور.
