هل توفر التقليمات المحلية نماذج خاصة بالمهام للتعلم بفعالية؟

أدت الحاجة إلى نشر النماذج المدربة مسبقا على نطاق واسع على أجهزة الحافة بموجب موارد حسابية محدودة إلى بحث كبير لضغط هذه النماذج الكبيرة. ومع ذلك، تم إيلاء اهتمام أقل لضغط النماذج الخاصة المهام. في هذا العمل، نحقق في أساليب مختلفة من التقليم غير منظم في نماذج ذات المهام الخاصة بمهام تحليل المعنويات المستندة إلى جانب جانب الجسيم. على وجه التحديد، نقوم بتحليل الاختلافات في ديناميات التعلم من النماذج ذات التذرية باستخدام تقنيات التقليم القياسية لتحقيق شبكات متفرقة عالية الأداء. نقوم بتطوير فرضية لإظهار فعالية التشذيب المحلي على التقليم العالمي بالنظر إلى نموذج سي إن إن بسيط. في وقت لاحق، نحن نستخدم الفرضية لإظهار فعالية النموذج الحديثة المعادلة مقارنة بالنموذج المفرط من أحدث المعلمات تحت إعدادتين، أول النظر في الأساس لنفس المهمة المستخدمة ل توليد الفرضية، أي استخراج الآراء والثاني النظر في مهمة مختلفة، أي تحليل المعرفات. كما نقدم المناقشة المتعلقة بتعميم الفرضية التقليم.

The need to deploy large-scale pre-trained models on edge devices under limited computational resources has led to substantial research to compress these large models. However, less attention has been given to compress the task-specific models. In this work, we investigate the different methods of unstructured pruning on task-specific models for Aspect-based Sentiment Analysis (ABSA) tasks. Specifically, we analyze differences in the learning dynamics of pruned models by using the standard pruning techniques to achieve high-performing sparse networks. We develop a hypothesis to demonstrate the effectiveness of local pruning over global pruning considering a simple CNN model. Later, we utilize the hypothesis to demonstrate the efficacy of the pruned state-of-the-art model compared to the over-parameterized state-of-the-art model under two settings, the first considering the baselines for the same task used for generating the hypothesis, i.e., aspect extraction and the second considering a different task, i.e., sentiment analysis. We also provide discussion related to the generalization of the pruning hypothesis.