تقطير المعرفة لنماذج NER السويدية: بحث عن الأداء والكفاءة


الملخص بالعربية

تتمثل الوصفة الحالية لأداء نموذج أفضل داخل NLP في زيادة حجم نموذج البيانات والتدريب.في حين أن ذلك يعطينا نماذج مع نتائج رائعة بشكل متزايد، إلا أنها تجعل من الصعب تدريب ونشر نماذج أحدث ل NLP بسبب زيادة التكاليف الحاسوبية.ضغط النموذج هو مجال للبحث الذي يهدف إلى تخفيف هذه المشكلة.يشمل هذا المجال أساليب مختلفة تهدف إلى الحفاظ على أداء نموذج أثناء تقليل حجمها.واحدة من هذه الأسلوب هو تقطير المعرفة.في هذه المقالة، نحقق في تأثير تقطير المعرفة لنماذج التعرف على الكيان المسمى باللغة السويدية.نظهر أنه في حين أن بعض نماذج علامات التسلسل تستفيد من تقطير المعرفة، وليس كل النماذج تفعل.هذا يطالبنا بطرح أسئلة حول المواقف التي تنفجر المعرفة النماذج مفيدة.نحن أيضا السبب في تأثير تقطير المعرفة على التكاليف الحاسوبية.

المراجع المستخدمة

https://aclanthology.org/

تحميل البحث