أدت نماذج اللغة التجريدية المدربة على مليارات الرموز مؤخرا إلى نتائج غير مسبوقة على العديد من مهام NLP. يثير هذا النجاح مسألة ما إذا كان النظام، من حيث المبدأ، يمكن للنظام فهم النص الخام دون الوصول إلى شكل أساس من أشكال التأريض. نحن نحقق رسميا قدرات
الأنظمة التي لا تحصى للحصول على معنى. يركز تحليلنا على دور التأكيدات ": السياقات النصية التي توفر أدلة غير مباشرة حول الدلالات الأساسية. ندرس ما إذا كانت هناك تأكيدات تمكن نظام لمحاكاة التمثيلات التي تحافظ على العلاقات الدلالية مثل التكافؤ. نجد أن التأكيدات تمكن مضاهاة دلالات للغات التي تلبي فكرة قوية من الشفافية الدلالية. ومع ذلك، بالنسبة لفئات اللغات حيث يمكن أن يتخذ نفس التعبير قيم مختلفة في سياقات مختلفة، نوضح أن المحاكاة يمكن أن تصبح غير مقابلة. أخيرا، نناقش الاختلافات بين النموذج الرسمي واللغة الطبيعية، واستكشاف كيفية تعميم نتائجنا إلى وضع مشروط وغيرها من العلاقات الدلالية. معا، تشير نتائجنا إلى أن التأكيدات في التعليمات البرمجية أو اللغة لا توفر إشارة كافية للتمثيلات الدلالية المحاكمة بالكامل. نقوم بإضفاء الطابع الرسمي على الطرق التي يبدو أن نماذج لغة غير محظورة محدودة بشكل أساسي في قدرتها على فهم ".
حققت النماذج المستندة إلى المحولات المسببة للمحرسة مسبقا أداء حديثة لمختلف مهام معالجة اللغة الطبيعية (NLP).ومع ذلك، غالبا ما تكون هذه النماذج مليارات مليارات من المعلمات، وبالتالي فهي جائعة جدا للجوع وحسابات كثيفة لتناسب أجهزة أو تطبيقات منخفضة القد
رة مع متطلبات زمنية صارمة.علاج واحد محتمل لهذا هو الضغط النموذجي، مما جذبت اهتماما كبيرا للبحث.هنا، نلخص البحث في ضغط المحولات، مع التركيز على نموذج بيرت الشهير بشكل خاص.على وجه الخصوص، نقوم بمسح حالة الفن في ضغط بيرت، نوضح أفضل الممارسات الحالية لضغط نماذج محولات واسعة النطاق، ونحن نقدم رؤى في أعمال أساليب مختلفة.يتم إلقاء تصنيفنا وتحليلنا الضوء على اتجاهات البحث المستقبلية الواعدة لتحقيق نماذج NLP خفيفة الوزن ودقيقة وأجنحة.
