كيفية اختيار واحد بين الكل؟دراسة تجريبية نحو تقلير تقارير المعرفة في فهم اللغة الطبيعية


الملخص بالعربية

تقطير المعرفة (KD) هي خوارزمية ضغط نموذجية تساعد في نقل المعرفة في شبكة عصبية كبيرة في واحدة أصغر.على الرغم من أن KD قد أظهرت وعد على مجموعة واسعة من تطبيقات معالجة اللغة الطبيعية (NLP)، يفهم القليل حول كيفية مقارنة خوارزمية KD واحدة مع آخر وما إذا كانت هذه الأساليب يمكن أن تكون مجانية لبعضها البعض.في هذا العمل، نقوم بتقييم خوارزميات KD المختلفة على اختبار داخل المجال والخروج والمصدري.نقترح إطارا لتقييم متانة الخصومة لخوارزميات متعددة الدكتوراط.علاوة على ذلك، نقدم خوارزمية KD جديدة، مجتمعة د.ك، والتي تستفيد من نهجين واعدين (مخطط تدريب أفضل وزعم البيانات أكثر كفاءة).تظهر النتائج التجريبية الواسعة لدينا أن مجتمعة - KD تحقق نتائج أحدث النتائج على مرجع الغراء، وتعميم خارج المجال، ومتانة الخصومة مقارنة بالأساليب التنافسية.

المراجع المستخدمة

https://aclanthology.org/

تحميل البحث