تقييم قيم المصادر في التعلم

تم تطبيق التعلم نقل أن تتكيف نموذجا مدربا على مصادر غنية بالبيانات إلى أهداف الموارد المنخفضة على نطاق واسع في معالجة اللغة الطبيعية (NLP).ومع ذلك، عند تدريب نموذج النقل على مصادر متعددة، ليس كل مصدر مفيد بنفس القدر بالنسبة للهدف.لتحويل أفضل نموذج، من الضروري فهم قيم المصادر.في هذه الورقة، نطور، إطار تقييم مصدر فعال لتقدير فائدة المصادر (على سبيل المثال،) في مجال التعلم بناء على طريقة قيمة shemley.تثبت التجارب والتحليلات الشاملة على كل من التحويلات المتقاطعة والنقل عبر اللغات أن إطارنا ليس فعلا فقط في اختيار مصادر نقل مفيدة ولكن أيضا القيم المصدر تتطابق مع التشابه الهدف البديهي.

Transfer learning that adapts a model trained on data-rich sources to low-resource targets has been widely applied in natural language processing (NLP). However, when training a transfer model over multiple sources, not every source is equally useful for the target. To better transfer a model, it is essential to understand the values of the sources. In this paper, we develop , an efficient source valuation framework for quantifying the usefulness of the sources (e.g., ) in transfer learning based on the Shapley value method. Experiments and comprehensive analyses on both cross-domain and cross-lingual transfers demonstrate that our framework is not only effective in choosing useful transfer sources but also the source values match the intuitive source-target similarity.