MSD: تقطير المعرفة الإدراجية

للحد من حجم النموذج ولكن الاحتفاظ بالأداء، كنا نعتمد في كثير من الأحيان على تقطير المعرفة (دينار كويتي) الذي ينقل المعرفة من نموذج المعلم الكبير إلى نموذج طالب أصغر. ومع ذلك، فإن KD على مجموعات بيانات متعددة الوسائط مثل مهام اللغة الرؤية غير مستكشفة نسبيا، وهضم معلومات متعددة الوسائط تحديا لأن طرائق مختلفة تقدم أنواعا مختلفة من المعلومات. في هذه الورقة، نقوم بإجراء دراسة تجريبية واسعة النطاق للتحقيق في أهمية وآثار كل طريقة في تقطير المعرفة. علاوة على ذلك، نقدم إطارا لتقطير المعرفة متعددة الوسائط، وقطاع التقطير الخاص بالطرياء (MSD)، لنقل المعرفة من المعلم عن مهام متعددة الوسائط عن طريق تعلم سلوك المعلم داخل كل طريقة. تهدف الفكرة إلى تحية التنبؤات الخاصة بنوية المعلم من خلال إدخال شروط الخسائر المساعدة لكل طريقة. علاوة على ذلك، نظرا لأن كل طريقة لها اتفاقية مختلفة بالنسبة للتنبؤات، فإننا نحدد درجات الرافية لكل طريقة وتحقيق في مخططات الترجيح القائم على الرافية للخسائر الإضافية. ندرس نهج تعليم الوزن لمعرفة الأثقال المثلى على شروط الخسارة هذه. في تحليلنا التجريبي، نقوم بفحص اتفاقية كل طريقة في KD، وأوضح فعالية نظام الترجيح في MSD، وإظهار أنه يحقق أداء أفضل من KD على أربعة مجموعات بيانات متعددة الوسائط.

To reduce a model size but retain performance, we often rely on knowledge distillation (KD) which transfers knowledge from a large teacher'' model to a smaller student'' model. However, KD on multimodal datasets such as vision-language tasks is relatively unexplored, and digesting multimodal information is challenging since different modalities present different types of information. In this paper, we perform a large-scale empirical study to investigate the importance and effects of each modality in knowledge distillation. Furthermore, we introduce a multimodal knowledge distillation framework, modality-specific distillation (MSD), to transfer knowledge from a teacher on multimodal tasks by learning the teacher's behavior within each modality. The idea aims at mimicking a teacher's modality-specific predictions by introducing auxiliary loss terms for each modality. Furthermore, because each modality has different saliency for predictions, we define saliency scores for each modality and investigate saliency-based weighting schemes for the auxiliary losses. We further study a weight learning approach to learn the optimal weights on these loss terms. In our empirical analysis, we examine the saliency of each modality in KD, demonstrate the effectiveness of the weighting scheme in MSD, and show that it achieves better performance than KD on four multimodal datasets.