كيف تؤثر الرؤية على اللغة: مقارنة اهتمامي عن النفس ملثمين في محول UNI-MODAL ومتعدد الوسائط

كانت مشكلة تفسير المعرفة المستفادة من قبل اهتمام ذاتي متعدد الأطراف في المحولات واحدة من الأسئلة المركزية في NLP. ومع ذلك، فإن الكثير من العمل يركز بشكل أساسي على النماذج المدربة لمهام UNI-MODAL، على سبيل المثال الترجمة الآلية. في هذه الورقة، نقوم بفحص اهتمامي عن نفسه في محول متعدد الوسائط مدربا لمهمة تقسيم الصور. على وجه الخصوص، نحن نختبر ما إذا كانت الوسيلة متعددة المهام تؤثر على أنماط الاهتمام المستفاد. أظهرت تصوراتنا المتمثلة في اهتمام ذاتي ملثمين أن المعرفة اللغوية العامة للمدخلات النصية، و (2) دمج أنماط اهتمامها من القطع الأثرية من طريقة مرئية على الرغم من أنها لم تصل إليها مباشرة. قارنا أنماط انتباه المحولات لدينا مع الاهتمام الملثمين في DistilGPT-2 تم ​​اختباره لجيلي UNI-MODAL لنص التسميات التوضيحية للصور. بناء على خرائط أوزان الاهتمام المستخرجة، فإننا نجادل بأنه ملثم بالاهتمام الذاتي في محول تقسيم الصور يبدو أنه يعزز مع المعرفة الدلالية من الصور، مماثلة للحصول على معلومات مشتركة بين اللغة والرؤية في أنماط اهتمامها.

The problem of interpretation of knowledge learned by multi-head self-attention in transformers has been one of the central questions in NLP. However, a lot of work mainly focused on models trained for uni-modal tasks, e.g. machine translation. In this paper, we examine masked self-attention in a multi-modal transformer trained for the task of image captioning. In particular, we test whether the multi-modality of the task objective affects the learned attention patterns. Our visualisations of masked self-attention demonstrate that (i) it can learn general linguistic knowledge of the textual input, and (ii) its attention patterns incorporate artefacts from visual modality even though it has never accessed it directly. We compare our transformer's attention patterns with masked attention in distilgpt-2 tested for uni-modal text generation of image captions. Based on the maps of extracted attention weights, we argue that masked self-attention in image captioning transformer seems to be enhanced with semantic knowledge from images, exemplifying joint language-and-vision information in its attention patterns.