اشتقاق الميزات الدلالية السياقية من Bert (وغيرها من طراز المحولات)

وضعت النماذج المستندة إلى بنية المحولات، مثل بيرت، خطوة حاسمة إلى الأمام في مجال معالجة اللغة الطبيعية. الأهم من ذلك، فإنها تسمح بإنشاء Adgeddings Word التي تلتقط معلومات دهالية مهمة حول الكلمات في السياق. ومع ذلك، ككيانات واحدة، من الصعب تفسير هذه الأشرطة وتفسير النماذج المستخدمة لإنشاءها بأنها غير مبتمة. اقترح الموثق والزملاء مساحة تضمين بديهية حيث يعتمد كل بعدا على واحدة من 65 من الميزات الدلالية الأساسية. لسوء الحظ، توجد المساحة فقط لمجموعة بيانات صغيرة من 535 كلمة، مما يحد من استخداماتها. العمل السابق (UTSUMI، 2018، 2020؛ Turton et al.، 2020)، أظهر أن ميزات الموثق يمكن استخلاصها من المدينات الثابتة واستقلاعها بنجاح لمفردات جديدة كبيرة. اتخاذ الخطوة التالية، توضح هذه الورقة أن ميزات الموثق يمكن أن تستمد من مساحة تضمين بيرت. هذا يوفر شيئين؛ (1) قيم ميزة الدلالية المستمدة من Adgeddings Word السياقي و (2) رؤى في كيفية تمثيل الميزات الدلالية عبر طبقات مختلفة من نموذج Bert.

Models based on the transformer architecture, such as BERT, have marked a crucial step forward in the field of Natural Language Processing. Importantly, they allow the creation of word embeddings that capture important semantic information about words in context. However, as single entities, these embeddings are difficult to interpret and the models used to create them have been described as opaque. Binder and colleagues proposed an intuitive embedding space where each dimension is based on one of 65 core semantic features. Unfortunately, the space only exists for a small data-set of 535 words, limiting its uses. Previous work (Utsumi, 2018, 2020; Turton et al., 2020) has shown that Binder features can be derived from static embeddings and successfully extrapolated to a large new vocabulary. Taking the next step, this paper demonstrates that Binder features can be derived from the BERT embedding space. This provides two things; (1) semantic feature values derived from contextualised word embeddings and (2) insights into how semantic features are represented across the different layers of the BERT model.