ESC: Redesigning WSD with Extractive Sense Comprehension

تعد Disambiguation Sense (WSD) مهمة تاريخية NLP تهدف إلى ربط الكلمات في سياقات المخزونات المنفصلة، ​​وعادة ما يلقي بمثابة مهمة تصنيف متعدد العلامات. في الآونة الأخيرة، استخدمت العديد من الأساليب العصبية تعاريف المعنى التي تمثل أفضل معاني الكلمة. ومع ذلك، فإن هذه الأساليب لا تلاحظ جملة الإدخال والمرشحين لتعريف الشعور مرة واحدة، وبالتالي يحتمل أن يقلل من أداء النموذج وقوة التعميم. نحن نتعامل مع هذه المشكلة عن طريق إعادة صياغة WSD كمشكلة استخراج تمتد --- ما الذي وصفناه بالمعنى الاستخراجي الفهم (ESC) --- واقتراح إشراف، وهي عبارة عن بنية عصبية قائمة على المحولات لهذه الصيغة الجديدة. عن طريق مجموعة واسعة من التجارب، نظهر أن ESC أطلق العنان للإمكانات الكاملة لطرازنا، مما يؤدي إلى تجاوز جميع منافسيها ووضع دولة جديدة من الفن في مهمة WSD الإنجليزية. في السيناريو القليل من اللقطات، يثبت الإشراق استغلال بيانات التدريب بكفاءة، حيث تحقق نفس الأداء كأقرب منافسها أثناء الاعتماد على التعليقات التوضيحية أقل ثلاث مرات تقريبا. علاوة على ذلك، يمكن للإنسير أن تجمع بين البيانات المشروحة مع الحواس من الموارد المعجمية المختلفة، وتحقيق العروض التي كانت خارج متناول الجميع. يتوفر النموذج مع البيانات في https://github.com/sapienzanlp/sc.

Word Sense Disambiguation (WSD) is a historical NLP task aimed at linking words in contexts to discrete sense inventories and it is usually cast as a multi-label classification task. Recently, several neural approaches have employed sense definitions to better represent word meanings. Yet, these approaches do not observe the input sentence and the sense definition candidates all at once, thus potentially reducing the model performance and generalization power. We cope with this issue by reframing WSD as a span extraction problem --- which we called Extractive Sense Comprehension (ESC) --- and propose ESCHER, a transformer-based neural architecture for this new formulation. By means of an extensive array of experiments, we show that ESC unleashes the full potential of our model, leading it to outdo all of its competitors and to set a new state of the art on the English WSD task. In the few-shot scenario, ESCHER proves to exploit training data efficiently, attaining the same performance as its closest competitor while relying on almost three times fewer annotations. Furthermore, ESCHER can nimbly combine data annotated with senses from different lexical resources, achieving performances that were previously out of everyone's reach. The model along with data is available at https://github.com/SapienzaNLP/esc.